이름보다 무엇을 입력받고 무엇을 내는지 본다
LLM(Large Language Model)은 많은 언어 자료에서 학습한 관계를 바탕으로 텍스트를 처리/생성하는 큰 모델이다. 로봇 응용에서 지시를 하위 과업/skill 순서로 나누는 데 사용할 수 있다. '컵을 찾아 접근하고 집어 트레이에 놓기'라는 계획 문장은 명령 후보를 설명하지만 컵의 현재 3차원 위치나 팔의 도달/충돌 가능성을 자동 검증한 결과가 아니다. 텍스트로 그럴듯한 계획과 실행 가능한 계획을 구분한다.
그림 M22.01-1. 각 칸은 서로 다른 역할/근거다. 나란히 비교할 항목이며 위아래가 시간 순서를 뜻하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.
VLM(Vision-Language Model)은 영상과 언어의 관계를 처리하는 모델이다. 예를 들어 '파란 컵은 어느 것인가'에 후보 영역/설명을 줄 수 있다. 그러나 출력이 픽셀 좌표인지 3차원 자세인지, 공간 단위/프레임과 취득 시각·깊이를 어떤 근거로 얻었는지는 별도다. 영상 설명에 등장한 물체를 실제 감지/추적 ID로 연결하지 않으면 같은 이름의 다른 물체에 행동할 수 있다.
VLA(Vision-Language-Action)는 영상/언어 등의 관측을 조건으로 로봇 행동을 내는 정책 계열이다. 행동 자료와의 학습/적응과 출력 표현을 포함하는 점이 중요하다. RT-2 저자 프로젝트는 로봇 행동을 토큰으로 표현해 영상/언어 학습과 연결하는 예를, OpenVLA 저자 자료는 VLM 기반의 행동 예측을 설명한다. 모든 VLA가 같은 토큰/연속 출력·관측/행동 차원을 쓰는 것은 아니다.
VLM에게 숫자 배열을 출력하라고 했다는 이유만으로 검증된 VLA가 되지는 않는다. 반대로 VLA가 행동을 출력했다고 고수준 과업 계획·실제 하드웨어 인터페이스와 안전/성공 검증까지 하나로 끝난 것도 아니다. 세 역할은 한 시스템에 조합될 수 있고 같은 멀티모달 모델이 여러 역할을 할 수도 있다. 이름이 아니라 학습 자료/조건과 실제 입력/출력 계약으로 판정한다.
언어를 현재 세계의 대상과 능력에 연결한다
접지(grounding)는 언어 기호/계획을 실제 관측·로봇의 가능한 기능/현재 조건에 연결하는 일이다. '오른쪽 컵'은 누구의 오른쪽인지와 기준 프레임이 필요하고, 컵이 둘이면 대상 선택이 모호할 수 있다. '빈 트레이'도 외형만으로 확정할 수 없는 가림/내용물 상태가 있을 수 있다. 미상은 그럴듯한 기본값으로 채우지 않고 추가 관측/명료화 또는 보류 상태로 둔다.
관측 record에는 대상 ID·클래스/관계, 위치/자세의 값·단위/프레임, 취득 시각/시계·유효/미상과 출처를 둔다. 계획에는 그 ID를 참조하게 하고 실행 직전에도 실제 대상이 유지되는지 확인한다. bbox 중심을 임의 깊이와 결합하거나 camera 좌표를 base로 이름만 바꾸지 않는다. 이런 기하/시간 계약은 언어 모델의 자연스러운 설명과 별개로 검증한다.
skill은 로봇이 제공하는 하위 과업/동작 기능이다. 예를 들어 observe_scene, approach_target, grasp_object, place_object는 서로 다른 입력/전제·실제 결과를 갖는다. 문자열을 만들었다고 해당 기능이 설치/검증된 것은 아니다. 유효한 skill 목록과 입력 schema·제약/전제조건/종료·실패 상태를 정의하고, 모델이 제안한 이름/인자가 그 계약에 맞는지 확인한다.
현재 상태에 맞는 skill인지 따로 묻는다
'컵을 집기'가 언어상 필요해도 로봇이 멀리 있거나 손에 다른 물체를 들었으면 바로 실행할 수 없을 수 있다. 관측/도달·그리퍼/scene·경로와 로봇 운영 상태가 전제조건이다. 장소 이동도 지도 좌표/경로/최신 위치와 종료 근거가 필요하며 텍스트 '책상으로 이동'만으로 숫자 목표가 완성되는 것이 아니다. 여기서는 모바일 관련 세부 알고리즘을 선수로 요구하지 않고 이 연결 조건만 명시한다.
합성 상태가 같은 시계의 t_obs=10.0 s에서 관측됐고 현재 10.1 s, 허용 자료 나이 0.2 s라고 하자. 나이 0.1 s는 이 신선도 기준 안이다. 현재가 10.3으로 바뀌면 나이 0.3 s로 넘는다. 값의 내용이 같아 보이더라도 오래된 상태로 대상/경로 검증이 유효하다고 가정하지 않는다. 재관측/보류·미상 처리와 관련 결과를 남긴다. 시계가 다르면 먼저 변환/불확실성을 확인해야 한다.
유용성 점수와 실행 가능성은 서로 다른 근거다
SayCan 저자 접근은 지시에 얼마나 유용한 skill인지의 언어 모델 점수와 현재 상태에서 그 skill이 가능할지의 affordance/value 근거를 결합한다. affordance는 이 문맥에서 로봇/상황이 허용하는 행동 가능성의 추정이다. 논문의 연구 구성을 일반 모델의 안전 보장으로 확대하지 않는다. 실제 제약·현재 상태와 학습된 점수의 보정 여부는 별도 검토가 필요하다.
합성 후보 A=grasp, B=approach, C=observe의 언어 유용성 점수 L을 0.8/0.6/0.3, 가능성 점수 F를 0.1/0.9/0.8로 주자. 비교 규칙 S=L×F이면 0.08/0.54/0.24라 B가 가장 높다. 언어 점수만 보면 A지만 현재 기능/상태 추정과 결합하면 접근이 우선인 예다. 점수는 이번 비교용 입력이며 실제로 보정된 성공 확률이 아니다.
이 곱을 모든 위험/단계의 독립 확률을 곱한 전체 작업 성공률로 해석하지 않는다. 높은 점수라도 알려진 금지 조건·잘못된 프레임/단위나 오래된 입력을 통과시키는 근거가 될 수 없다. 예를 들어 위 상태가 10.3 s로 오래됐다면 이전 F/후보 검증의 유효성을 재확인해야 한다. B가 여전히 수치상 최대라는 이유로 실행하지 않는다. 새 관측 기능이 실제 제공되고 조건에 맞다면 이를 요청하거나 계획을 보류하도록 설계한다.
제안·명령·완료는 서로 다른 상태다
시스템 설계에서는 모델 제안을 검증한 뒤 명령/실행 상태를 관리하고 실제 결과를 다시 관측한다. 계획의 'Done'은 언어 출력이지 물체가 올바르게 배치됐다는 센서 증거가 아니다. 명령 수락/진행과 최종 제어기 결과·그리퍼 유지/물체 위치를 구분하고 실패/미상을 기록한다. 결과가 없으면 다음 단계의 전제조건이 성립했다고 자동으로 갱신하지 않는다.
SayCan의 점수 결합 개념과 이런 피드백 설계를 구별한다. 저자 페이지도 원 구성의 환경 피드백 한계와 후속 연구 방향을 설명한다. 이 교재의 실행 결과 재검증은 응용 설계의 요구이며 원 SayCan이 모든 변화/실패를 같은 방식으로 해결했다고 주장하지 않는다. 언어·시각/행동 모델의 선택과 별도로 상태 기계/모니터·재관측/중단 기준을 갖춘다.
평가 보고서에는 계획/대상 선택, 기하·시간/기능 검증과 명령 실행, 작업 결과를 나눠 적는다. VLM 설명의 정답률과 VLA 행동 오차, 전체 작업 성공은 다른 분모/조건의 지표다. 누락/모호한 관측·사람 개입과 준비되지 않은 skill을 감추지 않는다. 기존 5.2 VLA 계보와 기존 3.5 실행 루프를 연결해 모델 출력과 실행 조건의 경계를 복습하자.