5.2 행동 정책의 계보

5.2.1 단일 step 정책

단일 step 정책은 현재 관측에서 다음 action 하나를 예측한다. latency가 작고 구현이 단순하지만, 사람 시연의 고주파 jitter를 그대로 학습하거나 시간적 일관성을 잃기 쉽다. 긴 작업을 매 step 독립적으로 결정하면 예측 noise가 command noise가 된다.

5.2.2 ACT: action sequence를 한 번에 예측

ACT는 Action Chunking with Transformers의 약자다. Zhao 등은 저가형 양팔 로봇의 정밀 조작에서 action sequence를 생성하는 generative model을 제시했다. 한 시점에서 $H$개의 미래 행동을 예측하면 유효 decision horizon이 줄고, 시간적으로 연결된 동작을 모델링할 수 있다.

$$\hat{A}_t = [\hat a_t, \hat a_{t+1}, \ldots, \hat a_{t+H-1}]$$

ACT는 conditional VAE와 Transformer를 사용해 시연의 변동을 잠재변수로 표현한다. 배포에서는 여러 시점에 예측한 겹치는 chunk를 temporal ensemble로 합칠 수 있다. 원 논문은 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware다.

5.2.3 Diffusion Policy

Diffusion Policy는 noise에서 시작해 observation에 조건부인 denoising을 반복하여 action sequence를 생성한다. 단일 평균값 대신 다봉 행동분포를 표현하기에 유리하고 receding-horizon control과 결합한다. 반면 여러 denoising step은 inference latency와 compute 비용을 만든다. Diffusion Policy는 conditional denoising, visual conditioning, receding horizon의 조합을 제시한다.

5.2.4 VLA

Vision-Language-Action 모델은 이미지와 자연어를 context로 사용해 로봇 행동을 생성한다.

$$\pi_\theta(A_t \mid I_t^{1:C}, s_t, l)$$

VLA의 장점은 task를 언어로 조건화하고 사전학습된 시각-언어 표현을 활용할 수 있다는 점이다. 그러나 자연어가 안전 제약을 대신하지 않는다. “빨리 집어라”라는 지시가 joint limit, workspace boundary, collision rule보다 우선해서는 안 된다.

정책	출력	다봉성	언어 조건	주된 비용
단일 BC	action 1개	낮음	선택적	낮음
ACT	action chunk	CVAE로 표현	보통 별도 설계	중간
Diffusion Policy	denoised chunk	강함	조건으로 확장 가능	반복 추론
SmolVLA	언어·시각 조건 action chunk	action expert가 표현	기본 구성	VLM+expert 추론