M21.01 · Behavior Cloning·분포 이동·시연 품질

시연에서 관측과 행동의 관계를 배운다

Behavior Cloning(BC)은 시연의 관측과 행동을 입력/정답 쌍으로 사용해 정책을 배우는 지도학습 방식이다. 정책 π는 관측 o를 받아 행동을 출력하는 규칙이고 θ는 학습으로 조정하는 모델 파라미터다. 관측은 관절/영상·필요한 이력/지시문 등을 포함할 수 있으며 실제 세계의 모든 상태를 직접 안다는 뜻은 아니다. 행동도 절대 관절 목표·증분/TCP·속도 등 어떤 계약인지 정해야 한다.

상태/관측-행동 시연과 BC의 직접 지도학습을 구분한다. 보상 함수를 먼저 완성하지 않아도 시연 행동을 모방하는 목표를 정할 수 있다. 그렇다고 과업 성공/안전 기준이 불필요해지는 것은 아니다. 손실은 시연과의 차이를 줄이는 학습 기준이고 성공/물체 유지·충돌/제한은 별도 평가 기준이다.

합성 한 관절의 행동을 제한 후 절대 위치 목표(rad)로 정의하자. 현재 관측 0.2에서 action0.3은 절대 목표 0.3이지 0.5가 아니다. 학습 중에 action 뜻을 증분으로 바꾸거나 실행 시 역정규화를 빠뜨리면 손실을 잘 줄였어도 다른 움직임이 된다. 관절 이름/단위·그리퍼 표현/카메라 전처리·시간 대응을 데이터부터 실행 인터페이스까지 연결한다.

손실의 분모와 단위를 확인한다

N개 시연의 관측/행동을(o_i,a_i)라 하고 한 관절만의 제곱 오차 평균을 사용한다. MSE는 평균제곱오차, RMSE는 그 제곱근이다. 아래는 이 단위에서 정한 단일 성분 손실이며 여러 관절/시간의 합과 평균은 별도 규약이 필요하다.

그림 원본 크기로 보기

그림 M21.01-1. 각 칸은 서로 다른 역할/근거다. 아래 방향은 자료/처리의 연결이며 실제 성공을 자동으로 보장하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.

$$L(\theta)=\frac{1}{N}\sum_{i=1}^{N}\bigl(\pi_\theta(o_i)-a_i\bigr)^2, \qquad \operatorname{RMSE}=\sqrt{L}.$$

시연 a=(0.10,0.20,0.30) rad, 같은 관측의 예측=(0.12,0.18,0.34) rad라면 잔차는(0.02,−0.02,0.04)다. 제곱은 0.0004/0.0004/0.0016 rad²이고 합 0.0024를 3으로 나누면 MSE0.0008 rad²다. RMSE는 약 0.02828 rad다. 0.04가 최대 절대 오차이며 RMSE와 다른 지표다. 관측된 실제 관절 추종 오차가 아니라 저장 관측에서 예측한 action의 오차라는 점도 기록한다.

두 관절의 rad와 정규화 그리퍼를 단순 합하면 큰 숫자 단위가 손실을 지배할 수 있다. 표현별 정규화/가중치와 유효 성분·padding mask, 시간 평균의 분모를 정한다. 통계는 train에서 추정하고 validation/test는 고정 변환을 쓴다. 낮은 손실을 얻기 위해 어려운 시도/개입/실패를 설명 없이 빼면 평가의 모집단이 바뀐다.

실행하면 다음 관측도 정책의 영향을 받는다

오프라인 검증은 저장한 o_i에서 예측을 비교한다. 폐루프 실행은 정책의 행동이 환경을 바꾸고 그 결과 관측이 다시 정책 입력으로 돌아오는 과정이다. 잘못 잡거나 조금 빗나간 위치는 다음 영상/접촉·관절 상태를 바꾸므로 정책은 시연에 드물던 관측을 만날 수 있다. 이처럼 학습/평가에서 만나는 자료의 분포가 달라지는 것을 분포 이동이라고 한다.

Ross 등의 순차 모방학습 논문은 이전 행동이 미래 관측에 영향을 주는 조건을 설명한다. 데이터의 frame을 독립 표본처럼 잘 섞어 손실을 계산하는 것만으로 실행 분포까지 평가한 것이 아니다. 새로운 상태에서의 적절한 행동/관측·복구 근거가 필요할 수 있다. 단순히 실패 action을 추가 정답으로 넣는 것으로 해결했다고 주장하지 않는다.

직관을 위해 단위가 rad인 상태 오차 e[k]를 쓰자. k는 제어 단계 번호이고 e₀=0이다. 매 단계 보정되지 않는 편향 b=0.02 rad가 더해지는 교육용 모형 e[k+1]=e[k]+b라면 e₁/e₂/e₃는 0.02/0.04/0.06 rad다. 한 번의 action 오차가 작아도 여러 단계의 상태 편차가 더 커질 수 있음을 보여 준다. 이 합성 누적식은 특정 BC 정책이나 모든 로봇의 오차 법칙이 아니다.

다른 합성 모형 e[k+1]=0.5e[k]+b는 이전 오차를 일부 줄이므로 같은 세 단계가 0.02/0.03/0.035 rad다. 실제 폐루프 결과는 환경/제어·관측과 복구 능력에 달려 있다. 따라서 작은 offline MSE에서 임의의 작업 성공률이나 누적 오차를 바로 계산하지 않는다. 처음 예제의 action RMSE와 이 상태 오차 모형도 서로 다른 실험/변수다.

여러 올바른 행동의 평균이 올바르지 않을 수 있다

같은 관측에서도 시연자가 장애물의 왼쪽 또는 오른쪽으로 돌아갈 수 있다. 별도 평면 경로 예에서 이미 검사된 두 후보의 횡방향 웨이포인트 y는−1/+1 m라고 하자. 한 관측에 두 모드가 섞이고 단일 숫자 회귀가 그 평균 0을 출력한다면 중앙 장애물 쪽의 다른 경로가 될 수 있다. 두 후보가 유효했다고 그 사이의 평균도 유효한 것은 아니다.

숫자로 보면 두 정답−1/+1에 대한 상수 예측 c의 평균제곱오차는((c+1)²+(c−1)²)/2=c²+1이다. c=0일 때 1 m²로 최소이고, c=1일 때 2 m²다. 제곱 손실에는 유리하지만 과업에서는 부적절한 평균이 나오는 사례다. 여기서 y는 앞의 관절 rad와 다른 단위/모형이다. 이 평균 계산이 실제 경로 계획/충돌 검사까지 수행한 것은 아니다.

이럴 때 필요한 관측/지시문이 빠졌는지, 서로 다른 과업/모드가 같은 라벨로 섞였는지 먼저 확인한다. 관측 이력과 조건을 보충하거나 여러 행동 모드를 표현하는 정책을 검토할 수 있다. 복잡한 모델 이름을 선택했다는 이유만으로 모드/안전 문제가 해결되는 것은 아니다. 다음 ACT/확률적 정책 단원에서 표현 방법과 한계를 이어 간다.

시연의 수와 적절성/범위를 나누어 본다

좋은 시연은 결과만 성공한 영상이 아니라 관측-명령 정합과 단위/좌표·공구/제한을 추적할 수 있는 기록이다. 동작이 너무 느린/불필요한 대기인지, 제한으로 목표가 바뀌었는지와 사람 개입·복구/자율 구간을 남긴다. 시연자의 방식이 서로 다르면 잘못된 라벨인지 유효한 다중 모드인지 구분한다. 실패 기록의 유효성과 BC 목표 채택도 M20.06처럼 따로 판단한다.

데이터 수를 늘릴 때 같은 초기 위치만 반복한 것과 목표/물체·배경/관측 조건을 다양하게 다룬 것은 다르다. train/validation/test를 원본 시도·물체/조건 그룹으로 분리하고 train 통계/전처리를 고정한다. 새 데이터가 과거 split을 침범하거나 시험 조건을 보고 수집/선택을 바꾸면 비교 근거를 갱신한다. 단순 episode 개수로 일반화 범위를 보장하지 않는다.

평가 보고서는 손실과 작업 결과를 함께 남긴다

LeRobot 공식 모방학습 경로는 시연 수집/시각화, 정책 학습, 별도 평가를 구분한다. 이 단위는 그 명령을 실행하지 않는다. 평가 계획에는 입력/행동 계약·데이터/모델 revision, offline 손실/분모와 실행 조건·시도 수·성공/실패·개입/안전 이벤트를 나누어 적는다. 학습 손실만으로 폐루프 성공을 보고하지 않는다.

새 환경/범위 밖 관측에서는 오류/불확실성을 기록하고 검사·중단/복구 조건을 갖춰야 한다. 교육용 offline 계산이 실물 실행 허가가 되는 것은 아니다. 기존 5.1 행동 복제/분포 이동와 기존 5.4 시연 품질을 연결해 데이터/실행 사이의 조건을 살펴볼 수 있다.

입력은 위 3개 action/예측과 두 오차 모형, 두 방향 시연이다. 보고서에는 '훈련 손실 감소, 개입 구간 라벨 미상, 그룹 분할 미확인, 폐루프 평가 없음'이라고 적혀 있다.

1. action/관측과 절대 목표의 뜻을 설명하고 MSE/RMSE·최대 절대 오차/단위를 계산한다.
2. 두 폐루프 모형의 세 단계를 계산하고 offline 검증만으로 실행 분포를 알 수 없는 이유를 적는다.
3. 두 방향 회귀 평균과 손실을 계산하고 자료/모드·시연 품질/평가 보완을 제안한다.

관찰은 손실 계약, 폐루프/분포, 시연/평가로 나눈다. 막히면 action 예측 오차와 실제 상태 오차를 다른 표로 쓰고 분모/단위를 확인한다. 학습/GPU/로봇은 필요하지 않다.