팔 두 개와 베이스를 한 과업의 조건으로 본다
Mobile ALOHA 저자 프로젝트는 ALOHA에 이동 베이스와 전신 텔레오퍼레이션 인터페이스를 더해 양팔 이동 조작 시연을 수집하고, 정적 ALOHA 자료와의 co-training을 연구한다. co-training은 여기서 두 종류 자료를 함께 학습에 사용하는 뜻이다. 서로 다른 로봇이 온라인으로 서로 가르친다는 뜻이나, 정적 자료를 그대로 실제 이동 제어에 재생한다는 뜻은 아니다.
그림 M21.05-1. 각 칸은 서로 다른 역할/근거다. 나란히 비교할 항목이며 위아래가 시간 순서를 뜻하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.
양팔은 물체를 서로 건네거나 한 물체를 함께 지지할 수 있다. 이동 베이스는 팔의 작업 위치와 카메라 시점을 바꾼다. 각 팔을 따로 잘 모방해도 동시에 같은 물체를 잡거나 베이스가 움직일 때의 관계가 일치하지 않으면 전체 과업이 실패할 수 있다. 전신이라는 말은 이런 입력/출력과 제약을 함께 고려한다는 의미로 읽고, 사용한 구성에서 없는 센서/힘 제어 기능까지 추론하지 않는다.
원 하드웨어 repo와 학습 repo는 수집/모델 코드를 나누고 특정 과거 ROS/의존성 조합을 설명한다. 이 명령을 현재 기준 Jazzy/Ubuntu24.04 설치 절차로 그대로 복사하지 않는다. 이 단위는 원 연구의 개념을 연결하며 장비 조립/설치·그 연구의 성과를 재현했다는 주장을 하지 않는다.
관측과 행동에는 좌우·기준 프레임/시각이 필요하다
관측은 왼팔/오른팔 관절·그리퍼와 카메라/베이스 상태 등을 포함할 수 있다. 같은 이름의 elbow가 두 번 있으면 좌우 장치/관절 ID로 구분한다. 그리퍼 개폐와 팔 관절의 단위도 분리한다. 베이스는 세계 위치/자세, 바퀴 관측 또는 속도 추정 중 어떤 것을 갖는지와 시간 기준을 명시한다. 관측이 없는 채널을 실제 측정 0으로 채우지 않는다.
행동도 관절 위치 목표(rad), 그리퍼 정규화, 베이스 선속도(m/s)/각속도(rad/s)처럼 서로 다른 계약일 수 있다. 배열에 이어 붙였다는 사실이 제어기/주기까지 같게 만들지는 않는다. 물리 제한/TTL·명령 적용 시점과 각 채널의 action 표현/정규화·제한 후 목표를 기록한다. 좌우 팔을 바꿔 읽는 순서 오류는 shape가 같으면 수치 오류 없이 지나갈 수 있다.
여기서는 세계 W와 베이스 B, 베이스에 고정한 좌우 팔의 장착 프레임을 구분한다. 세계 TCP는 세계→베이스 관계, 베이스→팔 장착 관계, 해당 팔의 FK를 연결해 구한다. 좌우 팔이 같은 base 원점을 사용하는 좌표와 각 팔 장착 원점을 사용하는 좌표는 다르다. 두 TCP를 비교할 때는 같은 프레임/취득 시각으로 변환한다.
한 물체를 잡으면 두 손의 상대 관계가 제약이 된다
합성 평면의 강체 상자 중심이 세계(0,0) m이고 좌우 접촉점은(−0.2,0)/(+0.2,0) m다. 두 점의 거리는 0.4 m다. 실제 공구 방향/접촉 위치는 주어진다고 가정하고 여기서는 위치 관계만 본다. 왼손과 오른손이 상자에 고정 접촉한 동안에는 물체 운동에 맞는 상대 위치/방향 관계를 유지해야 한다.
상자를 중심에서+90도 회전하려면 점(x,y)를(−y,x)로 바꾸므로 왼손은(0,−0.2), 오른손은(0,+0.2) m다. 두 점의 거리는 여전히 0.4다. 각 손의 새 위치만 계산했다고 실제 두 팔의 IK/자기충돌·접촉 힘과 상자 변형까지 해결한 것은 아니다. 고정 접촉이 미끄러지거나 실제 물체를 유지하지 못하면 가정 자체를 갱신한다.
두 팔의 목표를 독립적으로 제한해 왼손을x로−0.01 m, 오른손을+0.01 m 더 벌리면 원래 수평 배치의 간격은 0.42 m가 된다. 강체/고정 접촉 가정과 어긋난다. 양쪽을 모두 속도 제한 안으로 잘랐다고 공통 물체의 제약이 유지되는 것은 아니다. 실제 힘/유연성·제어 구조와 중단/재계획 기준을 포함해 검토해야 하며, 두 접촉점 목표를 맞춘 것만으로 안전한 양팔 조작을 승인하지 않는다.
베이스가 움직여도 세계의 목표가 유지되는지 계산한다
독립 병진 예에서 처음 베이스 원점/방향이 세계와 같고, 좌우 TCP의 베이스 좌표도(−0.2,0)/(0.2,0) m라고 하자. 베이스가 세계+x로 0.1 m 이동했는데 팔 자세가 고정이면 세계 TCP는(−0.1,0)/(0.3,0) m가 된다. 두 손 간격은 유지되지만 세계에서 상자가 함께 이동했다. 세계의 원래 위치에 상자를 유지해야 하는 과업과는 다르다.
원래 세계 접촉점을 유지하려면 새 베이스 좌표는 각각(−0.3,0)/(0.1,0) m여야 한다. 세계 위치=베이스 이동+(회전된 베이스 좌표)라는 식에서 이번 회전은 단위행렬이다. 실제 두 팔의 장착 offset/관절 제한을 확인해 이런 보상이 가능한지 검사한다. 베이스 이동과 팔 보상 명령을 같은 시간에 보냈다는 사실만으로 동시 적용/피드백이 보장되지도 않는다.
시각 차이도 같은 문제를 만든다. 합성 모형에서 베이스가+x로 0.25 m/s로 일정 병진하고 대상은 세계에 정지해 있다고 하자. 회전/깊이 변화 없이 두 관측이 40 ms 어긋나면 상대 위치는 0.25×0.04=0.01 m만큼 달라진다. 좌우 카메라·관절/베이스를 같은 row에 넣었다는 이유만으로 이 차이가 없어지지 않는다. 부호/변환 방향과 취득/수신·적용 시각, 자료 나이/유효 조건을 따로 확인한다.
정적 자료와 이동 자료를 합칠 때 없는 의미를 만들지 않는다
정적 ALOHA 자료는 팔의 조작 패턴을 보충할 수 있지만 카메라/장치·행동/시간 스키마와 과업 조건의 호환을 확인해야 한다. base 채널이 없는 자료를 두고 실제 속도 0을 측정했다고 기록하지 않는다. 고정 베이스라는 모형 아래 파생 0 목표를 만들기로 했다면 그 가정/유효 mask와 원본에서 측정하지 않은 사실을 명시한다. 모든 자료에 동일한 차원의 loss를 무조건 적용하는 것은 다른 문제다.
공통 팔/관측 표현과 통계·마스크, 정적/이동 domain ID와 task/episode·원본 그룹을 기록한다. 같은 물체/시도에서 만든 변형을 train/test에 나누지 않는다. 실제 이동 과업 평가에 필요한 접근/정지·팔/물체 상태와 성공/개입 기준을 정적 평가와 구분한다. co-training이 어떤 과업에서 어떤 도움을 주는지는 실험으로 확인해야 한다.
가중치의 영향은 작은 예로 볼 수 있다. 같은 정규화/유효 평균 규약에서 이동 자료 2개 평균 loss=0.6, 정적 자료 6개 평균 0.2라고 입력하자. 자료 개수로 평균하면(2×0.6+6×0.2)/8=0.3이다. 두 domain을 같은 비중으로 평균하면(0.6+0.2)/2=0.4다. 서로 다른 모집단 가중치의 값이며 하나가 자동으로 더 좋은 정책은 아니다. 반복 표본/샘플러와 task·domain 가중 방식을 실험 manifest에 남긴다.
전체 과업의 결과는 따로 확인한다
평가에서는 팔/베이스의 계획·명령/실제 추종, 좌우 접촉/물체 유지와 목표 배치, 베이스 정지/관측 최신성 및 사람 개입을 나눠 기록한다. 두 팔 중 하나만 목표를 달성했거나 베이스가 움직이는 동안 한 손이 놓친 사례를 전체 성공으로 합치지 않는다. 동시 조작/정지 후 조작 중 어떤 계약을 시험했는지도 명시한다.
기존 3.2 변환 체인과 기존 5.4 시연 품질을 연결해 각 채널/시도의 근거를 추적하자. 기본 활동은 아래 합성 관계만 계산하며 팔/베이스를 실제로 동작시키지 않는다.