한 평균 대신 조건부 행동 분포를 배운다
Diffusion Policy는 관측을 조건으로 행동의 분포를 모델링하고 잡음에서 행동 시퀀스를 반복 생성하는 접근이다. 저자 프로젝트는 action diffusion과 시각 조건·receding horizon 실행을 연결한다. 좌우 회피처럼 여러 시연 모드가 있을 때 한 숫자 평균에만 의존하는 방식과 구별할 수 있지만 모든 표본이 과업/안전 조건을 만족한다는 보장은 아니다.
행동 시퀀스는 각 관절/공구 목표를 시간 순서로 모은 배열이며 원래는 물리 단위를 가진다. 학습에서는 M21.02처럼 정규화한 행동을 쓸 수 있다. 이후 수치 예의 a는 무차원 정규화 행동 한 성분이다. 잡음을 더하는 시점 번호 n은 생성 과정의 단계 번호이며 로봇의 제어 시각 t와 다르다. 시연의 여러 제어 시점과 생성 반복 축을 섞지 않는다.
학습은 아는 잡음으로 문제를 만든다
전방 과정에서는 깨끗한 시연 a에 정해진 크기의 잡음을 더해 x_n을 만든다. ε는 표준정규분포에서 뽑는 잡음, ᾱ_n은 해당 생성 단계에서 신호가 얼마나 남는지 나타내는 0~1 사이 계수다. bar는 여러 단계의 누적 계수를 뜻하며 이 예에서는 값을 직접 제공한다.
그림 M21.04-1. 각 칸은 서로 다른 역할/근거다. 아래 방향은 자료/처리의 연결이며 실제 성공을 자동으로 보장하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.
ᾱ_n=0.64이면 제곱근은 0.8/0.6이다. a=0.5, 뽑은 ε=−1이라면 x_n=0.8×0.5+0.6×(−1)=−0.2다. 학습에서는 원래 a와 넣은 ε를 알기 때문에 관측/단계 번호와 x_n으로 잡음을 예측하도록 문제를 만들 수 있다. 잡음 예측값 ε̂=−0.9이면 이 한 성분의 잡음 MSE는(−0.9−(−1))²=0.01이다. 이는 실제 위치 오차/성공률이 아니다.
같은 식을 정리해 깨끗한 값의 추정 â를 계산하면 다음과 같다. 여기서는 ᾱ_n>0이며 ε̂가 모델의 잡음 예측이다.
수치를 넣으면(−0.2−0.6×(−0.9))/0.8=0.425다. 진짜 ε=−1을 정확히 넣으면 0.5로 복원된다. 이 한 단계 대수는 신호/잡음의 역할을 보이는 예이며 전체 diffusion sampler를 실행한 결과가 아니다. 실제 추론은 원래 행동/진짜 잡음을 모르고, 정한 scheduler와 반복 규칙으로 여러 단계의 샘플을 갱신한다.
노이즈 제거 반복은 물리 시간을 진행시키지 않는다
공식 Diffusion Policy 구현 예는 잡음 초기화·조건 입력·모델 출력/scheduler 갱신을 반복하고 행동을 역정규화하는 구조다. 설정에 따라 예측 대상/스케줄과 조건 방식이 달라질 수 있어 이번 잡음 예측 수식 하나를 모든 버전의 업데이트 식으로 쓰지 않는다. U-Net/Transformer 등 신경망 구성과 학습/샘플링 단계 수를 기록한다.
생성 반복 K=10회, 한 번의 모델 계산이 합성 3 ms, 전처리 2 ms/후처리 3 ms라면 직렬 예산은 10×3+2+3=35 ms다. 새 명령 준비 기한을 40 ms로 정하면 이 계산에서는 5 ms가 남는다. K=20이면 65 ms로 25 ms 초과다. 실제 장비/모델에서 잰 성능이 아니며 큐/전송·동기화/변동은 이 예산에 포함하지 않았다. 반복 수를 줄였을 때 행동 품질이 유지되는지도 별도 평가해야 한다.
출력 H=4개/제어 간격 0.05 s이며 각 행동을 한 간격 유지한다면 적용 구간은 0.20 s다. 그중 E=2개를 실행한 뒤 재계획하는 계약은 0.10 s 간격이다. K=10 생성 반복이 로봇 0.5 s를 진행했다는 뜻은 아니다. 제어 주기마다 추론할지/여러 목표를 큐에 둘지, 지연된 결과를 어느 적용 시각에 붙일지와 기한 실패 정책을 명시한다. 실제 관측을 다시 받기 전 시퀀스를 오래 실행하면 피드백이 늦어질 수 있다.
Motion Manifold는 움직임 집합의 구조를 다룬다
Motion Manifold Primitives(MMP)는 한 과업에 대한 단일 궤적 대신 연속적으로 변화하는 궤적 집합을 표현/생성하는 접근이다. 다양체(manifold)는 주변의 복잡한 자료를 몇 개 좌표로 매끄럽게 표현할 수 있는 구조라는 직관으로 시작하자. 잠재 좌표 z가 달라지면 decoder가 다른 궤적을 내는 식으로 family를 표현할 수 있다. z는 실제 로봇 관절 하나와 반드시 같은 의미가 아니다.
EMMP 원논문은 과업의 대칭을 활용해 이 집합을 학습하며 autoencoder와 변형 가능성 가정을 사용한다. equivariance는 과업 입력에 정해진 변환을 주면 출력 궤적도 그에 맞게 변환되는 관계다. 출력이 무조건 같은 invariance와 다르다. 이 개념을 Diffusion Policy와 비교할 수 있지만 MMP/EMMP를 diffusion sampler나 이름이 비슷한 RMPflow·Riemannian Flow Matching과 같은 알고리즘으로 부르지 않는다.
매끄러운 family에도 제약 검사가 필요하다
원리를 보는 독립 평면 곡선 family를 γ_z(s)=((1 m)×s,z sin(πs))로 정의한다. s는 0~1의 무차원 진행 비율이며 x좌표는 1 m에 s를 곱한 값, z는 m 단위 곡선 높이다. 시작/끝은 항상(0,0)/(1,0) m이고 중간 s=0.5에서 높이는 z다. 이 식은 학습한 EMMP가 아니라 연속 family와 제약의 차이를 보이는 반례다.
중앙(0.5,0)에 반지름 0.1 m 장애물 원판이 있다고 하자. z=+0.3/−0.3의 경로는 위/아래로 돌아간다. |x−0.5|≥0.1에서는 원판 내부일 수 없고, x가 0.4~0.6인 구간에서는 |y|≥0.3 sin(0.4π)≈0.285 m로 반지름보다 커서 두 곡선은 이 원판을 피한다. 그러나 두 잠재값의 평균 z=0은 직선이 되어 중간에서 장애물 중심을 지난다.
끝점과 매끄러움이 유지된다는 사실만으로 모든 보간 경로가 과업을 만족하지는 않는다. 장애물을 사이에 둔 다른 우회 모드를 하나의 단순 보간으로 연결할 때 제약을 깨뜨릴 수 있다. 실제 MMP의 표현/가정·훈련 범위와 생성 경로 검사를 확인해야 한다. 이번 family 전체를 '모두 유효한 MMP'라고 부르지 않는다. 관절/도달·공구 방향/속도·접촉과 시간 조건도 이 평면 반례에서 제외했다.
평면의 기하 문제 전체를+x로 0.2 m 옮기면 시작/끝은 0.2/1.2, 원판 중심은 0.7 m로 함께 옮겨져 상대 형상은 같다. 이 제한 문제에서는 궤적도 함께 옮기는 관계를 생각할 수 있다. 실제 팔의 고정 베이스/도달 범위·지면/중력 등은 이런 변환의 대칭을 깨뜨릴 수 있다. 목표만 옮기고 장애물/시작·로봇 제약을 그대로 둔 것을 동일 문제로 승인하지 않는다.
생성 방법과 검증 계약을 함께 비교한다
Diffusion Policy에서는 조건/행동 표현·scheduler/반복 수·seed와 계산/적용 시간을 기록한다. MMP 계열에서는 과업/잠재 표현과 사용한 대칭·훈련/변형 범위, decoder와 생성 경로의 검사를 기록한다. 둘 모두 별도 데이터/그룹 평가와 모드·동작 한계가 필요하다. 한 번 그럴듯한 경로를 생성했다고 모든 외삽/새 장애물에 대응한 것은 아니다.
기존 5.2 Diffusion Policy 계보와 기존 3.3 IK/과업 자유도를 연결해 생성과 실행 가능성의 차이를 복습하자. 아래 활동은 수식/그림을 종이에 그려 계산하며 모델을 설치하거나 장비에 명령하지 않는다.