정책과 구동기 사이의 제어 계층을 읽는다
보행 정책이 낸 숫자는 곧바로 모터 토크라는 보장이 없다. 많은 위치 목표 정책은 기준 자세에 잔차를 더하고 하위 PD 제어기가 측정 각도/속도와 비교해 토크를 만든다. 직접 토크 정책이나 다른 actuator 모형도 있으므로 선택한 정책의 계약을 읽어야 한다. 모델 입력/출력 차원만 보고 위치·속도·토크를 추정하지 않는다. M24.02의 행동 스케일을 M07의 피드백 제어와 연결하는 단계다.
PD는 위치 오차에 비례한 항과 속도 오차에 비례한 항을 더한다. 이 단위의 부호는 오차 =목표 −측정이며 토크 τ=Kp(q_des−q)+Kd(v_des−v)+τ_ff다. Kp의 단위는 Nm/rad, Kd는 Nm/(rad/s), feedforward τ_ff는 Nm다. Feedforward는 측정 오차와 별개로 미리 주는 보조 토크이며 항상 중력 보상이라는 뜻은 아니다. 실제 구동기에서 어떤 항을 사용하는지 명세한다.
기준 자세와 잔차를 먼저 계산한다
자체 한 관절의 기준 각 q_nom=.2rad, 행동 스케일 .3rad, 정책 출력 a=−.5라고 하자. 위치 목표 q_des=.2+.3×(−.5)=.05rad다. 현재 관절각이 .1rad 여도 목표는 .05rad이며 현재 각에 잔차를 매번 누적하는 것이 아니다. 기본 자세 파일과 관절 이름/순서를 모델과 연결하고, reset 때 이전 행동이나 필터 상태가 남지 않도록 한다.
제공 측정은 q=.1rad·v=.2rad/s이고 목표 속도 0, Kp20Nm/rad·Kd1Nm/(rad/s)·τ_ff0이다. 비례 항은 20×(−.05)=−1Nm, 미분항은 1×(−.2)=−.2Nm, 합은 −1.2Nm다. 양의 속도로 움직이는 관절에 미분 항이 음의 토크를 주는 방향이다. 이 숫자는 가상 한 관절 계산이며 실제 G1의 이득/토크 명령으로 사용하지 않는다.
각 계층의 제한을 분리한다
자체 최종 토크 허용 범위가 ±1Nm이고 규칙이 포화 제한이라고 정하면 출력은 −1Nm다. 제한 전 −1.2와 제한 후 −1을 함께 기록한다. 실제 허용 토크·전류·열/전원 조건은 별도 장비 명세와 검증이 필요하다. 이 예제의 단순 포화가 실물 보호를 완성하지 않는다. 위치 목표 제한·목표 변화율 제한·최종 토크 제한은 서로 다른 위치에서 작동한다.
PD 이득을 높이면 위치 오차를 더 강하게 보정할 수 있지만 접촉 충격·센서 잡음·구동기 지연과 포화의 영향도 커질 수 있다. Kp를 2 배로 바꾸면 여기서는 비례 항이 −2Nm가 되지만 전체 토크가 정확히 2 배가 되지는 않는다. 미분 항은 그대로여서 합 −2.2Nm이고 제한 후에는 여전히 −1Nm다. 이 단일 시점 계산으로 폐루프 안정성이나 튜닝의 우수성을 판정하지 않는다.
빠른 PD와 느린 정책의 시간 관계
PD 주기 2ms, 정책 주기 20ms라면 정책 목표 하나를 10개의 PD 간격 동안 유지할 수 있다. 목표가 유지돼도 PD는 각 시점의 새 측정 q/v로 토크를 다시 계산한다. 따라서 정책 출력이 일정하다는 사실과 토크가 일정하다는 사실은 다르다. Zero-order hold·보간·센서 갱신 시각 중 어떤 계약을 쓰는지 기록한다.
그림 M24.04-1. 각 칸은 서로 다른 역할/근거다. 아래 방향은 자료/처리의 연결이며 실제 성공을 자동으로 보장하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.
센서 값이 늦게 오거나 명령이 큐에 쌓이면 실제 폐루프 위상이 달라진다. 학습 simulator의 이상적인 측정/즉시 적용과 배포 조건을 맞추거나 그 차이를 평가해야 한다. 관절 속도의 차분 추정에 필터를 쓰면 잡음은 줄어도 지연이 늘 수 있다. 필터를 새로 넣은 결과를 원래 정책과 동일한 실행이라고 보고하지 않는다.
정지·기본 자세·학습 자세의 전환을 검수한다
정책 활성화 때 현재 자세와 기준 자세가 멀면 큰 목표 점프가 생길 수 있다. 준비 상태·기준 자세 접근·정책 전환·중단/복귀의 조건을 정의하고 전환 중 목표/토크 제한을 확인한다. 시뮬레이터 reset이 즉시 기준 자세를 만들어 준다고 실제 로봇에서도 같은 초기 상태를 얻었다고 가정하지 않는다. 실물 전환 절차는 감독/정지 수단과 별도로 검증해야 한다.
관절 이름·기준 각·스케일/부호·Kp/Kd·목표 속도·feedforward·주기/지연·출력 제한과 중단 상태를 버전으로 묶는다. 같은 고정 입력의 전처리/정책/목표/PD/제한 출력을 단계별로 대조하면 오류 위치를 찾기 쉽다. 오프라인 계산이 맞아도 실제 접촉/균형 성능은 별도 평가다. M24.05는 이 계약을 고정한 뒤 외란·마찰·질량·지연 변화에 대한 일반화를 다룬다.