M00.01 · Software AI와 Physical AI, 폐루프와 POMDP

답을 만드는 일과 세계를 바꾸는 일

아래 예시 사진 속 컵의 색을 묻는 프로그램은 입력 사진을 받아 색 이름을 출력할 수 있다. 컵을 옮기는 로봇은 색을 맞힌 뒤에도 컵에 접근하고, 잡혔는지 확인하고, 이동 중 미끄러지는지 살펴야 한다. 첫 번째 답이 맞아도 두 번째 과제 전체가 성공하는 것은 아니다. 물체의 위치와 접촉 상태가 행동 뒤에 변하고, 사람이나 다른 물체도 그 사이 움직이기 때문이다.

그림 원본 크기로 보기

그림 M00.01-1. 색을 묻는 입력 사진의 예. 파란 컵의 앞면과 손잡이는 보이지만 뒷면의 접촉 상태나 집기 성공은 이 사진만으로 확인할 수 없다. AI 생성 예시이며 실험 사진이 아니다.

여기서 Software AI와 Physical AI를 신경망 종류로 나누면 곤란하다. 같은 영상 모델을 사진 분류에도 로봇의 관측 처리에도 사용할 수 있다. 소프트웨어 서비스도 사용자의 반응을 받아 다음 출력을 조절할 수 있다. 이 단위에서 강조하는 차이는 출력이 물리적 상태를 바꾸는 과정에 들어가는가, 그 결과를 어떤 시간 안에 다시 확인해야 하는가이다. 규칙으로 움직이는 로봇에도 이 문제는 있고, 큰 학습 모델을 넣는다고 없어지지 않는다.

예를 들어 창고 운반 로봇은 다음 이동 방향을 제안한 뒤 실제 통로가 비었는지 다시 확인한다. 로봇팔은 집기 명령 뒤 카메라나 그리퍼 센서로 물체가 들렸는지 확인한다. 보행 로봇은 발을 옮긴 뒤 몸의 기울기와 접촉을 확인한다. 이들은 몸체와 센서는 달라도 관측→판단→행동→새 관측이라는 공통 질문을 가진다. 따라서 입문 단계에서는 특정 제품 이름보다 이 연결을 먼저 그리는 편이 도움이 된다.

폐루프가 닫히는 지점

폐루프(closed loop)는 결과를 측정해 다음 행동 결정에 되돌리는 구조다. 사람이 눈을 감고 물컵을 한 번 밀기로 정한 뒤 끝까지 그대로 미는 상황과, 컵의 위치를 보면서 조금씩 힘을 조절하는 상황을 비교해 보자. 뒤의 경우에는 목표와 현재 측정값의 차이가 다음 행동에 영향을 준다. 목표만 여러 번 출력하고 결과를 보지 않는 것은 반복 실행일 뿐 피드백이라고 할 수 없다.

그림 원본 크기로 보기

그림 M00.01-2. 결과의 새 관측이 다음 판단에 영향을 줄 때 피드백이 된다. 같은 명령을 반복하는 것만으로는 이 연결이 닫히지 않는다. 도식은 안정성이나 실제 장비 안전을 보장하지 않는다. 직접 제작.

다만 관측을 되돌려 받는다는 사실만으로 안정성이나 안전이 보장되지는 않는다. 오래된 위치를 보고 큰 행동을 계속하면 목표를 번갈아 지나칠 수 있다. 사람 손이 들어왔는데 목표 위치 오차만 줄이는 정책이라면 물체를 정확히 옮겨도 허용할 수 없는 행동이다. 실제 시스템은 의사결정과 별도로 명령의 유효기간·허용 범위·중단 조건을 확인해야 한다. 이 단위의 계산 모형은 피드백의 의미를 보기 위한 것이며 실제 로봇을 조종하는 제어기가 아니다.

보이는 장면이 세계 전체는 아니다

카메라 사진에 컵의 앞면만 보일 때, 뒷면이 비었는지 다른 물체에 걸렸는지는 사진만으로 결정되지 않을 수 있다. 실제 세계에 필요한 정보를 상태(state), 센서나 인터페이스가 돌려준 정보를 관측(observation)이라고 구분하자. 같은 앞면 사진이라도 뒤쪽 접촉이 다른 두 상태가 가능하다. 따라서 사진이 선명하다는 것과 과제에 필요한 상태를 모두 안다는 것은 다르다.

부분 관측 마르코프 의사결정 과정(POMDP)은 이처럼 상태를 직접 전부 알 수 없고 행동 뒤 결과도 불확실한 순차 의사결정을 다루는 틀이다. 지금은 영문 약자를 외우기보다 상태·관측·행동·결과의 구분을 이해하면 된다. 저자들의 POMDP 연구 보고서는 부분 관측에서의 행동 선택을 다룬다. 로봇 설계에 필요한 기호와 정책 이력은 기존 교재1.1에서 이어 읽을 수 있다.

관측 이력은 가려진 상태를 추정하는 단서다. 방금 컵을 조금 들었을 때 다른 물체가 함께 움직였다면, 정지 사진에 없던 접촉 정보를 얻을 수 있다. 그러나 이력이 있으면 항상 진실을 복원한다는 뜻은 아니다. 필요한 센서가 없거나 모든 관측이 같은 가림을 가진다면 모르는 부분은 남는다. 모르는 정보를 임의로 채워 행동하는 대신, 허용된 추가 관측을 얻거나 작업을 중단하는 선택도 설계에 포함한다.

작은 갱신식으로 연결을 읽기

종이 위에서 목표 위치가 4인 점을 생각하자. 위치의 단위는 이 활동에서만 쓰는 가상 칸이다. $x_k$는 k번째 단계의 실제 위치, $y_k$는 읽은 위치, $u_k$는 한 단계 이동량이다. 다음 규칙을 가정한다.

$u_k=\operatorname{clip}(4-y_k,-1,1),\qquad x_{k+1}=x_k+u_k.$

clip은 숫자가 -1보다 작으면 -1, 1보다 크면 1, 그 사이면 원래 값을 돌려주는 범위 제한이다. 목표와 읽은 위치의 차이를 계산하되 한 번에 한 칸보다 많이 움직이지 않는다는 뜻이다. 센서가 정확하고 즉시 읽힌다면 $y_k=x_k$다. 시작점 $x_0=1$에서 차이는3, 제한 뒤 이동량은1, 다음 위치는2다. 다음 단계도 같은 순서로 계산한다. 이 식에는 마찰·속도·관성·충돌이 없으므로 “한 칸 이동”을 실제 모터 명령으로 옮겨서는 안 된다.

장비 없이 종이에 표를 만든다. 입력은 목표4, 시작 위치1, 위의 규칙이다. 조건 A에서는 매 단계 현재 위치를 읽고, 조건 B에서는 센서가 멈춰 처음 읽은1만 계속 돌려준다고 가정한다.

1. 각 조건에서 k=0,1,2,3,4의 읽은 위치 $y_k$, 이동량 $u_k$, 다음 위치 $x_{k+1}$를 적는다.
2. 실제 위치가 목표4에 처음 도달하는 단계를 찾는다. 그다음에도 명령이 나오는지 비교한다.
3. 조건 B에서 정책이 보는 값과 실제 위치를 다른 열에 적는다. 어느 값만 보고는 성공을 알 수 없는지 설명한다.
4. 고장 복구 명령을 만들지 말고, 관측 갱신이 멈췄음을 알아차리려면 기록에 어떤 정보가 더 필요한지 제안한다.
5. A/B 계산결과를 근거로, 고정된 사진에서 컵 색을 분류하는 과제와 실제 컵을 옮기는 과제의 결과·시각 확인이 어떻게 다른지 한 문장으로 비교한다.

판정은 계산 일치와 해석을 함께 본다. 관측과 실제 위치를 한 열에 섞거나 갱신 중단을 위치 오차로만 해석하면 다시 작성한다. 계산이 막히면 먼저 차이4−1을 구한 뒤 clip을 적용하는 두 줄로 나눈다.