행동의 결과가 다음 입력을 바꾼다
지도 학습은 주어진 입력과 정답의 관계를 배우지만 강화 학습은 행동이 다음 상태와 앞으로 받을 보상에 영향을 준다. MDP(Markov Decision Process)는 상태 s, 행동 a, 상태 전이 규칙, 보상, 할인율 등으로 문제를 정의한다. Markov 가정은 현재 상태가 다음 상태 분포를 정하는 데 필요한 과거 정보를 담는다는 뜻이다. 환경이 결정적이라는 뜻은 아니다. 같은 상태/행동에서도 확률적으로 다른 결과가 나올 수 있다.
자체 도달 과제의 상태는 위치 x와 속도 v다. 위치가 같아도 목표를 향해 빠르게 움직이는 경우와 반대로 움직이는 경우는 다음 위치가 다르다. 위치만 상태라고 정하면 전이에 필요한 속도를 놓칠 수 있다. 실제 로봇의 카메라 한 장에는 속도·가려진 물체·접촉 상태가 다 들어 있지 않을 수 있다. 관측 o는 센서로 얻은 정보이며 환경 상태 s 자체와 구별한다.
POMDP는 상태를 완전히 관측하지 못하는 문제를 다룬다. 관측 이력·이전 행동·순환 상태나 상태 추정으로 필요한 정보를 보충할 수 있지만, 단순히 프레임을 몇 장 쌓는 것으로 언제나 완전한 상태가 된다고 보장하지 않는다. 학습 때만 알 수 있는 simulator의 정답 상태를 실행 actor에 넣으면 실제 시스템에서 입력을 만들 수 없다. Actor에 전달하는 관측과 critic의 추가 정보를 구별해 기록한다.
정책과 가치는 다른 질문에 답한다
정책 π는 상태/관측 또는 이력을 보고 행동을 선택하는 규칙이다. 결정적 정책은 하나의 행동을, 확률적 정책은 행동 분포를 정할 수 있다. 가치 V는 정책을 따를 때 앞으로 받을 수익의 기대 값이며 지금 즉시 받은 보상 r과 다르다. 행동 가치 Q는 특정 행동을 먼저 한 뒤 정책을 따를 때의 기대 수익이다. 값이 크다고 물리적으로 안전하다는 뜻은 아니며 정의한 보상과 모형의 범위 안에서 읽는다.
그림 M23.01-1. 각 칸은 서로 다른 역할/근거다. 아래 방향은 자료/처리의 연결이며 실제 성공을 자동으로 보장하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.
할인 수익은 G_t=r_t+γr_(t+1)+γ²r_(t+2)+…로 정의한다. γ는 미래 보상의 가중치를 정하는 할인율이며 보통 0과 1 사이의 값을 쓴다. 자체 보상 열 1,1,4와 γ0.5에서는 첫 시점 수익 1+0.5+1=2.5다. 할인 없이 합하면 6이므로 다른 목표가 된다. 먼 미래의 큰 보상과 즉시 보상의 절충을 γ가 바꿀 수 있다. 단순히 학습 속도 옵션으로만 해석하지 않는다.
성공 보상과 성공 판정은 별도로 둔다
제공 도달 규칙은 목표 거리 ≤0.1m이고 속도 절대값 ≤0.05m/s를 동시에 만족하면 성공이다. 거리 0.08m라도 속도 0.3m/s로 통과 중이면 아직 성공이 아니다. 매 스텝 거리 감소에 보상을 주는 shaping은 학습에 도움을 줄 수 있지만 목표와 다른 행동을 선호하게 만들 수도 있다. 성공 판정을 보상 총합 하나로 대체하지 않는다.
실패 종료는 경계 이탈이나 넘어짐처럼 과제에서 정한 terminal 사건이다. 시간 제한은 데이터 수집/계산 때문에 끊긴 truncation일 수 있다. 종료 직후 보상·관측이 마지막 상태인지 자동 reset된 다음 episode의 시작인지 API 계약을 확인한다. 마지막 관측과 reset 관측을 혼동하면 다음 가치로 잘못 연결할 수 있다. Gymnasium은 terminated와 truncated를 분리하므로 사용하는 wrapper/학습기의 처리를 함께 검토한다.
종료 이유는 가치 목표를 바꾼다
자체 한 단계 목표를 y=r+γV_next로 두자. 실제 terminal이면 미래 가치가 없어 y=r로 둔다. r1·γ0.9·V_next5이면 terminal 은 1, 계속되는 과제를 시간 제한으로 끊은 경우의 bootstrap은 1+4.5=5.5다. bootstrap은 현재 가치 추정을 다음 목표 계산에 사용하는 일이다. 모든 truncation을 무조건 같은 방식으로 처리한다는 뜻은 아니다. 시간 자체가 유한 과제의 상태/목표라면 남은 시간과 terminal 정의를 일관되게 정해야 한다.
환경 명세에는 관측/행동 순서·단위/범위·주기·초기 상태 분포·보상 항목·성공/실패·시간 제한·reset과 누락 처리 계약을 남긴다. 같은 이름의 과제라도 이 중 하나가 바뀌면 다른 학습 문제가 될 수 있다. 고정된 평가 조건에서는 성공률·실패 이유·완료 시간·제약 위반을 보상과 함께 비교한다. M23.02는 이 전이를 모아 actor와 critic을 업데이트하는 PPO의 작은 계산으로 이어진다.