학습 곡선 한 줄로 방법을 판단하지 않는다
강화 학습은 초기 네트워크·행동 표집·환경 초기화·병렬 수집 순서 등의 영향을 받는다. Seed는 의사난수 흐름의 시작을 정하는 수단이지만 같은 seed만으로 다른 장치/버전/병렬 실행에서 비트 단위 동일성을 보장하지 않는다. 학습 seed와 평가 seed·초기 조건 목록을 분리하고 실제 소프트웨어/장치·정밀도·환경 수·학습 예산을 기록한다. 고정 seed 한 번의 성공은 방법의 안정성을 입증하지 못한다.
학습 중 return은 탐색 정책·보상 정규화·난이도 변화의 영향을 받는다. 평가에서는 정해진 체크 포인트·환경/관측 통계·행동 선택 방식·시간 제한을 고정한다. 확률 정책 표집과 평균 행동 사용은 다른 정책일 수 있으니 비교 방식을 명시한다. 학습 모드와 평가 모드의 네트워크/정규화 동작이 다르면 그 차이도 남긴다.
seed별 결과와 시도별 결과를 나눈다
자체 실험은 독립 학습 seed3개 A/B/C가 각각 같은 평가 조건 10회에서 성공 8/6/9회라고 정한다. seed별 성공률은.8/.6/.9이며 평균은 23/30≈.7667이다. 각 seed의 분모가 같아서 전체 성공률과 seed 평균이 같아진다. 중앙값은.8, 범위는.6~.9다. 좋은 seed C의.9 만 보고 방법 성공률 90%라고 보고하지 않는다.
불균등 분모 예제는 A8/10·B1/2다. seed별 평균은(.8+.5)/2=.65, 전체 시도 성공률은 9/12=.75다. 어느 쪽이 옳은지는 묻는 질문과 실험 단 위에 달려 있다. seed 동 등 가중 과시도 동등 가중을 구분하고 각 분모를 공개한다. 독립 학습 seed의 변동을 같은 정책의 반복 시도 변동과 동일하게 취급하지 않는다.
평균 향상이 특정 조건의 실패를 숨길 수 있다
조건별 제공 기록은 정상 18/20성공·외란 2/10성공이다. 합계 20/30≈66.7%지만 정상 90%와외란 20%의 차이가 크다. 정상 시험을 100회로 늘리고 외 란을 10회로 유지하면 혼합 비가 바뀌어 전체 평균도 달라진다. 같은 조건 비중으로 비교하거나 조건별 수치를 함께 제시해야 한다. 평가 중 발견한 어려운 경우만 제외하거나 실패 reset 을 시도 분모에서 지우지 않는다.
성공은 목표/시간/제약을 충족한 사건으로 정하고 충돌·넘어짐·timeout·관측 상실을 별도 실패 이유로 센다. 보상 평균·성공률·생존 시간·추종오차가 서로 다른 판정을 할 수 있다. 불확실성 구간을 만들 때도 표본의 독립 단위와 추출/통계 방법을 명시해야 한다. 이 단원은 작은 집 계 계산이며 3seed만으로 정밀한 모집단 성능을 보장하지 않는다.
체크포인트를 고르는 규칙도 실험의 일부다
평가 셋 점수가 가장 좋은 체크 포인트를 반복 선택하면 그 셋은 선택용 검 증 셋이 된다. 최종 평가는 별도로 남겨 놓은 조건에서 실시한다. 마지막 학습 스텝·검증 성공 최고·고정 예산 체크 포인트 중 어떤 규칙인지 사전에 정하고, 서로 다른 방법에 다른 선택 혜택을 주지 않는다. 학습 예산을 환경 전 이수/벽시계/업데이트 중 무엇으로 맞췄는지도 기록한다.
안정성 점검에는 원시/이동 평균 보상·항목별 보상·value/actor 손실·entropy·KL·clip 비율·gradient/NaN·reset/timeout률을 함께 본다. 보상이 갑자기 커졌다고 개선으로 확정하지 말고 보상 계산/정규화/종료 마스크·환경 난이도 변경을 확인한다. 곡선을 매끈하게 만들기 위해 원 본 스파이크/실패를 버리지 않는다.
재시작과 새 실험의 경계를 남긴다
체크 포인트에는 가중치·optimizer/학습률 상태·정규화 통계·학습 카운터·seed/난수 상태와 환경/자산 버전을 묶는다. 모든 상태를 복구하지 못했다면 완전히 같은 학습의 연장이라고 주장하지 않는다. 장비/병렬화 변경이 있으면 동일 조건 재현과 조건 변경의 영향을 구분한다. 원본 로그·실패 영상/기록·설정·모델해 시를 보존하고 수정 전후에 같은 평가 명세로 재검사한다.
기본 활동에서는 제공 집계를 계산하고 선택편향/분모오류를 찾는다. 실제 GPU 학습 곡선이나 평가 결과를 만들어 제시한 것은 아니다. 선택 심화에서는 작은 예산/고정 초기 조건의 실행부터 시작해 위 기록을 남긴다. M23.06의 simulator 전이/내보내기도 이 평가 명세와 모델/전처리 형상을 동반해야 한다.
방법 A와 B를 비교할 때 동일한 평가 초기 조건을 사용할 수 있다. 각 조건에서 두 방법의 성공/실패와 오차 차이를 함께 남기면 조건 난이도 차이를 줄이는 데 도움이 된다. 다만 같은 초기 조건을 반복했다고 학습 seed가 독립적으로 늘어난 것은 아니다. 조건 목록이 학습에 쓰였는지도 별도로 확인한다.
학습이 중단된 seed를 성과 표에서 삭제하면 안정성 실패를 숨긴다. 중단 이유·사용한 예산·복구 여부와 평가 가능 여부를 보고한다. 성공률을 계산할 수 없는 실행은 임의로 100%나 0%로 대입하지 말고 전체 시작 실행 수와 평가된 실행 수를 함께 제시한다. 어떤 제외 기준을 썼는지도 분석 전에 정해야 한다.