6.6 평가 설계

전문 선택 M26.06 임베디드 성능·통합 TEST/결함 분석는 요구별 사례/주기·접수/물리 결과의 분모와 제공 분석/실제 실행을 구분한다. 평균이 마감 이하라도 위반을 지우지 않고, 실제 물리 시행이0이면 물리 성공률은0%가 아닌 미측정으로 남긴다.

운영 화면의 요청/권한 판정·정확한 확인·취소 수락/종료·실제 관측은 M34.03처럼 별도 기록으로 연결한다. 응답 단절이나 감사 수집 누락을 미실행으로 단정하지 않으며, 취소 수락/소프트웨어 종료만으로 물리 정지를 확정하지 않는다.

3D 관제 장면을 평가 자료로 쓸 때는 M34.02처럼 원본과 변환의 프레임·단위·시계/시각·지도/모델/교정 개정을 함께 남긴다. 최신 변환과 과거 관측의 혼합, 렌더시각으로 원본 시각을 덮는 일은 동일조건 비교를 흐린다. 마지막 정합 장면과 현재 미확인도 구분한다.

M34.01 읽기 전용 관제에서 heartbeat·필드별 원본 시각/유효성·미상/마지막값과 이벤트 순서/중복을 구분한다. 관제 수신/화면 갱신만으로 현재 로봇 관측이나 실제 실행·안전 성과를 확인했다고 하지 않는다.

6.6.1 성공 정의

Pick & Place의 성공을 “그럴듯한 영상”으로 평가하지 않는다. 에피소드 시작 전에 판정 규칙을 고정한다.

• 목표 물체가 지정 tray 내부에 완전히 놓임
• 제한 시간 내 완료
• 비목표 물체 이동 임계값 이하
• workspace/joint limit 위반 없음
• 사람 개입, E-stop, 물체 낙하는 실패

부분 성공은 별도 지표로 기록하지만 주 성공률의 정의를 사후 변경하지 않는다.

6.6.2 성공률과 Wilson 신뢰구간

$n$회 중 $s$회 성공이면 $\hat p=s/n$이다. 작은 표본에서 단순 Wald 구간 $\hat p\pm1.96\sqrt{\hat p(1-\hat p)/n}$은 0%나 100% 근처에서 나쁘다. 95% Wilson 구간은

$$\frac{\hat p+z^2/(2n)\pm z\sqrt{\hat p(1-\hat p)/n+z^2/(4n^2)}}{1+z^2/n},\quad z=1.96$$

를 사용한다. NIST는 이항 비율 구간에서 Wilson 방법을 소개하고 관련 성능 문헌을 연결한다.[NIST]

예를 들어 10회 중 9회 성공은 점추정 90%지만 불확실성이 크다. 조건당 최소 20회 이상을 시작점으로 삼되 필요한 표본 수는 허용 오차와 위험에 따라 사전에 정한다. 성공률의 episode 표본과 latency의 control tick/frame 표본을 같은 n으로 오해하지 않는다. LeRobot의 정책 기여 안내도 실물 전용 정책 결과에 재현 명령과 하드웨어, 10회 이상의 성공률 보고를 요구한다.[Hugging Face]

6.6.3 층화 실험

요인	수준 예시
물체 위치	중앙, 좌, 우, near reach limit
조명	기준, 어두움, 측면 반사
물체 색/재질	학습 내, 학습 경계, 미관측
카메라	기준, ±5 mm, ±2° perturbation
지연	기준, +20 ms, +50 ms

한 번에 여러 조건을 바꾸면 원인을 분리하기 어렵다. 순서를 무작위화하고 reset 절차를 동일하게 유지한다. 성공한 영상만 골라 전체 결과처럼 보여주는 선택 편향과, 성공할 때까지 반복한 뒤 마지막 시도만 세는 선택 편향을 피한다.