M30.05 · 성공률·신뢰구간·층화 실험·비교 기준

시험 한 번과 성공을 먼저 고정한다

성공률은 성공 수 k를 정의된 시험 수 n으로 나눈 값이다. 영상 프레임 수나 명령 tick 수가 곧 작업 시험 수는 아니다. trial은 한 번의 초기 조건/미션 시작에서 성공·실패/중단·미상으로 판정하는 단위로 정한다. 예를 들어 '대상 컵을 제한 시간 안에 지정 구역에 놓고 유지 결과가 관측됨'을 성공으로 정할 수 있다. 시간 한계/초기화·재시도/개입·결과 누락을 어떻게 셀지 사전에 명시한다.

합성 과제는 시작한 trial을 모두 분모에 넣고 사람 개입/timeout·결과 미상을 자율 성공으로 세지 않는다. 결과 미상의 수/사유도 별도 보고한다. 이렇게 정한 보수적 관측 지표가 모든 실패의 원인을 아는 것은 아니다. 어려운 초기 조건을 시도하기 전에 제외하거나 실패 로그를 삭제하면 분모가 달라져 비교가 왜곡된다. 시작하지 않은 시험/장비 오류의 제외 규칙도 사전에 기록한다.

같은 물체/세션에서 이어지는 반복은 상관될 수 있다. 배터리/온도·물체 손상/배치·운영자 개입과 학습/적응 상태가 유지되면 완전히 새로운 독립 trial과 다르다. 초기 조건/그룹/순서·재설정과 실제 사용 범위를 기록한다. 합성 기록/시뮬레이션·shadow와 실제 폐루프 시험은 같은 분모의 성과로 섞지 않는다.

작은 성공률의 불확실성을 구간으로 표시한다

각 trial이 독립이고 동일한 성공 확률 p를 갖는 Bernoulli 시행이라는 모형을 먼저 가정한다. Bernoulli는 성공 1/비성공 0의 두 결과를 뜻한다. 표본 비율 p_hat=k/n은 알려지지 않은 p의 추정이다. 18/20과 90/100은 모두 0.9지만 표본 크기가 다르다. 독립/동일 조건 가정이 맞지 않으면 단순 이항 구간을 그대로 믿을 수 없다.

NIST 공식 설명의 Wilson 방법으로 양측 약 95% 구간을 계산해 보자. n>0, z=1.96을 표준정규 분포의 약 97.5% 분위수로 사용한다. d는 보정 분모, c는 구간 중심, h는 반폭이다. 기호 위 hat은 관측에서 계산한 추정임을 표시하고 p_L/p_U는 구간의 하한/상한이다.

$$\hat p=k/n,\quad d=1+z^2/n,\quad c=\frac{\hat p+z^2/(2n)}{d}.$$ $$h=\frac{z}{d}\sqrt{\frac{\hat p(1-\hat p)}{n}+\frac{z^2}{4n^2}},\qquad [p_L,p_U]=[c-h,c+h].$$

18/20에서는 d=1.19208/c≈0.83555/h≈0.13659라 구간은 약 [0.699,0.972]다. 90/100은 약 [0.826,0.945]로 더 좁다. 계산의 반올림 자릿수를 구간의 실제 보장 정밀도로 해석하지 않는다. 20/20도 Wilson 구간은 약 [0.839,1]이므로 몇 번 모두 성공했다고 참 성공 확률이 1로 확정되는 것은 아니다.

신뢰수준은 같은 표집/구간 절차를 반복할 때 참 p를 포함하는 비율에 관한 해석이다. 관측한 한 구간 안에 p가 있을 확률을 무조건 95%라고 선언하거나 다음 동작이 안전할 확률로 쓰지 않는다. Wilson은 여기서 사용하는 근사 방법이고 정확 이항 구간 등 다른 방법과 수치가 다를 수 있다. 표본/가정과 방법·양측/신뢰수준을 함께 남긴다.

조건별 표를 보면 전체 순서가 바뀔 수 있다

다음은 별도 합성 후보 A/B의 쉬운/어려운 조건 표다. 각 칸은 성공/시작한 시험 수이며 조건 정의가 같다고 가정한다. 실제 시험을 한 결과가 아니다.

후보	쉬운 조건	어려운 조건	단순 합계
A	9/10=90%	40/100=40%	49/110≈44.5%
B	80/100=80%	3/10=30%	83/110≈75.5%

A는 각 조건에서는 B보다 높지만 전체 합계는 더 낮다. A가 어려운 조건을 훨씬 많이 수행했기 때문이다. 이런 구성 차이를 무시하고 B가 모든 조건에서 우수하다고 결론내릴 수 없다. 성공률의 분모/조건 비중을 함께 보고 같은 목표 조건 분포에 맞춰 비교한다.

운용 목표 비중을 쉬움/어려움 각각 0.5로 사전에 정했다고 하자. 조건별 비율의 가중 합은 A 0.5×0.9+0.5×0.4=0.65, B 0.5×0.8+0.5×0.3=0.55다. 이는 공통 비중으로 표준화한 추정이며 A의 실제 관측 합계가 65%였다고 바꾸어 쓰지 않는다. 각 조건의 작은 표본/불확실성은 여전히 남는다.

표준화한 0.65에 원래 n=110을 그대로 붙여 단일 동일 확률 이항 Wilson 구간을 만들면 설계/가중의 불확실성을 잘못 취급할 수 있다. 층별 표본/구간과 설계에 맞는 결합 방법이 필요하다. 운용 분포가 미상일 때 임의의 유리한 비중만 골라 최종 성과로 보고하지 않는다. 여러 비중의 민감도와 조건별 원본을 남긴다.

같은 회차 비교에는 짝 정보를 유지한다

동일한 초기 조건/미션을 두 후보에 연결한 paired 비교는 조건 차이를 줄일 수 있다. 다만 실제 장비에서는 먼저 수행한 후보가 물체/온도·배터리를 바꾸지 않도록 초기화/순서·상태를 관리해야 한다. '같은 방에서 실행'이라는 말만으로 완전한 짝이 되는 것은 아니다. 조건/회차 ID와 초기화·개입/중단을 기록한다.

별도 20쌍 표가 둘 다 성공 14, A만 성공 4, B만 성공 1, 둘 다 비성공 1이면 A는 18/20=90%, B는 15/20=75%다. 관측 차이는 15%p지만 핵심 불일치 정보는 4 대 1이다. 20쌍을 서로 독립인 40개로 바꾸거나 합계만 보존하면 설계를 잃는다. 이 작은 예만으로 통계적 우열을 선언하지 않고 설계에 맞는 분석/추가 독립 반복을 준비한다.

두 개별 구간의 중첩 여부만으로 차이가 유의/무의하다고 단정하는 것도 피한다. 비교할 차이/비용·허용 열화와 필요한 표본/분석을 미리 정한다. 여러 모델/seed/threshold를 같은 시험에서 보고 가장 좋은 결과를 골랐다면 선택 편향이 생긴다. 개발/설정 선택 자료와 잠근 최종 시험을 분리한다.

보고서에는 실패 원인과 범위를 함께 쓴다

평가 표에는 작업/초기 조건·시험 단계, 버전/입출력·시간/제한/감독, 성공 정의/분모·개입/미상, 조건별 수/비율·구간 방법, paired/독립 설계와 선택 절차를 둔다. 같은 성공률에서도 물체 손상/중단·시간/지연 비용은 다를 수 있어 공동 기준을 확인한다. 성공률 신뢰구간이 실제 장비의 안전 인증을 대신하지 않는다.

합성 표는 계산/비교 원리를 검증하는 근거다. 실제 성과가 필요하면 별도 승인된 시험 절차/장비 조건과 원본 로그/영상·독립 반복이 있어야 한다. 기존 6.6 평가 설계와 5.10 평가를 연결해 결과보다 먼저 평가 계약을 고정하자.

입력은 본문의 독립 동일 조건 18/20·90/100·20/20, 층별 A/B 표와 공통 비중 0.5/0.5, 별도 20쌍 비교표다. 모두 합성이다. 계산기/표준 Python으로 Wilson 공식을 계산해도 된다.

1. trial/성공·개입/미상과 단계/조건·독립성의 평가 계약을 적는다.
2. 세 성공률/구간과 층별/합계·공통 비중 성공률을 계산하고 조건/구간 가정을 설명한다.
3. 짝 비교의 합계/불일치와 선택/독립 시험·추가 근거를 제안하고 과장된 결론을 고친다.

관찰은 계약, 계산, 비교 결론으로 나눈다. 막히면 모든 분모/조건·짝 ID를 표 머리글에 적는다. 실제 로봇 시험은 필요하지 않다.