이번에 보인 점과 계속 존재한다고 추정한 물체를 구분한다
3D관측은 한 시각의 점군 군집·상자·중심 위치처럼 측정에서 얻은 정보다. 트랙(track)은 여러 시각의 관측이 같은 물체에서 왔다고 연결한 기록이다. 트랙에는 ID, 추정 위치/속도, 상태가 유효한 시각, 마지막 실제 관측 시각과 미연결 이력이 필요하다. 매 프레임 검출 번호를 그대로 ID로 쓰면 정렬 순서가 바뀔 때 물체 신원이 바뀐다.
여기의 관측 위치는 교육용으로 제공한다. M13.01의 군집이나 M13.05의 깊이만으로 물체의 정답 중심/크기/이름을 이미 얻었다고 가정하지 않는다. 부분 표면만 보일 때 군집의 평균 위치가 달라질 수 있고, 같은 물체가 여러 군집으로 갈리거나 서로 다른 물체가 합쳐질 수도 있다. 중심이 움직였다는 이유만으로 물체가 같은 양만큼 움직였다고 단정하지 않는다.
AB3DMOT 저자 공식 구현 소개는3D관측의 상태 추정과 시간 사이 자료 연결을 결합한 예다. 이번 단위는 그 구현을 실행하거나 같은 성능을 주장하지 않는다. 미래의 M14.04에서 배울 필터를 선행 요구하지 않고, 제공된 속도로 예측/연결의 계약을 먼저 익힌다.
예측은 실제 시간 간격과 같은 프레임에서 계산한다
위치 p와 속도 v가 마지막 관측 시각 t_m에 주어졌다고 하자. 등속도라는 가정 아래 현재시각 t의 예측은 p_hat=p+v(t−t_m)다. 위치는m,속도는m/s,시각 간격은s라 위치 단위가 맞는다. 예를 들어 x1m에서 속도2m/s라면0.5초 뒤2m,0.1초 뒤1.2m다. 프레임 번호가 하나 늘었다고 언제나 같은 간격을 쓰면 드롭/지연된 자료에서 틀릴 수 있다.
가려진 동안 계산한 예측은 새로운 관측이 아니다. 예측 위치를 표시할 시각은 갱신할 수 있지만 마지막 실제 관측 시각은 갱신하지 않는다. 예측을 새 측정처럼 저장하면 관측이 영원히 없어도 트랙 수명이 계속 연장된다. 예측을 마지막 관측 기준으로 다시 계산하는지, 이전 예측에서 증분으로 계산하는지도 고정해 시간을 두 번 더하지 않는다. 이 단위는 마지막 관측 기준을 사용한다.
관측과 트랙의 프레임도 같아야 한다. 회전 없이 같은 축을 쓰는 간단한 예에서 world의 정지 물체x=10m, 로봇world위치가0→1m로 움직이면 센서에서 물체는10→9m로 보인다. sensor값만 빼면−1m의 물체 이동으로 오해한다. 센서 위치를 더해 world로 바꾸면 두 번 모두10m라 물체 속도는0이다. 일반 상황에서는 회전·센서 장착 변환과 관측 시각의 로봇 자세까지 필요하다. 센서/로봇 시각 불일치도 가짜 운동을 만들 수 있다.
가까운 관측을 일대일로 연결하고 모호하면 보류한다
게이트(gate)는 예측과 관측이 연결 후보가 될 수 있는 범위다. 이번에는 같은world프레임의3D거리≤0.3m를 후보 조건으로 정한다. 위치/속도 불확실성을 통계적으로 추정한 게이트가 아니라 계산을 위한 고정 거리다. 이 숫자를 다른 거리/센서에도 그대로 옮기지 않는다.
후보마다 거리를 비용으로 두고 트랙과 관측을 일대일로 연결한다. 한 검출을 두 트랙의 새 관측으로 동시에 저장하면 안 된다. 각 트랙이 따로 가장 가까운 관측을 고르는 방식은 같은 검출을 중복 선택할 수 있다. 전체 연결 조합의 비용과 미연결 처리를 함께 정해야 한다. 여기서는 가능한1대1조합을 직접 비교하며 비용이 같아 신원을 구분할 근거가 없는 경우 연결을 보류한다. 실제 구현은 외관/크기·클래스·운동/불확실성 등 추가 근거를 사용할 수 있다.
카메라 박스의2D IoU와3D거리/박스 중첩은 다른 양이다. 영상에서 가까워도 깊이가 다를 수 있고 같은3D물체도 시점/가림으로2D모양이 변한다. 미터 위치와 픽셀 위치를 하나의 거리식에 바로 넣지 않는다. 3D박스 크기/회전·중심이 어떤 기준인지도 관측 계약에 포함한다.
두 물체가 교차하는 기록을 따라간다
관측은world좌표이며 Y=0,Z=10m로 같다. X만 움직인다. 트랙A는 t=0초에x0m, 제공속도+2m/s이고 B는x4m,속도−2m/s다. t=0.5초의 관측은A1m/B3m다. 이번 수명 규칙에서는 연속 두 번 명확히 연결된 뒤 확인된 트랙으로 취급하므로 이때 두 ID가 확인된다. 속도는 이 예제에서 제공한 값으로 유지하고 새로 학습/필터 추정하지 않는다.
| 시각(s) | 마지막 실측에서 예측한X(m) | 제공 관측X(m) | 판단 |
|---|---|---|---|
| 0.5 | A1 / B3 | 1 / 3 | 두 ID의 실측 갱신 |
| 1.0 | A2 / B2 | 1.9 / 2.1 | 두 연결 조합이 동점, ID연결 보류 |
| 1.5 | A3 / B1 | 3.1 / 0.9 | A→3.1, B→0.9로 재연결 |
t=1초에 예측A/B는 모두x2m다. 각 관측과의 거리는 모두0.1m여서 게이트 안이지만 어느ID가 어느관측인지 거리만으로 정할 수 없다. 두 연결 조합이 동점이다. A→1.9/B→2.1도 총0.2m, A→2.1/B→1.9도 총0.2m다. 번호순으로 결정하면 결과는 나오지만 실제 신원을 확인한 것은 아니다. 이 활동에서는 두 관측을 모호한 기록으로 남기고 새ID도 발행하지 않는다. 일반 추적기의 모든 신규물체 처리를 이 규칙으로 대신한다는 뜻은 아니다.
t=1.5초에 마지막 실측t=0.5를 기준으로1초를 예측하면 A3m/B1m다. A와3.1, B와0.9는 거리0.1m로 후보이며 교차된 연결은 거리2.1m로 게이트 밖이다. 이 운동 가정 아래 대응이 분리되어 재연결한다. 실제 물체가 가림 중 방향을 바꿨다면 이 가정은 틀릴 수 있다. 매끄러운ID나 선을 그렸다고 가려진 동안의 경로가 관측된 것은 아니다.
수명은 마지막 실측 이후의 시간으로 관리한다
이번 교육용 상태는 신규 후보→확인됨→미관측 예측 유지→만료로 구분한다. 앞의 확인 규칙은 연속 실측2회이며, 확인된 트랙의 마지막 실측 이후 나이가1초 이하이면 예측으로 유지하고1초를 넘으면 만료한다. 유지되는 예측에는 마지막 실측시각과 나이를 같이 표시한다. 실제 제품의 보편적인 시간 문턱이 아니다.
교차 예제에서 t=1에는 실측연결이 없으므로 마지막 실측은0.5초, 나이는0.5초다. t=1.5의 재관측 직전에는 나이1초로 경계 안이어서 연결할 수 있다. 반대로 그때도 보이지 않고 t=1.6까지 미연결이면 나이1.1초로 만료한다. t=1의 예측을 실측처럼 덮어썼다면 나이0.6초로 잘못 유지하게 된다.
만료 뒤 다시 보인 검출을 같은 물체라고 확정하려면 별도의 재식별 근거가 필요하다. 이번 간단 규칙은 새 후보/새ID로 시작한다. 남아 있는ID를 무조건 재사용하거나 새ID를 정확한 재식별로 부르지 않는다. 시간 역전/중복 자료도 정책이 필요하다. 이 활동은 처리 시각이 증가하는 순서만 허용하므로 Δt≤0의 입력은 격리해 진단하고 미래/과거 기록을 조용히 섞지 않는다. 온라인 추적은 미래 프레임을 보고 현재ID를 고치지 않는다는 범위도 밝힌다.
먼 물체가 적게 보이는 문제를 평균 하나로 숨기지 않는다
먼 물체는 시야에서 작아지고 점군 표본이 희소해질 수 있다. M13.05처럼 작은 시차는 같은 픽셀 차이에도 큰 깊이 변동을 만든다. 가림·반사·검출 누락과 과도한 필터도 추적 입력을 바꾼다. 큰 게이트는 재연결을 늘릴 수 있지만 다른 물체와의 연결 위험도 늘린다. 예측으로 모든 빈칸을 채우면 누락이 해결된 것처럼 보이지만 새 관측 정보가 생긴 것은 아니다.
아래는 실제 데이터셋 결과가 아닌 평가 계산용 표다. 동일한 시각/좌표 기준의 정답 물체와 추정 결과를 일대일로 비교한 매칭을 이미 제공한다. 거리 구간은 그 시각의 센서에서 정답 중심까지의 거리로 정하며 추정 거리에 따라 구간을 옮기지 않는다. 경계10m는 먼 구간에만 포함하고30m는 이번 평가 밖이다.
| 구간(m) | 정답 수 | 맞게 연결된 검출 TP | 누락 FN | 오검출 FP | TP 위치오차 평균(m) |
|---|---|---|---|---|---|
| 0≤거리<10 | 10 | 9 | 1 | 1 | 0.1 |
| 10≤거리<30 | 10 | 6 | 4 | 2 | 0.5 |
recall=TP/(TP+FN)이므로 가까운 구간0.9, 먼 구간0.6이다. precision=TP/(TP+FP)는 각각9/10=0.9,6/8=0.75다. 합친 recall은15/20=0.75지만 이것만 쓰면 먼 구간의 누락4/10을 숨긴다. 표의 위치오차는TP만의 평균이므로 누락된4개의 오차가0이라는 뜻도 아니다. 분모가0이면 비율을 정의할 수 없는 경우로 보고한다.
ID품질은 별도다. 같은 정답 물체가 시간에 걸쳐 다른ID로 바뀌는ID전환, 하나의궤적이 여러 조각으로 끊기는 현상, 재관측 지연과 예측만 유지한 비율/나이를 함께 본다. 정확한 전환/단절 계산은 평가기의 매칭·시간·가림 규약에 의존한다. nuScenes 공식 tracking 문서는 결과 형식과 여러 지표를 구분한다. 이 교재의 손계산 표를 그벤치마크 점수로 부르지 않는다.
보고에는 입력시각/프레임·관측원천·자체운동 보정·예측가정·연결규칙·모호한후보·마지막실측/나이·신규/만료·거리별TP/FN/FP와ID기록을 남긴다. 추적이 끊겼거나 점군이 비었다는 사실로 해당 공간에 물체가 없거나 주행이 안전하다고 결론 내리지 않는다. 다음 M14.02는 서로 다른 센서의 관측을 같은 공간/시각 계약으로 맞추는 문제로 이어진다.