본문으로 건너뛰기

M29.04 · 멀티모달 인지와 주변 객체 추적

단위별 목표·권장 선수와 자료 준비 상태를 확인하고, 공개된 본문과 활동을 읽고 준비 상태를 확인할 수 있습니다.

전체 커리큘럼

학습 안내

본문을 읽고 장비 없는 기본 실습·세 확인 문제와 해설로 이해를 확인하세요.

예상 학습 시간: 미정. 이 페이지 방문이나 자료 열람으로 완료·숙달을 자동 부여하지 않습니다.

현재 경로·이전·다음 단위 확인 ↓

학습 목표

  • 센서 융합·물체 대응·시간 추적의 역할을 구분한다.
  • 동일시각 예측/게이트와 간단한 위치 결합을 계산한다.
  • 가림/ID교환·모달 누락·상관/지연의 실패를 진단한다.

아래 설명·실습·문제로 각 학습 목표를 확인하세요.

권장 선수

M29.03의 개념을 사용한다. 필요한 새 용어·기호는 본문에서 정의한다. 일반 코딩 문법/실제 장비 설치를 요구하지 않으며 합성 자료로 기본 경로를 수행한다. 이미 알고 있다면 직접 열어볼 수 있습니다.

설명 필수

세 목표에 대응하는 검수된 설명·예제를 읽습니다.

두 센서의 결과와 한 물체의 이력을 연결한다

융합은 서로 다른 관측의 정보를 결합하는 일이고 추적은 시간에 따라 같은 물체의 상태/ID를 연결하는 일이다. 같은 시각의 카메라/LiDAR 상자 대응과 이전 시각의 track을 현재 검출에 연결하는 대응은 별도 단계다. M14.05의 융합 위치와 M13.06/M12.05의 추적 개념을 차량 환경에 적용한다. 어떤 센서의 어떤 취득 시각·프레임/오차로 만든 결과인지 원본을 보존한다.

동일 클래스의 두 차가 교차하거나 가림이 있으면 최근접 좌표만으로 ID가 바뀔 수 있다. 한 track이 오래 유지됐다는 사실이 실제 같은 물체였다는 증명은 아니다. 검출 점수·상자 크기/방향·운동 예측·시각/기하·가능하면 외형 단서를 함께 검토하고, 불명확한 경우의 미확정/종료/재초기화 정책을 정한다.

먼저 같은 좌표와 시각에서 비교한다

자체공통 x축/clock에서 track A의 t0 위치 0m·속도 1m/s, B는 위치 3m·속도 −1m/s다. 일정 속도 모형으로 t1=1s의 예측은 A1m/B2m다. 관측 z1=1.1m/z2=2.1m가 도착했고 허용 거리 게이트를.5m로 두면 A→z1/B→z2는 각.1m로 안이다. A→z2는 1.1m/B→z1는.9m 라 밖이다.

현재 관측과 추적 예측을 구분: 정렬한 센서 관측 → 검출/추정 후보 → 일대일 추적 대응 → 미래 예측.그림 원본 크기로 보기

그림 M29.04-1. 각 칸은 서로 다른 역할/근거다. 아래 방향은 자료/처리의 연결이며 실제 성공을 자동으로 보장하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.

이 계산은 관측 시각이 정확히 1s·속도/축이 맞는 작은 예제다. 수신 시각이 같아도 취득 시각이 다르면 동일 시각 예측을 다시 해야 한다. 차량 자체의 운동으로 body 좌표가 바뀌는 것도 ego-motion 변환에 반영한다. 서로 다른 body 시각의 좌표를 그대로 빼면 물체 운동과 차량 운동을 혼동한다.

거리 게이트와 불확실성 게이트를 구분한다

고정 거리 게이트는 허용 범위가 단순하지만 각 추정의 확신을 반영하지 못한다. 공분산을 사용한 정규화 잔차/마할라노비스 게이트는 예측/관측 잡음과 상관 가정을 명시해야 한다. 작은 공분산이 모델과 틀리면 정상 대응을 버릴 수 있고, 큰 공분산을 무작정 주면 다른 물체를 연결할 수 있다. 게이트 안이라는 사실만으로 동일 물체가 확정되지는 않는다.

자체스 칼라 결합은 같은 대상/시각·독립 편향 없는 위치 관측 1.1m/분산.04m² 와.9m/분산.01m² 를 준다. 역분산 가중치 25/100, 정규화.2/.8이므로 결합 위치.94m·분산 1/125=.008m²다. 이 모형은 상자/클래스 모든 융합이나 실제 tracker를 재현한 것이 아니다. 두 관측이 공유 pose 오차를 가지면 독립 가정이 깨져 과신할 수 있다.

가림에서 예측을 관측으로 표시하지 않는다

track이 한 프레임 검출되지 않아도 예측을 유지할 수 있지만 갱신이 없었다는 상태와 불확실성을 함께 전달한다. 마지막 관측 시각·가림/관측 범위·예측 기간과 삭제 기준을 명시한다. 예측 점으로 보 간한 매끈한 궤적을 실제로 계속 측정한 궤적이라고 보고하지 않는다. 재등장 후 ID 연결의 근거와 불명확성도 남긴다.

카메라만 누락되거나 LiDAR 희소성이 커졌을 때 축소 모드/남은 관측으로 업데이트할 수 있는지 계약을 정한다. 누락 특징 0은 정상 검출 0이 아니다. 센서별 신뢰도와 보정/시간 품질을 전달하고, 한 모 달 실패가 전체 추적의 정상 상태로 숨지 않게한다. 외형 단서도 조명/가림/유사 물체에서 틀릴 수 있다.

물체 상대운동과 위험 판단을 분리한다

추적 속도가 있어도 미래 행동/도로 상황을 완전히 아는 것은 아니다. 일정 속도 예측은 가속/회전·차선 변경에 틀릴 수 있다. 자체 상대 거리 10m·양의 접근 속도 2m/s라면 일정 직선 접근의 TTC는 5s지만 이 값만으로 실제 충돌이나 회피 성공을 확정하지 않는다. 물체/차량 크기·횡 방향/가속·예측 불확실성과 제어 가능성은 별도다. 접근 속도 0에서는 이 유한 양수 계산을 그대로 쓸 수 없다.

평가 표에는 검출 오 탐/누락·ID 교환·fragmentation/가림후복구·위치/속도 오차·지연/예측 기간과 조건별 분모를 남긴다. 쉬운 연속 시퀀스와 교차/가림/모달누락을 나눠 시험하고, trackID를 정답 물체 ID로 자동 간주하지 않는다. 기본 산출물은 대응표/수치와 실패 분석이며 실제 센서 융합/차량 위험 평가를 수행한 결과가 아니다. M29.05는 이 출력과 불확실성을 계획/제어의 입력으로 쓴다.

대응표에는 후보가 선택된 이유와 버려진 이유를 남긴다. 같은 관측을 두 track에 중복 할당하지 않는 규칙과 관측 없는 track을 처리하는 규칙을 따로 정한다. 교차 상황에서 두 후보가 모두 게이트 안이면 단순 최근접만으로 결론 내리지 말고 가능한 전체 할당과 운동/외형 근거를 검토한다. 정답 ID가 제공된 평가와 실제 추정 ID를 분리해 기록한다.

새 관측이 늦게 도착했을 때 과거 상태를 다시 갱신하는 기능이 있는지도 명세한다. 지원하지 않는 시스템에서는 오래된 관측을 현재 값처럼 넣지 않고 폐기 사유와 수를 보고한다. 지연 관측 처리와 보간으로 궤적이 달라졌다면 원본의 관측/예측 이력을 보존해 이전 결과와 비교할 수 있게 한다.

학습 범위와 한계

기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.

실습 필수

장비 없는 실습을 수행하고 관찰·계산 근거를 해설과 비교합니다.

  1. A/B의 1s 예측과 네 대응 거리를 구해.5m 게이트로 판정한다.
  2. 1.1/.04 와.9/.01의 독립 결합 위치/분산을 구한다.
  3. 거리 10/접근 2의 TTC와 관측 누락 후 예측 track의 표시를 설명한다. 막히면 원 본 취득 시각 →같은 시각 예측 →대응 →결합을 나눈다.
0 / 8,000자 · 확인하면 이 브라우저에 저장

답안을 작성하고 확인하기를 한 번 선택하면 해설·판정 기준을 열어볼 수 있습니다.

학습 범위와 한계

기본 실습은 장비 없이 수행합니다. 실제 장비·GPU 실증을 완료했다는 뜻은 아닙니다.

평가·해설 필수

목표별 세 서술문항에 답하고 해설·판정 기준으로 자기검토합니다.

확인 문제 Q1

같은 수신 시각의 카메라/LiDAR 결과를 바로 같은 track에 합쳐도 되는가?

0 / 8,000자 · 확인하면 이 브라우저에 저장

답안을 작성하고 확인하기를 한 번 선택하면 해설·판정 기준을 열어볼 수 있습니다.

확인 문제 Q2

A0/v1·B3/v−1의 1s 예측과 z1.1/2.1 게이트.5 판정을 구하라.

0 / 8,000자 · 확인하면 이 브라우저에 저장

답안을 작성하고 확인하기를 한 번 선택하면 해설·판정 기준을 열어볼 수 있습니다.

확인 문제 Q3

결합.94m/분산.008이면 상관 오차·가림이 없어졌는가? TTC5s는 충돌 증명인가?

0 / 8,000자 · 확인하면 이 브라우저에 저장

답안을 작성하고 확인하기를 한 번 선택하면 해설·판정 기준을 열어볼 수 있습니다.

학습 범위와 한계

서술답안과 해설이 준비되었습니다. 자기검토와 학습 완료는 숙달 인증과 별개입니다.

참고 자료

학습 확인

실습과 세 문항의 답안을 해설과 비교한 뒤, 이 단위의 학습 완료를 직접 기록할 수 있습니다. 자기검토·학습 완료는 자동 채점이나 숙달 인증과 별개입니다.

실습1개·확인 문제3개의 답안을 저장하고 각각 자기검토를 기록하세요.

학습 이동

학습 단계 순서 · 공통 과정 이후 전문화 선택

전체 목차로 돌아가기 →

신규 활동의 답안은 이 브라우저의 통합 학습 기록에 저장합니다. 기존 화면의 답안·진도는 원래 키를 유지합니다. AI 강사는 현재 단위의 준비 상태·부족한 범위와 연결된 실제 자료를 참고합니다.