모듈 목표
- 언어 응답과 실행 성공을 분리하고 모호한 지시의 확인 절차 설명.
원안의 선수 안내: M11, M18 또는 M19, M20, M21. 실제 보충은 아래 소주제별 권장 선수를 참고하세요.
M22.01LLM 계획·VLM 인지·VLA 행동 정책 구분
학습 목표
- LLM 계획/VLM 관측 해석/VLA 행동 정책의 입력·출력과 필요한 학습/인터페이스를 구분한다.
- 언어의 객체/관계·목표를 관측 ID/프레임·시각/전제조건에 연결하고 모호함/오래된 상태를 진단한다.
- 합성 skill의 유용성/가능성 점수를 계산하고 선택·명령/실제 완료의 검증 근거를 구분한다.
권장 선수
모두 권장
M12의 영상 관측, M19의 계획/실행과 M20·M21.01의 데이터/BC 기초를 연결한다. ACT 등 특정 정책 전체를 모델 역할 구분의 필수 선수로 요구하지 않는다. LLM/VLM/VLA와 skill·접지는 본문에서 보충하며 M18.04의 Action·작업 상태와 이어 읽는다. 기본은 합성 장면/점수 표 분석이고 모델/API·ROS/로봇 실행은 없다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: LLM 계획·VLM 인지·VLA 행동 정책 구분 · 본문M22.02Prompt·구조화 출력·Tool/ROS Action 연결
학습 목표
- prompt의 관측/허용 기능·출력 계약을 정의하고 JSON 문법/스키마 검사와 실행 검증을 구분한다.
- 모델 제안과 신뢰된 실행 봉투/adapter를 구분하고 합성 TTL·scene/목표 계약을 판정한다.
- ROS Action의 수락/진행/최종 결과·취소/timeout과 중복 요청 상태를 해석하고 완료 근거를 설계한다.
권장 선수
M05.02의 Action, M19.02의 계획/실행과 M22.01의 모델 역할/접지가 선수다. JSON 구조와 현재 상태 검증을 본문에서 보충한다. 기본은 합성 제안/상태 기록이며 선택 Python은 파싱만 수행하고 실제 도구/ROS 메시지는 보내지 않는다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: Prompt·구조화 출력·Tool/ROS Action 연결 · 본문M22.03Ollama·로컬 모델·파인튜닝과 엣지 제약
학습 목표
- Ollama의 로컬 추론/모델 가져오기와 prompt 변경·파인튜닝/LoRA의 차이를 설명하고 버전/기본 모델 계약을 구분한다.
- 합성 파라미터/정밀도와 KV cache·실행/여유 조건으로 메모리 예산을 계산한다.
- 합성 API 시간/토큰 수로 생성 처리량·응답 기한을 계산하고 로봇 제어와 분리한 검증/운영 조건을 설계한다.
권장 선수
M11의 모델 파라미터, M21의 학습/평가와 M22.02의 검증/실행 계약을 연결한다. 양자화/KV·LoRA는 본문에서 보충한다. 기본은 합성 메모리/API 기록 계산이며 모델 다운로드·서버/실제 추론·파인튜닝을 실행하지 않는다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: Ollama·로컬 모델·파인튜닝과 엣지 제약 · 본문M22.04OpenVLA·SmolVLA·멀티모달 관측·행동 토큰
학습 목표
- 원 OpenVLA와 SmolVLA의 멀티모달 관측/표현과 토큰·연속 행동 생성의 차이를 설명한다.
- 교육용 action token의 구간 양자화·역변환/오차를 계산하고 실제 로봇별 행동 계약과 구분한다.
- checkpoint/전후처리·시각/자원/사용 조건을 확인하고 합성 지연 사례에서 출력의 유효성과 평가 근거를 판정한다.
권장 선수
M12의 영상, M21의 행동 표현/생성과 M22.01~03의 접지/실행·자원이 선수다. 행동 토큰/연속 flow는 본문에서 보충한다. 기본은 합성 구간/시간 계산이며 모델 다운로드·추론/파인튜닝이나 실제 로봇 동작은 하지 않는다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: OpenVLA·SmolVLA·멀티모달 관측·행동 토큰 · 본문M22.05지도 장소 의미화·언어 지시 주행·로봇팔
학습 목표
- 기하/위상·의미 지도의 역할과 장소/객체 ID·언어 관계/프레임을 구분한다.
- 합성 그래프에서 폭/문 조건을 적용한 거리 경로와 도킹의 위치/방향 오차를 계산한다.
- 언어 목표→주행→팔 조작의 전후조건/피드백·새 관측을 설계하고 실제 완료 근거를 판정한다.
권장 선수
M14의 프레임/시간, M19의 팔/모바일과 M22.01/02의 접지/Action이 선수다. 그래프/지도 목표는 본문에서 보충하며 M15.02의 지도 좌표, M17.02의 경로 비용, M18.04/.06의 작업 상태·주행-조작 미션으로 이어진다. 기본은 합성 지도/상태표이며 실제 지도 생성·Nav2/로봇 이동은 하지 않는다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: 지도 장소 의미화·언어 지시 주행·로봇팔 · 본문M22.06권한·검증·확인·중단을 거치는 실행 감독
학습 목표
- 언어 제안·외부 자료와 신뢰된 권한/검증/확인을 분리하고 최소 권한을 설명한다.
- 합성 허가표에서 대상/장면/시각·만료 조건을 계산해 명령의 실행 가능 범위를 판정한다.
- 실행/중단의 요청·수락·실제 결과를 구분하고 미상/재개 조건과 감사 기록을 설계한다.
권장 선수
M22.02의 명령 계약/Action과 M22.05의 단계별 전제를 사용한다. 신뢰 경계/최소 권한·감독 상태를 본문에서 보충한다. 기본은 종이 허가표/합성 로그이며 실제 명령 전송·안전 인증을 하지 않는다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: 권한·검증·확인·중단을 거치는 실행 감독 · 본문