2025.01.14 - #59 - CES Review (Boston Dynamics!)

[changh95]

CES Review

• "Consumer Electronics Show"
  • 가장 큰 규모의 '가전제품' 쇼
  • ...지만 이미 테크쇼로 변질된지 오래.
• 2026년 1월 6일 ~ 9일, 라스베가스
  • 규모가 커서 총 8개의 호텔과 컨벤션 센터에 부스를 나눠서 진행

[james-joobs]

🤖 Weekly Spatial AI 리뷰 (2026.01.14)

---

🟧 π₀-FAST (LeRobot)

• 역할: 범용 로봇 제어를 위한 Vision-Language-Action 모델
• 핵심 기술:
  • FAST (Frequency-space Action Sequence Tokenization): 신호처리 기반 액션 토큰화
    • DCT(Discrete Cosine Transform)로 액션 시퀀스 압축
    • BPE(Byte Pair Encoding)로 10배 압축률 달성
  • PaliGemma 기반 아키텍처: SigLIP 비전 인코더 + Gemma 2B 언어 모델
  • KV-Caching: LLM 추론 최적화 기법 적용으로 빠른 추론
• 특징: Diffusion 기반 π₀ 대비 5배 빠른 학습, LIBERO 벤치마크에서 평균 82.5% 성공률
  🔗 HuggingFace Docs

---

🔄 Orient-Anything V2

• 역할: 단일/다중 이미지에서 객체의 3D 방향과 회전을 추정하는 Foundation 모델
• 핵심 기술:
  • 생성형 모델 기반 학습 데이터 합성: Qwen-2.5 → FLUX.1-Dev → Hunyuan-3D-2.0 파이프라인
  • 대칭 인식 분포 모델링: 단일 정면, 양방향, 완전 대칭 유형을 명시적으로 처리
  • 다중 프레임 아키텍처: 절대 포즈 + 상대 회전 분포를 동시 예측
  • VGGT 백본: 다중 작업 헤드로 방향 예측 수행
• 특징: 11개 벤치마크에서 방향 추정, 6DoF 포즈, 대칭 인식 SOTA. NeurIPS 2025 Spotlight
  🔗 Homepage

---

🚗 OpenV2X - Vision-only Perception for SDV

• 역할: 소프트웨어 정의 차량(SDV)을 위한 Vision-only 환경 인식 프레임워크
• 핵심 기술:
  • RGB-only 접근법: LiDAR 없이 RGB 카메라만으로 주변 환경 재구성
    • Tesla FSD와 유사한 비전 중심 철학, OpenCV + NumPy 기반 구현
  • 객체 감지: Ultralytics YOLOv5 기반 차량/객체 검출
  • 차선 감지: 고전 CV 파이프라인 + UFLD(Ultra-Fast Lane Detection) 이중 지원
  • V2X 통신: MQTT 기반 차량-인프라 통신
    • 가시선 밖 정보 수신 (사고, 도로 폐쇄, 이벤트 등)
  • 모듈식 설계: 각 컴포넌트가 독립적이고 교체 가능 → 아키텍처 재설계 없이 모듈 업그레이드로 정확도 향상
  • 이상 탐지 및 지속적 개선: 엣지 케이스와 이상 상황을 캡처하여 모델/시스템 지속 개선 지원
• 특징: 개방성과 모듈성에 초점, 비전 기반 자율주행의 오픈소스 대안
  🔗 GitHub

---

🖼️ Qwen Image Edit - Camera Angles

• 역할: 카메라 앵글 조절을 통한 이미지 시점 변환 도구
• 핵심 기술:
  • Qwen-Image-Edit 모델 기반: 회전, 줌, 틸트, 렌즈 타입 조절
  • 4단계 빠른 추론: 실시간에 가까운 이미지 변환
  • 다양한 시점 생성: 단일 이미지에서 여러 카메라 앵글의 결과물 생성
• 특징: Apache 2.0 라이선스, HuggingFace Spaces에서 데모 제공
  🔗 HuggingFace Space | Demo Video

---

🗺️ ArcGIS Pro - Maps

• 역할: Esri의 전문 GIS 데스크톱 애플리케이션
• 핵심 기술:
  • 2D/3D 통합 시각화: 2D 맵과 3D 씬을 단일 환경에서 작업
  • 시간 기반 분석: 시간 슬라이더로 시계열 데이터 시각화
  • 동적 범위 시각화: 다중 축척 지도 작성 및 벡터 타일 생성
  • 협업 기능: 웹 맵/웹 씬으로 공유 및 협업
• 특징: 기호화, 라벨링, 팝업 등 풍부한 시각화 도구 제공
  🔗 Esri Docs

---

🧭 NavDP / LogoPlanner

• 역할: 휠형 로봇의 자율 네비게이션을 위한 End-to-End 프레임워크
• 핵심 기술:
  • LogoPlanner 3대 혁신:
    • 절대 메트릭 스케일 기반 시각-기하학 백본 (외부 로컬라이제이션 불필요)
    • 히스토리 관찰 기반 장면 기하학 재구성 (밀집 환경 인식)
    • 기하학 조건부 정책 (오류 전파 감소)
  • Pi3 시각-기하학 모델 + DepthAnything: 깊이 추정 통합
  • Sim-to-Real: IsaacLab 시뮬레이션 → 실제 환경 Zero-shot 전이
• 특징: 센서 캘리브레이션 없이 다양한 로봇에 적용 가능, LeKiwi 오픈소스 플랫폼 지원
  🔗 GitHub

---

🧠 LLM Skill Composition via RL

• 논문: "From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by Composing Old Ones"
• 핵심 연구:
  • 연구 질문: RL이 LLM에 새로운 능력을 부여하는가, 기존 능력을 활성화하는가?
  • 방법론: 스킬을 문자열 변환 함수로 정의, f와 g를 알면 h(x)=g(f(x))를 RL로 학습
  • 주요 발견:
    • LLM은 기존 스킬을 **합성(composition)**하여 새로운 스킬 습득
    • 미노출 다중 함수 합성에 대한 일반화 성공
    • RL은 모델의 추론 행동을 근본적으로 변화시킴
• 시사점: "원자적 스킬 기반 모델 → RL로 고급 스킬 강화" 전략의 유효성 입증
  🔗 arXiv

---

🎬 Animate-Anything (Alibaba)

• 역할: 모션 가이드 기반 이미지 애니메이션 생성
• 핵심 기술:
  • 3D-UNet 기반 Diffusion 모델: 텍스트 조건화 + 모션 마스크 가이드
  • 세밀한 모션 제어:
    • Labelme 도구로 애니메이션 영역 지정
    • Strength 파라미터로 움직임 강도 조절
  • SVD(Stable Video Diffusion) 파인튜닝: 고해상도 비디오 생성
  • 효율적 학습: LoRA 파인튜닝, 멀티 GPU(DeepSpeed) 지원
• 특징: Video-to-Video 스타일 변환, RGBA 투명 비디오 지원 (개발 중)
  🔗 GitHub

---

🌐 Learning to Reason in 4D (DSR Suite)

• 논문: "Learning to Reason in 4D: Dynamic Spatial Understanding for VLMs"
• 핵심 기술:
  • 자동화 파이프라인: 실제 비디오 → 4D 학습용 QA 데이터 자동 생성
    • 카메라 포즈, 점군, 객체 마스크, 3D 궤적 추출
  • Geometry Selection Module (GSM): 2단계 Q-Former 구조
    • 질문 의미 압축 → 관련 4D 사전지식 선택 → Geometry tokens 생성
  • DSR-Bench: 인간 검수된 동적 공간 추론 평가 벤치마크
• 특징: Qwen2.5-VL-7B 기반, DSR-Bench에서 58.9% (기존 23.5-38.4% 대비 대폭 향상)
  🔗 GitHub | arXiv