합성 데이터 없이 로봇 월드 모델을 학습하는 방법

이 글은 AWS Physical AI Blog에 게시된 Training World Models on Scene Semantics, Not Pixels을 번역 및 편집한 글입니다.
사전학습된 AI 모듈과 고전 컴퓨터 비전을 조합하여, 도메인 데이터나 합성 프레임 없이 일반 단안(monocular) 영상에서 장면 의미론(scene semantics)을 추출하는 새로운 로봇 월드 모델 학습법을 소개합니다.

소개

오늘날 로봇 AI 학습은 어디를 가나 같은 레시피를 따릅니다. 거대 신경망에 수십억 장의 이미지, 텍스트 명령, 모터 커맨드를 넣고 일반화가 나타나기를 기대합니다. Vision-Language-Action(VLA) 모델인 RT-2, Octo, π0은 각각 수백만 건의 텔레오퍼레이션 시연이나 수십억 개의 이미지-텍스트-액션 조합을 학습합니다. 실제 로봇 데이터 수집 비용을 줄이기 위해, 학습 데이터의 상당 부분을 시뮬레이터에서 생성하거나 디지털 트윈으로 렌더링하거나 생성형 비디오 모델로 만들어냅니다.

이 레시피는 어느 정도까지는 작동합니다. 하지만 세 가지 구조적 문제가 있습니다.

첫째, “제로샷”이라는 같은 용어로 전혀 다른 두 가지를 혼동할 수 있습니다.(자세한 내용은 뒤에서 설명합니다.)
둘째, 합성 데이터 비중이 높아질수록 sim-to-real 의 차이가 커집니다.
셋째, VLA가 실패했을 때 수십억 파라미터의 블랙박스만 있을 뿐, 모듈별 원인 진단이 불가능합니다.

혹시 모놀리식 애플리케이션과 마이크로서비스 아키텍처 사이에서 고민해 본 적이 있다면, 이 글에서 다루는 트레이드오프가 익숙하게 느껴질 것입니다. 현재 주류를 이루는 VLA 접근 방식은 모놀리식에 해당합니다. 모든 것을 처음부터 끝까지 처리하는 하나의 거대한 모델이죠. 이 글에서 설명하는 F.R.A.N.T.Z.(Feature-Rich Reverse Kinematic Analysis for Neural Topology in Zero-Shot Scene) 방식은 마이크로서비스 버전이라 할 수 있습니다. 각자 한 가지 일을 잘 해내는 여러 개의 독립적으로 학습된 모델을, 고전적인 컴퓨터 비전 기법으로 이어 붙여 조합하는 것입니다. 그 결과물은 장면 시맨틱(scene semantics), 즉 객체, 평면(plane), 어포던스(affordance), 손-팔 운동학(kinematics), 그리고 계량적(metric) 3D 포인트 클라우드입니다. 이 모든 것을 작업별 학습(task-specific training) 없이, 평범한 단안(monocular) 비디오에서 정답(ground truth)으로 곧바로 추출해 냅니다.

이 글은 AWS Physical AI Blog와 HPC Blog의 네 편의 연관 글과 함께 읽을 수 있습니다:

• 산업 검사 보고서 자동화를 위한 성숙도 프레임워크 — 모든 컴퓨터 비전 파이프라인이 거치는 4단계 자동화를 정의합니다.
• AWS에서 LiDAR 3D 포인트 클라우드를 활용한 엔드투엔드 확장 가능 비전 인텔리전스 파이프라인 — LiDAR 시퀀스를 대규모로 처리하기 위한 클라우드 인프라 레이어를 다룹니다. LiDAR 데이터가 없을 때, F.R.A.N.T.Z.는 사전학습된 생성형 AI 모델과 고전 컴퓨터 비전의 새로운 조합으로 2D 단안 영상에서 3D 장면 구조를 복원합니다.
• Graviton에서 OpenCV 가속화 — COOL 프레임워크 — AWS Graviton에서 OpenCV 라이브러리를 가속하는 작업을 설명합니다. F.R.A.N.T.Z.는 설계상 OpenCV를 많이 사용하며, COOL을 통해 Graviton 인스턴스에서 AWS 네이티브 가성비로 확장됩니다.
• AWS 공간 데이터로 검사 인텔리전스 구축하기 — AWS 기반 공간 데이터 관리(SDMA) 프레임워크를 소개합니다. VLA 학습이든 F.R.A.N.T.Z.든 수천 개 영상과 사이트에 걸쳐 확장하기 전에, 데이터를 체계적으로 관리할 곳이 필요합니다. SDMA가 그 역할을 합니다.

“제로샷”이 진짜 의미하는 것

AI 발표에서 “제로샷”이라는 말을 자주 들어보셨을 겁니다. 이 용어는 두 가지 전혀 다른 의미로 사용되며, 그 차이가 이 글의 핵심입니다.

• 엄격한 정의 (머신러닝 교과서 기준): 해당 과제의 학습 예시를 단 하나도 보지 않은 상태에서 수행하면 제로샷입니다.
• 느슨한 정의 (현재 업계에서 쓰이는 방식): 수백만 개의 유사한 명령으로 학습했더라도, 그 정확한 문장을 본 적이 없으면 제로샷이라고 부릅니다.

비유를 들어보겠습니다. 10,000가지 레시피를 요리해 본 셰프가 있습니다. 처음 보는 새 레시피를 건네면 능숙하게 따라합니다. 이것이 “제로샷 요리”일까요? 사실 아닙니다. 이 셰프는 대규모로 학습된 기술을 새 프롬프트에 적용하는 것입니다. 새로운 것은 레시피이지, 요리 실력이 아닙니다. 오늘날 VLA의 “제로샷”이 바로 이것입니다 — 새로운 명령이지만, 컵 인식·집기·놓기 같은 기본 기술은 수십억 개의 학습 예시에서 나온 것입니다.

F.R.A.N.T.Z.는 예전의 더 엄격한 의미에서 제로샷입니다. 주방 조작 도메인의 예시를 단 하나도 본 적이 없습니다. 학습용 비디오 한 편, 레이블이 달린 시연 하나조차 접하지 않았습니다. 주방 장면을 이해하는 이 능력은, 각각 전혀 무관한 작업으로 학습된 모듈들을 조합하는 데서 생겨납니다. 인터넷 사진으로 학습한 깊이 추정, 범용 객체 데이터셋으로 학습한 객체 검출, 일반적인 손 사진으로 학습한 손 랜드마크 검출이 바로 그것입니다. 주방을 이해하는 능력은 그 어느 모듈에도 들어 있지 않습니다. 그 능력은 여러 모듈을 엮어 낸 조합 속에 있습니다.

이를 데이터 수준 제로샷이라 부르며, VLA의 프롬프트 수준 제로샷과 구분합니다. 둘 다 유효한 용법이지만, 비용 구조는 전혀 다릅니다. 프롬프트 수준 제로샷은 대규모 학습 투자(통상 수십억 예시)가 필요하고, 데이터 수준 제로샷은 도메인 특화 데이터 수집이 불필요합니다.

이 글에서 배울 수 있는 것

• 임베디드 AI에서 원시 픽셀과 합성 데이터로 월드 모델을 학습시키는 방식이 왜 갈수록 효과가 줄어드는지
• F.R.A.N.T.Z.가 어떻게 작업별 학습 없이도 평범한 단안 비디오에서 정답 수준의 장면 시맨틱을 추출해 내는지
• 어포던스와 장면 사전지식이 수백만 건이 아니라 단 한 번의 사람 시연만으로 어떻게 새로운 장면에 전이되는지
• 고전적 컴퓨터 비전(COOL을 통해 Graviton에서 구동되는 OpenCV)과 생성형 AI가 서로를 어디에서 보완하는지
• 픽셀이 아니라 장면 시맨틱을 예측하는 JEPA(Joint Embedding Predictive Architecture) 방식의 월드 모델로 나아가는 길

픽셀이냐 시맨틱이냐, 그 트레이드오프

전형적인 엔드투엔드 VLA 파이프라인은 이렇게 생겼습니다. 원시 픽셀 → 토크나이저 → 거대한 트랜스포머 → 행동 명령. 인지, 언어 접지(grounding), 모터 계획의 모든 단계가 하나의 방대한 데이터셋으로부터 엔드투엔드로 학습됩니다. 이 방식이 작동하려면 데이터셋이 (시각 장면 × 언어 지시 × 모터 행동)의 결합 공간을 모두 아울러야 합니다. 이 공간은 어마어마하게 넓고, 그래서 VLA는 그토록 많은 데이터를 필요로 합니다.

F.R.A.N.T.Z.는 이 아키텍처를 뒤집습니다. 각각의 인지 작업을 별도의 사전학습 모델이 담당하며, 그중 어느 것도 목표 도메인으로 학습되지 않았습니다.

• MiDaS: 단일 RGB 이미지에서 깊이를 추정하며, 일반적인 인터넷 사진으로 학습되었습니다.
• YOLO(You Only Look Once): 객체를 검출하고 바운딩 박스를 그리며, 범용 객체 데이터셋으로 학습되었습니다.
• MediaPipe: 손 랜드마크(손 하나당 21개 점)를 검출하며, 일반적인 손 사진으로 학습되었습니다.
• DeepLab: 픽셀 단위 시맨틱 분할(semantic segmentation)을 수행합니다.

이 기성 모델들은 고전적인 컴퓨터 비전 알고리즘으로 서로 이어 붙여집니다. ORB(Oriented FAST and Rotated BRIEF) 특징 매칭, 옵티컬 플로우, RANSAC(Random Sample Consensus) 평면 피팅, 두 관절(two-bone) 역운동학(IK), 그리고 포인트 클라우드 융합이 그것입니다. 그 결과물은 객체의 정체, 손의 이동 궤적, 그리고 자세가 잡힌 사람 골격까지 갖춘, 일관된 3D 장면입니다.

VLA 접근법과의 비교

이를 제로샷 역전이라 부릅니다. VLA는 최소한의 프롬프트 새로움(한 번도 본 적 없는 문장)을 위해 최대의 데이터가 필요합니다. F.R.A.N.T.Z.는 최소의 데이터로 최대의 장면 새로움(어떤 주방이든, 어떤 사람이든, 어떤 영상이든)을 전달합니다.

장면 의미론이란 구체적으로 무엇인가

15분짜리 유튜브 요리 튜토리얼 하나에서 F.R.A.N.T.Z.는 단일 파일(3d_structures.npz)을 생성합니다:

• 메트릭 3D 포인트 클라우드 — 수만~수십만 개의 원시 점(현재 구현에서 최대 50만 개), 시각화를 위해 약 15,000개로 다운샘플링. 카메라 자체 움직임 보상 완료, 손/사람은 의미론적 필터링으로 마스킹.
• 탐지된 객체 목록 — 각각 클래스 라벨(COCO-80 온톨로지), 3D 바운딩 박스, 시간별 위치 추적.
• 재구성된 평면 구조 — 조리대 평면, 벽 평면, 바닥 평면. 클래스별 객체-평면 바인딩(예: 병은 조리대 위에 놓이는 경향).
• 손별(per-hand) 3D 손목 궤적 — 단계 주석(유휴, 접근, 접촉, 후퇴)과 두 관절 역운동학으로 추론된 팔꿈치 위치.
• COLMAP 형식 내보내기 — 추가 주석 없이 바로 3D 가우시안 스플래팅 모델 학습에 사용 가능.

이것이 영상의 그라운드 트루스 장면 의미론입니다. 주방 도메인의 학습 예시 없이 생성되었으며, 단일 아티팩트로 전달할 수 있을 만큼 작습니다.

LiDAR가 없을 때: 2D 단안 영상에서 3D 복원

LiDAR가 설치된 환경(노천 광산, 측량된 인프라, 자율주행 차량 등)에는 전용 센서로 서브센티미터 정밀도의 밀집 형상을 얻는 LiDAR 3D 포인트 클라우드 파이프라인이 있습니다. 하지만 세계의 대부분의 영상은 단안이며 깊이 정보가 없습니다. YouTube만 해도 수백만 시간 분량의 요리, 수리, 조립, 공예 튜토리얼이 깊이 센서 없이 촬영되어 있습니다.

F.R.A.N.T.Z.는 세 가지 핵심 요소로 단일 이동 카메라에서 사용 가능한 3D 구조를 복원합니다:

1. AI 기반 단안 깊이 추정: 인텔의 MiDaS 네트워크가 각 RGB 프레임에서 256×256 입력 해상도로 상대 깊이를 추정합니다. 이를 카메라 내부 파라미터(intrinsics)를 통해 역투영(back-projection)하면 프레임별 3D 포인트 클라우드가 나옵니다. 저희 구현에서는 깊이 추론이 적응적으로 실행되어, 손이 보일 때는 대략 10프레임마다, 장면에 움직임이 없을 때는 20프레임마다 수행됩니다. 이렇게 GPU 부하와 트래킹 연속성 사이의 균형을 맞춥니다.
2. 시맨틱 기반으로 걸러 낸 전역 모션 보정: 전형적인 주방 영상에서는 손이 차지하는 화면 면적이 작은데도, 원시 옵티컬 플로우에서는 손의 움직임이 지배적으로 나타납니다. 이를 걸러 내지 않으면 카메라 모션 추정치가 손의 움직임에 치우치고, 그 결과 포인트 클라우드가 “손을 따라” 흘러가 버립니다. F.R.A.N.T.Z.는 YOLO의 사람 검출과 MOG2(가우시안 혼합) 배경 차감 마스크를 결합해, 형태가 변하는 모든 영역을 특징 트래킹에서 제외함으로써 이 문제를 해결합니다. 그러고 나면 정적인 배경 위에 남은 루카스-카나데(Lucas-Kanade) 옵티컬 플로우 트랙들이 깔끔한 부분 아핀(partial-affine) 카메라 모션 추정치를 만들어 냅니다.
3. 품질 기준으로 선별한 키프레임을 활용한 점진적 SfM(Structure-from-Motion) : 병렬 SfM 파이프라인이, 선명도·옵티컬 플로우 대역·특징점 개수를 기준으로 선별한 키프레임들에 걸쳐 ORB 대응점으로부터 희소(sparse) 3D 점들을 삼각측량합니다. 이렇게 얻은 희소 포인트 클라우드는 COLMAP 형식으로 내보낼 수 있어, 이후 3D 가우시안 스플래팅(Gaussian Splatting)이나 NeRF 학습에 활용할 수 있습니다.

이 조합을 통해, 영상이 재생되는 내내 매끄럽게 변화하는 전역적으로 일관된 포인트 클라우드가 만들어집니다. 장면 전환(scene cut)은 HSV(색상-채도-명도) 히스토그램 차이로 감지되며, 이때 자세(pose)를 초기화하고 새로운 “뷰(view)”를 생성합니다. 이렇게 생성된 뷰들은 이후 오프라인 뷰어에서 서로 정렬됩니다.

성숙도 프레임워크에서 F.R.A.N.T.Z.의 위치

산업 검사 보고서 자동화 성숙도 프레임워크는 4단계를 정의합니다:

• Stage 0 – 기본 3D 복원
• Stage 1 – 에셋 탐지
• Stage 2 – 연속 캡처 간 차분 장면 이해
• Stage 3 – 자동화된 AI 기반 보고서 생성

연관 글에서 설명하는 광산 사이트 파이프라인은 LiDAR 시퀀스에서 Stage 2와 3을 구현합니다. F.R.A.N.T.Z.는 입력이 단안 영상뿐인 환경에서도 동일한 진행(복원, 탐지, 차분 이해)을 가져옵니다. 대상 도메인의 학습 데이터 없이 수행하므로, 새 도메인(주방, 작업장, 매장, 창고)에 데이터 수집 투자 없이 바로 적용할 수 있습니다.

규모를 키우기 전에: SDMA로 공간 데이터를 체계화하기

지금까지 설명한 모든 것은 영상 한 편에서 일어나는 일입니다. 이 접근 방식이 흥미로운 이유는 규모 확장이 가능하다는 데 있습니다. F.R.A.N.T.Z.를 영상 천 편, 만 편, 나아가 한 사이트나 시설 전체 분량의 영상에 겨누면, 반대편에서는 천 개, 만 개의 구조화된 3D 장면 재구성 결과가 나옵니다. VLA를 학습시키는 경우에도 같은 배수(multiplier)가 적용됩니다. 이때 입력 코퍼스는 수백만 건의 원격조작(teleoperation) 궤적이며, 각 궤적은 특정 로봇과 작업 공간에 공간적으로 고정(anchor)되어 있습니다.

바로 이 방대한 양의 공간 데이터가 프로덕션에서의 문제입니다. 각 산출물(포인트 클라우드, 3D 자세가 포함된 객체 목록, COLMAP 내보내기 파일, 어포던스 라이브러리)은 공간 좌표, 타임스탬프, 출처 이력(어느 센서로, 어느 촬영 세션에서, 어느 처리 버전으로 만들어졌는지)을 담고 있으며, 아직 존재하지도 않을 수 있는 다운스트림 소비자들이 이를 참조합니다. 거버넌스가 없으면 이 데이터는 표류합니다. 팀마다 메타데이터가 어긋나고, 촬영 세션마다 공간 식별자가 제각각 갈라지며, 오늘 촬영한 장면을 6개월 전에 촬영한 같은 장면과 비교하는 능력이 소리 없이 사라져 버립니다.

Spatial Data Management on AWS(SDMA)가 이 갭을 메웁니다. SDMA는 물리적 에셋의 전체 라이프사이클에 걸쳐 공간 참조 데이터를 조직하고 거버넌스하기 위한 관리형 프레임워크입니다:

• 중앙 집중 저장소 — Amazon S3에 일관된 메타데이터와 출처 정보, 접근 제어와 함께 저장
• 안정적 공간 식별자 — 모든 이미지, 관측, 포인트 클라우드, 파생 아티팩트를 명시적 물리 위치에 매핑
• API 레이어 — Amazon SageMaker 추론 엔드포인트, AWS Lambda 오케스트레이션으로 데이터 소비와 저장을 분리
• 의사결정 계보 — 모델 출력, 리뷰어 액션, 다운스트림 해석을 동일 공간 레코드로 보존

F.R.A.N.T.Z.에게 SDMA는 모든 영상의 3d_structures.npz 출력, 모든 키프레임 세트의 COLMAP 내보내기, 모든 시연에서 추출된 어포던스 라이브러리의 자연스러운 저장소입니다. 각 아티팩트는 공간 인덱싱되어 캡처 간 쿼리가 가능합니다. 오늘의 주방 사용 패턴과 지난달을 비교하는 것이 재처리 작업이 아닌 쿼리가 됩니다.

여기서 순서가 중요합니다. 수천 개 영상에 대해 AWS Graviton 가속 F.R.A.N.T.Z. 파이프라인을 병렬 실행하기 전에, 출력이 어디에 저장되고 어떻게 인덱싱될지 먼저 결정해야 합니다. 컴퓨팅은 쉽게 확장되지만, 나중에 역으로 적용하는 데이터 정리는 그렇지 않습니다.

고전 AI와 생성형 AI의 상호 보완, 그리고 Graviton의 역할

현재 AI 담론에서 놓치기 쉬운 점이 있습니다. F.R.A.N.T.Z.의 대부분은 고전 컴퓨터 비전입니다. 생성형 AI 구성요소(MiDaS, YOLO, MediaPipe, DeepLab)는 신경망이 입증된 강점을 발휘하는 영역인 픽셀→의미론 매핑을 담당합니다. 기하학적·시간적 접착 — ORB 특징 매칭, 희소 옵티컬 플로우, RANSAC, 평면 피팅, Procrustes 정렬, 두 관절 IK, 쿼터니언 SLERP(Spherical Linear Interpolation), COLMAP 내보내기 — 는 모두 OpenCV, NumPy, SciPy입니다. 학습된 3D 표현은 없습니다. 재학습할 모놀리식 모델도 없습니다.

이것이 프로덕션에서 중요합니다. F.R.A.N.T.Z.는 CPU 시간의 대부분을 신경망이 아닌 OpenCV 내부에서 사용합니다. 이 OpenCV 호출을 가속하는 것이 처리량과 영상당 비용을 줄이는 가장 큰 레버입니다. COOL 프레임워크가 AWS Graviton에서 정확히 이 문제를 해결합니다. COOL로 가속된 OpenCV와 함께 Graviton에서 F.R.A.N.T.Z.를 실행하면, 대규모 영상 코퍼스 배치 처리(예: 수천 개 YouTube 튜토리얼을 병렬 수집하여 로봇 정책 학습 데이터를 부트스트래핑)에 최적의 가격 성능을 제공합니다.

유용한 멘탈 모델: 생성형 AI가 인식을 담당하고, 고전 컴퓨팅이 조합을 담당하고, Graviton이 저비용으로 처리합니다.

장면 의미론에서 다시 월드 모델로

장면 의미론 추출은 활용할 수 있어야 의미가 있습니다. F.R.A.N.T.Z.의 출력은 단일 인간 시연을 다수의 합성 환경으로 일반화하는 로봇 리타게팅(retargeting) 레이어를 구동합니다. 두 가지 핵심 추출물이 있습니다:

• 어포던스 — 손-객체 상호작용 단계에서 각 객체 클래스별로 접근 방향, 접촉 형상, 체류 시간, 후퇴 벡터를 복원합니다. 인스턴스 간 평균을 내면 클래스당 약 12개 수치값의 간결한 레코드가 만들어집니다 — “이 데모에서 병은 보통 어떻게 접근하고, 잡고, 놓는가”를 인코딩합니다. 어포던스는 장면 간 재사용 가능합니다.
• 장면 사전(Scene Prior) — 재구성된 평면과 손목 도달 범위에서 조리대 높이, 벽 위치, 객체-평면 바인딩, 인간의 손이 실제 사용한 작업 공간 볼륨을 추출합니다. 이는 특정 주방의 형상과 무관하게, 매니퓰레이터 관점에서 주방이 어떻게 생겼는지를 기술합니다.

다른 조리대 높이, 벽 위치, 기존/새 객체 클래스를 혼합하여 절차적으로 새 주방을 합성하고, 어포던스를 새 장면에 그라운딩하여 합성 포인트 클라우드 대비 검증된 새 궤적을 생성합니다. 절차적으로 변형된 주방들에서 플래너를 오라클로 사용해 학습된 소형 MLP(Multi-Layer Perceptron) 정책(약 20,000 파라미터 — 128 유닛 은닉층 2개)은 로봇 데이터 없이도 임의의 조리대 높이와 객체 배치에 일반화합니다.

전체 규모를 보면 인상적입니다. 단안 비디오 한 편 → 어포던스 라이브러리 + 장면 사전지식 → 임의로 많은 수의 합성 환경 → 여러 주방을 아우르는 정책. 감독 신호는 영상 한 편에서 추출한 구조적 규칙성으로부터 필요할 때마다 합성되며, 원격조작도, 모션 캡처도, 깊이 센싱도 필요하지 않습니다. 이를 VLA 사전학습 코퍼스에 들어가는 수백만 건의 원격조작 궤적과 비교해 보시기 바랍니다.

다음 단계: 픽셀이 아닌 의미론을 예측하는 JEPA 스타일 월드 모델

자연스러운 다음 단계는 F.R.A.N.T.Z.의 방식을 고정된 파이프라인에서 학습형 월드 모델로 끌어올리는 것입니다. 즉, 내부 표현이 원시 픽셀이 아니라 장면 시맨틱인 모델을 만드는 것입니다.

두 갈래의 연구가 그 길을 가리킵니다.

• Yann LeCun의 JEPA(Joint Embedding Predictive Architecture) — 픽셀 수준이 아니라 학습된 표현 공간에서 예측을 수행하는 자기지도(self-supervised) 모델의 한 갈래입니다. 핵심 착안은, 픽셀 단위 예측이 텍스처·조명·모션 블러처럼 지각적으로 무의미한 세부에 대부분의 용량을 낭비하는 반면, 장면의 의미 있는 구조는 훨씬 더 간결한 잠재 공간(latent space)에 담겨 있다는 것입니다. JEPA는 그 잠재 공간이 무엇을 나타내야 하는지는 대체로 열어 둡니다. 처방이 아니라 메타 아키텍처이기 때문입니다.
• Eric Xing의 구조화된 파운데이션 모델 — 구조적 파운데이션 모델 연구도 같은 맥락에서, 임베디드 AI에 알맞은 귀납적 편향(inductive bias)은 뭉뚱그려진 픽셀 스트림이 아니라 개체·관계·어포던스·운동학 같은 구조적 표현이라고 주장합니다.

F.R.A.N.T.Z.는 JEPA가 열어 둔 질문에 구체적인 답을 제시합니다. 예측 대상은 장면 시맨틱, 즉 3D 자세를 가진 객체, 결합 관계를 가진 평면, 위상 구조(phase structure)를 가진 어포던스, IK로 자세가 잡힌 운동학이어야 하며, 이는 실제 영상에서 정답으로 추출됩니다. 현재 프레임에서 다음 프레임을 예측하는 대신, 현재의 장면-시맨틱 상태에서 다음 상태를 예측하도록 학습된 JEPA 방식의 예측기는 세 가지 유용한 성질을 물려받습니다.

1. 데이터 효율성: 구조화된 장면-시맨틱 표현은 원시 영상 프레임보다 몇 자릿수는 더 간결하기 때문입니다(수십 개의 부동소수점으로 된 장면 서술자 대 수백만 개의 픽셀 값).
2. 해석 가능성: 잠재 상태가 설계상 의미를 지니기 때문입니다(“컵이 여기 있다, 손이 그것에 다가가고 있다”를 그대로 읽어 낼 수 있습니다).
3. 전이 가능성: 장면 시맨틱은 픽셀이 갖지 못하는 방식으로 시각적 스타일을 넘나들며 일반화되기 때문입니다(컵은 주방마다 다르게 보이지만, 그 어포던스는 동일합니다).

어포던스와 장면 사전지식 추출은 그 출발점입니다. 더 장기적인 목표는, F.R.A.N.T.Z. 방식의 정답 추출을 감독 신호로 삼아 장면 시맨틱을 예측하는 월드 모델입니다.

결론

픽셀과 합성 데이터가 아니라 정답 데이터에서 얻은 장면 시맨틱으로 월드 모델을 학습해야 한다는 주장은, 결국 세 가지 관찰로 귀결됩니다.

첫째, 지금의 ‘픽셀 + 합성 데이터’ 방식은 비용, 불투명성, 그리고 sim-to-real 격차 측면에서 갈수록 효과가 줄어드는 지점에 이르렀습니다.
둘째, 임베디드 에이전트에게 필요한 장면 시맨틱, 즉 객체의 정체와 3D 자세, 평면적 장면 구조, 어포던스, 운동학은, 사전학습된 생성형 AI 모듈을 고전적 컴퓨터 비전과 조합함으로써 평범한 단안 비디오에서 정답으로 추출할 수 있습니다.
셋째, 이렇게 얻은 장면 시맨틱은 다운스트림에서 어포던스 라이브러리, 장면 사전지식, 그리고 학습된 정책으로 조합되어, 단 한 번의 사람 시연으로부터 임의로 많은 수의 합성 환경으로 일반화됩니다.

인식을 위한 사전학습 생성형 AI, 조합을 위한 고전 CV, 공간 데이터 거버넌스를 위한 SDMA, 비용 효율적 확장을 위한 AWS Graviton + COOL, 배치 처리를 위한 LiDAR 파이프라인 스타일 클라우드 백엔드의 조합은 — 원시 영상에서 배포 가능한 로봇 행동에 이르는 엔드투엔드 경로를, 모놀리식 VLA 학습에 드는 데이터와 컴퓨팅 비용의 극히 일부만으로 제공합니다. 성숙도 프레임워크에 비추어 보면, 이것이 바로 입력이 LiDAR가 아니라 소비자용 영상일 때의 3단계(Stage 3)의 모습입니다.

저희는 이 작업의 자연스러운 발전으로서, 내부 상태가 장면 시맨틱이며 JEPA 방식의 잠재 예측(latent-prediction) 목표로 학습되는 학습형 월드 모델을 탐구하고 있습니다.

시작하기

연관 글을 읽어보세요:

• 산업 검사 자동화 성숙도 프레임워크
• AWS에서 엔드투엔드 LiDAR 파이프라인
• AWS 공간 데이터로 검사 인텔리전스 구축하기 (SDMA)
• Graviton에서 OpenCV 가속화 — COOL 프레임워크
• AI 기반 3D 장면 이해로 광산 사이트 규정 준수 모니터링 자동화

여러분의 데이터로 이 방식을 직접 시도해 보십시오. 단안 비디오라면 무엇이든 가능하며, LiDAR도 필요 없고, 도메인별 학습도 필요 없으며, 3D 가우시안 스플래팅에 바로 쓸 수 있는 COLMAP 내보내기까지 지원됩니다.

규모를 키우기 전에 공간 데이터의 기반(substrate)부터 정하십시오. F.R.A.N.T.Z.(또는 이에 준하는 어떤 파이프라인)가 대량으로 만들어 낼 공간 산출물을 체계화하고 관리하기 위해 SDMA를 살펴보시기 바랍니다.