☕

Robotics & Physical AIDaily Digest

2026-10-30 — 로봇 연구 중심, 핵심 AI 엄선 큐레이션
Robotics 50 Frontier AI 4 소스 5개 Robotics 최근 7일 · Frontier AI 최근 15일 Robotics-first 매일 09:00 KST 업데이트 중요도 정렬
분류·중요도·수집 기준
업데이트
매일 08:00 KST 전후 수집을 시작하고, 09:00 KST 전후 공개 페이지에 새 연구 소식을 반영하는 것을 목표로 합니다.
표시 범위
로보틱스 본문은 최근 7일, 별도 Frontier AI 레인은 검증된 공개일 기준 최근 15일 이내 항목만 표시합니다. 본문의 날짜 없는 항목은 Hugging Face, GitHub, Papers with Code처럼 일일 트렌딩 피드에서 온 경우에만 포함합니다.
편집 비중
로보틱스 본문은 최대 50건(핵심 로봇 약 38건, 직접 기여하는 AI 최대 12건), Frontier AI는 별도 최대 10건입니다. Radar는 LLM에 한정하지 않고 멀티모달·비전·공간 3D/4D·비디오/월드 모델·오디오·과학 모델의 중요한 공개를 다룹니다. 품질이 부족하면 억지로 채우지 않습니다.
Frontier AI는 이미 소개한 공개 이벤트를 반복하지 않습니다. 같은 모델이라도 새로운 API 공개, 오픈 웨이트, 주요 업데이트처럼 검증된 새 이벤트가 있으면 다시 소개합니다.
중요도
★★★★★패러다임 전환, 주요 SOTA 갱신, 대형 오픈소스 모델 공개
★★★★의미 있는 기술 혁신, 주요 연구소 발표, 코드 공개 우수 논문
★★★유용한 개선, 도구, 데이터셋, 벤치마크, 실용 응용
★★니치하지만 해당 분야에서 참고할 만한 결과
★관련성은 있지만 연구 임팩트가 제한적인 항목
연구 분야
🤖 VLA & Embodied Foundation Models
VLA/WAM, robot foundation model, embodied reasoning, cross-embodiment policy
🖐 Manipulation & Dexterity
grasping, contact-rich·tactile dexterous manipulation, tool use, bimanual
🎯 Robot Learning, Control & Planning
imitation learning·RL, policy optimization, task/motion planning, control, sim-to-real
🦿 Locomotion & Whole-Body Control
locomotion, balance, humanoid whole-body control, loco-manipulation
🧭 Mobility, Navigation & Autonomy
mobile robot·mobile manipulation, navigation, SLAM, ground autonomy
🚁 Aerial, Field, Marine & Multi-Robot
drone/UAV, field·marine robot, swarm, multi-robot 협업
📊 Data, Benchmarks, Simulation & Tools
robot dataset·data engine, benchmark, simulator, teleoperation, 연구 도구
🛠 Hardware, Sensing, Deployment & Safety
robot hardware·sensor, real-time system, reliability, safety, HRI
🧠 Selected Robotics-Enabling AI
로봇 연구에 직접 기여하는 spatial intelligence·efficient inference·learning infra
🔭 Frontier AI
LLM에 국한하지 않은 범용 foundation model의 주요 신규 공개
소스 원칙
arXiv·공식 프로젝트/코드/데이터·모델 카드를 원문으로 삼고, GitHub 기반 일일·큐레이션 피드는 새 항목을 발견하는 보조 신호로 사용합니다. 동일 연구와 동시 공개는 canonical ID와 release event 기준 한 건으로 합칩니다.
연구 자료와 평가 근거
원문에서 확인한 논문·코드·데이터·모델 링크가 있으면 카드에 표시합니다. 평가 환경, 주요 결과와 한계는 근거 페이지가 확인된 경우에만 덧붙이며, 미보고와 해당 없음을 구분합니다.

🤖 VLA & Embodied Foundation Models

World Dreamer v5-lite: A Multi-Robot World Action Model with One Dreamer
arXiv Robotics 2026-10-27 ★★★★☆
여러 camera view를 workspace 좌표계의 shared world state 하나로 합치고 robot마다 별도 action query를 두는 multi-robot world action model로, 20종 simulated robot과 real robot의 10,000시간 이상 trajectory로 pretraining했다.
구조화 결과✓ 10 · 본문 인용 대조
✓RoboFactorymean success rate · sim74.0% vs baseline 50.3%
✓real-world multi-robot tasks (4 tasks)mean success rate · real78.8% vs baseline 65.0%
✓RoboCasa365overall success rate · sim58.08%
🦾 LeKiwi✓🦾 OpenArm✓Backbone Qwen3-VL✓Action Flow matching✓Obs proprioception, rgb✓📦 100 real trials (evaluation trials per real-robot task)✓📦 300 tasks (RoboCasa Human300 fine-tuning tasks)✓
실물 로봇 + 시뮬레이션
결과 RoboFactory에서 mean success 74.0%(가장 강한 baseline 대비 +23.7 pp), real-robot task 4개에서 78.8%(+13.8 pp), RoboCasa365에서 58.08%.
평가 근거
Model / MethodMulti-Robotworld modelreal robot
RynnUnify: Towards Unified Embodied Brain
arXiv Robotics 2026-10-23 ★★★★☆
RynnUnify는 interleaved video-language reasoning으로 embodied understanding과 long-horizon visual planning을 결합한 16B unified embodied model이며, agentic extension과 world-action extension을 함께 제시한다.
구조화 결과✓ 4 · 본문 인용 대조
✓RoboCasa365 (20 selected composite tasks)success rate · sim51.5%
✓real-robot tasks (three tasks)average success rate · real46.7%
🦾 Astribot S1✓Backbone Cosmos3✓
실물 로봇 + 시뮬레이션
결과 Rynn-VP overall에서 Cosmos 3 Nano 대비 +9.75점, world-action extension은 RoboCasa365 composite task 20개에서 51.5%, real-robot task 3개 평균 46.7% success.
평가 근거
✓ 코드 공개 · 소스 231개
Model / MethodCross-Platformworld modelfoundation modelreal robot
E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling
arXiv Robotics 2026-10-26 ★★★★☆
E0.5는 3D foundation model을 backbone으로 직접 사용해 action과 함께 future 3D state를 예측하는 geometry-native world-action model이며, AgiBotWorld-Beta의 160k개 이상 trajectory로 pretraining했다.
구조화 결과✓ 14 · 본문 인용 대조
✓RoboTwin 2.0 (Clean)success rate · sim89.90%
✓RoboTwin 2.0 (Randomized)success rate · sim50.09%
✓Real-world manipulation, AgileX Piper (mean over ID and OOD)mean success rate · real85.0% vs E0.5 without AgiBotWorld-Beta pretraining 70.0%
✓Real-world manipulation, Zerith H1 (mean over ID and OOD)mean success rate · real88.3% vs E0.5 without AgiBotWorld-Beta pretraining 81.7%
🦾 AgileX Piper✓🦾 Zerith H1✓Backbone VGGT-Omega✓Action Flow matching✓Obs language, proprioception, rgb✓📦 160010 trajectories (AgiBotWorld-Beta pretraining corpus after filtering)✓📦 2645.64 hours (approximate hours of robot demonstrations in pretraining)✓📦 50 demos (clean demonstrations per task on RoboTwin 2.0)✓📦 200 demos (real-robot post-training demonstrations per task)✓📦 120 real trials (real-world trials per policy across both embodiments)✓
실물 로봇 + 시뮬레이션
결과 embodied pretraining 없이 RoboTwin 2.0 clean/randomized에서 89.90%/50.09%, embodied pretraining 후 real-world success가 AgileX Piper에서 약 15 pp, Zerith H1에서 약 7 pp 상승.
평가 근거
Model / MethodManipulatorworld modelreal robot
HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience
arXiv Robotics 2026-10-25 ★★★★☆
HuGe는 2,000시간 이상의 egocentric human·robot data로 pretraining한 humanoid generalist VLA family로, pretrained whole-body controller용 latent motion token과 hand control signal을 함께 예측한다.
구조화 결과✓ 13 · 본문 인용 대조
✓HumanoidArena (7 tasks, overall average)success rate · sim66.67%
✓HumanoidArena (7 tasks, overall average)success rate · sim65.00%
✓real-world cola pick-and-drop (Unitree G1, 30 trials)success rate · real66.7%
🦾 Unitree G1✓Backbone Qwen✓Action Flow matching✓Obs language, proprioception, rgb✓📦 2000 hours (egocentric human and robot pre-training data (over))✓📦 100 demos (per HumanoidArena task for multitask training)✓📦 110 demos (real robot demonstrations for the cola pick-and-drop task)✓📦 400 demos (egocentric demonstrations added for the cola pick-and-drop task)✓📦 60 episodes (evaluation episodes per HumanoidArena task)✓📦 30 real trials (trials per real-world configuration)✓
실물 로봇 + 시뮬레이션
결과 HumanoidArena simulation benchmark에서 SOTA, Unitree G1에서는 시각적으로 보정한 egocentric demonstration을 추가하면 pick-and-drop success가 크게 오른다.
평가 근거
✓ 코드 공개 · 소스 103개
Model / MethodHumanoidVLAwhole bodyreal robot
TAPESTRY: A Single Backbone for Video Generation and Robot Control
arXiv Robotics 2026-10-27 ★★★★☆
TAPESTRY는 각 action timestep을 video patch token 하나로 인코딩해 pretrained video diffusion transformer를 그대로 robot policy로 쓰며, test time에 video를 생성하지 않고 DDIM 1 step으로 action chunk를 만든다.
구조화 결과✓ 7 · 본문 인용 대조
✓LIBERO task generalization (LIBERO-10, Object, Spatial, Goal; action labels from LIBERO-90 only)success rate (average) · sim76%
🦾 YAM✓Backbone CogVideoX-2B✓Action Diffusion✓Obs language✓📦 10 real trials (rollouts per real-world task)✓📦 100 episodes (rollouts per LIBERO suite)✓
실물 로봇 + 시뮬레이션
결과 consumer hardware에서 action chunk당 84 ms이며, joint video-action policy보다 inference 비용이 훨씬 낮으면서 simulation과 real-robot에서 좋은 성능을 냈다고 저자들이 보고했다.
평가 근거
Model / MethodCross-Platformworld modelefficient inferencereal robot
RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions
arXiv Robotics 2026-10-27 ★★★★☆
RynnWorld-Latent는 3D-grounded universal latent action을 조건으로 받는 cross-embodiment video world model이다. human·robot·simulation video 23개 dataset(약 5.5억 frame)으로 pretraining했고, policy 학습용 data 생성에 쓴다.
구조화 결과✓ 9 · 본문 인용 대조
✓LIBERO-Plussuccess rate · sim79.4% vs π0 53.6%
✓real-world Plate-Retrieval (Astribot-S1, 35 trials)success rate · real68.57% vs π0.5 Real only 45.71%
🦾 Marvin-WUJI✓🦾 Astribot-S1✓Backbone Cosmos3-Edge✓Action Flow matching✓📦 3850 episodes (collected real-robot episodes across six tasks)✓📦 6190 hours (pretraining corpus of 23 datasets)✓📦 35 real trials (closed-loop trials per task per policy setting)✓
실물 로봇 + 시뮬레이션
결과 synthetic mid-training으로 LIBERO·LIBERO-Plus의 policy success가 올랐고, 두 data 생성 경로 모두 real demonstration만 쓴 학습보다 real-world success를 높였다.
평가 근거
✓ 코드 공개 · 소스 736개
Model / MethodCross-Platformworld modelreal robot
What Does World Modeling Actually Improve in Robot Action Learning?
arXiv Robotics 2026-10-25 ★★★★☆
FastWAM과 OpenWAM에서 future-video prediction loss를 통제 ablation해, predictive supervision이 seen task success는 크게 올리지만 distribution shift에서는 일관되게 유지되지 않음을 보였다. 가벼운 auxiliary predictor도 π0.5를 개선한다.
구조화 결과✓ 9 · 본문 인용 대조
✓RoboTwin 2.0 ten Seen+Clean tasks (OpenWAM)success rate · sim79.91% vs without video loss 7.00%
✓RoboTwin 2.0 ten Seen+Clean tasks (FastWAM)success rate · sim39.34% vs without video loss 14.97%
✓RoboTwin 2.0 pi0.5 auxiliary video predictionsuccess rate · sim89.19% vs original pi0.5 82.94%
Backbone π0.5✓Action Flow matching✓Obs language, proprioception, rgb✓📦 40 tasks (RoboTwin 2.0 training tasks)✓📦 45 demos (demonstrations per task for training)✓📦 12800 trajectories (trajectories per model family for clustering analysis)✓
시뮬레이션
결과 seen task에서 FastWAM +24.38 pp, OpenWAM +72.91 pp. auxiliary future-video predictor로 π0.5가 82.94%→89.19%. environmental randomization에서는 일관된 이점이 없다.
평가 근거
Survey / AnalysisCross-Platformworld modelVLA
X-World: Transferring Video Priors to Variable-View Robot Control
arXiv Robotics 2026-10-25 ★★★☆☆
X-World는 residual cross-view attention과 layer-aligned Q-Former로 pretrained video diffusion prior를 1~3개 camera view의 shared action expert에 옮기고, asynchronous action chunking으로 실행한다.
구조화 결과✓ 11 · 본문 인용 대조
✓LIBEROmean success rate · sim98.5%
✓LIBERO-Spatialsuccess rate · sim99.6% vs X-VLA 98.2%
✓LIBERO-Plus (zero-shot, total)success rate · sim76.5% vs OpenVLA-OFT 69.6%
✓real-world dual-arm UR5e (6 tasks)mean success rate · real81.7% vs X-VLA 58.3%
🦾 UR5e✓Backbone LTX-Video✓Action Flow matching✓Obs language, proprioception, rgb✓📦 30 other (minutes of VR teleoperation demonstrations per real-world task)✓📦 20 real trials (evaluation trials per task per policy)✓📦 50 episodes (LIBERO evaluation episodes per task)✓
실물 로봇 + 시뮬레이션
결과 LIBERO 98.5%, 추가 adaptation 없는 LIBERO-Plus 76.5%, dual-arm real-world task 6개(task당 20 trial)에서 81.7%. camera·background·noise shift에서는 OpenVLA-OFT보다 약하다.
평가 근거
Model / MethodManipulatorVLAbimanualreal robot
OSWAM: An Effective World Action Model with One-Step Action Generation
arXiv Robotics 2026-10-26 ★★★☆☆
OSWAM은 physical prior를 담은 imagination token에서 denoising을 시작하고 privileged future information을 distillation해, driving과 embodied control에서 diffusion 1 step만으로 world action model의 action을 생성한다.
구조화 결과✓ 6 · 본문 인용 대조
✓NAVSIM navtestPDMS · sim90.3
✓real-world bread placement (PiPER)success rate · real85% vs Fast-WAM 80%
🦾 PiPER✓Action Flow matching✓📦 2500 demos (clean-scene demonstrations for RoboTwin 2.0 training)✓📦 50 demos (real-world training demonstrations per task)✓
시뮬레이션
결과 multi-step direct-policy WAM·Joint-WAM과 같거나 나은 성능을 약 3배 빠르게 내며, RTX 5090에서 compiled inference latency가 최저 40 ms.
평가 근거
Model / MethodCross-Platformworld modelefficient inference
ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
arXiv Robotics 2026-10-27 ★★★☆☆
ThinkWorld는 VLA의 action reasoning을 discrete motion token으로 된 Chain-of-Dynamics로 표현하고 world imagination 기반 RL로 강화해, action label 없는 human video도 robot data와 같은 reasoning space를 학습시키게 한다.
구조화 결과✓ 13 · 본문 인용 대조
✓LIBEROsuccess rate · sim97.3%
✓LIBERO-PROsuccess rate · sim55.6%
✓real-world YAM tasks (ID+OOD, macro)success rate · real94.4% vs MolmoAct2 62.2%
✓LIBERO-Plusaverage success rate · sim71.7%
✓SimplerEnv Google visual matchingsuccess rate · sim49.31%
🦾 bimanual YAM✓Backbone Qwen3-VL-2B✓Action Flow matching✓Obs language, proprioception, rgb✓📦 60 demos (robot demonstrations for color matching)✓📦 100 episodes (robot episodes of atomic-action trajectories (oven task))✓📦 90 episodes (human-video episodes of full task sequences (oven task))✓📦 60 real trials (in-distribution real-robot trials)✓
Model / MethodCross-PlatformVLAworld modelRL

🖐 Manipulation & Dexterity

Scaling Dexterous Manipulation via Action Representation Pretraining
arXiv Robotics 2026-10-25 ★★★★☆
ARPG는 action representation 학습과 action 생성을 분리한다. 대규모 human manipulation data로 pretraining한 action encoder를 고정하고, 130M generative backbone이 그 공간에서 task-conditioned dexterous action을 학습한다.
구조화 결과✓ 9 · 본문 인용 대조
✓DexJoCo bimanual (multi-task)average success rate · sim44.7% vs π0.5 10.1%
✓DexJoCo overall (single-task training)overall success rate · sim61.3%
✓DexJoCo overall (multi-task training)overall success rate · sim57.8% vs π0.5 35.0%
Backbone DiT✓Action Flow matching✓📦 3000 hours (largest human manipulation pretraining set)✓📦 8.8 hours (robot demonstrations from DexJoCo for Robot-only encoder)✓📦 11 tasks (DexJoCo dexterous manipulation tasks)✓📦 30 real trials (trials per real-world task)✓
시뮬레이션
결과 DexJoCo에서 SOTA. bimanual dexterous manipulation success가 π0.5의 10.1%에서 44.7%로 오르고, human behavior coverage를 넓힐수록 계속 좋아진다.
평가 근거
Model / MethodDexterous Handdexteritybimanual
CARD: Contact-Anchored Retargeting for Dexterous Manipulation
arXiv Robotics 2026-10-27 ★★★★☆
CARD는 video, motion capture, tactile glove의 human demonstration을 contact force target을 유지하며 robot hand로 retargeting한다. hardware replay용 tactile tracking controller와 video-to-contact model도 제시한다.
구조화 결과✓ 12 · 본문 인용 대조
✓GRAB contact rate (100 clips)contact rate · sim43% vs ReGrind 22.5%
✓Monocular video contact rate (20 clips)contact rate · sim61%
✓GRAB strict task success (CARD-physics)strict task success · sim32% vs SPIDER 12%
✓Motion capture strict task success (CARD-physics)strict task success · sim52% vs SPIDER 40%
✓12-dataset validation (contact from video)vertex F184.3
✓HRDexDB held-out (contact from video)vertex F167.2
🦾 SHARPA Wave✓🦾 Wuji Hand 2✓🦾 Unitree Dex3-1✓📦 100 other (public GRAB clips with ground-truth object meshes)✓📦 10 real trials (trials per real-world task in tactile tracker ablation)✓📦 50 trajectories (GRAB trajectories for CARD-physics evaluation)✓
실물 로봇 + 시뮬레이션
결과 contact frame의 43~78%에서 contact를 유지(kinematic retargeting <10%, object-aware 22.5%). GRAB에서 strict task success가 12%→32%.
평가 근거
Model / MethodDexterous Handdexteritytactilereal robot
Learning Dexterous Manipulation: Hands, Simulators, Training, and Evaluation
arXiv Robotics 2026-10-24 ★★★★☆
learning 기반 in-hand dexterous manipulation 방법 113개를 다룬 survey다. 공개 code와 vendor spec을 근거로 hand, simulator, 학습 recipe, 결과 보고 방식을 점검하고, 보고되지 않는 지표를 위한 protocol을 제안한다.
평가 해당 없음
결과 전체의 절반 가까이가 GPU simulator 하나에서 privileged-state RL을 vision student로 distillation하는 방식이고, 2022년 이후 논문 수가 3배가 됐으며, 구매·제작 가능한 hand 8종은 어떤 method 논문에도 쓰이지 않았다.
평가 근거
Survey / AnalysisDexterous Handdexteritysimulation
AdaDexTrack: Dynamic Modulation for Adaptive and Generalizable Dexterous Manipulation Tracking
arXiv Robotics 2026-10-24 ★★★☆☆
AdaDexTrack은 language-conditioned dexterous manipulation을 modulated tracking 문제로 다시 정의한다. RL로 학습한 modulator가 distilled generalist tracker의 reference, object latent, positional target을 계속 조정한다.
구조화 결과✓ 8 · 본문 인용 대조
✓Unseen Trajectory (text-guided HOI, Isaac Gym)success rate (mean-error) · sim88.99%
✓Unseen Object (text-guided HOI, Isaac Gym)success rate (mean-error) · sim46.12%
✓Zero-shot real-world Unseen Trajcompletion rate · real52.36% vs Ours (w/o modulator) 26.63%
🦾 XArm6✓🦾 LEAP Hand✓Action Regression✓Obs proprioception✓📦 505 trajectories (retained reference sequences after filtering)✓
실물 로봇 + 시뮬레이션
결과 unseen trajectory·unseen object set에서 tracking error와 success 모두 기존 SOTA보다 좋고, real hardware zero-shot sim-to-real에서도 tracker-only보다 크게 개선됐다.
평가 근거
Model / MethodDexterous HanddexterityRLsim2real
PS-DLO: Property- and Spatially Aware Deformable Linear Object Manipulation Policy
arXiv Robotics 2026-10-25 ★★★☆☆
PS-DLO는 contrastive learning으로 추정한 DLO 물성 설명을 deformable linear object policy의 조건으로 넣고, future observation의 SAM3 mask feature를 action expert에 distillation한다.
구조화 결과✓ 8 · 본문 인용 대조
✓nine real-world DLO manipulation tasks (average)success rate · real68.9%
✓butterfly-knot untying, color+lighting+background shiftsuccess rate · real10.0% vs baseline 0.0%
🦾 PiPER✓🦾 Franka Research 3✓Action Flow matching✓Obs language, proprioception, rgb✓📦 500 demos (self-collected demonstrations after cleaning)✓📦 180 real trials (real-robot trials per method)✓
실물 로봇
결과 single-arm·bimanual real-world task 9개에서 평균 success 68.9%로 가장 강한 baseline보다 20.0 pp 높고, visual shift 7개 조건 중 6개에서 앞섰다.
평가 근거
Model / MethodCross-Platformbimanualreal robot
Keeping Contact: Task-Adaptive Friction Margins for Bimanual Non-Prehensile Manipulation
arXiv Robotics 2026-10-27 ★★★☆☆
bimanual non-prehensile tilting에서 signed friction distance로 task에 맞는 friction margin을 정하고 SOCP를 순차적으로 풀어, contact force가 friction cone 경계에서 멀어지게 한다.
구조화 결과✓ 3 · 본문 인용 대조
✓SOCP solve time per tilt anglemean solve time8.99ms vs no margin 9.05ms
🦾 Kinova Gen3✓Obs force_torque✓
실물 로봇
결과 real-world 실험에서 object 물성 변화와 model mismatch에도 성공했고, fixed-margin·no-margin 비교로 task-adaptive margin이 필요함을 보였다.
평가 근거
Model / MethodManipulatorbimanualplanningreal robot
RoboSTD: Zero-Shot Single-to-Dual Transfer via Sagittal Mirroring for Bimanual Learning
arXiv Robotics 2026-10-27 ★★★☆☆
RoboSTD는 single-arm data를 sagittal plane 기준으로 mirroring하고 LLM이 만든 spatio-temporal coordination constraint를 더해, 추가 bimanual demonstration 없이 pseudo-bimanual demonstration을 만든다.
구조화 결과✓ 7 · 본문 인용 대조
✓RoboTwin 2.0 (10 tasks)average success rate · sim66.5% vs Oracle 67.6%
✓real-world low-coordination tasks (Bowl Placement, Towel Storage, Flower Arrangement)average success rate · real77.3% vs Single-Arm 40.0%
✓real-world Sandwich Makingcomplete-task success rate · real50% vs Oracle 50%
🦾 AgileX ALOHA✓📦 50 demos (source single-arm demos per task)✓📦 100 demos (native bimanual demos per task (Oracle))✓📦 1000 demos (single-arm demos for arm-side preference study)✓
실물 로봇 + 시뮬레이션
결과 AgileX ALOHA(RoboTwin과 real world)의 cup collection task에서 single-arm baseline보다 2.11배 많은 cup을 모았다.
평가 근거
Model / MethodManipulatorbimanualimitation learningreal robot
MMGNet: Multi-Modal 6-DoF Grasp Synthesis for Cluttered Scenes
arXiv Robotics 2026-10-26 ★★★☆☆
MMGNet은 3D representation을 만드는 전 과정에 multi-scale image feature를 주입하고 approach direction과 in-plane rotation을 함께 예측해 scene-level 6-DoF grasp synthesis를 개선한다.
구조화 결과✓ 7 · 본문 인용 대조
✓GraspNet-1Billion RealSensemean AP · sim60.34
✓GraspNet-1Billion Kinectmean AP · sim50.72
✓real-world grasping, Household objectssuccess rate · real84.06%
✓real-world grasping, Adversarial objectssuccess rate · real81.43%
🦾 Franka Panda✓Obs depth, point_cloud, rgb✓📦 20 real trials (trials per object group, cluttered scenes with 5–6 objects)✓
실물 로봇 + 시뮬레이션
결과 GraspNet-1Billion(RealSense) mean AP 60.34, real adversarial object에서 AnyGrasp 대비 grasp success +8.46 pp. code는 출판 후 공개 예정이다.
평가 근거
Model / MethodManipulatorreal robot

🎯 Robot Learning, Control & Planning

Rollback: Experience Backtracking in World Models for Policy Improvement
arXiv Robotics 2026-10-26 ★★★★☆
Rollback은 world model을 counterfactual engine으로 써서 decision point로 되돌아가 다른 action을 분기하고, 결과 차이를 action 단위 supervision으로 distillation한다. real transition으로 world model도 LoRA로 보정한다.
구조화 결과✓ 9 · 본문 인용 대조
✓Block Extraction (real-world)success rate · real69.33%
✓Ball Tossing (real-world)success rate · real40.00%
✓Tabletop Curling (real-world)success rate · real64.44%
🦾 AGIBOT Genie-02✓Backbone π0.5✓Action Flow matching✓Obs proprioception, rgb✓📦 8 hours (training time with one physical robot)✓📦 64 episodes (validation episodes for world-model fidelity on Tabletop Curling)✓
실물 로봇
결과 block extraction, ball tossing, tabletop curling에서 가장 강한 baseline 대비 success가 각각 +10.67, +11.11, +11.85 pp이며, 두 task에서는 8시간 학습 만에 평균 human player를 넘었다.
평가 근거
Model / MethodManipulatorworld modelRLreal robot
Retrieve to Act: Motion Primitive Graph Retrieval for Robust VLA Execution
arXiv Robotics 2026-10-27 ★★★★☆
Retrieve to Act(R2A)는 training demonstration으로 motion primitive graph를 만들고, 실행 중 맞는 primitive를 retrieval해 frozen VLA의 action에 gating으로 섞는다. fine-tuning 없이 visual OOD shift에 대한 robustness를 높인다.
구조화 결과✓ 5 · 본문 인용 대조
✓LIBERO-Plus (average, GR00T N1.7)success rate · sim89.0% vs GR00T N1.7 77.1%
✓RoboTwin2.0-Plus (average, π0.5)success rate · sim66.2% vs π0.5 56.8%
✓Real-world Cube2Drawer (Aloha, GR00T N1.7)success rate · real45% vs GR00T N1.7 10%
🦾 Aloha✓Backbone GR00T N1.7✓
실물 로봇 + 시뮬레이션
결과 GR00T N1.7, π0.5, StableVLA에서 LIBERO-Plus·RoboTwin2.0-Plus success가 최대 +12 pp, real-world deployment에서는 최대 +40 pp.
평가 근거
Model / MethodCross-PlatformVLAreal robot
Coupling Execution Horizon and Sampling Depth in Flow-Matching VLA Policies
arXiv Robotics 2026-10-23 ★★★★☆
flow-matching VLA에서 solver depth와 execution horizon이 얽혀 있음을 보였다. coarse integration은 빠른 replanning에선 불리하지만 긴 open-loop 실행에선 action dispersion을 줄여 success를 높이는, 학습 없는 deployment knob이다.
구조화 결과✓ 8 · 본문 인용 대조
✓LIBERO-Long (π0, s=20, N=2)success rate · sim90.5%
✓RoboTwin 2.0 (π0, 50 bimanual tasks)success rate · sim45.7% vs (10,10) 37.0%
🦾 Franka Research 3✓Backbone PaliGemma✓Action Flow matching✓Obs proprioception, rgb✓📦 50 demos (SpaceMouse teleoperation demos per task)✓📦 2400 real trials (hardware rollouts in total)✓
실물 로봇 + 시뮬레이션
결과 LIBERO, RoboTwin 2.0, real-world Franka에서 π0, π0.5, GR00T 모두 horizon과 depth를 함께 조정하면 학습 없이 success가 오르고 inference latency가 줄었다.
평가 근거
Model / MethodManipulatorVLAefficient inferencereal robot
From 12 to 200 Demonstrations: How ACT, Diffusion Policy, SmolVLA and $π_{0.5}$ Scale on a Low-Cost Arm
arXiv Robotics 2026-10-27 ★★★★☆
SO-101 arm에서 1,340 episode를 돌려 ACT, Diffusion Policy, SmolVLA, π0.5가 teleoperation demonstration 12~200개에서 어떻게 scaling하는지 측정한 real-robot study로, 단계별 failure 분석과 measurement noise 점검을 포함한다.
구조화 결과✓ 6 · 본문 인용 대조
🦾 SO-101✓Backbone PaliGemma✓Action Flow matching✓Obs proprioception, rgb✓📦 225 demos (teleoperated demonstrations of the pick-and-place task)✓📦 1340 episodes (scored real-robot evaluation episodes)✓
실물 로봇
결과 ACT는 demo 12→100개에서 1/40→37/40. π0.5는 저데이터에서 가장 좋다가(12개에서 16/40) 약 70%에서 정체. π0.5는 action-expert fine-tuning(130/200)이 LoRA(4/110)보다 훨씬 낫다.
평가 근거
DeploymentManipulatorimitation learningVLAteleoperationreal robot
If at First You Don't Succeed, Backtrack: Lightweight Recovery for Frozen VLAs
arXiv Robotics 2026-10-23 ★★★☆☆
Backtrack은 frozen VLA의 내부 representation 위에 작은 failure prediction head를 붙인다. failure가 예측되면 최근 arm motion을 되돌린 뒤 control을 넘겨, 바뀌지 않은 policy가 다시 시도하게 한다.
구조화 결과✓ 7 · 본문 인용 대조
✓LIBERO-Longfailure-rate reduction · sim48.2%
✓LIBERO-Longfailure-rate reduction · sim19.0%
✓MetaWorld (SmolVLA, 50 tasks)success rate · sim77.52%
Action Flow matching✓📦 50 episodes (evaluation episodes per task, five seeds)✓📦 2772 trajectories (held-out rollouts of the frozen pi0.5 policy for offline scoring)✓📦 10000 episodes (Backtrack episodes per policy)✓
시뮬레이션
결과 LIBERO-Long에서 SmolVLA, π0.5, π0-FAST의 failure rate를 19~48% 줄였고(success 최대 +7.4 pp), head가 추가하는 parameter는 0.48~0.88%뿐이다.
평가 근거
Model / MethodManipulatorVLA
TOPS: Reshaping Flow Source and Transport for Multi-Task Robot Manipulation
arXiv Robotics 2026-10-27 ★★★☆☆
TOPS는 network를 바꾸지 않고 multi-task manipulation policy의 flow matching source prior와 interpolation schedule을 task별로 조정해 1-step 생성을 가능하게 한다.
구조화 결과✓ 16 · 본문 인용 대조
✓LIBERO-10success rate · sim69.67% vs Standard FM 53.44%
✓LIBERO-Plussuccess rate · sim35.29% vs MeanFlow 34.73%
✓CALVIN D→Daverage completed chain length · sim2.27 vs Standard FM 1.90
✓CALVIN ABC→Daverage completed chain length · sim1.05
✓CALVIN ABC→D (π0.5)average completed chain length · sim3.744 vs π0.5 baseline 3.033
✓LIBERO-Plus (π0.5)success rate · sim69.0% vs π0.5 baseline 64.4%
✓CALVIN ABC→D (30% demonstrations)average completed chain length · sim1.009
✓real-world upper-drawer openingsuccess rate · real80% vs Standard FM 20%
✓real-world multi-task suites (8 tasks, pooled)success rate · real77.50% vs Standard FM 51.25%
🦾 Galaxea R1 Lite✓Backbone π0.5✓Action Flow matching✓Obs language, proprioception, rgb✓📦 50 demos (demonstrations per task for Drawer Opening and Color Matching)✓📦 30 demos (demonstrations per task for Pick-Vegetable)✓📦 160 real trials (real-world rollouts per method (8 tasks, 20 each))✓
실물 로봇 + 시뮬레이션
결과 integration 1 step으로 LIBERO-10 success를 10-step standard FM의 53.44%에서 69.67%로 올리고 inference time은 약 1/6. real upper-drawer opening은 20%→80%.
평가 근거
Model / MethodManipulatorimitation learningreal robot
How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop
arXiv Robotics 2026-10-27 ★★★☆☆
world action model에서 best-of-N 선택이 실제로 얼마나 도움이 되는지 측정하는 denoised counterfactual protocol을 제안하고, 이를 바탕으로 fail-gated selector를 만들었다.
구조화 결과✓ 7 · 본문 인용 대조
✓LIBERO-Plus closed loop, held-out episodes of training taskstask success · sim81.6% vs policy 76.9%
✓LIBERO-Plus closed loop, unseen taskstask success · sim69.8% vs policy 62.6%
✓LIBERO-Plus closed loop, robot initial-state perturbationstask success · sim75.8% vs policy 65.1%
Backbone Cosmos Policy✓📦 1200 trajectories (policy rollouts used to fine-tune the value head)✓📦 100000 other (branched rollouts across four WAMs)✓📦 480 episodes (reserved closed-loop test episodes)✓
시뮬레이션
결과 WAM 4종의 branched rollout 10만 회 이상에서 기존 추정치가 selectable headroom을 과대평가함을 보였다. fail-gated selector로 closed-loop success가 training task 76.9%→81.6%, unseen task 62.6%→69.8%.
평가 근거
Survey / AnalysisCross-Platformworld model
When, Where, and What to Correct: Human-Guided Adaptive Residual Correction for Robot Policies
arXiv Robotics 2026-10-27 ★★★☆☆
ARC는 frozen imitation policy 위에 RL residual을 학습한다. sparse human correction으로 residual이 언제 켜질지와 어느 저차원 subspace를 탐색할지를 정한다.
구조화 결과✓ 9 · 본문 인용 대조
✓three real-robot precision-manipulation tasks (average)average task success · real75.0% vs Base ACT 33.3%
✓tray stacking (real robot)success rate · real100.0% vs Base ACT 58.3%
✓marker insertion (real robot)success rate · real58.3% vs Base ACT 25.0%
✓cup stacking (real robot)success rate · real66.7% vs Base ACT 16.7%
🦾 Miroki humanoid robot✓Backbone ACT✓Obs proprioception, rgb✓📦 55 demos (demonstrations per task on average for base policies)✓📦 12 real trials (real-robot trials per method and task)✓
실물 로봇
결과 real robot의 precision manipulation task 3개에서 평균 success가 33.3%→75.0%.
평가 근거
Model / MethodManipulatorRLreal robot
DynaSlots: Slot-Centric 3D Dynamics Pretraining for Robot Manipulation
arXiv Robotics 2026-10-23 ★★★☆☆
DynaSlots는 action·label 없이 point cloud를 시간적으로 일관된 slot으로 나누고, scene 단위가 아니라 slot 단위로 dynamics와 slot 간 관계를 모델링하는 3D pretraining framework다.
구조화 결과✓ 7 · 본문 인용 대조
✓MetaWorldmean success rate · sim80.8%
✓Adroitmean success rate · sim88.0%
✓real-world tasks (a)-(d) suite averagesuccess rate · real79.0%
🦾 RealMan RM65-B✓Action Diffusion✓Obs point_cloud, proprioception✓📦 100 trajectories (expert trajectories per real-world task)✓
실물 로봇 + 시뮬레이션
결과 Meta-World·Adroit에서 scene-level 3D pretraining baseline보다 좋고, real RealMan RM65-B arm에서 clutter와 unseen object에 강했다.
평가 근거
코드
Model / MethodManipulatoropen sourcereal robot
RoboDuo: Attempt, Check and Atomic Recovery through Code for Vision-Language-Action Models
arXiv Robotics 2026-10-25 ★★★☆☆
RoboDuo는 frozen full-task VLA에 coding agent를 붙여 task 완료 여부를 확인하고, 실패하면 atomic-skill VLA를 호출해 남은 단계를 마무리한다. 학습에는 LIBERO에서 만든 dataset을 쓴다.
구조화 결과✓ 11 · 본문 인용 대조
✓LIBERO-Longsuccess rate · sim96.2% vs π0.5 93.6%
✓LIBERO-PROmean success · sim39.33% vs π0.5 32.05%
✓real-world fruit arrangement (3 layouts)success rate · real53.3% vs frozen full-task VLA 36.7%
✓LIBERO average (four-suite training)average success rate · sim96.40 vs X-VLA 95.25
🦾 AgileX Piper✓Backbone X-VLA✓Obs language, proprioception, rgb✓📦 125 tasks (tasks covered by LIBERO-Atomic)✓📦 9214 other (atomic clips in LIBERO-Atomic)✓📦 500 episodes (evaluation episodes per LIBERO-PRO cell)✓📦 10 real trials (trials per method and layout)✓
실물 로봇 + 시뮬레이션
결과 LIBERO와 LIBERO-PRO에서 X-VLA와 π0.5를 일관되게 개선했고 long-horizon task에서 향상 폭이 가장 컸다. real robot에서도 실패한 rollout을 복구했다.
평가 근거
Model / MethodManipulatorVLAreal robot

🦿 Locomotion & Whole-Body Control

Zero-HLM: Generalizable Humanoid Loco-Manipulation without Real Robot Data
arXiv Robotics 2026-10-26 ★★★★☆
Zero-HLM은 Gaussian 기반 scene reconstruction과 motion-environment co-adaptation으로 smartphone 촬영 영상과 simulated demonstration을 물리적으로 검증된 humanoid loco-manipulation data로 바꾸는 real-to-sim-to-real pipeline이다.
구조화 결과✓ 10 · 본문 인용 대조
✓real-world mean full-task success (3 long-horizon tasks, Base)mean full-task success · real66.7% vs Real-Only(100) 46.7%
✓real-world generalization, five Expanded settingspooled success · real69% vs Real-Only(100) 23%
✓Zero-HLM-Bench (simulation, 3 tasks)mean full-task success · sim69.7%
🦾 Unitree G1✓Backbone GR00T N1.7✓Action Diffusion✓Obs rgb✓📦 45 demos (source demonstrations teleoperated in simulation)✓📦 4800 demos (physically validated generated demonstrations)✓📦 100 demos (real teleoperated demos per task (Real-Only baseline))✓
실물 로봇 + 시뮬레이션
결과 생성한 demonstration 4,800개로 simulation에서만 학습한 GR00T N1.7이 Unitree G1 task 3개에서 full-task success 66.7%(real data 학습은 46.7%). generalized configuration에서는 23%→69%.
평가 근거
Model / MethodHumanoidsim2realwhole bodysimulationreal robot
ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback
arXiv Robotics 2026-10-23 ★★★★☆
ViT-H는 reconstruction·retargeting 없이 diffusion model로 monocular video에서 humanoid reference motion을 생성하고, tracking 결과로 DPO post-training한다. autoregressive 버전은 real-time video teleoperation을 지원한다.
구조화 결과✓ 4 · 본문 인용 대조
✓video-only test set (tracking success)tracking success rate · sim80.0%
✓EMDB (tracking success)tracking success rate · sim90.2% vs GT + GMR 91.0%
🦾 Unitree G1✓Action Diffusion✓
실물 로봇
결과 Unitree G1에서 reconstruction-retargeting-tracking pipeline보다 motion quality와 executability가 좋고, autoregressive 버전은 400 ms 미만 latency로 video teleoperation을 한다.
평가 근거
Model / MethodHumanoidwhole bodyteleoperationreal robot
HumanoidNDM: Closing the Training-Deployment Gap of Motion Tracking via Humanoid Neural Dynamics Model
arXiv Robotics 2026-10-25 ★★★★☆
HumanoidNDM은 real-world data로 학습하고 differentiable kinematics를 넣은 proprioceptive neural dynamics model을 통해 humanoid motion tracking policy를 online fine-tuning하며, motion capture가 필요 없다.
구조화 결과✓ 6 · 본문 인용 대조
🦾 Unitree G1✓🦾 Unitree G1 model✓Obs proprioception✓📦 200 trajectories (trajectories collected from the deployment environment for HumanoidNDM in simulation)✓📦 50 trajectories (real-world trajectories to fine-tune Pen Capping)✓📦 6 tasks (motions with disturbances for real-world experiments)✓
실물 로봇
결과 Unitree G1 실험에서 다양한 perturbation에 빠르게 real-world adaptation했으며, humanoid tracking용 최초의 online, MoCap-free fine-tuning framework라고 주장한다.
평가 근거
Model / MethodHumanoidwhole bodyreal robot
MimicAll: Structured Embodiment Conditioning for Cross-Humanoid Whole-Body Motion Tracking
arXiv Robotics 2026-10-24 ★★★★☆
MimicAll은 structured embodiment descriptor를 써서 여러 종류의 humanoid에 하나의 RL whole-body motion tracker를 학습시키고, 같은 family 내 변형과 unseen family transfer를 아우르는 464-body benchmark를 제시한다.
구조화 결과✓ 5 · 본문 인용 대조
✓100STYLE (randomized G1 bodies)thirty-second success · sim99.4% vs single-body specialist 42.9%
✓100STYLE (out-of-distribution bodies within seen families)thirty-second tracking success · sim93.5%
✓LAFAN1-8 (464 bodies)thirty-second tracking success · sim61.7% vs mismatched conditions 47.0%
🦾 G1✓Action Other✓
시뮬레이션
결과 humanoid family 16종에서 만든 4,096개 변형으로 학습한 shared policy가 100STYLE의 randomized G1 body에서 30초 success 99.4%(single-body specialist는 42.9%).
평가 근거
BenchmarkHumanoidwhole bodyRLsimulation
Whole-Body Humanoid Control via Stochastic Motion Tokenization
arXiv Robotics 2026-10-27 ★★★☆☆
stochastic motion tokenizer를 behavior label이나 text로 조건화한 high-level generator와 humanoid whole-body tracking policy 사이의 간결한 interface로 쓴다.
구조화 결과✓ 5 · 본문 인용 대조
✓BONES-SEED Stage-1 validation joint position MSE (160-bit bottleneck)validation joint position MSE (x10^-3) · sim7.1 vs FSQ 9.0
✓LAFAN1 Stage-1 validation joint position MSE (160-bit bottleneck)validation joint position MSE (x10^-3) · sim14.4 vs FSQ 19.0
🦾 Unitree G1✓Obs proprioception✓📦 25 other (diverse generated motions tracked by one Stage 3 policy)✓
실물 로봇
결과 같은 capacity에서 FSQ·VQ-VAE보다 G1 motion을 잘 재구성하고, 실제 Unitree G1에서 16.8초 dance·fight·walk와 35초 fight-to-dance sequence를 실행했다.
평가 근거
Model / MethodHumanoidwhole bodyreal robot
MOTIO: Agentic Skill Engineering for Reality-Grounded Humanoid Loco-Manipulation
arXiv Robotics 2026-10-24 ★★★☆☆
MOTIO는 human action video, 3D asset, 재사용 가능한 skill을 실행 가능한 humanoid loco-manipulation program으로 바꾸고 physics execution과 human validation으로 다듬는 agentic skill-engineering system이며, teleoperation이 필요 없다.
구조화 결과✓ 7 · 본문 인용 대조
✓screw tightening (maximum thread residual)thread residual reduction · sim76.0%
🦾 G1✓Backbone ScaleBFM✓Action Chunked regression✓📦 63 episodes (episodes in the ten-task extension dataset)✓📦 92130 frames (frames in the ten-task extension dataset)✓📦 34 tasks (consecutively registered skills studied)✓
실물 로봇 + 시뮬레이션
결과 실제 G1에서 101.75초 동안 bottle disposal skill을 끊김 없이 수행했고, physical refinement 후 screw tightening thread residual이 76.0% 줄었다. skill을 policy 하나로 distillation해 simulated task 18개를 수행했다.
평가 근거
Model / MethodHumanoidwhole bodyreal robot
RAIWAY: A Large-Wheeled Bipedal Robot with Contact-Informed Blind Locomotion
arXiv Robotics 2026-10-23 ★★★☆☆
RAIWAY는 20인치 wheel을 단 wheeled bipedal robot이다. simulation에서 distillation한 latent contact representation을 proprioception만으로 추정하는 blind controller로 불규칙한 지형을 굴러간다.
구조화 결과✓ 8 · 본문 인용 대조
✓15 cm staircase (simulation)traversal distance · sim74.4%
✓16 cm step ascentstep success rate · real100%
🦾 RAIWAY✓Action Other✓Obs proprioception✓📦 20 real trials (trials per controller on the 16 cm step)✓📦 1000 other (simulation trials per controller on a 15 cm staircase)✓📦 200 other (parallel training environments)✓
실물 로봇
결과 가파른 경사, 자갈, 요철 표면, 바위 지형을 주행하고 높이 15 cm까지의 실외 계단을 올랐으며, contact-informed mechanism이 없는 baseline보다 좋았다.
평가 근거
System / HardwareLeggedlocomotionsim2realreal robot

🧭 Mobility, Navigation & Autonomy

ThinkLocoManip: A Whole-Body Control Agentic Harness for Legged Loco-Manipulation
arXiv Robotics 2026-10-25 ★★★★☆
ThinkLocoManip은 long-horizon legged loco-manipulation용 agentic harness로, perception·navigation·manipulation·locomotion tool을 오가며 reasoning과 acting을 번갈아 수행하고 keyframe thinking으로 error recovery를 한다.
구조화 결과✓ 4 · 본문 인용 대조
✓real-world long-horizon loco-manipulation (5 indoor tasks)success rate · real77% vs plan-then-act 37.1%
🦾 Lenovo BOT MX✓Backbone GPT-5.6 Sol✓📦 50 trajectories (demonstration trajectories per manipulation sub-task for ACT training and pi0.5 finetuning)✓
실물 로봇
결과 real long-horizon legged loco-manipulation task에서 success 77%로, 가장 강한 plan-then-act baseline(37.1%)의 두 배가 넘는다.
평가 근거
Model / MethodLeggedplanningnavigationreal robot
From Tabletop to Walking Bot: Deploying a VLA Model on a Legged Manipulator Robot
arXiv Robotics 2026-10-23 ★★★☆☆
tabletop arm용 VLA를 AgileX Piper arm을 단 Unitree Go2 quadruped로 옮기는 실전 보고서로, closed-loop loco-manipulation을 위한 data collection, model variant, action horizon, demonstration 규칙을 다룬다.
실물 로봇
결과 demonstration coverage를 넓히면 held-out end-effector error가 30% 줄고, pushing 같은 보조 skill을 추가해도 기존 pick-and-place 성능이 떨어지지 않았다.
평가 근거
DeploymentMobile ManipulatorVLAreal robot

🚁 Aerial, Field, Marine & Multi-Robot

RAVEN: A Unified Active SLAM System for Rapid Autonomous Visual Exploration with Aerial Robots under Localization Uncertainty
arXiv Robotics 2026-10-27 ★★★★☆
RAVEN은 quadrotor용 unified active SLAM framework로, exploration과 loop closure tour를 utility vector로 평가해 조절 가능한 priority에 따라 고르고, online Fisher information field로 perception-aware trajectory를 계획한다.
구조화 결과✓ 1 · 본문 인용 대조
🦾 customized stereo-inertial quadrotor✓
실물 로봇 + 시뮬레이션
결과 benchmark에서 기존 SOTA active SLAM보다 좋았고, 직접 만든 stereo-inertial quadrotor로 fully onboard field 실험까지 했다. source code는 공개 예정이며 아직 나오지 않았다.
평가 근거
Model / MethodAerial / DroneSLAMnavigationplanningreal robot

📊 Data, Benchmarks, Simulation & Tools

Behavior Spatial Benchmark: Evaluating Spatial Understanding for Robotics
arXiv Robotics 2026-10-25 ★★★★☆
BEHAVIOR-1K 기반 BEHAVIOR-Spatial은 spatial QA, point grounding, robot action을 함께 측정해 VLM의 spatial understanding이 VLA behavior로 이어지는지 검증하는 benchmark다.
구조화 결과✓ 7 · 본문 인용 대조
✓BEHAVIOR-Spatial manipulation, held-out configurationssoft success rate · sim60.3% vs Baseline 41.6%
✓BEHAVIOR-Spatial manipulation, prompt probesoft success rate · sim38.0% vs Baseline 16.1%
Backbone Qwen3.5-4B✓Action Flow matching✓Obs language, proprioception, rgb✓📦 3256 other (spatial VQA questions across 49 activities)✓📦 1240 other (grounding queries across 14 manipulation tasks)✓
시뮬레이션
결과 spatial question 3,256개, grounding query 1,240개, manipulation 14개·navigation 10개 action task로 구성됐다. baseline은 held-out configuration 41.6%, instruction 변경 시 16.1%였고 oracle target cue를 주면 60.3%/38.0%.
평가 근거
BenchmarkCross-PlatformVLAsimulation
SPECOLA: A Tool for Specification Driven Robot Evaluation
arXiv Robotics 2026-10-26 ★★★★☆
Specola는 Signal Temporal Logic specification으로 simulation 속 robot policy를 평가하는 tool로, Python API·CLI와 LIBERO, RoboCasa, Isaac Lab, RoboDojo를 포함한 9개 환경용 adapter를 제공한다.
구조화 결과✓ 3 · 본문 인용 대조
📦 50 episodes (rollouts per policy in LIBERO)✓📦 40 tasks (LIBERO tasks across Spatial, Object, Goal, and Long suites)✓📦 25 episodes (initial conditions per policy on RoboDojo bowl stacking)✓
시뮬레이션
결과 9개 simulation 환경·benchmark용 adapter를 제공하고, binary success rate로는 보이지 않는 margin, sensitivity, requirement 위반, 지속성 분석을 case study로 보여 준다.
평가 근거
코드✓ 코드 공개 · 소스 305개
Software / ToolCross-Platformbenchmarksimulationopen source
RoboJev: An Open Vision-Language Judge for Robot Success Detection
arXiv Robotics 2026-10-24 ★★★★☆
RoboJev-27B는 instruction과 episode frame으로 robot manipulation 성공 여부를 판정하는 open-weight vision-language judge로, inference code와 재현 가능한 평가 prediction 20,628개를 함께 공개했다.
구조화 결과✓ 8 · 본문 인용 대조
✓SO-101 held-out episodes (268)balanced accuracy · real95.2%
✓SO-101 held-out episodes (268)AUROC · real0.993
✓unseen labs/robots (459 episodes)AUROC0.890
✓clearly labelled community-collected episodes (135 episodes)accuracy93.3%
🦾 SO-101✓Backbone JEV-27B-VL✓Obs language, rgb✓📦 52598 episodes (episode records used for training)✓
실물 로봇
결과 held-out SO-101 episode 268개에서 balanced accuracy 95.2%, AUROC 0.993, unseen lab/robot episode 459개에서 AUROC 0.890. H100 한 장에서 episode당 0.26초.
평가 근거
Software / ToolManipulatoropen weightsopen sourcebenchmark
How High Can GPT-6 Astra Climb in Contact-Rich Manipulation? PhysLadder: A Hierarchical, Matched Sim-Real Benchmark for Physical Interaction
arXiv Robotics 2026-10-25 ★★★★☆
PhysLadder는 contact selection, force regulation, contact reconfiguration 3단계의 household contact-rich task 16개를 물리·시각적으로 맞춘 sim-real 환경에서 평가하는 benchmark로, GPT-6 Astra를 zero-shot 평가했다.
구조화 결과✓ 5 · 본문 인용 대조
✓PhysLadder L1 (real world)success rate · real80.0%
🦾 ARX R5✓Backbone GPT-6 Astra✓Obs proprioception, rgb✓📦 16 tasks (household manipulation tasks in the benchmark)✓
실물 로봇 + 시뮬레이션
결과 GPT-6 Astra의 real-world success는 L1 80.0%, L2 47.6%, L3 0.0%였고 simulation은 66.7%/47.6%/0.0%. task 16개 중 10개는 sim과 real의 success 횟수가 같았다(task당 3 trial).
평가 근거
✓ 코드 공개 · 소스 336개
BenchmarkManipulatordexteritysimulationreal robot
WorldFailBench: Do World Models Understand Policy Failures?
arXiv Robotics 2026-10-24 ★★★☆☆
WorldFailBench는 policy evaluator로 쓰는 world model이 robot policy의 failure 원인, 단계, scene 변화에 따른 성공·실패 경계를 재현하는지 LIBERO, RoboTwin, real G1 humanoid manipulation에서 평가한다.
구조화 결과✓ 3 · 본문 인용 대조
🦾 G1 humanoid robot✓📦 50 episodes (reference rollouts per task-policy setting)✓📦 60 other (frozen failure-boundary pairs per platform)✓
실물 로봇 + 시뮬레이션
결과 world model 7종을 실험한 결과 failure 원인, 단계, 경계를 재현하는 데 큰 격차가 드러났다.
평가 근거
⚠ README만 있음
BenchmarkCross-Platformworld model
Robot-Aligned 3D Gaussian Splatting for Precise Reaching with Wrist-Camera VLA Policies
arXiv Robotics 2026-10-26 ★★★☆☆
robot pose에 맞춘 wrist-camera observation을 3D Gaussian Splatting으로 렌더링해 reaching trajectory와 짝지은 data engine이다. e-waste 분해에서 접촉 전 정밀 reaching을 하도록 VLA를 fine-tuning하며, reach verifier도 함께 쓴다.
구조화 결과✓ 7 · 본문 인용 대조
✓real-world precise reaching, motherboard disassembly (3 targets)precise-reaching success rate · real80.0% vs teleoperation, 150 demonstrations 58.7%
🦾 Franka FR3✓Backbone π 0.5✓Obs language, proprioception, rgb✓📦 1500 trajectories (generated trajectories (PrecisionReach-GS))✓📦 150 demos (teleoperated demonstrations (baseline))✓📦 25 real trials (trials per target and condition)✓
실물 로봇
결과 π0.5에서 생성 trajectory 1,500개로 motherboard target 3곳의 precise-reaching success 80.0%를 얻었다(teleoperation demo 150개는 58.7%). 사람이 직접 촬영한 시간은 10분 미만이다.
평가 근거
Model / MethodManipulatorVLAsimulationreal robot
Mimetic Embodiment Transfer of Human-Humanoid Interaction from In-the-Wild Videos
arXiv Robotics 2026-10-27 ★★★☆☆
HumiTransfer는 in-the-wild human-human interaction video를 물리적으로 그럴듯한 human-humanoid interaction으로 변환하며, Unitree R1 Edu와 HighTorque Mini-hi용 약 50만 frame 규모 HumiMimic dataset을 만들었다.
구조화 결과✓ 9 · 본문 인용 대조
✓HumiMimic retargeting (Unitree R1 Edu)MPJPE (cm) · sim6.31cm
✓HumiMimic retargeting (Unitree R1 Edu)CF1 · sim81.97
✓HumiMimic generative interaction (Unitree R1 Edu)FIDk · sim24.96
✓HumiMimic motion diversity (Unitree R1 Edu)diversity score · sim6.2427 vs AMASS 5.4834
🦾 Unitree R1 Edu✓🦾 HighTorque Mini-hi✓📦 1200 other (in-the-wild two-person interaction videos)✓📦 500000 frames (processed frames in HumiMimic)✓📦 4.6 hours (video hours of processed data)✓
실물 로봇
결과 video 1,200개로 만들었고, 두 robot 모두에서 motion fidelity와 contact accuracy가 baseline보다 좋았다. real-robot deployment로 실행 가능성을 확인했다.
평가 근거
DatasetHumanoidHRIwhole bodyreal robot

🛠 Hardware, Sensing, Deployment & Safety

ORBIT: A Modular Multi-finger Robotic Hand Platform with Rotational Finger Reconfiguration
arXiv Robotics 2026-10-23 ★★★★☆
ORBIT은 finger가 belt 구동 knuckle을 따라 원통형 palm 주위를 돌아 1초 안에 배치를 바꿀 수 있는 modular multi-finger hand로, 여러 hand morphology를 같은 조건에서 비교하게 해 준다.
구조화 결과✓ 3 · 본문 인용 대조
🦾 Franka Emika Panda✓📦 11 other (objects in qualitative grasp experiments)✓📦 5 real trials (trials for finger DOF travel time measurement)✓
실물 로봇
결과 1초 미만 재구성, 평균 finger 각속도 1.57 rad/s, root force 내성 50 N. 3-finger 버전으로 물체 11개에서 anthropomorphic, isometric, Barrett-style 배치를 비교했다.
평가 근거
System / HardwareDexterous Handdexterityreal robot
TRIAGE: Efficient Vision-Language-Action Inference Needs Both Reuse and Pruning
arXiv Robotics 2026-10-25 ★★★★☆
TRIAGE는 측정한 token drift와 cache age를 기준으로 visual token마다 recompute, cached KV reuse, pruning 중 하나를 골라 embedded board에서 VLA prefill을 빠르게 한다.
구조화 결과✓ 5 · 본문 인용 대조
✓LIBERO-Object (OpenVLA, B=18)success rate · sim75.8%
🦾 Google Robot✓Backbone OpenVLA-7B✓Action Autoregressive tokens✓📦 500 episodes (evaluation episodes per LIBERO suite)✓
시뮬레이션
결과 LIBERO·SimplerEnv에서 full recomputation과 3 pp 이내 차이를 유지하며 Jetson AGX Orin의 prefill latency를 최대 48% 줄였다. token 7%만 recompute해도 LIBERO-Object에서 가장 강한 baseline보다 24.4 pp 높다.
평가 근거
Model / MethodCross-PlatformVLAefficient inference
VLA-Stem: A Lightweight Safety Mechanism for Vision-Language-Action Models via Reinforcement Learning
arXiv Robotics 2026-10-27 ★★★☆☆
VLA-Stem은 frozen VLA의 action chunk를 motion reference로 바꾸고, VLA를 fine-tuning하지 않은 채 static constraint와 dynamic obstacle에 맞춰 실행을 조정하는 가벼운 RL safety layer다.
구조화 결과✓ 10 · 본문 인용 대조
✓six constrained simulation settings (average collision-free task success)collision-free task success · sim52.8% vs strongest safety baseline 23.7%
✓StackCube dynamic (ManiSkill)SUCC (collision-free success) · sim0.5419
✓PickCube normal (ManiSkill)SUCC · sim0.7325
🦾 UR7e✓Backbone π0.5✓Obs proprioception✓📦 100 demos (demonstrations to fine-tune each base VLA in simulation)✓📦 50 demos (teleoperated demonstrations per real-world task)✓📦 3200 episodes (evaluation episodes per task-scenario setting)✓📦 15 real trials (real-world trials per task and scenario)✓
실물 로봇 + 시뮬레이션
결과 제약 조건이 있는 simulation 6개 설정에서 collision-free task success 평균 52.8%(가장 강한 safety baseline 23.7%)이고, 장애물이 없을 때 성능은 그대로였다. real-world에서도 충돌이 꾸준히 줄었다.
평가 근거
Model / MethodCross-PlatformVLAsafetyRLreal robot
DEX-PHD: A Dexterous Portable Handheld Device for Multimodal Data Collection
arXiv Robotics 2026-10-26 ★★★☆☆
DEX-PHD는 dexterous robot hand에 finger별 joint-level control을 결합한 무선 handheld device로, proprioception, fingertip contact, wrist-camera video를 기록해 어디서나 dexterous data를 수집할 수 있다.
구조화 결과✓ 5 · 본문 인용 대조
✓Peg-in-hole open-loop replay on physical humanoidmean joint position MAE (deg) · real2.66deg
✓Multi-object grasping open-loop replay on physical humanoidjoint position correlation · real0.691
✓Drilling open-loop replay on physical humanoidjoint position correlation · real0.803
🦾 Unitree G1✓🦾 Ability Hand✓
실물 로봇
결과 수집한 contact-rich demonstration을 실제 humanoid에서 open-loop로 재생하면 finger motion과 contact의 주요 시간 패턴이 유지된다. closed-loop policy 결과는 보고하지 않았다.
평가 근거
System / HardwareDexterous Handdexterityteleoperationtactilereal robot

🧠 Selected Robotics-Enabling AI

Video World Models Need Predictable Latents
arXiv Robotics 2026-10-26 ★★★★☆
temporal predictability에 맞춰 최적화한 latent와 past-conditioned decoder로 video world model을 학습하면, pixel 정확도를 잃지 않고 robot data world model이 좋아짐을 보였다.
구조화 결과✓ 4 · 본문 인용 대조
✓WorldGym policy evaluation (17 Bridge tasks)Pearson correlation between simulated and real success rates · sim0.62 vs reconstruction baseline 0.51
Action Diffusion✓📦 17 tasks (Bridge tasks for world-model policy evaluation)✓📦 80000 other (autoencoder fine-tuning updates)✓
시뮬레이션
결과 같은 training budget에서 inference 최대 5배 저렴, 학습 7배 이상 빠름, OOD·long horizon에서 pixel·perceptual error 15~24% 감소, real-world policy evaluation과의 일치도도 높아졌다.
평가 근거
Model / MethodCross-Platformworld modelefficient inference

🔭 Frontier AI

LLM에 국한하지 않은 범용 foundation model의 주요 신규 공개

Gemini 4 Carbon: our next frontier model
Google DeepMind 2026-10-28 Flagship
Google의 새 flagship frontier model로 Artificial Analysis Intelligence Index v5.0 1위, SEC-bench Pro 88.2%를 기록했으며 출시 시점에는 trusted access로만 제공되고 public API는 아직 없다.
Language · Code · ReasoningNew ModelModel / Methodfoundation model
Introducing GPT-6.1 Terra
OpenAI Blog 2026-10-26 Major
OpenAI가 API(gpt-6.1-terra), ChatGPT Work, Codex에 더 빠르고 저렴한 computer-use model GPT-6.1 Terra를 공개했으며, 회사 측 수치로 low-effort error rate가 53.6%에서 16.7%로 줄었다.
Multimodal · OmniPublic APIModel / Methodfoundation modelefficient inference
DeepSeek-V4.1-Flash-1017
DeepSeek 2026-10-17 Major
DeepSeek가 V4.1-Flash-1017 업데이트를 API(deepseek-flash)로 제공하고 Hugging Face/ModelScope에 open weights로 공개했으며, end-to-end 프로젝트 개발을 위해 self-feedback RL로 학습했다.
Language · Code · ReasoningMajor UpdateModel / Methodfoundation modelopen weights
MAI Image 2.7
Microsoft 2026-10-27 Notable
Microsoft AI가 image editing model MAI Image 2.7을 preview로 공개했다. 평가한 모든 use case에서 MAI-Image-2.6보다 좋았고 Arena Edit 3위를 기록했다고 밝혔으나, API 제공 여부는 아직 밝히지 않았다.
Vision · ImageMajor UpdateModel / Methodfoundation model