PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22877v5cs.AI

Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle

Physical intelligence refers to intelligence systems that understand, reason about and act in accordance with the physical world and its underlying laws, dynamics, and constraints. Unlike conventional AI systems, physical intelligence interacts continuously with uncertain physical environments, and its actions produce consequences that are physically irreversible. As existing trustworthy AI frameworks have been developed primarily for digital AI systems, they do not fully capture the distinctive challenges of Physical Intelligence, such as physical safety, cyber-physical security, and physical manufacturing process. To address this gap, our paper develop a foundation for understanding, operationalizing, and governing trustworthy physical intelligence. First, we characterize the fundamental capabilities of physical intelligence. Second, we investigate the role of physical laws and principles in AI and analyze the associated challenges of physical intelligence. Third, we provide a unified structure of the end-to-end physical intelligence life cycle across five core stages and introduce the Trustworthy Physical Intelligence Operationalization (T-PAIO) framework. Fourth, we formulate the Trustworthy Physical Intelligence (T-PAI) Principles as a theoretical framework that synthesizes key trustworthiness dimensions and establishes a conceptual foundation for the governance of physical intelligence systems.

arXiv:2609.23695v1cs.AI

PhysAI-Bench: 자율 무인 항공기(UAV) 중심 피지컬 AI에서의 LLM 기반 에이전트 의사결정을 위한 벤치마크

PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI

피지컬 AI(Physical AI)의 최근 발전은 동적 환경에서 인지하고, 추론하며, 계획하고, 행동해야 하는 무인 항공기(UAV)와 같은 자율 시스템에서 파운데이션 모델의 활용을 가속화했습니다. 기존 벤치마크는 물리적 인지, 직관적 물리학, 체화된 내비게이션, 협업 추론을 평가하지만, 신뢰할 수 있는 자율성에 필요한 에이전트(agent) 의사결정을 평가하는 경우는 드뭅니다. 본 연구에서는 이러한 역량을 평가하기 위한 벤치마크인 PhysAI-Bench를 소개합니다. 이 벤치마크는 자율 UAV 임무의 대화 추적 기록에서 자동으로 추출된 10,178개의 표준화된 의사결정 인스턴스를 포함합니다. 각 인스턴스는 임무 컨텍스트, 시계열 의존성, 물리적 제약 조건, Model Context Protocol(MCP) 도구 호출, 에이전트 간(A2A) 상호작용, 센서 관측치, 그리고 지연 시간, 패킷 손실(loss), 처리량, 에지 부하, 네트워크 슬라이싱을 포함한 AI 네이티브 6G 네트워크 조건을 보존합니다. 각 의사결정에 선행하는 정보만을 노출하여 미래 사건 누출을 방지하고 온라인 의사결정을 근사합니다. 2단계 프로토콜을 사용하여 29개의 파운데이션 모델(model)을 평가합니다. 인간이 검증한 35개 인스턴스의 개발 세트에서 3회 실행하여 테스트한 제로샷(zero-shot), 3샷, 5샷 프롬프트(prompt) 및 4가지 온도의 12가지 조합으로부터 모델별 설정을 선택합니다. 그런 다음 선택된 각 설정을 고정하고, 에피소드가 겹치지 않는 고정된 500개 인스턴스 세트에서 3회 실행하여 평가합니다. GPT-5.3이 가장 높은 정확도(52.00%)를 달성했으며, GPT-5.2(49.40%)와 Grok 4.5(49.07%)가 그 뒤를 이었습니다. 퓨샷(few-shot) 프롬프트는 전반적으로 성능을 향상시키는 반면, 온도의 영향은 제한적이었습니다. 결과는 피지컬 AI에서 신뢰할 수 있는 에이전트 의사결정이 여전히 미해결 과제로 남아 있음을 보여줍니다. 데이터셋(dataset)은 https://github.com/maferrag/physai-bench 에서 이용할 수 있습니다.

arXiv:2606.02800v4cs.CV

Cosmos 3: 물리적 AI를 위한 옴니모달 월드 모델

Cosmos 3: Omnimodal World Models for Physical AI

우리는 통합된 혼합 트랜스포머(mixture-of-transformers) 아키텍처 내에서 언어, 이미지, 비디오, 오디오 및 행동 시퀀스를 공동으로 처리하고 생성하도록 설계된 옴니모달 월드 모델(omnimodal world models) 패밀리인 Cosmos 3를 소개합니다. 고도로 유연한 입력-출력(input-output) 구성을 지원함으로써, Cosmos 3는 물리적 AI(Physical AI)를 위한 핵심 모달리티(modalities)를 매끄럽게 통합하여 비전-언어 모델(vision-language models), 비디오 생성기(video generators), 월드 시뮬레이터(world simulators), 및 월드-액션 모델(world-action models)을 단일 프레임워크로 효과적으로 아우릅니다. 우리의 평가 결과는 Cosmos 3가 다양한 이해 및 생성 작업에서 새로운 최첨단(SOTA) 기록을 수립함을 보여주며, 이는 옴니모달 월드 모델이 임베디드 에이전트(embodied agents)를 위한 확장 가능하고 범용적인 백본(backbone)이 될 수 있음을 입증합니다. 사후학습(post-trained)된 우리의 Cosmos 3 모델들은 본 기술 보고서 작성 시점에 Artificial Analysis로부터 최고의 오픈 소스 텍스트-투-이미지(Text-to-Image) 및 이미지-투-비디오(Image-to-Video) 모델로, 그리고 RoboArena로부터 최고의 정책 모델(policy model)로 순위를 매겨졌습니다. 물리적 AI(Physical AI) 분야의 오픈 연구와 배포를 가속화하기 위해, 우리는 리눅스 재단의 OpenMDW-1.1 라이선스 하에 우리의 코드, 모델 체크포인트(model checkpoints), 큐레이팅된 합성 데이터셋(curated synthetic datasets), 그리고 평가 벤치마크(evaluation benchmark)를 https://github.com/nvidia/cosmos 및 https://huggingface.co/collections/nvidia/cosmos3에서 공개합니다. 프로젝트 웹사이트는 https://research.nvidia.com/labs/cosmos-lab/cosmos3에서 확인할 수 있습니다.

arXiv:2606.19769v1cs.RO

휴머노이드 로봇을 위한 데이터 표준: 물리적 AI를 위한 누락된 인프라

Data Standards for Humanoid Robotics: The Missing Infrastructure for Physical AI

휴머노이드 로봇의 확장성은 모델과 하드웨어뿐만 아니라, 로봇, 작업, 조직, 시간에 걸쳐 물리적 경험이 축적될 수 있는지에 달려 있습니다. ISO/TC 299/WG 16 내에서 ISO/WD 26264-1, Humanoid robot datasets -- Part 1: General requirements를 개발하는 저자들의 작업을 바탕으로, 이 기사는 데이터 표준이 물리적 AI(Physical AI)의 기반 인프라가 되고 있음을 논증합니다. 우리는 세 가지 통찰을 제시합니다. 첫째, 휴머노이드 로봇 데이터는 격리된 디지털 샘플의 집합이 아니라 구현된(embodied) 상호작용 데이터입니다. 유용한 데이터셋(dataset)은 로봇 신체, 행동, 작업, 장면, 실행 추적, 결과 간의 관계를 보존해야 합니다. 둘째, 그 가치는 물리적 일관성에 달려 있습니다. 멀티모달 스트림은 타이밍, 좌표계, 캘리브레이션, 운동학, 단위, 동기화 가정이 검사 가능한 상태로 유지될 때만 재사용 가능합니다. 셋째, 주요 병목 현상은 데이터 부족뿐만 아니라 높은 수집 비용, 데이터 사일로(data silos), 불일치하는 평가로 인해 발생하는 누적되지 않는 데이터(non-cumulative data)에 있습니다. 우리는 휴머노이드 로봇 데이터 표준이 구현된 경험을 해석 가능하고, 공유 가능하며, 추적 가능하고, 재사용 가능하게 만듦으로써 이러한 병목 현상을 해결한다고 주장합니다. 일반 표준은 수명 주기 관리, 메타데이터, 기원(provenance), 품질, 버전 관리, 추적 가능성을 위한 수평적 인프라를 제공해야 하며, 능력별 부분은 조작, 이동(locomotion), 인간-로봇 상호작용(HRI), 인지 및 미래의 휴머노이드 능력에 대한 도메인 문법을 정의해야 합니다. AI가 화면에서 신체로 이동함에 따라, 데이터 표준은 디지털 정보를 구성하는 것에서 물리적 상호작용을 구조화하는 것으로 진화해야 합니다.

arXiv:2606.16533v2cs.AI

Kairos: 물리적 AI를 위한 네이티브 월드 모델 스택

Kairos: A Native World Model Stack for Physical AI

월드 모델은 수동적인 시각 생성기에서 물리적 AI(Physical AI)를 위한 기초적이고 운영 가능한 인프라로 전환하고 있습니다: 월드 모델은 이질적인 경험에서 세계 지식을 네이티브하게 습득하고, 장기 수평(long horizons)에 걸쳐 지속적인 상태를 유지하며, 실제 배포 제약 조건 내에서 효율적으로 실행해야 합니다. 우리는 이러한 요구 사항을 중심으로 설계된 네이티브 월드 모델 스택인 Kairos를 소개합니다. (1) Kairos는 크로스-임바디먼트 데이터 커리큘럼(Cross-Embodiment Data Curriculum)에 의해 관리되는 네이티브 사전학습 패러다임(Native Pre-training Paradigm)을 개척하여 세계를 학습합니다. 이 커리큘럼은 오픈 월드 비디오, 인간 행동 데이터, 로봇 상호작용을 점진적 발달 경로로 구성합니다. (2) Kairos는 하이브리드 선형 시간 어텐션(Hybrid Linear Temporal Attention)을 갖춘 네이티브 통합 아키텍처(Native Unified Architecture) 내에서 통합된 세계 이해, 생성 및 예측을 통해 세계를 유지합니다. 여기서 슬라이딩 윈도우 어텐션은 국부적 동역학을 포착하고, 확장된 슬라이딩 윈도우는 중거리 의존성을 포착하며, 게이트 선형 어텐션은 지속적인 전역 메모리를 유지합니다. 우리는 이 시간적 인수분해(temporal factorization)가 오류 누적을 엄격하게 제한함으로써, 확장된 수평에 걸친 상태 전파를 수학적으로 보장한다는 것을 입증하는 형식적인 이론적 경계를 확립했습니다. (3) Kairos는 실제 관찰-행동-피드백 루프를 위해 서버 및 소비자급 하드웨어에서 저지연 롤아웃(rollout) 생성을 지원하는 배포 인식 시스템 공동 설계(Deployment-Aware System Co-Design)를 통합하여 세계를 실행합니다. 임베디드 월드 모델, 장기 수평, 행동 정책 벤치마크에 대한 실험 결과, Kairos가 탁월한 효율성-능력 트레이드오프를 제공하면서 최상위 수준의 성능을 달성함을 보여줍니다. 종합적으로, 이러한 결과들은 Kairos가 미래의 자가 진화하는 물리적 지능을 위한 응집력 있는 운영적 기반으로 자리매김함을 보여줍니다.

arXiv:2606.17574v1cs.AI

DeepInsight: 물리적 AI 스택 전반에 걸친 통합 평가 인프라

DeepInsight: A Unified Evaluation Infrastructure Across the Physical AI Stack

물리적 AI 스택의 평가는 단일 파운데이션 모델 디코딩 단계부터 전신 제어의 수천 개의 물리 틱(tick)에 이르기까지 3차수 이상의 차이를 보이는 연산들을 포괄하며, 모달리티, 보상 의미론, 리소스 프로필 측면에서 서로 독립적으로 변화합니다. 이 범위를 아우르는 기존 프레임워크는 존재하지 않기 때문에, 현재 스택은 런타임이나 스코어링을 공유하지 않는 별도의 하니스(harness)들을 연결하여 평가되고 있습니다. 이는 각 세그먼트의 국지적 타당성은 유지하지만, 층 간 회귀를 진단하는 데 필요한 공유된 정체성을 상실하게 만듭니다. 우리는 단일 런타임에서 이 전체 스펙트럼을 지원하는 평가 인프라인 DeepInsight를 제시합니다. 체제를 균질화하는 대신, DeepInsight는 작업(task), 리소스(resource), 결과(result)라는 세 가지 좁은 추상화 뒤에 이들의 이질성을 보존합니다. 각 추상화는 모든 하위 시스템이 공유하는 하나의 불변 요소로 구현되는데, 이는 하나의 에피소드 드라이버, 모든 고비용 백엔드(LLM 추론 및 샌드박스된 런타임 등)가 구현하는 단일 리소스 핸들 프로토콜, 그리고 모든 이벤트가 기록되는 단일 추적 식별 체계입니다. 구현형 휴머노이드 스택의 모든 세 개 층에 걸쳐 프로덕션에 배포된 이 단일 불변 요소 세트는 주로 구성(configuration)만으로 새로운 벤치마크를 통합할 수 있습니다. 성숙한 동종 오케스트레이터가 존재하는 파운데이션 모델 단에서는, DeepInsight는 기존 문헌의 참조값과 동종 프레임워크의 측정값을 자체적인 편차 범위 내에서 재현하며, 단일 노드에서는 더 빠르게 동일한 테스트 스위트를 실행하고 다중 노드 간에는 거의 선형적으로 스케일링됩니다. DeepInsight의 고유한 이점은 진단 기능에 있습니다. 모든 층이 하나의 공유된 추적(trace)에 기록하기 때문에, 한 층에서 시작되어 다른 층에서 나타나는 회귀(regression)가 해당 추적 상에서 위치 파악이 가능한 상태로 유지됩니다. 이는 세그먼트별 하니스들의 연동으로는 재현할 수 없는 층 간 효과입니다.

arXiv:2512.23292v5cs.AI

에너지 시스템을 위한 도메인 특화 파운데이션 모델을 향한 에이전트형 물리적 AI: 원자로 제어 사례 연구

Agentic Physical AI toward a Domain-Specific Foundation Model for Energy Systems: A Case Study on Nuclear Reactor Control

물리적 시스템을 위한 AI의 지배적인 패러다임인, 범용 멀티모달 추론을 위한 범용 파운데이션 모델의 스케일링은 제어 인터페이스에서 장벽에 직면합니다. 최첨단 비전-언어 모델은 기본적인 정량적 물리 작업에서 50-53%의 정확도만 달성할 뿐이며, 물리적 제약을 위반하면서도 의미적 타당성을 유지하는 근사 추정기처럼 행동합니다. 안전 중요 제어는 매개변수 공간 모방이 아닌, 실행된 행동에 대한 결과 공간 보장을 요구합니다. 본 연구에서는 에이전트형 물리적 AI(Agentic Physical AI)로 작동하는 소형 언어 모델을 통해 도메인 특화 파운데이션 모델로 나아가는 경로를 제시합니다: 지각적 추론이 아닌 물리 기반 시뮬레이터 검증에 의해 구동되는 정책 최적화입니다. 우리는 $10^3$에서 $10^5$개의 예제로 스케일링된 합성 원자로 시나리오에서 3억 6천만(360M) 매개변수 모델을 학습시켰습니다. 스케일링은 정상 시뮬레이션 조건 하에서 강력하고 영역 의존적인 신뢰도 향상을 가져왔으며, 샘플링된 분포에서 약 500배의 분산 급감과 10% 이상의 최종 전력 이탈을 제거했습니다. 4가지 구동 계열(actuation families)에 대해 균형 잡힌 학습이 이루어졌음에도 불구하고, 모델은 강화학습이나 보상 엔지니어링 없이 런타임 실행의 95%를 단일 뱅크(single-bank) 전략에 집중시켰습니다. 표현(representation)은 아키텍처 변경 없이 시뮬레이터 간에 전이되었습니다. 우리는 이 시스템을 독립형 안전 솔루션이 아닌, 검증, 모니터링 및 방어심도(defense-in-depth) 아키텍처 내의 후보 결정 구성 요소로 위치시킵니다: 입증된 행동은 시뮬레이션 내 단일 단계 작업에서의 폐루프 신뢰성을 보여주지만, 비정상(off-nominal) 운영, 센서 결함 또는 불확실성 정량화는 아직 다루지 않습니다.