PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12477v2cs.CV

공간 속 자아: UAV 체화 지능에서 자기 인식과 공간 인지 벤치마킹

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

자율 UAV 시스템은 복잡한 실세계 환경에서 동작하기 위해 점점 더 멀티모달 대규모 언어 모델(MLLM)에 의존하고 있다. 이러한 체화(embodied) 시나리오에서는 주변 공간을 이해하는 것뿐만 아니라 에이전트 자신에 대한 일관된 표상을 유지하는 것도 필요하다. 그러나 기존 UAV 지향 접근법과 벤치마크는 여전히 대체로 환경 중심적이며, 주로 공간 이해 과제에 초점을 맞추고 있고, 에이전트의 자기 인식은 암묵적으로 남아 있다. 이 격차를 해소하기 위해, 우리는 통합된 공간 속 자아(self-in-space) 정식화 하에서 UAV 시나리오의 체화 공간 지능을 평가하는 벤치마크인 SIS-Bench를 제안한다. SIS-Bench는 상호 보완적인 두 차원인 공간(space)과 자아(self), 그리고 지각, 기억, 추론의 3단계 계층을 따라 평가를 구성한다. SIS-Bench는 전문가 검증을 거친 과제 조건화 구축 파이프라인을 통해 1,646개의 실세계 UAV 영상에서 파생된 13개 과제 전반에 걸쳐 4,856개의 질문-답변 쌍을 포함한다. 광범위한 평가 결과, 현재 MLLM들은 동적이고 에이전트 중심적인 과정을 모델링하는 데 근본적인 한계를 보인다. 특히, 공간 인지와 자기 인식 사이의 뚜렷한 불균형, 그리고 인지 수준에 걸친 점진적인 성능 저하를 관찰한다. 이러한 발견에 동기부여되어, 우리는 광학 흐름(optical flow)과 시각적 특징 융합을 통해 자아 관련 동역학을 통합하는 운동 인식(motion-aware) 표상을 추가로 탐구한다. 실험 결과, 에이전트 운동을 모델링하면 공간 인지뿐만 아니라 자기 인식에서도 지각 및 기억 성능이 일관되게 향상되며, 하위 UAV 의사결정 과제로도 일반화된다는 것을 보여준다. 우리의 결과는 체화 공간 지능을 발전시키는 데 자기 인식의 중요성을 부각하며, 운동 인식 공간 속 자아 모델링을 위한 새로운 벤치마크와 실증적 근거를 모두 제공한다.

arXiv:2606.20661v1cs.AI

아는 것에서 행동으로: LLM 에이전트의 자기 인식 능력 벤치마킹

From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents

외부 도구의 통합은 LLM 에이전트를 수동적 응답자에서 자율적 시스템으로 전환시켰다. 그러나 현재 벤치마크는 실행 성공을 우선시하며, 문제가 필요한 외부 자원을 요구하는지 아니면 내부 파라메트릭 지식으로 해결할 수 있는지를 판별하는 자기 인식(self-awareness) 능력을 간과한다. 이를 해결하기 위해, 우리는 에이전트의 메타인지적 판단(Knowing)과 자발적 실행(Acting)을 분리하여 인지-행동 정렬(cognitive-behavioral alignment)을 평가하는 프레임워크인 KAPRO(Knowing-Acting Quadrant PRObe)를 제안한다. 또한 우리는 이러한 인식론적 경계를 체계적으로 탐색하기 위해 작업을 외부, 내부, 하이브리드 부분공간으로 엄격히 분할하는 데이터셋 KAware를 구축한다. 다양한 에이전트 아키텍처에 걸친 광범위한 실험은 자기 인식 능력이 작업 성공과 강하게 상관관계가 있지만 내부 역량 설정에서 급격히 저하됨을 보여준다. 게다가, 오픈소스 및 인스트럭션 수행(instruction-following) 모델은 얕은 패턴 매칭으로 인해 더 강한 도구 과다 사용을 보이는 반면, 독점 및 추론 지향(reasoning-oriented) 모델은 더 신뢰할 수 있는 인지 게이팅(cognitive gating)을 보여준다. 벤치마크와 코드는 https://github.com/AI-Santiago/KAware 에서 이용할 수 있다.