PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.18231v3cs.LG

NSNQuant: 캘리브레이션 없는 KV 캐시 저비트 벡터 양자화를 위한 이중 정규화 접근법

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

대규모 언어 모델(LLM) 추론은 key-value(KV) 캐시의 큰 크기로 인해, 특히 대규모 배치 크기와 긴 시퀀스를 처리할 때 일반적으로 메모리를 많이 소모한다. 벡터 양자화(VQ)가 최근 이 문제를 완화하기 위해 채택되었지만, 기존 접근법은 캘리브레이션 데이터셋에 의존하기 때문에 분포 이동(distribution shift)에 취약함을 확인했다. 이 한계를 해결하기 위해, 우리는 KV 캐시의 저비트 압축을 위해 설계된 캘리브레이션 없는 벡터 양자화(VQ) 기법인 NSNQuant를 제안한다. Hadamard 변환과 함께 1) 토큰 단위 정규화(Normalize), 2) 채널 단위 중심화(Shift), 3) 두 번째 토큰 단위 정규화(Normalize)로 구성된 3단계 변환을 적용함으로써, NSNQuant는 토큰 분포를 표준 정규 분포에 효과적으로 정렬한다. 이러한 정렬은 단일 재사용 가능한 코드북(codebook)을 사용한 견고한 캘리브레이션 없는 벡터 양자화를 가능하게 한다. 광범위한 실험에서 NSNQuant는 1비트 및 2비트 설정 모두에서 기존 방법들을 일관되게 능가하며, 강한 일반화 성능과 전체 정밀도(full-precision) 기준 대비 최대 3배의 처리량(throughput) 향상을 제공한다. 코드는 https://github.com/DHdroid/NSNQuant 에서 확인할 수 있다.

arXiv:2502.07780v4cs.LG공식 코드 · Papers with Code

DarwinLM: 대규모 언어 모델의 진화적 구조적 가지치기

DarwinLM: Evolutionary Structured Pruning of Large Language Models

대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 태스크에서 상당한 성공을 거두었다. 그러나 거대한 계산 비용은, 특히 실시간 응용에서, 이들의 널리 사용을 제한한다. 구조적 가지치기(structured pruning)는 모델을 압축하고 하드웨어 환경과 무관하게 end-to-end 속도 향상을 직접 제공함으로써 효과적인 해결책을 제시한다. 한편, 모델의 서로 다른 구성 요소는 가지치기에 대해 서로 다른 민감도를 보이므로, 균일하지 않은(non-uniform) 모델 압축이 필요하다. 그러나 가지치기 방법은 유능한 하위 구조를 식별하는 것뿐만 아니라 압축 후 학습도 고려해야 한다. 이를 위해 우리는 학습을 고려한(training-aware) 구조적 가지치기 방법인 DarwinLM을 제안한다. DarwinLM은 진화적 탐색 과정을 기반으로 하며, 각 세대에서 변이(mutation)를 통해 여러 자손 모델을 생성하고 생존에 가장 적합한 것을 선택한다. 사후 학습의 효과를 평가하기 위해, 우리는 자손 집단 내에 경량의 다단계 학습 과정을 통합하여 토큰 수를 점진적으로 늘리고 각 선택 단계에서 성능이 낮은 모델을 제거한다. 우리는 Llama-2-7B, Llama-3.1-8B, Qwen-2.5-14B-Instruct에 대한 광범위한 실험을 통해 방법을 검증하였으며, 구조적 가지치기에서 최신(state-of-the-art) 성능을 달성하였다. 예를 들어, DarwinLM은 압축 후 학습 동안 5배 적은 학습 데이터를 필요로하면서 ShearedLlama를 능가한다. 코드: https://github.com/IST-DASLab/DarwinLM

arXiv:2607.13911v1cs.NE

LLM 생성을 어떻게 유도할 것인가: 자동 휴리스틱 설계를 위한 이중 대리 모델 유도 탐색

How to Guide LLM Generation: Dual-Surrogate Guided Search for Automated Heuristic Design

대규모 언어 모델(LLM)은 작업 설명과 평가자(evaluator) 피드백으로 실행 가능한 휴리스틱 코드를 생성함으로써 자동 휴리스틱 설계(AHD)를 점점 더 실용적으로 만들었다. 그러나 제한된 쿼리 및 평가 예산 하에서는 탐색 효율이 사전 생성(pre-generation) 결정에 크게 달려 있다. 각 LLM 쿼리와 블랙박스 평가 이전에, 시스템은 아카이브된 휴리스틱 중 어떤 것을 부모(parent)로 재사용할지, 그리고 어떤 생성 연산자(generation operator)가 이를 변환해야 할지 선택해야 한다. 기존 방법들은 일반적으로 이러한 행동을 사전 정의된 규칙으로 선택하며, 각 구체적인 연산자-부모(operator-parent) 행동의 기대 결과를 간접적으로만 모델링한다. 따라서 본 논문은 LLM 기반 AHD에서 연산자-부모 선택을 위한 대리 모델(surrogate) 유도 행동 선택 모듈인 \emph{\fullmethod{}} (\method{})를 제안한다. \method{}는 두 가지 상보적인 대리 모델로 사전 생성 행동을 점수화함으로써 LLM 코드 생성 과정을 유도한다. 구체적으로, 전이(transition) 대리 모델은 연산자-부모 행동에 의해 유도되는 자식(child) 표현(representation)의 잠재(latent) 분포를 예측하고, 인스턴스 조건(instance-conditioned) 유틸리티 대리 모델은 샘플링된 자식 잠재의 기대 성능을 추정한다. 또한, 예측된 유틸리티, 유틸리티 불확실성, 전이 불확실성을 결합하여 다음 LLM 생성 행동을 선택하는 불확실성 인식 획득(acquisition) 규칙을 제안한다. 다양한 휴리스틱 설계 벤치마크에서 \method{}는 강력한 LLM-AHD 기준선(baseline)과 경쟁력 있는 성능을 보이며, ablation 및 행동 선택 분석은 그 동작이 단순한 아카이브 순위화나 고정된 연산자 선호를 넘어섬을 시사한다.

arXiv:2607.13978v1cs.CV

원자적 움직임 기반 음악-춤 생성

Music-to-Dance Generation via Atomic Movements

음악 기반 춤 생성은 음악과 리듬적으로 동기화되고 의미적으로 일관된 인간 움직임을 생성하는 것을 목표로 한다. 최근 신경망 기반 접근법들은 인상적인 시각적 사실성을 달성했지만, 일반적으로 움직임을 연속 신호로 모델링하고 그 구성적 특성을 간과하여 생성된 춤이 구조적으로 비일관적이고 제어하기 어렵게 만든다. 본 연구에서는 안무를 원자적 움직임(atomic movements)의 시퀀스로 모델링하는 구조 인식 프레임워크를 제안한다. 원자적 움직임은 춤의 구성 요소로 작용하는 의미적으로 해석 가능한 동작 이벤트이다. 이 원자적 움직임 어휘를 구축하기 위해, 먼저 대규모 춤 데이터를 분할하고 이를 원자적 움직임 그룹으로 클러스터링한다. 그다음 대규모 언어 모델(LLM)을 사용해 클러스터에 의미적 재라벨링과 정제를 수행하여, 해석 가능하고 재사용 가능한 원자적 움직임 집합을 얻는다. 이러한 원자적 움직임 주석을 바탕으로, 인간의 안무 과정을 반영하는 2단계 생성 프레임워크를 설계한다. 원자적 움직임 계획 단계에서는, 모델이 입력 음악을 조건으로 원자적 움직임의 유형, 지속 시간, 타이밍을 예측하여 상징적 춤 배치를 형성한다. 완성 단계에서는, 전환 인식(transition-aware) 생성기가 계획된 구조를 조건으로 매끄럽고 스타일적으로 일관된 움직임을 합성한다. 광범위한 실험을 통해, 본 방법이 기존 베이스라인 대비 구조적 일관성, 리듬 정렬, 지각적 자연스러움에서 유의미하게 향상된 춤을 생성함을 보였으며, 명시적 구조 표현을 통해 해석 가능성과 제어 가능한 편집을 향상시킨다.

arXiv:2607.13931v1cs.CV

SIVA-RL: 다중모달 강화학습을 위한 민감도-불변성 시각 정렬

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

검증 가능한 보상 강화학습(RLVR)은 다중모달 추론을 이끌지만, 답변 수준의 정확성이 비전-언어 모델이 예측을 시각적 증거에 그라운딩(grounding)한다는 것을 보장하지는 않는다. 기존 시각 개입 방법들은 원본 이미지와 수정된 이미지에서의 정책(policy) 행동을 대비하지만, 관측된 효과가 아니라 개입 유형에 따라 지도(supervision)를 부여한다. 이 가정은 성립하지 않는다. 동일한 연산자(operator)가 샘플마다 이질적인 결과를 만든다. 우리는 연산자 조건 정규화를 샘플 단위·결과 조건 지도로 대체하는 민감도-불변성 시각 정렬(Sensitivity-Invariance Visual Alignment) 프레임워크 SIVA-RL을 제안한다. SIVA-RL은 토큰 정렬된, 거리 제약 기반의 이미지 내 PatchSwap을 통해 국소화된 개입을 구성한다. 고정(frozen) 감사(audit) 정책이 각 클린-개입 쌍을 점수화하고, 관측된 보상(reward) 감소가 소프트 라우팅 가중치가 된다. 보상 감소가 큰 쌍은 민감도 정렬을, 감소가 작은 쌍은 클린 기준 불변성 정렬을 주도하며, 모호한 쌍은 가중치를 낮춘다. 이 설계는 개입 구성과 지도 할당을 분리하며 GRPO 및 DAPO 백본 모두와 호환된다. 수학, 논리, 시각 의존 과제에 걸친 9개의 다중모달 추론 벤치마크(benchmark)에서 SIVA-RL은 모든 설정에서 동일 조건의 강화학습 베이스라인 대비 3B 및 7B 모델을 개선한다. 시각 의존 추론에서 8.79퍼센트포인트 향상을, GRPO 및 DAPO 기반 4가지 구성 전체에서 최대 14.9% 상대적 전체 개선을 달성한다.

arXiv:2607.13881v1cs.CV

실세계 학습 없는 HOI 탐지를 위한 멀티모달 대규모 언어 모델 활용

Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild

인간-객체 상호작용 탐지(HOID)는 전통적으로 사전 정의된 상호작용 범주에 대한 지도 학습 기반 탐지 문제로 공식화되어 왔다. 이러한 패러다임은 폐쇄 집합 벤치마크에서 강한 성능을 달성하지만, 상호작용 이해를 데이터셋 특유의 지도와 근본적으로 얽히게 하여 개방 세계 및 조합적 시나리오로의 일반화 능력을 제한한다. 최근 HOI 탐지기들은 프롬프트 전략을 통해 MLLM을 활용하여 상호작용 특화 지식을 전이하려 시도한다. 그러나 이러한 프롬프트 기반 접근법은 주로 사전학습된 모델로부터 판별적 표현을 추출하는 데 집중하며, 내재된 멀티모달 추론 능력은 충분히 탐구하지 않는다. 결과적으로, 모호하고 개방 세계적인 상호작용 시나리오에 대해 정보가 풍부한 문맥적 추론을 제공하는 데 어려움을 겪는다. 본 연구에서는 실세계 HOI 탐지에 기반 모델의 범용 멀티모달 추론 능력을 전이하는 학습 없는 에이전트형 프레임워크인 AgentHOI를 제안한다. AgentHOI는 상호작용 분류기를 학습하는 대신, 보완적인 비전 기반 모듈을 모듈식으로 조율하여 개방형 의미 추론과 공간적 그라운딩을 조화롭게 수행한다. 복잡한 장면에서 불완전한 상호작용 발견과 모호한 위치 지정 문제를 해결하기 위해 두 가지 핵심 메커니즘을 도입한다: (1) 문맥 인식 다중 라운드 추론(Context-aware Multi-round Reasoning)은 상호작용 가설을 점진적으로 정제하여 포괄적이고 조합적인 HOI 발견을 보장한다. (2) 다면적 상호작용 위치 지정(Multifaceted Interaction Localization)은 의미, 공간, 외형 단서를 통합하는 인스턴스별 설명을 생성하여 그라운딩 정밀도를 향상시킨다. 광범위한 실험 결과, AgentHOI는 HOID 데이터로 학습할 필요 없이도 실세계 환경에서 최신 지도 학습 및 약지도 학습 방법들보다 우수한 성능을 달성함을 보여준다.

arXiv:2607.13860v1cs.CV

의료 멀티모달 대규모 언어 모델의 3D 공간 추론 향상

Towards Enhancing 3D Spatial Reasoning in Medical Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 2D 의료 영상 이해에서 뛰어난 성과를 보여 왔지만, 3D 볼륨 영상으로의 확장은 막대한 주석 비용과 데이터셋의 불투명성으로 인해 여전히 어렵다. 현재 데이터 형식은 주로 경직된 시각적 질의응답(VQA) 쌍이나 비구조화된 최종 임상 보고서로 구성되어, 명시적인 임상 추론을 포착하는 데 실패하는 경우가 많다. 이 한계를 해결하기 위해, 우리는 새로운 슬라이스 단위 데이터 합성 패러다임을 통해 구축한 대규모 구조화 추론 데이터셋을 제안한다. 방사선과 전문의의 실제 진단 워크플로에 영감을 받아, 이 패러다임은 복잡한 3D 판독 과정을 분해하여 시각 인지를 모델링하고, 전역적 임상 사전지식을 세밀한 슬라이스별 관찰로 변환한 뒤 이를 해석 가능한 사고의 연쇄(CoT)로 종합한다. 핵심적으로, 이 합성 추론 프레임워크는 필수적인 임상 원칙을 강제한다: 순차적 공간 추적, 아티팩트 완화를 위한 다중 슬라이스 공간 인식, 그리고 감별적 배제. 이 접근법을 검증하기 위해, 우리는 합성 데이터를 이용해 표준 2D 사전학습 MLLM 기준선을 인스트럭션 튜닝하여 볼륨 이해를 향상시켰다. 여러 3D 의료 벤치마크에 걸친 포괄적 평가에서 우리 방법은 2D 기준선 대비 유의미한 성능 향상을 보였다. 더 나아가, 결과 모델은 견고한 공간 추론 능력을 나타내며 자원 집약적인 네이티브 3D 아키텍처에 필적하여 성능 격차를 효과적으로 좁혔다. 궁극적으로, 이 데이터 중심 전략은 계산 비용이 높은 3D 특화 사전학습 없이도 심층적 볼륨 이해와 높은 해석 가능성을 가진 임상 논리를 가능하게 한다. 데이터셋과 학습 워크플로를 포함한 전체 저장소는 https://github.com/2020420145009/hounsfield 에서 공개적으로 이용 가능하다.

arXiv:2607.13792v1cs.CV

EgoProceVQA: 자기-스킬-탐험 에이전트를 갖춘 새로운 에고센트릭 절차적 이해 과제

EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent

일상 활동 대부분은 본질적으로 절차적이다. 그러나 에고센트릭 영상 이해를 위한 기존 평가는 절차적 이해를 거의 다루지 않으며, MLLM을 위한 널리 사용되는 영상 질의응답(VQA) 패러다임 하에서 복잡한 핵심 단계 수준 추론을 대체로 간과한다. 이러한 역량은 웨어러블 기기에 배포 가능한 절차적 AI 어시스턴트 구축에 매우 중요하다. 이 격차를 메우기 위해, 우리는 현재 MLLM과 에이전트의 에고센트릭 절차적 추론 역량을 여섯 가지 핵심 단계 중심 질문 유형을 통해 체계적으로 평가하는 에고센트릭 절차적 이해 VQA 과제(EgoProceVQA)를 제안한다. 또한, 다양한 질문 유형에 맞춘 QA 데이터를 효율적으로 구축하는 데이터 생성 플랫폼인 EgoProceGen을 개발한다. 이 플랫폼을 바탕으로 3,600개의 질문, 네 가지 일반적인 절차 시나리오, 31개의 일상 절차 과제를 포함하는 벤치마크를 구축한다. EgoProceVQA에 대한 평가 결과, 기존 MLLM과 에이전트는 절차적 이해에서 여전히 상당한 개선의 여지가 있음을 보여준다. 따라서 우리는 자기-스킬-탐험 에이전트형 프레임워크인 EgoProceAgent를 추가로 제안한다. 절차적 이해를 위한 범용 도구 라이브러리와 도구 및 모델 간 공유되는 표준화된 하위 스킬(sub-skill) 라이브러리를 설계하여, ground-truth 감독 없이 자기 탐험(self-exploration)을 가능하게 한다. 하위 스킬을 구성하고 선택하는 방법을 탐험함으로써, 에이전트는 다양한 문제에 대한 효과적인 스킬 전략을 발견하며, 여러 과제에서 오픈소스 모델 중 최첨단(state-of-the-art) 성능을 달성한다. 벤치마크, 생성 플랫폼, 에이전트형 프레임워크가 함께 EgoProceVQA를 위한 통합 기반을 마련한다. 프로젝트 페이지: https://z1oong.github.io/EgoProceVQA/.

arXiv:2607.13712v1cs.CV

Groc-PO: 사실에 충실한 다중모달 LLM을 위한 그라운딩 컨텍스트 선호 최적화

Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

다중모달 대규모 언어 모델(MLLM)이 빠르게 발전했음에도 불구하고, 여전히 시각적 환각, 내용 날조, 비충실 추론과 같은 비진실성 문제로 고통받으며, 이는 모델의 충실성과 실용적 유용성을 크게 훼손한다. 직접 선호 최적화(DPO)와 같은 인간 선호 기반 정렬(alignment) 방법이 이러한 문제를 해결하기 위해 널리 채택되어 왔다. 그러나 다중모달 추론 오류는 종종 단계를 거치며 전파되고, 최종 답변의 오류는 초기 그라운딩 단계의 실수에서 기인하는 경우가 많지만, 표준 DPO는 일반적으로 최종 답변 수준에서 선호 최적화를 적용한다. 이러한 크레딧 할당(credit assignment) 과제로 인해 초기 그라운딩 단계에 대한 감독은 단계별이라기보다 간접적이며, 그라운딩 드리프트와 컨텍스트 불일치에서 비롯된 오류 전파를 억제하기 어렵다. 이를 해결하기 위해, 우리는 MLLM을 위한 그라운딩 선호 최적화 프레임워크인 그라운딩 컨텍스트 선호 최적화(Groc-PO)를 제안한다. 또한 객체 그라운딩(Object Grounding), 문맥적 그라운딩(Contextual Grounding), 그라운딩된 추론(Grounded Reasoning)의 세 단계를 중심으로 다단계 선호 샘플을 구성하는 그라운딩 컨텍스트 선호 데이터셋(GCPD)을 구축하여, 그라운딩된 컨텍스트의 형성·통합·활용을 포착한다. 여러 그라운딩 단계에 걸친 보다 명시적인 선호 감독을 도입함으로써 Groc-PO는 컨텍스트 의존적 추론을 강화하고 단계 간 오류 전파를 완화한다. 광범위한 실험 결과, 표준 DPO 및 다른 강력한 베이스라인과 비교하여 Groc-PO는 환각 완화, 충실한 추론, 전반적인 신뢰성에서 향상된 성능을 달성하여, 신뢰할 수 있는 다중모달 추론을 위한 보다 명시적인 그라운딩 감독의 가치를 뒷받침한다.

arXiv:2607.13539v1cs.CV

ThinkBLOX: 점진적 추론을 통한 3D 실내 장면 생성

ThinkBLOX: 3D Indoor Scene Generation with Progressive Reasoning

전통적인 그래픽스 방법은 3D 실내 장면을 자기회귀적 또는 계층적으로 합성하는 경우가 많지만, 최근 비전-언어 모델(VLM) 기반 생성기는 전체 레이아웃을 한 번에 계획하는 원샷(one-shot) 패러다임을 주로 채택한다. 이 원샷 접근법은 대화형 편집(예: 객체 삽입 또는 이동) 시 전역 재최적화 또는 완전한 재구성을 요구하는 경우가 많으며, 물리적 또는 의미론적으로 조직이 잘 되지 않은 배치를 초래할 수 있다. 이러한 문제를 해결하기 위해, 우리는 3D 장면을 반복적으로 설계하고 정제하는 VLM 기반 점진적 추론 프레임워크인 ThinkBLOX를 제안한다. ThinkBLOX는 레이아웃 생성을 상태 조건부(state-conditioned)의 단계별 추론-행동(reasoning-and-action) 과정으로 취급한다. 이를 뒷받침하기 위해, 다시점(multi-view) 장면 컨텍스트, 명시적 사고의 연쇄(Chain-of-Thought, CoT) 근거, 그리고 구조화된 JSON 레이아웃으로 주석이 달린 224,757개의 절차적 배치 쌍을 포함하는 ThinkBLOX-Data-200K 데이터셋을 구축한다. 이 데이터셋에 대한 지도 미세조정(SFT)을 통해, VLM은 점진적 업데이트 하에서 추론-행동 간격을 메우는 방법을 학습한다. 또한 장면 합성이 본질적으로 다해(multisolution) 과제이며 SFT가 보상 충돌에 취약함을 인식하고, Tier-Decoupled GDPO를 도입한다. 이 강화학습 방식은 이질적인 보상을 서로 다른 계층(tier)으로 구성하여, 물리적 유효성, 의미론적 타당성, 추론-행동 일관성에 걸친 정책 최적화를 안정화한다. 광범위한 실험 결과, ThinkBLOX는 물리적 타당성, 의미적 정렬, 대화형 편집 용이성 측면에서 최근 원샷 및 반복적 베이스라인을 크게 능가함을 보여준다. 또한 3D 장면의 전역 및 국소 생성과 재배치를 포함한 다양한 응용을 지원함을 보여준다.

arXiv:2607.13305v1cs.CV

그라운딩 없는 정확도: 비디오 LLM 벤치마크에서 시각 의존성 분리 진단

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

비디오 대규모 언어 모델(LLM)의 벤치마크 정확도는 흔히 시각적 이해의 증거로 간주된다. 우리는 20억~780억 개의 파라미터를 아우르는 20개 모델과 10개 아키텍처 계열을 대상으로 이 가정을 검증한다. 우리는 원본 비디오 조건과 검은 화면 조건 간 문항별 정답률 차이인 Visual Dependency Gap(VDG)를 제안한다. MVBench에 대한 쌍체 McNemar 검정은 정확도와 시각 의존성이 분리 가능함을 보여준다: 모델들은 원본 비디오에서 차이를 보이지만(p = 0.0003) 검은 화면에서는 그렇지 않다(p = 0.53). 모델 전반에 걸쳐 과제 유형별 순위는 안정적이다: 속성 인식(Attribute Perception)은 강하게 시각적이며, 시간적 추론(Temporal Reasoning)은 언어만 사용하는 기준선에 근접한다. 검은 화면에서 단일 프레임, 셔플된 프레임, 원본 비디오에 이르는 진단 사다리는 프레임 다양성이 시각적 이득의 대부분을 제공하고, 시간적 순서는 16개 오픈웨이트 모델 전반에서 거의 0에 가까운 정확도 기여만 한다는 것을 보여준다. 0.5~24 FPS에 걸친 절제 실험은 희소 샘플링이 원인임을 배제한다. H.264 실험은 안정적인 집계 정확도가 양방향 문항 수준 답변 뒤바꿈을 감춘다는 것을 추가로 보여준다. 이 진단은 VDG 값이 0.025~0.315 범위인 4개 API 접근 모델에도 일반화된다. 이 결과들은 비디오 벤치마크가 시각적으로 그라운딩된 능력을 측정하는지 여부를 점검하는 표준 감사 수단으로서 VDG를 제안한다. 코드는 https://github.com/JaeLee18/accuracy-without-grounding 에서 이용 가능하다.

arXiv:2607.13245v1cs.CV

적시 씬 그래프 성장: 장기 로봇 작업에서 지각 포화 극복

Just-In-Time Scene Graph Growth: Combating Perceptual Saturation in Long-Horizon Robotics

3D 씬 그래프(3DSG)는 체화(embodied) 에이전트에게 필수적인 구조화 표현을 제공하지만, 기존 Ahead-of-Time 방식, 즉 전체를 구축한 뒤 필터링하는 파이프라인은 엣지 플랫폼의 실시간·저지연 요구와 상충하며, 심각한 관측 중복을 통해 지각 포화(perceptual saturation) 효과를 유발한다. 이를 해결하기 위해 JITOMA(Just-In-Time On-demand Memory Activation)를 제안한다. 이는 작업 추론, 지각(perception), 메모리를 적시 성장 과정으로 통합하는 폐루프(closed-loop) 프레임워크이다. 환경 전체를 빠짐없이 매핑하는 대신, JITOMA는 프론트엔드에서 top-down 작업 히트맵을 활용해 연속 관측을 필터링하고, 최소한의 스트림만 라우팅하여 저비용·휴면(dormant) 앵커로 구성된 전역 기반을 유지한다. 인지적 쿼리가 발생하면, 백엔드 대규모 언어 모델(LLM)이 로봇 의도를 파싱해 작업 관련 앵커를 동적으로 활성화하고, dense 노드 캡셔닝 및 기능 추론과 같은 자원 집약적 연산을 활성화된 국소 서브그래프 내부에서만 트리거한다. 이러한 동적 능력을 평가하고 지각 포화 트레이드오프를 연구하기 위해, 장기 멀티태스킹과 복잡한 다단계 추론을 위한 종합 벤치마크 스위트인 JITOMA-Bench를 도입한다. 광범위한 실험 결과, JITOMA는 활성 그래프 크기와 캡셔닝 지연을 크게 줄이면서, 장기 작업 전환 하에서도 안정적인 처리 시간을 유지함을 보여준다.

arXiv:2607.12752v2cs.CV

Hallo4D: 일관적 시공간 생성을 위한 멀티모달 환각 완화

Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation

최근 3D 생성의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산(diffusion) 감독에 의존하는 경우가 많아, 중복된 구조나 어긋난 기하학과 같은 공간적 환각을 유발한다. 4D 생성에서는 시점과 시간적 진화에 걸친 일관성 유지가 추가적인 도전을 불러오며, 여기에는 지터(jitter), 정체성 깜빡임(identity flicker), 구조적 드리프트(structural drift) 등이 포함되어 이러한 문제가 더욱 심각해진다. 우리는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델 불가지(model-agnostic) 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-보정(generation-detection-correction) 패러다임을 도입하며, 대규모 멀티모달 언어 모델(LMM)을 활용하여 다중 시점(multi-view) 및 다중 프레임 렌더링으로부터 공간적·시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 이끌며, LMM 기반 선택기가 다중 모델 투표를 통해 후보 보정을 평가하고, 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율을 더욱 향상시키기 위해 Hallo4D는 모션 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 어려운 시점에서의 견고성을 높이기 위해 노출 인식 최적화와 가시성 가지치기를 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 베이스라인을 지속적으로 능가함을 보여주며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 해법을 제공한다.

arXiv:2607.12477v2cs.CV

공간 속 자아: UAV 체화 지능에서 자기 인식과 공간 인지 벤치마킹

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

자율 UAV 시스템은 복잡한 실세계 환경에서 동작하기 위해 점점 더 멀티모달 대규모 언어 모델(MLLM)에 의존하고 있다. 이러한 체화(embodied) 시나리오에서는 주변 공간을 이해하는 것뿐만 아니라 에이전트 자신에 대한 일관된 표상을 유지하는 것도 필요하다. 그러나 기존 UAV 지향 접근법과 벤치마크는 여전히 대체로 환경 중심적이며, 주로 공간 이해 과제에 초점을 맞추고 있고, 에이전트의 자기 인식은 암묵적으로 남아 있다. 이 격차를 해소하기 위해, 우리는 통합된 공간 속 자아(self-in-space) 정식화 하에서 UAV 시나리오의 체화 공간 지능을 평가하는 벤치마크인 SIS-Bench를 제안한다. SIS-Bench는 상호 보완적인 두 차원인 공간(space)과 자아(self), 그리고 지각, 기억, 추론의 3단계 계층을 따라 평가를 구성한다. SIS-Bench는 전문가 검증을 거친 과제 조건화 구축 파이프라인을 통해 1,646개의 실세계 UAV 영상에서 파생된 13개 과제 전반에 걸쳐 4,856개의 질문-답변 쌍을 포함한다. 광범위한 평가 결과, 현재 MLLM들은 동적이고 에이전트 중심적인 과정을 모델링하는 데 근본적인 한계를 보인다. 특히, 공간 인지와 자기 인식 사이의 뚜렷한 불균형, 그리고 인지 수준에 걸친 점진적인 성능 저하를 관찰한다. 이러한 발견에 동기부여되어, 우리는 광학 흐름(optical flow)과 시각적 특징 융합을 통해 자아 관련 동역학을 통합하는 운동 인식(motion-aware) 표상을 추가로 탐구한다. 실험 결과, 에이전트 운동을 모델링하면 공간 인지뿐만 아니라 자기 인식에서도 지각 및 기억 성능이 일관되게 향상되며, 하위 UAV 의사결정 과제로도 일반화된다는 것을 보여준다. 우리의 결과는 체화 공간 지능을 발전시키는 데 자기 인식의 중요성을 부각하며, 운동 인식 공간 속 자아 모델링을 위한 새로운 벤치마크와 실증적 근거를 모두 제공한다.

arXiv:2607.00867v3cs.CV

EFlow: 적응적 반영을 통한 장편 비디오 추론을 위한 증거 흐름 학습

EFlow: Learning Evidence Flow for Long-Video Reasoning with Adaptive Reflection

기존 비디오 추론 프레임워크가 시간적 그라운딩과 답변 추론을 단일 궤적에서 혼합해 발생하는 '조기 의미 확정' 문제를 해결하기 위해, Qwen3-VL 기반의 EFlow는 T-CoT와 R-CoT로 증거 탐색과 추론을 명시적으로 분리하고 신뢰도 마진 기반의 적응형 반영 메커니즘을 도입했다. VideoMME Overall 69.1%, LVBench 52.5% 등 5개 벤치마크에서 장편 비디오 추론 성능이 일관되게 향상됨을 입증했다.

arXiv:2605.24602v5cs.CV

어텐션 분산으로 유발된 시각적 흐림 보정을 통한 환각 감소: 알고리즘과 이론

Correcting Visual Blur Induced by Attention Distraction to Reduce Hallucinations: Algorithm and Theory

멀티모달 대규모 언어 모델(MLLM)에서 발생하는 객체 환각(object hallucination)이 인간의 주의 분산 시 시각적 선명도가 저하되는 현상과 유사하게, 멀티헤드 어텐션의 공간적 불일치와 디코딩 과정에서 이미지 토큰에 대한 어텐션의 시간적 소실로 나타남을 규명하였다. 이를 바탕으로 크로스헤드 어텐션 강화와 동적 과거 어텐션 강화를 결합한 훈련 불필요 모듈 AFIP를 제안하여 다양한 벤치마크에서 환각 억제 효과를 검증하였다.

arXiv:2509.22415v4cs.CV

멀티모달 대규모 언어 모델의 시각 어트리뷰션을 위한 증거 재구성 및 예측적 맥락 잔차화

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 강력한 비전-언어 성능을 달성했지만, 토큰 수준의 시각적 증거는 여전히 검사하기 어렵다. 최근 로짓 렌즈(logit-lens) 어트리뷰션 방법은 생성된 단어를 설명하기 위해 각 시각 토큰의 은닉 상태를 어휘 공간에 투영하지만, 이러한 토큰별 판독은 불일치를 유발한다: 시각 토큰은 모델에 의해 맥락이 혼합되지만, 어트리뷰션 점수는 각 토큰 위치에서 독립적으로 디코딩된다. 이는 종종 파편화된 어트리뷰션 맵을 만들어내며, 앞선 텍스트 토큰의 자기회귀적 맥락 신호의 영향을 추가로 받을 수 있다. 우리는 증거 재구성(ER)과 예측적 맥락 잔차화(PCR)로 구성된 어트리뷰션 프레임워크인 ERCR을 제안한다. ER는 서로 다른 토큰-영역 할당을 가진 여러 뷰에서 대상 증거를 집계하여, 단일 판독 그리드로 인한 어트리뷰션 파편화를 줄인다. PCR은 RBO 기반 순위 관련성으로 앞선 토큰의 맥락 맵을 추정하고, ER 맵에서 그 피팅된 성분을 빼서 맥락 토큰 간섭을 억제한다. LLaVA, Qwen2-VL, InternVL 계열에 걸친 COCO Caption, GranDf, OpenPSG에서의 실험은 ERCR이 기존 평가 프로토콜 하에서 대상 토큰에 대한 시각적 증거를 개선하고 앞선 토큰 맥락 간섭을 완화함을 보여준다. Qwen2-VL-2B에서 ERCR은 COCO Caption에서 TAM F1-IoU를 39.10에서 44.45로, GranDf에서 30.83에서 37.20으로 향상시킨다. 전반적으로 ERCR은 토큰 수준 시각적 증거 검사를 위한 실용적인 개선을 제공한다.

arXiv:2607.14049v1cs.AI

Deep Interaction: 대규모 추론 모델을 위한 효율적인 인간-AI 상호작용 방법

Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models

사고의 연쇄(Chain-of-Thought, CoT) 추론의 등장은 대규모 언어 모델(LLM)이 복잡한 다단계 작업을 해결하는 능력을 크게 향상시켰다. 그러나 오류가 발생하면, 현재의 상호작용 방식은 일반적으로 실수를 다시 범할 수 있는 다른 응답을 재생성하거나, 사용자가 후속 턴에서 오류 단계를 번거롭게 표시해야 하는데, 이때 <You are right, I made a mistake here>와 같은 응답을 받을 수 있으며 이후에도 유사한 오류가 반복될 수 있다. 이 문제를 해결하기 위해, 우리는 LLM의 추론 오류를 정밀하게 수정하기 위한 효율적인 인간 개입 메커니즘인 Deep Interaction을 제안한다. 우리의 접근법은 원본 응답을 직접 편집할 수 있게 하여, 정확한 추론 단계는 보존하면서 오류가 있는 부분만 수정할 수 있다. 편집된 CoT를 정제하여 증류된 프롬프트로 만들고, 이를 통해 LLM이 수정된 추론 경로를 따르도록 유도한다. 실험 결과, 우리 방법은 기준선 접근법과 비교하여 STEM 추론 작업에서 수정 성공률을 25% 이상 향상시키고 토큰 사용량을 약 40% 줄이는 것으로 나타났다.

arXiv:2607.13899v1cs.AI

AIMO 해석가능성 챌린지

AIMO Interpretability Challenge

우리는 AIMO Interpretability Challenge를 제안한다. 이는 최첨단 수학 언어 모델에서 모델의 내부 메커니즘에 기반하여 견고한 추론과 허위 추론을 구별하는 대회이다. 이 챌린지는 표준 추론 벤치마크의 핵심 한계, 즉 높은 최종 답 정확도가 모델이 안정적인 추론 메커니즘에 의존하는지 아니면 취약한 추론 지름길을 이용하는지를 드러내지 않는다는 점에서 동기를 얻었다. AI Mathematical Olympiad(AIMO) 문제와 제출물, 그리고 Fields Model Initiative의 자원을 기반으로, 이 대회는 (1) 새로 공개된 올림피아드 수준의 수학 추론 문제와 그 기호적 표현을 제공하여 새로운 함수형 변형의 생성을 가능하게 하고, (2) 최첨단 추론 모델에 대한 접근을 제공하며, (3) 이러한 문제에 대한 모델의 적대적 견고성 평가를 제공할 것이다. 참가자들은 이러한 자원과 우리의 컴퓨팅 인프라 지원을 활용하여 어떤 모델이 문제를 견고하게 해결하는지 식별하는 방법을 개발할 것이다. 우리의 대회는 또한 새로운 공개 견고성 벤치마크와 기준선 시스템을 구축하여, 수학 추론과 해석가능성 분야의 표준 벤치마킹을 위한 지속적인 기반을 제공하는 것을 목표로 한다. 과학적으로 이 대회는 AI 연구의 핵심 질문을 중심으로 해석가능성과 일반화 연구를 연결한다: 최첨단 AI 모델의 의사결정이 일반화 가능하고 따라서 신뢰할 수 있는지, 그리고 그 정도를 우리가 판단할 수 있는가?

arXiv:2607.13884v1cs.AI

경험 메모리 그래프: 에이전트의 원샷 오류 수정

Experience Memory Graph: One-Shot Error Correction for Agents

대규모 언어 모델(LLM) 에이전트는 상태, 행동, 관측의 순차적 궤적을 생성함으로써 자율적 의사결정에서 뛰어난 능력을 보여왔다. 그러나 복잡하고 장기간(long-horizon) 과제에서는 이러한 에이전트가 오류 누적(compounding errors)에 자주 시달리고 실패로부터 회복하기 어려움을 겪는다. 기존 자기 수정(self-correction) 메커니즘은 프롬프트 기반 반성(reflection)에 의존하는데, 이는 본질적으로 불안정하며 반복적인 시행착오(trial-and-error) 루프로 인해 시간과 API 비용이 많이 들고, 새로운 시나리오로 일반화하기 어려울 수 있는 과제별(task-specific) 메모리를 생성한다. 이를 해결하기 위해, 우리는 에이전트의 실패 복구를 그래프 매칭(graph matching) 문제로 재구성하는 프레임워크인 경험 메모리 그래프(Experience Memory Graph, EMG)를 제안한다. 학습 시, 실패한 탐험 궤적과 성공한 전문가 궤적을 모두 방향성 행동 의사결정 그래프(directed action decision graph)로 변환한다. 이 그래프들을 매칭함으로써 공통 부분그래프(성공적인 워크플로)와 실패를 어떻게 수정할지(예: 주어진 관측 하에서 어떤 행동을 추가, 삭제, 또는 재레이블할지)를 명시적으로 나타내는 그래프 편집 경로(graph edit path)를 추출하고, 이를 과제 내(intra-task) 노드와 과제 간(cross-task) 간선을 갖는 메모리 그래프에 저장한다. 테스트 시, EMG는 관련 통찰을 검색하여 루프 없이 단일 실행으로 에이전트를 안내한다. ALFWorld와 ScienceWorld에서의 실험 결과, EMG는 테스트 시 시행착오를 필요로 하지 않으면서 성공률과 평균 보상에서 최신(state-of-the-art) 반성 기준선을 지속적으로 능가함을 보여준다.