PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.24098v1cs.CV

ReflexTrack: 학습 없는 지시 기반 비디오 객체 분할을 위한 피드백 기반 에이전트

ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation

지시 기반 비디오 객체 분할(RVOS)은 자연어로 지정된 대상을 비디오 전체에 걸쳐 분할하는 작업이다. 최근 에이전트 기반 접근법은 다중모달 대규모 언어 모델과 프롬프트 가능한 분할 모델을 결합하여 작업별 학습 없이 RVOS를 수행한다. 그러나 대부분의 파이프라인은 일회성 공간 그라운딩 이후 마스크 전파에 의존하여, 초기 프롬프트와 시간적 예측 모두 대부분 검증되지 않은 채로 남는다. 우리는 공간적·시간적 수준 모두에서 이 루프를 닫는 학습 없는 피드백 기반 에이전트인 ReflexTrack을 제안한다. Mask-guided Spatial Refinement는 현재 키프레임 프롬프트로 유도된 마스크를 평가하고, 경계 상자와 양성·음성 포인트를 함께 반복적으로 갱신하여 더 신뢰할 수 있는 초기화를 만든다. Video-level Mask Reflection은 전체 마스크 시퀀스를 평가하고, 신뢰할 수 없는 구간을 국소화하며, 상보적인 수리 키프레임을 선택하고, 마스크 유도 재전파를 통해 후보 예측을 생성한다. 검증된 개선을 제공하는 후보만이 영향받은 구간을 갱신하는 데 사용되며, 그 외 신뢰할 수 있는 예측은 보존된다. 모든 구성 요소는 추론 중 동결 상태를 유지한다. ReflexTrack은 Ref-VPS에서 전체 $\mathcal{Q}$ 점수 69.7, ReasonVOS에서 $\mathcal{J}\&\mathcal{F}$ 점수 67.2를 달성한다. 이 결과는 예측 수준 피드백이 학습 없는 RVOS의 신뢰성을 크게 향상시킴을 보여준다.

arXiv:2607.24017v1cs.CV

어텐션 매니폴드에서 의미적 어텐션과 구조적 바이어스 분리

Disentangling Semantic Attention from Structural Bias in the Attention Manifold

다중모달 대규모 언어 모델(MMLM)에서 어텐션 메커니즘의 경험적 성공은 종종 그에 내재된 미묘한 결함을 가려버린다. 구체적으로, MMLM은 일관되게 특정 의미적으로 무정보적인 시각 토큰에 과도한 어텐션을 보이며, 이 현상은 "register" 또는 "Visual Attention Sinks"라고 불린다. 기존 추론 개입 방법들은 이러한 sink 토큰을 식별하고 어텐션 가중치를 재분배하려 시도하지만, 이러한 접근법은 일반적으로 이러한 토큰을 고립적으로 다루며 계산 비효율성을 겪는다. 대신, 우리는 이 현상을 고립된 sink 토큰을 넘어 확장되는 시각 특징에 가해지는 일반화된 텍스트적 바이어스로 재구성한다. 이 관점에서, 만연한 구조적 바이어스는 의미적 시각 신호의 희석을 초래하며, 모델이 유효한 시각적 증거보다 언어적 사전(prior)을 우선시함에 따라 다중모달 환각을 촉발한다. 이 한계를 해결하기 위해, 우리는 학습 없이 플러그 앤 플레이 방식의 개입인 Saliency-guided Purification and Adaptive Redistribution(SPAR)을 제안한다. SPAR은 구조적 노이즈를 정화하고, 이후 회수된 어텐션 예산을 가장 정보가 풍부한 시각 영역에 재분배함으로써 이러한 일반화된 텍스트적 바이어스를 완화한다. 다양한 환각 벤치마크에 걸친 포괄적 평가는 SPAR이 무시할 수 있는 수준의 계산 오버헤드로 진정한 시각적 그라운딩을 효과적으로 복원함을 보여준다.

arXiv:2607.23917v1cs.CV

시선-텍스트 생성: 인간 어텐션의 범주형 디코딩을 넘어서

Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention

우리는 새로운 학습 문제를 제안한다: 다양한 시각 작업에서 인간 목표에 대한 자연어 설명으로 시선을 디코딩하는 것이다. 사전 정의된 범주에 대한 판별(discriminative) 작업으로 시선 디코딩을 다루는 기존 연구와 달리, 우리는 이를 생성적 학습 문제로 공식화한다. 즉, 고정된 레이블을 넘어 인간 의도의 풍부한 뉘앙스와 개방형(open-ended) 특성을 포착하는 자유 형식(free-form) 설명을 생성하도록 모델을 학습시키는 것이다. 이를 위해 우리는 최초의 gaze-to-text 디코딩 프레임워크인 Gazette를 제안한다. 다중모달 대규모 언어 모델(MLLM)을 기반으로, Gazette는 범주형 레이블을 넘어설 수 있고 자연어로 표현이 필요한 목표에 대해 시선 스캔패스(scanpath)를 자연어로 디코딩하는 방법을 학습한다. Gazette가 시선 행동의 개인차를 걸러내고 정확한 자연어 목표 설명 생성에 필수적인 목표 특이적 시공간(spatiotemporal) 역학을 학습하도록 돕기 위해, 우리는 대규모 언어 모델의 백과사전적 지식과 추론 능력을 활용하여 목표 지향적 어텐션 행동에 대한 자연어 설명인 think-aloud 전사(transcript)를 합성하는 새로운 전략을 제안한다. 이러한 합성 내러티브에 대한 지시 미세조정을 통해 Gazette는 여러 작업에서 시선 디코딩 분야 최첨단(state-of-the-art) 성능을 달성하며, 이는 일반화 가능성과 다용성을 보여준다. 이에 따라 시선은 다양한 시나리오에서 인간 목표와 의도를 추론하는 강력하고 비침습적인(non-intrusive) 단서로 기능할 수 있다.

arXiv:2607.23631v1cs.CV

PathSelect: 전체 슬라이드 병리학을 위한 순차적 토큰 선택

PathSelect: Sequential Token Selection for Whole Slide Pathology

기가픽셀 전체 슬라이드 이미지(WSI)는 극단적으로 긴 시퀀스 길이로 인해 비전-언어 모델(VLM)에 근본적인 계산 병목을 일으킨다. 기존 접근법은 주로 공간 샘플링(spatial sampling)이나 학습 없는 가지치기(training-free pruning)에 의존하는데, 이는 약하지만 유익한 신호를 희석시킬 위험이 있으며, 병리학적 단서의 공간적으로 확산된 특성으로 인해 중요한 진단 근거의 손실을 초래한다. 우리는 WSI 토큰 가지치기를 순차적 선택 과정으로 재공식화하여, 정적 휴리스틱에 의존하는 대신 모델이 최적의 라우팅 전략을 자율적으로 학습할 수 있게 한다. 우리는 완전히 사전학습된 SlideChat 기준 모델에 능동적 플러그인으로 통합된 분리형 라우팅 프레임워크를 제안하며, 슬라이드 인코더와 대규모 언어 모델(LLM) 모두를 고정(frozen) 상태로 둔다. 학습 중 미분 불가능한 가지치기 연산에 연속적인 그래디언트를 제공하기 위해 PathSelect를 도입한다. PathSelect는 분산 보존(variance-preserving) 노이즈 게이트를 사용하여 미분 가능한 Soft Top-K 연산자를 통해 각 패치의 정보 흐름을 조절하고, 의미적 누출(semantic leakage) 없이 교란된 표현을 복원하는 대각선-어텐션(d diagonal-attention) Denoiser와 짝을 이룬다. 추론 시 PathSelect 모듈은 완전히 분리된다. 학습된 Scorer만을 사용하여, 결정론적 Hard Top-K 연산자가 적응적이고 데이터 의존적인 궤적 종료(trajectory termination)를 수행하며, 순차적 토큰 선택 지연 시간을 극히 낮게 유지하면서 하류 생성 처리를 크게 가속한다. 최대 제약 K = 128 하에서 경험적 평균 44.86개 토큰만으로 구동되는 우리 프레임워크는 SlideBench(TCGA)에서 74.00%의 전체 정확도를 달성하며, 압축되지 않은 기준선 평균 대비 약 36.6배의 공간 토큰 감소를 나타내면서 샘플링 기반 대안들을 일관되게 능가한다.

arXiv:2607.23600v1cs.CV

ConFusion: 세밀한 제어 가능한 적외선 및 가시광선 이미지 융합을 위한 연속 융합 공간 학습

ConFusion: Continuous Fusion Space Learning for Fine-Grained Controllable Infrared and Visible Image Fusion

제어 가능한 적외선-가시광선 이미지 융합은 유연한 영역 인식 변조를 통해 상호 보완적인 열 및 구조 정보를 통합하여, 다양한 사용자 요구와 하류 작업에 적응하는 융합 이미지를 생성하는 것을 목표로 한다. 그러나 기존 방법들은 일반적으로 사전 정의된 이산 제어 조건에 의존하여, 세밀한 변조 요구를 지원하지 못하는 희소한 공간을 초래한다. 이를 해결하기 위해, 우리는 가우시안 조건 공간 인식 변조를 통해 연속 융합 공간을 학습하여 인스턴스 수준의 세밀한 제어 가능한 적외선 및 가시광선 이미지 융합을 가능하게 하는 새로운 프레임워크인 ConFusion을 제안한다. ConFusion은 공동 재구성 및 텍스트 유도 의미 정렬 하에서 모달리티 불변 및 모달리티 특이 표현을 분리하기 위해 이중 분기 아키텍처를 사용한다. 가우시안 조건 인스턴스 변조 변수는 Grounded SAM 기반 인스턴스 마스크와 결합되어 Mask-Guided Specific Feature Modulator를 통해 인스턴스 수준의 세밀한 변조를 유도하며, Text-Driven Invariant Feature Enhancer는 의미적 일관성을 개선하고 융합을 향상시킨다. 추론 시, 멀티모달 대규모 언어 모델은 사용자 의도를 인스턴스 수준 변조 변수로 파싱하여 이미지 융합을 유도한다. 광범위한 실험 결과, ConFusion은 세밀한 제어 가능한 이미지 융합을 지원하면서 융합 품질과 하류 작업 모두에서 여러 지표에 걸쳐 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/HeyufeiAnto/Confusion 에서 이용할 수 있다.

arXiv:2607.23504v1cs.CV

MemVLN: 비전-언어 내비게이션을 위한 에피소드 및 절차적 메모리

MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation

연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 궤적 일관성을 위해 장기 시각 이력을 유지하면서 낮은 지연으로 동작을 실행해야 한다. 기존 비디오 기반 VLN 접근법은 일반적으로 두 요구를 동시에 충족하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 실시간 추론 효율(14 FPS)로 최신(state-of-the-art) 성능을 달성하는 새로운 VLN 프레임워크인 MemVLN을 제안한다. MemVLN은 연속 관측을 처리하는 시각 인코더와 지시를 해석하고 동작을 생성하는 대규모 언어 모델(LLM)을 활용한다. 우리 접근법의 핵심은 피라미드 해상도를 적용하는 에피소드 메모리 관리이다. 이 메커니즘은 압축된 장기 이력을 유지하면서 즉각적 지각에 계산을 집중한다. 이 설계를 보완하여, 우리는 자기회귀(auto-regressive) 디코딩 지연을 우회하기 위해 원자적 중간 수준 동작의 간결한 어휘로 빠른 동작을 위한 절차적 메모리를 도입한다. VLN-CE에서의 실험은 MemVLN-4B가 R2R에서 5.8% SR, RxR에서 9.7% SR만큼 기준선 Qwen3-VL-4B 아키텍처를 능가하며, 추론 지연에서 7배 속도 향상을 달성함을 보여준다.

arXiv:2607.23472v1cs.CV

VIPER: 물리적으로 타당한 비디오 생성을 위한 문맥 내 시각 물리 추론

VIPER: Visual In-Context Physics Reasoning for Physically Plausible Video Generation

최신 비디오 생성 모델은 시각적으로 매력적이고 시간적으로 일관된 클립을 합성할 수 있지만, 표준 텍스트 및 이미지 조건으로는 물리적 거동을 제어하기 어렵다. 핵심 과제는 조건화(conditioning) 병목이다. 재질 반응, 접촉 상호작용, 변형, 운동 궤적은 연속적이고 관계적인 물리적 단서이며, 언어로 포괄적으로 지정하기 어렵지만 비디오로 자연스럽게 시연할 수 있다. 우리는 참조 기반 이미지-투-비디오 생성을 위한 Visual In-Context Physics Reasoning 프레임워크인 VIPER를 제안한다. 대상 이미지, 간단한 대상 프롬프트, 참조 비디오가 주어지면 VIPER는 참조를 외형 템플릿이 아니라 원하는 물리적 과정에 대한 밀집된 시각적 시연으로 취급한다. VIPER는 다중모달 대규모 언어 모델(MLLM)을 사용하여 참조에서 유도된 물리적 단서를 추출하고, 계층적 학습 전략을 통해 사전학습된 이미지-투-비디오 생성기를 안내하여 기본 생성기의 시각적 사전(prior)을 보존하면서 물리적 거동 전이를 가능하게 한다. 이 설정을 지원하기 위해 재질, 궤적, 물리적 충격 어노테이션이 포함된 큐레이션 데이터셋 VIPER-19K와 필터링된 참조-대상 쌍을 구축한다. 보지 못한 검증 세트에서의 실험은 VIPER가 대표적인 비디오 생성 및 video-as-prompt 기준선보다 더 강한 참조 비디오 물리 유사도와 더 높은 인간 선호도를 달성하면서 경쟁력 있는 일반 비디오 품질을 유지함을 보여준다. 정성적 결과는 VIPER가 정교하게 설계된 프롬프트 없이도 참조에서 유도된 물리적 거동을 새로운 대상 장면으로 전이할 수 있음을 추가로 보여준다.

arXiv:2607.23445v1cs.CV

Omni-Prune: 효율적인 옴니모달 대규모 언어 모델을 위한 쿼리 인식 통합 토큰 가지치기

Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models

옴니모달 대규모 언어 모델(OmniLLM)은 동기화된 오디오와 비디오를 포함하도록 멀티모달 추론을 빠르게 확장하고 있다. 그러나 그 결과로 생성되는 오디오-비디오 토큰 시퀀스는 길어져, 추론 시 prefill 지연과 GPU 메모리 사용량이 높아진다. 기존 토큰 가지치기 방법은 주로 시각 입력만을 대상으로 설계되어, 오디오와 비디오 간의 교차 모달 연결과 어떤 콘텐츠가 중요한지를 결정하는 사용자 쿼리를 모두 놓친다. 이 격차를 메우기 위해, 우리는 Omni-Prune을 제안한다. Omni-Prune은 학습 없이 동작하는 쿼리 인식 오디오-비주얼 토큰 가지치기 프레임워크로, 작업 관련 교차 모달 증거를 유지하면서 두 모달리티의 중복을 함께 제거한다. 구체적으로, Omni-Prune은 먼저 토큰 시퀀스를 오디오 현저성(saliency) 피크에 배치된 적응형 시간 윈도우로 분할한 다음, 인코더 어텐션과 텍스트-쿼리 관련성을 결합한 단일 척도로 오디오 및 비디오 토큰을 점수화하고, 관련 오디오-비디오 토큰을 쌍으로 묶어 함께 유지되도록 한다. 각 윈도우 내에서 마지막 K-medoids 단계가 소수의 대표 토큰을 선택하여, 점수 기반 선택만으로는 놓칠 수 있는 다양한 단서를 추가한다. 광범위한 실험을 통해 Omni-Prune이 확립된 기준선 방법을 능가하며, 전체 모델 성능의 99% 이상을 유지하면서 최대 3.25배의 prefill 속도 향상과 1.3배의 메모리 절감을 달성함을 보여준다.

arXiv:2607.23373v1cs.CV

UltraViT: 대규모 비전-언어 모델을 위한 지연 시간 최적화 온디바이스 비전 인코더

UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models

대규모 비전-언어 모델(LVLM)은 막대한 계산 부담으로 인한 병목이 지속되어, 자원이 제한된 엣지 디바이스에의 배포를 막고 있다. LVLM 압축을 위한 기존 노력은 주로 비전 토큰 축소나 더 작은 언어 모델에 집중하는 반면, 비전 인코더는 대체로 간과되어 일반적으로 단일체(monolithic)이고 계산 비용이 큰 특징 추출기로 배포된다. 더욱이 LVLM을 위해 온디바이스 지연 시간에 직접 최적화된 비전 인코더를 설계한 선행 연구는 없다. 본 논문에서는 LVLM을 위한 비전 인코더인 UltraViT를 제시하며, 이는 온디바이스 성능을 위해 명시적으로 설계되고 최적화되었다. 구체적으로, 실제 온디바이스 지연 시간을 고려하여 매크로 블록 수준에서 이질적인 공간 믹서(spatial mixer)를 전략적으로 통합하고 적응하는 피라미드형 아키텍처를 체계적으로 설계한다. 또한 UltraViT의 사전학습을 위해, 밀집 지식 증류(dense distillation)를 통해 풍부한 공간 특징을 함양한 뒤 용량이 혼합된(capacity-mixed) 고정 LLM으로부터 직접적인 생성적 감독을 받는 새로운 2단계 생성적 사전학습 전략을 제안한다. 표준 대조 학습 및 SSL(자기지도 학습)과 비교하여, 우리의 사전학습이 LVLM 학습의 후속 생성적 멀티모달 정렬에 필요한 UltraViT의 고수준 의미적 그라운딩(semantic grounding) 달성에 훨씬 더 효과적임을 보인다. 광범위한 실험을 통해, 온디바이스 지연 시간을 반영한 우리의 설계와 맞춤형 학습 전략의 결합이 효율적인 LVLM 인코딩에서 새로운 최고 수준(state-of-the-art)을 수립하며, 온디바이스에서 거의 1.7배의 속도로 동작하면서 기존 인코더 중심 베이스라인을 크게 능가함을 보여준다.

arXiv:2607.23046v1cs.CV

고해상도 MLLM에서 효율적인 비주얼 토큰 가지치기를 위한 구조화된 중복성 모델링

Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs

최근 고해상도 멀티모달 대규모 언어 모델(MLLM)은 입력당 수천 개의 비주얼 토큰을 생성하며, 이로 인한 비주얼 토큰 폭발은 심각한 지연 병목을 야기한다. 토큰 가지치기가 이 문제를 완화하지만, 최신 부분집합 최적화 방법들은 일반적으로 반복적 부분집합 구성에 의존하여 비주얼 다양성과 인스트럭션 관련성을 공동으로 포착한다. 비주얼 토큰 수가 증가함에 따라 이러한 순차적 의존성은 상당한 선택 오버헤드를 도입하여, 이론적 FLOPs 감소가 실제 경과 시간 속도 향상으로 전환되는 것을 심각하게 제한한다. 이 한계를 해결하기 위해, 우리는 Single-Forward Pruner(SFPruner)를 제안한다. 이는 비주얼 토큰 가지치기의 구조적 재공식화로, 중복성 제어를 점수 공간에 직접 내장하여 반복적 조합 최적화의 필요성을 우회한다. 우리의 비반복적 프레임워크는 두 가지 상호 보완적 메커니즘을 통해 단일 순전파에서 중복성 인식 중요도 선택을 달성한다. 첫째, 공분산 수준에서 중복성을 감쇠하기 위해 의미론 기반 ridge leverage 방식을 도입한다. 인스트럭션 관련성과 비주얼 현저성(saliency)을 통합함으로써, 이 메커니즘은 지배적 공분산 방향을 억제하고 표현 바이어스를 완화한다. 둘째, 순위 기반 방향성 마스킹은 비대칭 유사도 경쟁을 통해 잔여 중복을 해소한다. 여기서 더 높은 점수의 토큰이 병렬 텐서 연산을 통해 중복적인 낮은 점수 대안을 명시적으로 억제한다. 광범위한 평가를 통해, 우리 접근법이 안정적인 선택 비용을 유지함을 보여주며, Qwen2.5-VL에서 512 토큰 기준 토큰 선택 과정을 112.4 ms에서 단 2.5 ms로 최대 110 ms까지 단축한다. 이 구조적 효율성은 공격적인 압축 하에서 최신 기법 대비 매우 경쟁력 있는 성능을 유지하면서, 이론적 토큰 감소를 실질적인 추론 속도 향상으로 성공적으로 전환한다.

arXiv:2607.22738v1cs.GR

Nova3D: 프로그래밍 가능한 3D 에셋의 코드 네이티브 생성

Nova3D: Code-Native Generation of Programmable 3D Assets

현재 3D 생성 모델은 대부분 최종 표면, 즉 시각적으로는 뛰어나지만 대체로 불투명한 메시를 산출한다. 상호작용형 3D 세계는 표면만으로는 부족하다. 이름이 있는 부품, 조립 계층 구조, 측정 가능한 제약, 국소 편집 핸들, 그리고 관절화를 위한 조인트가 필요하다. 우리는 3D 에셋을 실행 가능한 Blender 소스 코드로 생성하는 시스템 Nova3D를 제안한다. 컴파일된 메시인 바이너리 glTF(GLB)는 에셋이 아니라 산출물(artifact)로 취급된다. 출력이 프로그램이기 때문에, 의미론적 핸들은 세그멘테이션(segmentation)이나 리깅(rigging)으로 사후에 복구되는 것이 아니라 생성 시점에 존재한다. 우리는 텍스트 및 이미지 입력을 갖춘 6개 도메인과 3단계 난이도에 걸친 54개 항목으로 구성된 고정(frozen)된 사양 기반(spec-grounded) 벤치마크 Nova3D-Bench에서, 4개 계열(메시 네이티브, 부품 구조화, 코드 네이티브, CAD)의 11개 기준선과 동일 LLM 어블레이션을 대상으로 평가한다. Nova3D는 54/54 항목에 대해 실행 가능한 프로그램과 유효한 산출물을 생성한다. 모든 에셋은 부모-자식 조립 트리로 구성된 이름 있는 부품을 노출하며, 메시 네이티브, CAD, 또는 세그멘테이션 기준선은 어느 것도 노출하지 않는다. 프롬프트에 명시된 수치 및 개수 제약 52개 중 51개를 만족하며(최고 기준선: 11/52), 블라인드 국소 편집 18개 중 14개를 통과하고 국소성은 18/18에서 유지되며, 12개 에셋에 걸쳐 59개 조인트를 98.3% 기하학적 유효성으로 관절화하는 반면, 모든 기준선은 네이티브 조인트를 0개 노출한다. 기하학적 품질은 경쟁력이 있다. 쌍대비 형상 품질 토너먼트에서 구조화된 도메인에서 우승하며, 가장 강력한 메시 네이티브 모델에만 뒤지는 2위이고, 베이크된 PBR 시스템에는 텍스처 사실성을 양보한다. 핵심 결과는 표현(representation)에 관한 것이다. 코드 네이티브 생성은 생성된 3D 객체를 불투명한 표면에서 하류 시스템이 검사, 측정, 편집, 애니메이션할 수 있는 프로그래밍 가능한 에셋으로 전환한다.

arXiv:2607.22726v1cs.CV

PCA: 빠른 비디오 대규모 언어 모델을 위한 지속성 인식 압축 및 집계

PCA: Persistence-Aware Compression and Aggregation for Fast Video Large Language Models

비디오 이해에서 유망한 결과를 보여 준 비디오 대규모 언어 모델(VLLM)의 발전에도 불구하고, 장시간 프레임의 중복성은 여전히 효율적 추론의 장애물로 남아 있다. 본 논문은 인코딩 단계 이전에 고충실도 원시 시각 정보를 보존하도록 설계된 학습 없는(training-free) 지속성 인식(Persistence-Aware) 압축(Compression) 및 집계(Aggregation) (PCA) 방법을 제안한다. PCA는 임의의 VLLM 위에 구축할 수 있으며 두 개의 모듈로 구성된다: 1) 프레임 간 유사도를 분석하여 중복 프레임을 적응적으로 제거하는 동적 다운샘플링(Dynamic Downsampling, DD) 모듈. 2) 이웃 프레임의 시간적 맥락을 집계하여 각 선택된 키프레임을 풍부하게 하는 지속성 인식 모션 향상(Persistence-Aware Motion Enhancement, PAME) 모듈로, 공격적인 프레임 축소 이후에도 필수 정보가 보존되도록 한다. 본 접근법은 기준선 모델의 성능을 향상시키는 동시에 장문맥(long-context) 모델링의 연산을 크게 줄인다. 광범위한 실험을 통해 PCA가 효율성과 정확도 모두에서 기존 최신(state-of-the-art) 접근법을 일관되게 능가하며, 기준선 VLLM 대비 1.8$\times$에서 2.5$\times$의 속도 향상을 달성함을 보여 준다. 코드는 https://github.com/Heisenberg10110/PCA 에서 공개되어 있다.

arXiv:2607.22723v1cs.CV

분류 기반 대규모 비전-언어 모델을 통한 문서의 시각적 정보 추출

Visual Information Extraction from Documents via Classification-Guided Large Vision-Language Models

시각적으로 풍부한 문서에서의 시각적 정보 추출(VIE)은 레이아웃 변동성이 크고 실제 환경의 손상 때문에 여전히 어려운 과제이다. 기존 방법들은 일반적으로 순차적 OCR 파이프라인이나 광범위한 라벨 데이터와 레이아웃별 학습이 필요한 end-to-end 모델에 의존하여 확장성을 제한한다. 우리는 최소한의 감독으로 높은 정확도를 달성하는 다중 유형 VIE를 위한 분류 기반 대규모 비전-언어 모델(LVLM) 프레임워크를 제안한다. 이 접근법은 문서 유형 분류와 내용 추출을 분리하고, 문맥 내 학습(ICL) 기반 동적 프롬프트 엔지니어링을 통해 과제별 지식을 주입하여 다양한 레이아웃에서 견고한 제로샷 추론을 가능하게 한다. 이론적 관점에서, 제안된 방법은 과제 불확실성을 줄이고 프롬프트 기반 추론 중 정보 효율을 향상시키는 조건부 연산의 한 형태로 볼 수 있다. 16가지 증명서 유형을 포함한 실제 입찰 데이터셋에서 평가한 결과, 우리의 제로샷 방법(Qwen2.5-VL-7B 기반)은 F1-score에서 18.35%p(86.43% vs. 68.08%)만큼, 정규화 편집 거리(normalized edit distance)에서는 0.23(0.90 vs. 0.67)만큼 강력한 감독 기준선을 능가한다. 선택적 도메인 특화 미세조정은 성능을 F1 93.65% 및 NED 0.93까지 추가로 향상시키며, 도장, 워터마크, 낮은 대비에 대한 우수한 견고성을 보여준다. 이 프레임워크는 사무 자동화에서 복잡한 문서 이해를 위한 효율적이고 확장 가능한 해결책을 제공한다. 코드는 https://github.com/FairmeHIT/Multi-VIE에서, 미세조정 모델은 https://huggingface.co/fairme/Qwen2.5-VL-7B-SFT에서 이용할 수 있다.

arXiv:2607.24667v1cs.AI

퇴거를 추정으로: 테스트 시간 메모리의 고정 지연 평활화 관점, 그리고 측정이 누적을 이기는 경우

Eviction as Estimation: A Fixed-Lag Smoothing View of Test-Time Memory, and When Measuring Beats Accumulating

제한된 작업 메모리를 가진 언어 모델은 저장된 항목 중 무엇을 유지할지 반복적으로 결정해야 한다. 배포된 모든 방법은 항목이 도착하는 순간에 결정하는데, 과거로부터(StreamingLLM, H2O) 또는 미래에 대한 추측으로부터(SnapKV) 그렇게 한다. 우리는 이 선택을 항목이 재사용될지에 대한 숨겨진 신호에 대한 추정 문제로 재구성하고, 기존 방법들을 하나의 축인 커밋 지연 $H$ 위에 배치한다: 온라인 필터와 학습된 예측기는 $H=0$에서 커밋하고, Belady의 오프라인 최적은 전체 미래가 알려진 지점에 위치한다. 그 사이의 빠진 영역인 고정 지연 평활화(fixed-lag smoothing)는 제한된 수의 단계를 기다린 뒤, 정확한 근미래 예측이 어텐션한 항목을 관찰하고, 그때서야 커밋한다. 이 측정인 demonstrated utility는 Belady의 관측 불가능한 미래 요청을 모델 자체에서 읽어낼 수 있는 것으로 바꾼다. 우리는 이를 학습 없는 정책 RMM으로 구현했으며, 이는 H2O의 엄격한 일반화로, 측정이 균일할 때 정확히 H2O로 환원된다. 재사용이 내생적이고 시간적으로 분리된 통제된 설정에서, demonstrated utility는 누적 어텐션보다 사용된 메모리를 훨씬 더 잘 식별하며, 작은 제한된 메모리가 훨씬 더 큰 메모리처럼 동작한다. 그러나 NVIDIA의 KVPress 하네스 내에서 자체 SnapKV, H2O, StreamingLLM 구현과 대조하여 실행한 독립적인 서드파티 벤치마크에서는 이 우위가 대부분 사라진다: RMM은 단일 턴 질의응답에서 H2O와 대등하고, 스트리밍 다중 턴 설정에서는 H2O와 SnapKV 모두에 뒤진다. 원인은 단순하다: 자연어 텍스트에서 모델은 대부분의 토큰에 대해 정확하므로, 정확성으로 어텐션에 가중치를 부여해도 거의 변화가 없고, demonstrated utility는 재사용이 뚜렷하고 내생적이지 않은 한 누적 어텐션으로 붕괴하며, 표준 벤치마크는 이를 검증하지 않는다. 우리의 기여는 프레임워크와 측정이 누적을 이기는 경우에 대한 솔직한 지도이며, 새로운 최첨단(state of the art)이 아니다.

arXiv:2607.24588v1cs.AI

SIREN: 경험 기반 LLM 에이전트를 활용한 end-to-end 극한 기상 조기 경보

SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents

극한 기상 조기 경보는 위험 기상 사건이 초래하는 사회적, 경제적, 환경적 위험을 완화하는 데 필수적이다. 그러나 전문가 중심의 경보 워크플로는 비용이 많이 들고 노동 집약적이며, 경보에서 대응까지의 과정 전반에 걸쳐 확장하기 어렵다. 대규모 언어 모델(LLM) 에이전트의 최근 발전으로 기상 관련 작업의 자동화가 가능해졌지만, 기존 연구는 여전히 개별적인 과학적 작업에 집중되어 있으며 운영상 극한 기상 조기 경보에 필요한 상호 의존적 프로세스의 연쇄를 간과한다. 이러한 격차를 메우기 위해 본 연구는 LLM 에이전트를 통한 자동화된 end-to-end 극한 기상 조기 경보를 탐구한다. 먼저 19개 작업에 걸쳐 600개의 질문-답변 인스턴스로 구성되고, 4개의 개별 경보 절차와 end-to-end 경보 연쇄를 포괄하는 포괄적 벤치마크인 SIREN-Bench를 개발한다. SIREN-Bench에 대한 평가는 기존 기상 에이전트 프레임워크의 상당한 역량 격차를 드러낸다. 이는 전문가들의 역사적 사례 활용에서 영감을 받은 경험 기반 에이전트 프레임워크인 SIREN의 개발을 촉진한다. SIREN은 이질적인 기상 증거와 도구를 통합하는 에이전틱 실행 환경과, 검색(retrieval), 스킬 증류(skill distillation), 예측 모델링(predictive modeling)을 통해 역사적 사례를 활용하는 일련의 에이전트 하네스(agent harness)를 결합한다. 광범위한 실험은 SIREN이 개별 경보 절차와 end-to-end 경보 연쇄 모두에서 기상 에이전트 베이스라인을 능가함을 보여준다.

arXiv:2607.24573v1cs.AI

LLM-SoccerArena: 스포츠 실세계 예측에서 LLM 벤치마킹

LLM-SoccerArena: Benchmarking LLMs on Real-World Predictions in Sports

대규모 언어 모델(LLM)은 불확실한 미래 사건에 관한 의사결정을 점점 더 지원하고 있지만, 실세계 결과를 예측하는 능력을 평가하는 것은 여전히 어렵다. 특히 기존 벤치마크는 일반적으로 정적이고 후향적이어서, 불확실성 하에서 미래 사건을 예측하기 위해 LLM이 정보를 어떻게 종합하는지 검증할 수 없다. 우리는 LLM-SoccerArena(https://llm-soccerarena.com)를 소개한다. 이는 결과가 알려지기 전에 LLM이 실세계 스포츠 사건을 얼마나 잘 예측하는지 평가하는 전향적(prospective) 라이브 벤치마크이다. LLM-SoccerArena는 (1) 전향적 라이브 벤치마크 프로토콜, (2) 공개 오픈소스 플랫폼, (3) 토너먼트 관련 질문(예: 어느 팀이 우승할 것인가)과 함께 요인 설계(factorial design) 벤치마크를 제공한다. LLM-SoccerArena는 미해결 사건에 대한 타임스탬프가 기록되고 스키마가 검증된 예측을 프롬프트, 모델 버전, 도구 추적(tool traces), 비용과 함께 자동으로 기록한다. 요인 설계는 네 가지 차원에서 변화한다: (1) 모델 버전(예: GPT-5.5, Claude Opus 4.8), (2) 정보 접근, (3) 프롬프팅 전략, (4) 예측 지평(forecast horizon). 우리는 2026 FIFA 월드컵에 대한 대규모 평가를 통해 LLM-SoccerArena를 시연한다. 이 평가에서 7개의 LLM이 104경기 전부와 15개의 토너먼트 관련 질문에 대한 예측을 생성했다. 정보 접근, 프롬프팅 전략, 예측 지평에 걸친 모델 성능에 대한 상세 분석을 제공한다. 그 결과 LLM-SoccerArena는 최신 LLM의 예측 성능에 관한 새로운 증거를 제공한다. 예를 들어, 웹 접근이 가능한 LLM은 그렇지 않은 LLM보다 성능이 더 높지만, 마진은 작다(즉, Brier score에서 0.023 개선). 전반적으로 LLM-SoccerArena는 미해결 사건에 대한 전향적 벤치마킹을 위한 유연한 오픈소스 플랫폼을 제공한다. LLM-SoccerArena는 지속적으로 업데이트될 것이며, 향후 국내 및 국제 토너먼트와 리그 경기에 직접 적용할 수 있다.

arXiv:2607.24562v1cs.AI

언어 모델 선택적 예측을 위한 계층적 그룹-조건부 컨포멀 리스크 제어

Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models

대규모 언어 모델(LLM)은 도메인, 주제 난이도, 언어적 스타일에 따라 구조화된 이질적인 집단을 대상으로 한다. 컨포멀 리스크 제어(CRC)는 기권(abstention)을 포함한 선택적 예측에 대해 엄밀한 주변(marginal) 리스크 보장을 제공하지만, 주변 보장이 그룹별 보장을 의미하지는 않는다. 모델은 전체 모집단 예산을 충족하면서도 하위 그룹에 체계적으로 과도한 오류 노출을 일으킬 수 있다. 그룹 구성의 경미한 변화(shift) 하에서 표준 CRC는 최대 47%의 시행에서 예산을 위반한다. 우리는 사용자가 정의한 그룹 계층의 모든 노드에 걸쳐 동시 리스크 보장을 강제하는 사후(post-hoc) 보정 프레임워크인 HG-CRC(Hierarchical Group-Conditional CRC)를 제안한다. 이는 노드에 대한 Bonferroni 보정과, 적용 가능한 가장 구체적인 임계값을 사용하는 leaf-first 정책을 적용하며, 더 세분화된 노드가 미인증(uncertified)이거나 예시를 거부할 때는 더 거친(coarser) 노드로 대체(fallback)한다. 재학습 없이 보류(hold-out) 보정 세트만 필요하다. 세 가지 모델(Qwen3-4B, Llama-3.1-8B-Instruct, Gemma-3-4B)과 두 벤치마크(ARC Challenge, MMLU-Pro)에 대해, IID 일반화, 이질성, 혼합/도메인/프롬프트/난이도 변화, 레이블 노이즈, 양자화를 탐구하는 여덟 가지 구성으로 평가한다. 주요 결과: HG-CRC는 고정확도 모델(Qwen3-4B, Llama-3.1-8B)에 대해 ARC Challenge에서 경험적 위반율 0%와 WGER=0에 도달한다. 500회 부트스트랩 시행에서 이 0값들은 경험적 상한(실제 비율 최대 0.6%)이며, 인증(certified)된 것은 아니다. 결과는 벤치마크별로 다르다. MMLU-Pro에서는 이 모델들이 전면 기권하거나(Llama) WGER=0.014를 유지한다. 여기서 보정이 잘 되지 않은 Gemma-3-4B는 기권을 통해 우아하게 성능이 저하된다. 전역 CRC 대비 참여(participation) 비용은 22~37%p이다. ablation은 계층적 깊이가 예산을 충족함을 보여준다. 난이도 수준을 제거하면 위반이 약 11%로 되돌아간다. Bonferroni는 이론적 보장에 필요하지만, 그 경험적 효과는 노드가 많을 때만 중요하다.

arXiv:2607.24551v1cs.AI

LLM 기반 온톨로지 엔지니어링과 프랑스 법률 지식 그래프 구축

LLM-Assisted Ontology Engineering and Construction of a French Legal Knowledge Graph

유지보수 규정은 특정 사례를 다룰 때 활용하기 어렵고 운영 시스템에 통합하기도 까다로운 복잡한 법률 텍스트이다. 본 논문은 프랑스 유지보수 규정을 위한 2단계 LLM 기반 워크플로를 제시한다: SEMLEG 기반 핵심 온톨로지로부터의 온톨로지 엔지니어링, 그리고 이어서 온톨로지에 기반한(ontology-grounded) 프랑스 법률 지식 그래프의 구축. 1단계는 계층화된 코퍼스 샘플로부터 유형화된 엔티티와 트리플의 개방 추출(open extraction), 임베딩 기반 융합을 통한 레이블 정규화, 그리고 시그니처(도메인과 레인지)를 갖는 후보 객체 속성(object property)의 유도로 구성된다. 2단계는 결과 온톨로지를 사용하여 전체 코퍼스에 대한 트리플의 폐쇄 추출(closed extraction)과 RDF 그래프 구축을 안내한다. GPT-4.1과 mistral-large-2512를 사용한 실험은 견고한 구조화 출력, 거의 완전한 클래스 정렬, 그리고 융합 후 중복 엔티티와 술어의 상당한 감소를 보여준다. 트리플의 20% 미만이 새로운 속성을 도입하며, 더 낮은 정확한 시그니처 준수는 기존 술어에 대한 새로운 도메인-레인지 조합을 드러낸다. 이러한 결과는 산업 유지보수 환경에서 술어 정규화와 새로 관찰된 관계 시그니처의 검증이 핵심 정제 단계임을 시사한다.

arXiv:2607.24539v1cs.AI

전력망 진단을 위한 멀티모달 LLM의 작업 조건부 충실성 감사

Task-Conditional Faithfulness Auditing of Multimodal LLMs for Grid Diagnosis

멀티모달 대규모 언어 모델(LLM)은 토폴로지, 측정값, 사고 텍스트를 결합하여 전력망 진단을 수행할 수 있지만, 답변 정확도만으로는 작업에 적합한 근거가 사용되었는지를 입증할 수 없다. 본 서신은 작업 조건부 충실성 감사를 수행하기 위한 일반적인 프레임워크를 제안한다. 이 프레임워크는 자기 보고 의존도, 개입 기반 행동적 의존도, 사전 등록된 공학적 중요도를 비교한다. 프레임워크는 먼저 작업별 근거 요건을 등록하고, 이를 자기 보고 의존도 및 통제된 모달리티 ablation 하에서의 행동 변화와 비교한다. 감지된 불일치를 해결하기 위해, 근거 제약 하에서 실패한 응답을 재생성하고 성능 손실 없이 그라운딩(grounding) 개선을 검증하기 위해 독립적으로 재-ablation하는 근거 게이팅(evidence-gated) 교정 및 재감사 메커니즘을 설계한다. 사례 연구는 IEEE 39- 및 118-버스 시나리오에서 서로 다른 규모의 세 LLM을 평가한다. 이 결과는 프레임워크가 작업 조건부 충실성 실패를 탐지, 진단, 교정할 수 있음을 검증한다.

arXiv:2607.24459v1cs.AI

실행에서 역량으로: 절차적 지식 합성을 통한 과학적 경험 통합

From Execution to Capability: Scientific Experience Consolidation via Procedural Knowledge Synthesis

대규모 언어 모델(LLM)은 점점 더 과학 컴퓨팅 과제를 해결하지만, 한 문제에서 얻은 실행 가능한 피드백이 이후 문제에서 지속적인 역량으로 이어지는 경우는 드뭅니다. 본 연구는 과학 컴퓨팅 경험 통합을 다룹니다. 즉, 검증된 런타임 경험을 전이 가능한 절차적 지식과 지속적인 모델 개선으로 전환하는 것입니다. 이 설정은 두 가지 과제를 제시합니다. 궤적(trajectory)에서 파생된 산출물이 과제 간 계산 메커니즘이 아닌 출처 특정적 수정을 인코딩할 수 있다는 점, 그리고 더 약한 타깃 모델이 그렇지 않으면 유효한 추상 절차를 실행적으로 활용하지 못할 수 있다는 점—추상화-실행 간극(abstraction-execution gap)입니다. SciConsolidate를 제안합니다. 이는 검증된 성공과 실패를 대비하여 과제 간 절차를 유도하고, 개발-검증(validation) 게이트를 통해 이를 선별하며, 사전에 존재하는 참조 답 없이도 통합 데이터를 확장하기 위해 실패 정보 기반의 답 없는(answer-free) 쿼리 합성을 사용합니다. 타깃 모델이 이러한 추상화를 직접 실행하지 못할 수 있기 때문에, 더 강한 모델이 이를 실행 가능한 코드 supervision으로 구체화하여 표준적인 절차 없는(procedure-free) SFT에 사용합니다. 절차 없는(no-procedure) 교사 분기를 매칭하여 절차적 안내의 가치를 분리합니다. SciCode에서 런타임 절차 주입은 Qwen3.6-27B를 하위 단계/주요 문제에서 각각 +3.85/+6.26점 향상시키지만, Qwen3.5-9B에서는 거의 집계된 주요 문제 향상을 얻지 못하여 추상화-실행 간극에 대한 운영적 증거를 제공합니다. 절차 안내 기반 구체화 이후, 9B 학생 모델은 절차 없는 배포에서 절차 없는 SFT 대조군 대비 +3.89/+6.25점, 원래 9B 모델 대비 +5.62/+11.25점 향상됩니다. 이 결과는 과학 컴퓨팅을 위한 경험-역량 경로를 확립하고, 자기 개선형 과학 지원을 확장하기 위한 실용적 출발점을 제공합니다.