PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19351v1cs.AI

OpenEvoShield: 개방 세계 다중 에이전트 시스템 공격에 대한 이중 비정상 지속적 방어

OpenEvoShield: Dual Non-Stationary Continual Defense for Open-World Multi-Agent System Attacks

LLM 기반 다중 에이전트 시스템(LLM-MAS)은 안전이 중요한(safety-critical) 응용 분야에 점점 더 배포되고 있으며, 여기서 적대자는 에이전트 간 통신을 통해 악의적 지시를 주입하여 유해한 행동을 전파한다. 정적 위협과 달리, 이러한 공격은 이중으로 동적이다: 적대자는 배포된 방어에 맞춰 주입 전략을 정교화하는 한편, 정상 에이전트의 행동은 시스템 확장에 따라 변화(drift)한다. 기존 방어는 배포를 폐쇄 세계(closed-world) 문제로 다루며, 어느 한쪽의 분포가 학습 커버리지를 벗어나면 급격히 성능이 저하된다. 우리는 LLM-MAS를 위한 공진화(co-evolutionary) 지속적 방어 프레임워크인 OpenEvoShield를 제안한다. 비대칭 속도 제어기(M1)는 이중 드리프트 신호로부터 빠른 공격 측과 느린 정상 측의 학습률을 분리한다. 정상 경계 업데이터(M2)는 느린 속도로 동적 행동 경계를 유지하고, EWC 정규화된 정책 앙상블(M3)은 치명적 망각(catastrophic forgetting) 없이 빠르게 적응한다. 에너지 기반 다중 세분성 탐지기(M4)는 노드, 서브그래프, 그래프 수준의 증거를 융합하여 새로운 공격을 분포 외(out-of-distribution)로 분류한다. 5개 벤치마크와 4가지 MAS 토폴로지에 걸친 100회 배포 라운드에 대한 실험 결과, OpenEvoShield는 정적 및 지속적 베이스라인을 능가하며, 대부분의 이전에 보지 못한 공격을 탐지하면서 거짓 양성(false positive) 비율을 낮게 유지한다.

arXiv:2607.19349v1cs.AI

FineServe: 글로벌 LLM 서빙 워크로드의 세밀한 데이터셋 및 특성 분석

FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads

대규모 언어 모델(LLM)은 점점 더 상시 가동(always-on) 온라인 서비스로 배포되고 있어, 효율적인 LLM 서빙은 중요한 시스템 과제가 되었다. 변동성이 큰 수요 하에서 낮은 지연 시간과 높은 처리량을 달성하려면 실제 서빙 워크로드에 대한 깊은 이해가 필요하지만, 기존 연구는 종종 프록시 트레이스(proxy traces)나 거친 수준(coarse-grained)의 특성 분석에 의존하여 현대 다중 모델 LLM 플랫폼의 이질성(heterogeneity)을 포착하지 못한다. 우리는 글로벌 상용 마켓플레이스에서 수집한 실환경(in-the-wild) 다중 모델 LLM 서빙 워크로드 데이터셋인 FineServe를 제안하며, 이를 통해 이질적인 모델과 태스크 전반에 걸친 실제 서빙 역학의 세밀한 특성 분석을 가능하게 한다. FineServe를 활용하여 도착 역학(arrival dynamics)과 토큰 동작을 종합적으로 분석하고, 모델 아키텍처, 규모, 태스크 의도(task intents)에 따라 근본적으로 다른 변동(fluctuation) 체계(regimes)가 존재함을 밝힌다. 이러한 통찰을 바탕으로, 다중 모델 서빙 플랫폼 벤치마킹에 맞춘 구성 가능한 혼합물로 세밀한 모델 인식(model-aware) 워크로드를 구성하는 FineServe 워크로드 생성기를 개발한다. 이러한 세밀한 워크로드 역학을 드러냄으로써 FineServe는 LLM 서빙 시스템에서 라우팅, 스케줄링, 용량 계획(capacity-planning) 전략을 평가하기 위한 현실적인 기반을 제공한다. FineServe는 https://github.com/hihiztc1/FineServe 에서 이용할 수 있다.

arXiv:2607.16195v2cs.AI

RLHF 선호도 데이터의 평가자 상태 바이어스: 감사 프레임워크

Rater State Bias in RLHF Preference Data: An Audit Framework

인간 피드백 강화학습(RLHF)에서 구조화된 교란 변수를 확인한다. 쌍wise 선호도 레이블은 비교 대상 출력을 반영하도록 의도되지만, 주석 달기 과정에서 평가자의 상태를 반영할 수도 있다. 지속적인 스트레스나 정서적 부담 조건 하에서 평가자의 선호도는 시간에 따라 변화할 수 있으며, 이로 인해 선호도 데이터는 응답 품질에 대한 판단과 함께 평가자 상태를 함께 인코딩할 수 있다. 이러한 변화가 존재한다면, 우리는 그것이 일반적인 의견 불일치나 무작위 레이블 노이즈와는 다를 것이라고 주장한다. 이들은 상태에 의존적이며, 유사한 조건에서 여러 주석 작성자 간에 공유될 수 있고, 집계, 보상 모델링, 정책 최적화 과정에서 반드시 상쇄되지는 않을 것이다. 우리는 RLHF 선호도 데이터의 구조화된 바이어스의 그럴듯하고 검증 가능한 원인으로 평가자 상태 변화(rater state shift)를 제안한다. 본 논문은 이러한 바이어스 원인을 연구하기 위한 가설과 감사 프레임워크를 개발한다. 우리는 평가자 상태 변화, 평가자 상태 교란 변수, 상관된 평가자 상태 바이어스를 정의한다. 또한 우리는 어휘적, 화용론적, 담화적, 안전성(safety) 특성으로 정의되는 후보 출력 시그니처로서 생존 수준의 정서적 진정성(survival level emotional authenticity)을 제안하며, 이 특성들의 신뢰도와 타당성은 아직 입증되어야 한다. 우리는 상관된 평가자 상태 바이어스가 집계 과정에서 평균화되지 않고 학습된 보상 신호에 유입될 수 있는 조건을 분석한다. 우리는 이 메커니즘을 일반적인 참여도(engagement) 최적화와 구별하는 다섯 가지 예측을 제시하고, 초기 감사를 위한 효과 크기 임계값과 함께 어떤 것이 독점 데이터를 필요로 하는지 명시한다. 마지막으로, 공개적으로 이용 가능한 인스트럭션 튜닝(instruction tuned) 모델에 적용할 수 있는 감사 프로토콜과 파일럿 연구 계획을 제시한다. 우리는 특정 배포 모델의 학습 이력을 추론하지 않는다.

arXiv:2607.14573v3cs.AI

Alipay-PIBench: 코딩 에이전트를 위한 현실적인 결제 통합 벤치마크

Alipay-PIBench: A Realistic Payment Integration Benchmark for Coding Agents

결제 통합은 까다로운 저장소 수준(repository-level) 소프트웨어 작업이다. 에이전트는 적절한 제품을 선택하고, 조율된 클라이언트-서버 흐름을 구현하며, 결제 결과를 검증하고, 거래 상태와 비즈니스 상태 간의 일관성을 유지해야 한다. 우리는 현실적인 Alipay 결제 통합에서 코딩 에이전트를 평가하기 위한 벤치마크인 Alipay-PIBench를 소개한다. 이는 9개의 제품별 프로젝트와 18개의 태스크 인스턴스를 포함하며, 각각 Basic 기능 완성(functional-completion)과 Advanced 위험 인식 강화(risk-aware hardening) 시나리오로 구성된다. 시나리오별 루브릭(rubric)은 결정론적 정적·단위·통합·엔드 투 엔드(end-to-end) 검사를 지원하며, 의미론적 요구사항에 대해서는 대규모 언어 모델(LLM) 보조 평가가 이를 보완한다. 6개의 코딩 에이전트 모델을 평가하고 루브릭 통과율(RPR)을 보고한다. with-skill 조건에서 평균 RPR은 68.58%에서 91.37% 범위이다. alipay-payment-integration 스킬에 대한 접근은 without-skill 조건 대비 평균적으로 평균 RPR을 10.31%p 향상시키며, 이는 모델, 제품, 시나리오에 따라 다르다. 방법 수준의 결과는 소스 수준 완성, 실행 가능한 결제 동작, 결제 도메인 요구사항을 구분한다. Alipay-PIBench는 결제 통합에서 모델 역량을 진단하고 구조화된 가이던스를 평가하기 위한 통제된 환경을 제공한다.

arXiv:2607.11338v2cs.AI

AutoVSR: 회로 회로도에서 기호 표현 생성을 위한 자동 시각-기호 추론

AutoVSR: Automatic Visual-to-Symbolic Reasoning for Symbolic Expression Generation from Circuit Schematic

기호 표현(symbolic expression)은 회로 동작을 효과적으로 특성화하고 예측할 수 있지만, 회로 회로도에서 직접 이를 도출하는 것은 어렵다. 이 과정은 이미지에서 회로 구조의 정확한 시각-기호 변환(visual-to-symbolic construction)과 올바른 다단계 기호 도출을 요구하며, 두 가지 모두 엄격한 정확성 요건을 부과한다. 본 연구는 비전-언어 모델(VLM)을 활용하여 회로 표현의 시각-기호 생성을 자동화하는 프레임워크인 AutoVSR을 제안한다. 회로 다이어그램을 실행 가능한 중간 표현(Executable IR)으로 재구성하고 기호 솔버(symbolic solver)를 활용한 추론을 통해, AutoVSR은 기호 표현 생성의 정확도를 크게 향상시킨다. AutoVSR은 두 가지 핵심 혁신을 도입한다: 컴포넌트 규칙 검색 및 검증 기반 피드백으로 안내되는 IR 구성 방법, 그리고 신뢰할 수 있는 다단계 도출을 위해 기호 도구 라이브러리를 갖춘 계획 에이전트로 구현된 기호 솔버. 주요 기호 표현 생성 태스크에서 엔드-투-엔드 VLM 방식 및 특화된 방법들과 비교했을 때, AutoVSR은 각각 30.01--59.45% 및 41.96--51.84%의 정확도 향상을 달성한다. 또한 AutoVSR은 추론 비용 및 연산 효율성 측면에서 클로즈드소스 최신 VLM들을 능가한다. 코드는 https://github.com/LongfeiLi1/AutoVSR 에서 이용 가능하다.

arXiv:2606.18543v2cs.AI

CEO-Bench: 에이전트는 장기 전략을 실행할 수 있는가?

CEO-Bench: Can Agents Play the Long Game?

언어 모델 에이전트는 소프트웨어 엔지니어링과 고객 서비스와 같은 고립된 단기 지평 과제에서 능숙한 실행자가 되어 가고 있다. 그러나 현실 세계의 과제는 에이전트에서 아직 대부분 검증되지 않은 정교한 기술들의 조합을 요구한다: (1) 불확실성 속에서 장기 지평을 탐색하는 능력; (2) 노이즈가 많은 환경에서 정보를 획득하는 능력; (3) 변화하는 세계에 적응하는 능력; (4) 여러 움직이는 요소들을 일관된 목표를 향해 조율하는 능력. 우리는 대표적인 현실 과제인 500일간의 스타트업 운영을 시뮬레이션함으로써 이러한 역량을 함께 평가하는 CEO-Bench를 제안한다. 에이전트는 프로그래밍 가능한 Python 인터페이스를 통해 가상 회사의 가격 책정, 마케팅, 예산 편성 및 기타 많은 측면을 관리하며, 인간 CEO와 동일한 환경에서 동일한 도전에 직면한다. 성공을 위해서는 노이즈가 많고 상호 연결된 비즈니스 데이터베이스를 분석하고, 신호를 건전한 전략으로 변환하며, 프로그래밍으로 많은 의사결정을 조율해야 한다. 가장 강력한 에이전트들은 이탈(churn) 체제, 청구 시점, 고객 손실, 다양한 시나리오 하의 미래 현금 흐름을 예측하는 정교한 코드를 작성한다. 그럼에도 불구하고, 대부분의 최신(state-of-the-art) 모델은 이 환경에서 어려움을 겪는다. Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8만이 $1M 시작 잔액을 넘어서 마무리하며, 평가된 모든 모델은 규칙 기반 기준선 아래에 머문다. CEO-Bench는 시간에 걸친 지속적이고 적응적인 진전을 이끌어내는 데 필요한 지능을 측정하는 첫 걸음을 내딛는다.

arXiv:2604.01363v2cs.AI

급격한 파도 vs. 서서히 차오르는 밀물: 노동 시장 업무에 대한 수천 건의 근로자 평가로부터 도출한 AI 자동화 연구

Crashing Waves vs. Rising Tides: Findings on AI Automation from Thousands of Worker Evaluations of Labor Market Tasks

우리는 AI 자동화가 (i) 소수의 업무 집합에서 AI 역량이 급격히 급증하는 급격한 파도(crashing waves)와 (ii) AI 역량의 증가가 더 연속적이고 광범위한 서서히 차오르는 밀물(rising tides) 사이의 연속체(continuum)라고 제안한다. 미국 노동부 O*NET 분류에서 파생된 3,000개 이상의 광범위한 텍스트 기반, 즉 대규모 언어 모델(LLM)로 처리 가능한 업무에 걸친 AI 역량에 대한 진행 중인 평가의 예비 증거를 통해 이러한 효과를 검증한다. 해당 직종 근로자들의 17,000건 이상의 평가를 바탕으로, 급격한 파도에 대한 증거는 거의 없으며(METR의 최근 연구와 대조적으로), 서서히 차오르는 밀물이 AI 자동화의 주된 형태라는 상당한 증거를 확인한다. AI 성능은 광범위한 업무 전반에서 높으며 빠르게 개선되고 있다. 2024년 2분기에는 AI 모델이 인간이 약 3~4시간 소요하는 업무를 약 50%의 성공률로 완료하는 것으로 추정되며, 2025년 3분기에는 약 65%로 증가한다. 최근 AI 역량 성장 추세가 지속된다면, 이러한 AI 개선 속도는 LLM이 2029년까지 최소한 충분한 품질 수준에서 대부분의 텍스트 관련 업무를 평균 80%~95%의 성공률로 완료할 수 있음을 시사한다. 이 품질 수준에서 거의 완벽한 성공률을 달성하거나, 더 높은 품질에서 동등한 성공률을 달성하는 데는 추가로 수년이 더 필요할 것이다. 이러한 AI 역량 향상은 조직이 AI를 도입함에 따라 경제와 노동 시장에 영향을 미칠 것이며, 그 타임라인은 상당히 더 길 수 있다.

arXiv:2603.16827v2cs.AI

대규모 언어 모델의 문화적 바이어스와 정렬을 위한 프롬프트 프로그래밍

Prompt Programming for Cultural Bias and Alignment of Large Language Models

문화는 추론, 가치관, 우선순위 설정, 전략적 의사결정을 형성하지만, 대규모 언어 모델(LLM)은 종종 대상 집단과 정렬되지 않은 문화적 바이어스를 보인다. LLM이 전략적 의사결정, 정책 지원, 요약, 분류, 컴플라이언스 중심 감사와 같은 문서 엔지니어링 작업에 점점 더 많이 사용됨에 따라, 문화적 정렬을 개선하는 것은 하류 분석과 권고가 기본 모델 사전분포가 아닌 대상 집단의 가치 프로파일을 반영하도록 보장하는 데 중요하다. 이전 연구는 설문 기반 문화적 정렬 프레임워크를 도입하고 문화 특화 프롬프팅이 정렬 불일치를 줄일 수 있음을 보였지만, 주로 독점 모델을 평가했으며 수동 프롬프트 엔지니어링에 의존했다. 본 논문에서는 사회과학 설문 기반 투영 및 거리 지표를 공개 가중치 LLM에서 재현하여 해당 프레임워크를 검증하고 확장하며, 동일한 문화적 편향과 문화 조건화의 이점이 폐쇄형 LLM 시스템 밖에서도 지속되는지 검증한다. 이 기반 위에서, 본 연구는 이 문제에 DSPy를 활용한 프롬프트 프로그래밍 사용을 도입한다. 프롬프트를 모듈형 최적화 가능 프로그램으로 취급하여 문화-거리 목표에 대해 최적화함으로써 문화 조건화를 체계적으로 조율한다. 실험에서 프롬프트 최적화가 문화적 프롬프트 엔지니어링보다 종종 더 나은 성능을 보이며, DSPy를 통한 프롬프트 컴파일이 문화적으로 정렬된 LLM 응답에 더 안정적이고 전이 가능한 경로를 제공할 수 있음을 시사한다.

arXiv:2512.16300v3cs.AI

루프 내 코드 포렌식: 이미지 위조 탐지를 위한 에이전트적 도구 사용

Code-in-the-Loop Forensics: Agentic Tool Use for Image Forgery Detection

기존 이미지 위조 탐지(IFD) 방법은 저수준·의미 비의존적(semantics-agnostic) 아티팩트를 활용하거나, 고수준 의미 지식을 갖춘 멀티모달 대규모 언어 모델(MLLM)에 의존한다. 두 정보 흐름은 자연스럽게 상보적이지만, 패러다임과 추론 방식 모두에서 매우 이질적이어서 기존 방법이 이를 통합하거나 교차 수준 상호작용을 효과적으로 모델링하기 어렵다. 이 간극을 해소하기 위해, 우리는 MLLM이 탐지 목표를 중심으로 Python 기반 저수준 도구를 자율적으로 생성·실행·반복 정제할 수 있게 하는 다회차 대화형 IFD 프레임워크 ForenAgent를 제안한다. 이를 통해 더 유연하고 해석 가능한 위조 분석을 달성한다. ForenAgent는 Cold Start와 강화 미세조정(Reinforcement Fine-Tuning)을 결합한 2단계 학습 파이프라인을 따르며, 도구 상호작용 능력과 추론 적응성을 점진적으로 향상시킨다. 인간의 추론에서 영감을 받아, 전역 인지, 국소 집중, 반복적 탐색, 전체적 판정으로 구성된 동적 추론 루프를 설계하고, 이를 데이터 샘플링 전략과 과제 정렬 프로세스 보상 모두로 구현한다. 체계적인 학습과 평가를 위해, 10만 장의 이미지와 약 20만 개의 에이전트 상호작용 질의-응답 쌍으로 구성된 이질적 고품질 에이전트-포렌식 데이터셋 FABench를 구축한다. 실험 결과, ForenAgent는 저수준 도구의 보조 하에 도전적인 IFD 과제에서 창발적 도구 사용 역량과 반성적 추론을 보이며, 범용 IFD를 향한 유망한 경로를 제시한다. 코드는 리뷰 과정이 완료된 후 공개될 예정이다.

arXiv:2512.05518v2cs.CR

확률보다 순위를 맞추면 진정한 심층 안전성 정렬을 달성한다

Matching Ranks Over Probability Yields Truly Deep Safety Alignment

오픈소스 대규모 언어 모델(LLM)은 AI 민주화에 중요한 역할을 하지만, "개방형" 특성으로 인해 악의적 행위자가 이를 유해한 목적으로 악용할 수 있는 경로가 더 많아진다. 프리필링(prefilling) 공격으로 알려진, 답답할 정도로 쉬우면서도 강력한 기법은 디코딩 전에 어시스턴트 응답을 긍정적 접두 문맥으로 미리 채우는 것만으로 선단 오픈소스 LLM의 안전성 정렬을 효과적으로 우회하는 것으로 나타났다. 최근 유망한 지도 미세조정 방어는 간단한 데이터 증강 방식을 사용해 "심층" 안전성 정렬을 달성하여, 모델이 유해한 프리필 직후 자연어 거부를 생성하도록 한다고 제안한다. 본 연구에서는 프리필링 공격의 간단한 일반화인 Rank-Assisted Prefilling(RAP) 공격이, 각 단계에서 예측된 다음 토큰 상위 20개 중 낮은 확률의 "유해" 토큰을 선택함(따라서 높은 확률의 "거부" 토큰을 무시함)으로써 데이터 증강 방어로 미세조정된 모델에서 유해 콘텐츠를 효과적으로 추출할 수 있음을 보인다. 그다음 우리는 기본 데이터 증강 목표 분포에서 토큰 순위(확률만이 아니라)를 맞춤으로써 심층 안전성 정렬을 달성하는 새로운 관점을 제안하며, 이는 유해 프리필 토큰에 부여되는 어텐션을 정규화하는 PRefill attEntion STOpping(PRESTO)이라 불리는, 심층 정렬을 강화하는 놀랍도록 간단한 접근법을 낳는다. 데이터 증강만 사용하는 것과 비교하면, PRESTO는 세 가지 인기 LLM에서 RAP 공격 하에서 안전성을 최대 4.7배까지 향상시킨다. 실용적이고 접근 가능한 공격에 대해 더 강한 수준의 안전성을 달성함으로써, 본 연구는 더 안전한 오픈소스 모델을 향한 길을 연다. 본 논문의 소스 코드는 https://github.com/uiuc-focal-lab/push-forward-alignment 에서 확인할 수 있다.

arXiv:2510.05592v2cs.AI

효과적인 계획 및 도구 사용을 위한 In-the-Flow 에이전트 시스템 최적화

In-the-Flow Agentic System Optimization for Effective Planning and Tool Use

결과 지향(outcome-driven) 강화학습은 대규모 언어 모델(LLM)의 추론을 발전시켰지만, 지배적인 도구 증강(tool-augmented) 접근법은 전체 컨텍스트 하에서 사고와 도구 호출을 교차 배치하는 단일의 거대(monolithic) 정책을 학습하며, 이는 긴 수평선과 다양한 도구에 대해 확장성이 낮고 새로운 시나리오에 대한 일반화가 약하다. 에이전트 시스템은 작업을 전문화된 모듈로 분해함으로써 유망한 대안을 제공하지만, 대부분은 학습 없이(training-free) 운용되거나 다중 턴 상호작용의 실시간 동역학과 분리된 오프라인 학습에 의존한다. 우리는 진화하는 메모리를 통해 네 가지 모듈(플래너, 실행기, 검증기, 생성기)을 조율하고 다중 턴 루프 내에서 플래너를 직접 최적화하는 학습 가능한 in-the-flow 에이전트 프레임워크인 AgentFlow를 제안한다. 실시간 환경에서 온-정책 학습을 위해, 다중 턴 최적화를 처리 가능한 단일 턴 정책 업데이트의 시퀀스로 변환하여 긴 수평선의 희소 보상(sparse-reward) 크레딧 할당 문제를 해결하는 Flow 기반 Group Refined Policy Optimization(Flow-GRPO)을 제안한다. 이 방법은 검증 가능한 단일 궤적 수준(trajectory-level) 결과를 모든 턴에 전파하여 지역적 플래너 결정을 전역적 성공과 정렬하고, 그룹 정규화된 이점(group-normalized advantages)으로 학습을 안정화한다. 10개 벤치마크에서 7B 규모 백본을 사용한 AgentFlow는 검색 14.9%, 에이전트 14.0%, 수학 14.5%, 과학 4.1%의 평균 정확도 향상으로 최고 성능 기준선을 능가하며, GPT-4o와 같은 더 큰 독점 모델조차 넘어선다. 추가 분석은 in-the-flow 최적화의 이점을 확인하며, 향상된 계획, 강화된 도구 호출 신뢰성, 모델 크기 및 추론 턴 수에 따른 긍정적 스케일링을 보여준다.

arXiv:2509.21028v4cs.AI

SciTrek: 과학 논문에 대한 장문맥 수치 추론 평가 및 개선

SciTrek: Evaluating and Improving Long-Context Numerical Reasoning over Scientific Articles

SciTrek은 대규모 언어 모델(LLM)의 장문맥 수치 추론을 평가하고 개선하기 위한 합성 질의응답 데이터셋을 소개한다. 입력이 64K 토큰을 넘는 기존 장문맥 데이터셋은 단순 정보 검색을 대상으로 하거나, 추론을 포함하더라도 인공적 문맥에 의존하며, 두 경우 모두 수치 추론은 대체로 간과되어 왔다. SciTrek은 전문(full-text) 과학 논문 모음에 대해 수치 연산(예: 개수 세기, 정렬, 집계, 비교)을 요구하는 질문으로 이러한 한계를 해결한다. 질문은 논문 메타데이터(제목, 저자, 참고문헌) 데이터베이스에 대한 SQL 쿼리로 공식화하여 자동 생성되며, 정답은 해당 쿼리를 실행하여 얻는다. 기반 SQL은 각 질문이 요구하는 추론에 대한 투명하고 검증 가능한 명세를 제공하여 세밀한 오류 분석을 가능하게 하며, 완전 자동화된 파이프라인은 최소한의 인간 감독으로 임의의 문맥 길이와 데이터셋 규모로 확장되어 데이터 오염을 완화하고 사후 학습을 위한 풍부한 데이터를 제공한다. 광범위한 실험 결과, 최신 공개 가중치 및 독점 LLM은 겉보기에 단순한 질문에서도 어려움을 겪는다. 최고 성능 모델은 128K 토큰에서 정확 일치 46.5%에 불과하며, 문맥이 길어질수록 성능은 지속적으로 저하된다. 세밀한 분석 결과, 인용 관련 질문과 특히 부정을 포함하는 복합 논리 조건에서 체계적인 약점이 드러난다. 마지막으로, SciTrek으로 공개 가중치 모델을 사후 학습하면 수치 추론이 개선되며, 이는 도메인 외 장문맥 과제로 일반화된다.

arXiv:2607.20357v1cs.CV

적게 보고, 빠르게 생각: 멀티모달 LLM의 토큰-연산 공동 적응

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)은 최근 비전-언어(vision-language) 태스크 전반에서 우수한 성능을 보여주었다. 그러나 많은 입력 시각 토큰과 대규모 언어 모델(Large Language Model, LLM)의 무거운 연산으로 인한 높은 추론 비용은 실용적 배포의 핵심 장벽으로 남아 있다. 최근 연구는 예를 들어 중복 시각 토큰의 가지치기나 LLM 레이어 및 헤드 건너뛰기처럼 개별 차원을 적응적으로 최적화하여 비용을 줄이려 시도한다. 그럼에도 기존 접근법은 이러한 차원들을 독립적으로 다루는 경우가 많으며, 입력 내용에 따라 가용 연산 자원을 모든 차원에 걸쳐 동적으로 배분해야 한다는 근본적인 결합 관계를 간과한다. 이 간극을 메우기 위해, 우리는 변화하는 입력 내용과 연산 예산에 대응하여 시각 토큰 수와 모델 연산 능력을 공동으로 제어하는 통합 적응형 추론 프레임워크 SmartVL을 제안한다. SmartVL은 정보가 풍부한 시각 토큰을 동적으로 선택하는 비전 측 토큰 컨트롤러와 LLM 연산을 적응적으로 조절하는 LLM 측 연산 컨트롤러를 도입한다. 중요한 점은, 이 컨트롤러들이 서로 협조하도록 학습되어 전체 추론 비용이 목표 예산을 만족하도록 한다는 것이다. 이러한 공동 스케줄링을 가능하게 하기 위해, 공유 예산 인코딩으로 컨트롤러들을 연결하고 미분 가능한 지연(latency) 추정기를 활용하여 end-to-end 학습을 수행한다. 이 설계를 통해 SmartVL은 입력 복잡도와 런타임 연산 제약 모두에 적응하는 단계 간 할당 전략을 학습할 수 있다. 여러 MLLM 벤치마크에 걸친 실험은 공동 스케줄링을 통해 SmartVL이 기존 적응형 방법들을 일관되게 능가하며 더 우수한 정확도-효율 파레토 프론티어를 달성함을 보여준다. 프로젝트 페이지: https://www.schaterji.io/publications/2026/jointtokencompute.

arXiv:2607.20284v1cs.CV

원격 탐사 이미지 이해를 위한 멀티모달 대규모 언어 모델: 도메인 특화형인가 범용형인가?

Multimodal Large Language Models for Remote Sensing Image Understanding: Domain-Specific or General-Purpose?

멀티모달 대규모 언어 모델(MLLM)의 급속한 발전은 원격 탐사 이미지 장면 이해(RSISU)를 위한 유연한 패러다임을 도입했으며, 원격 탐사 영상과의 자연어 상호작용을 가능하게 했다. 그러나 기존 원격 탐사 MLLM(RS-MLLM)의 능력 경계, 태스크 간 일반화, 태스크별 한계에 대한 체계적인 이해는 여전히 부족하다. 본 논문은 RSISU를 위한 MLLM에 대한 체계적인 서베이와 진단적 평가를 제시한다. 우리는 RS-MLLM의 기술적 진화를 검토하며, 모델 설계, 멀티모달 학습, 학습 데이터, 하류 능력에 초점을 맞춘다. 또한 다양한 RSISU 태스크와 벤치마크에서 RS-MLLM과 범용 컴퓨터 비전 MLLM(CV-MLLM)을 비교한다. RS-MLLM은 도메인 특화 설정, 특히 원격 탐사 시각적 그라운딩(visual grounding)과 고해상도 시각적 질의응답(VQA)에서 경쟁력을 유지한다. 더 주목할 점은, 범용 CV-MLLM이 원격 탐사 특화 미세조정 없이도 여러 RSISU 태스크에서 이러한 특화 모델과 동등하거나 그 이상의 성능을 낼 수 있다는 것이다. 이러한 결과는 범용 CV-MLLM의 강한 전이 가능성을 보여 주며, 현재 RS-MLLM이 다양한 RSISU 태스크 전반에서 이를 일관되게 능가하지는 못함을 시사한다. 현재 MLLM은 공간적·관계적 추론, 세밀한 시각 이해, 지시 다양성, 이질적 태스크 형식 간 일반화에서도 한계에 직면한다. 이러한 발견을 바탕으로, 신뢰할 수 있는 평가, 멀티모달 및 고해상도 추론, 효율적 배포, 도구 증강 원격 탐사 에이전트를 향한 향후 방향을 개괄한다. 본 서베이는 RSISU를 위한 견고하고 일반화 가능하며 실용적인 MLLM 개발을 위한 체계적인 참고 자료를 제공한다.

arXiv:2607.20087v1cs.CV

일반 심혈관 자기공명(CMR) 영상 기반 심장 질환 진단을 위한 자동화·신뢰·임상적 유의미성을 갖춘 인공지능(AI) 도구 개발

Development of an automated, reliable, and clinically meaningful artificial intelligence (AI) tool for diagnosing cardiac disease from conventional cardiovascular magnetic resonance (CMR) images

목적: 심혈관 자기공명(CMR) 영상은 심근의 구조, 기능, 병리를 비침습적으로 평가할 수 있게 하지만, CMR 영상 해석에는 상당한 경험이 필요하며 이는 인공지능(AI) 기반 모델의 지원을 받을 수 있다. 그러나 CMR 판독 향상을 위한 AI 모델의 활용은 노동 집약적인 데이터 큐레이션, 최적에 미치지 못하는 모델 성능, 불명확한 구현 경로로 인해 제한된다. 방법 및 결과: 우리는 CMR 기반 심혈관 질환(CVD) 진단을 위한 자동화된 데이터 큐레이션 파이프라인을 개발했으며, 서술형 CMR 보고서에서 진단 라벨을 추출하기 위해 오픈소스 로컬 실행 대규모 언어 모델(LLM)을 통합하고, cine 및 late-gadolinium-enhancement(LGE) CMR 시퀀스를 포함한 다중모달 영상 데이터를 전처리했다. 세 가지 비전 파운데이션 모델(DINO, VST, UMedPT)을 2단계 접근법으로 이러한 모달리티 전반에 걸쳐 파인튜닝했다. 데이터셋은 비대성 심근병증(HCM), 확장성 심근병증(DCM), 허혈성 심근병증(ICM), 심장 아밀로이드증(CA), 정상 대조군(NOR)으로 구성되었다. 총 988건의 큐레이션된 사례를 무작위로 742건은 학습, 246건은 검증용으로 분할했다. 파인튜닝된 AI 모델은 1067명의 환자로 구성된 독립 테스트 세트에서 높은 판별 진단 성능을 달성했으며, HCM의 정확한 진단에 대해 최대 AUC-ROC 0.937, 심장 아밀로이드증에 대해 0.945를 기록했다. 여러 모델과 모달리티를 결합하는 앙상블 전략은 AI 기반 진단 정확도와 견고성을 더욱 향상시켜, HCM(AUC=0.959, CI [0.936-0.978]), CA(AUC=0.966, CI [0.939-0.986]), NOR(AUC=0.872, CI [0.852-0.894]), DCM(AUC=0.848, CI [0.808-0.885]), ICM(AUC=0.840, CI [0.809-0.868])에서 최고의 전반적 진단 성능을 달성했다. 모든 학습 및 추론 코드와 학습된 모델 가중치는 https://github.com/sinaamirrajab/CMR_CVD 에서 공개적으로 이용 가능하다.

arXiv:2607.19947v1cs.CV

ETPDesigner: 대화형 멀티모달 Electronic Theater Program을 위한 멀티 에이전트 오케스트레이션

ETPDesigner: Multi-Agent Orchestration for Interactive Multimodal Electronic Theater Program

Electronic Theater Program(ETP)은 공연 예술 분야에서 중요한 홍보 매체로, 연극 포스터, 공연 세부 정보, 인물 초상화 등 이질적인 시각 자산으로 구성된 다중 페이지 컬렉션을 포함한다. 그러나 기존 텍스트-이미지(text-to-image) 패러다임은 긴 문맥 서사를 이해하고 여러 개의 서로 다른 페이지에 걸쳐 시각적 일관성을 유지하지 못하기 때문에, 이러한 복잡한 디자인 작업에 어려움을 겪는다. 이를 해결하기 위해, 원본 연극 대본에서 고품질 ETP를 직접 합성하는 협업형 멀티 에이전트 프레임워크인 ETPDesigner를 제안한다. 전문 디자인 파이프라인을 모방하여, 우리 프레임워크는 의미적 대본 분석, 핵심 포스터 합성, 기능적 배경 생성, 인물 자산의 계층적 구성을 위한 전문화된 에이전트들을 조율한다. ETPDesigner의 핵심은 핵심 포스터에서 시각적 사전(prior)을 추출하여 생성된 모든 구성 요소에 엄격한 미적 통일성을 강제하는 전역 스타일 앵커(global style anchor) 메커니즘이다. 또한 ETP를 정적인 출판물에서 몰입형 대화형 동반자로 격상시킨다. 초상화 애니메이션, 맞춤형 음성 합성, 페르소나 기반 대규모 언어 모델(LLM)을 통합함으로써, 우리 시스템은 사용자가 생성된 가상 캐릭터와 실시간 음성 대화를 할 수 있게 한다. 이 작업을 엄격하게 벤치마크하기 위해, 전문 연극 포스터와 고품질 인물 초상화로 구성된 도메인 특화 벤치마크 ETP-Pro를 구축한다. 광범위한 평가를 통해, 우리 방법이 의미적으로 충실하고 미적으로 일관되며 고도로 대화형인 프로그램 세트를 생성하는 데 우수함을 입증한다.

arXiv:2607.19910v1cs.CV

MV-Bench: 조율된 다중 뷰 인터페이스 구성을 위한 멀티모달 대규모 언어 모델 벤치마킹

MV-Bench: Benchmarking Multimodal Large Language Models for Coordinated Multi-View Interface Construction

멀티모달 대규모 언어 모델(MLLM)은 시각적 디자인으로부터 직접 코드를 생성하여 시각화 개발을 자동화하는 것이 점점 더 기대되고 있다. 그러나 기존 평가는 주로 단일 차트 생성에 초점을 맞추며, 데이터 의미론, 뷰 조율, 상호작용 논리에 대한 공동 추론을 요구하는 조율된 다중 뷰 인터페이스 구성은 간과하고 있다. 따라서 이러한 설정에서 MLLM의 역량은 여전히 충분히 탐구되지 않았으며, 해당 분야에는 체계적 평가를 위한 전용 벤치마크가 부족하다. 우리는 조율된 다중 뷰 인터페이스 구성에서 MLLM을 평가하기 위한 벤치마크 MV-Bench를 제안한다. 불완전하거나 일관성 없는 오픈소스 구현에 의존하는 대신, 데이터 바인딩, 시각적 매핑, 상호작용을 명시적으로 인코딩하기 때문에 Tableau 워크북 파일을 정답(ground truth)으로 사용한다. 우리는 이러한 명세를 구조화된 중간 표현을 통해 실행 가능한 웹 인터페이스로 변환하는 다단계 파이프라인을 개발한다. 이 벤치마크는 차트 유형, 데이터셋, 상호작용 패턴을 재조합하여 생성한 92개의 기본 인터페이스와 1,048개의 검증된 인스턴스를 포함한다. 각 인스턴스에는 실행 가능한 코드, 렌더링된 인터페이스, 데이터셋, 상호작용 주석이 포함된다. 우리는 시각적 충실도, 데이터 바인딩 정확성, 상호작용 완전성에 대한 지표를 사용하여 단일 패스(single-pass) 설정에서 5개의 최신 MLLM을 평가한다. 가장 강력한 모델은 시각적 레이아웃 재현에서 75.45%의 정확도를 달성하지만, 데이터 바인딩에서는 21.71%, 상호작용 완전성에서는 11.68%에 그친다. 이러한 결과는 현재 MLLM이 시각적 외관은 재현할 수 있지만, 조율된 다중 뷰 인터페이스가 요구하는 데이터 의미론과 상호작용 논리 생성에는 여전히 한계가 있음을 보여준다. 반복적 개선(iterative refinement)은 코드 실행 가능성은 높이지만, 데이터 바인딩 및 상호작용 생성의 격차를 실질적으로 줄이지는 못한다.

arXiv:2607.19857v1cs.CV

스트리밍 항공 영상에서 소형 객체 이해를 위한 메모리 증강 멀티모달 대규모 언어 모델

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

언어 유도 항공 인식(perception)은 복잡한 무인항공기(UAV) 장면에서 사용자가 지정한 미세 타깃을 이해하는 것을 목표로 한다. 실제 UAV 배치에서는 UAV가 비행 중에 응답해야 하므로, 이러한 인식은 온라인 스트리밍 방식으로 수행되며, 프레임이 순차적으로 도착하고 모델은 미래 프레임에 접근하지 않은 채 각 프레임에 응답한다. 그러나 현재의 멀티모달 대규모 언어 모델(MLLM)을 이 설정에 적용하면 두 가지 과제가 발생한다. 첫째, 공중에서 본 타깃은 종종 매우 작지만, 기존 MLLM의 시각적 압축은 모든 영역을 동등하게 처리하여 미세한 세부 정보를 버린다. 둘째, 연속 스트림을 이해하려면 과거 프레임의 문맥이 필요하지만, 자원이 제한된 온보드 하드웨어에서는 전체 이력을 유지하는 것이 불가능하며, 이를 버리면 타깃이 표류하거나 사라진다. 우리는 데이터와 방법 관점 모두에서 미세 객체 및 스트리밍 과제를 해결한다. 데이터 관점에서, 우리는 미세 항공 타깃을 위한 최초의 픽셀 수준 개방 어휘(open-vocabulary) 참조 분할(referring-segmentation) 데이터셋인 DroneEyes를 제시하며, Object Description 및 Referring Expression 과제에 걸쳐 2,140개의 고화질 비디오와 176,623개의 쌍, 그리고 프레임별 밀집 마스크를 포함한다. 방법 관점에서, 우리는 위 과제에 대한 두 가지 설계를 갖춘 MLLM인 SkyAnchor를 제안한다: 축소된 시각 토큰 예산 하에서 소형 타깃을 보존하는 Semantics-Aware Token Router와 스트림에서 타깃을 일관되게 이해하도록 유지하는 Hierarchical Memory Bank.

arXiv:2607.19528v1cs.CV

D3VL: 3D 시계열 데이터와 영상을 활용한 언어 모델 기반 주행 장면 이해

D3VL: Understanding Driving Scenes from 3D Time Series Data and Video with Language Models

최근 다중모달 대규모 언어 모델(MLLM)의 발전은 자율주행을 위한 엔드투엔드 MLLM 개발을 촉발했다. 그러나 지금까지의 주된 초점은 2D 이미지와 영상을 사용하는 MLLM에 맞춰져 있다. 이와 대조적으로, 본 논문은 LiDAR 및 스테레오 카메라와 같은 3D 센서를 사용할 때의 MLLM 효과를 고려한다. LiDAR는 데이터의 희소성과 격자 구조의 부재로 인해 MLLM 내 통합에 독특한 과제를 제기한다. 유사한 이유로 MLLM 파이프라인 내에서 카메라와 LiDAR 데이터의 융합도 흔하지 않다. 그러나 대부분의 자율주행 시스템은 LiDAR 기반 센싱에 의존하며, 3D 데이터를 통합하는 것이 전통적인 3D 장면 인식 작업에서 성능 향상을 입증해 왔다. 본 논문은 2D 및 3D 시계열 데이터를 단일하면서도 단순한 아키텍처로 통합하는 새로운 MLLM 프레임워크인 D3VL을 제안한다. 해당 모델은 교통 장면 이해와 안전과 관련된 질문에 답하는 것을 목표로 한다. D3VL은 2D 및 3D 시계열 데이터 처리에서 KITTI 질의응답(QA) 데이터셋상 기준선 방법 대비 11%의 성능 향상을 보인다. 본 논문은 다양한 주행 조건에서 3D 및 시계열 데이터를 처리하는 모델의 능력을 평가하는 Waymo QA 데이터셋 확장을 추가로 소개한다. D3VL 구현 코드와 WaymoQA 확장은 보조 웹사이트(https://automotivesafety-lvlm.github.io)에서 확인할 수 있다.

arXiv:2607.09080v2cs.CV

GeoTrace: 비디오 대규모 언어 모델을 위한 기하학 인식 궤적 토큰 압축

GeoTrace: Geometry-Aware Trajectory Token Compression for Video Large Language Models

비디오 대규모 언어 모델(Video LLM)은 비디오 이해에서 강력한 성능을 보여왔으나, 많은 수의 시각적 토큰으로 인해 효율성이 여전히 제한된다. 기존의 비디오 토큰 압축 방법들은 대체로 프레임 단위의 현저성(saliency) 또는 휴리스틱 토큰 병합에 의존하는데, 이는 국소적으로 두드러진 영역에 과도하게 집중하거나 모호한 융합 특징을 생성할 수 있다. 이러한 문제를 해결하기 위해, 우리는 GeoTrace를 제안한다. GeoTrace는 별도의 학습이 필요 없는(training-free) 시공간 토큰 압축 프레임워크로, 비디오 증거를 정확한 스켈레톤 토큰과 추적 가능한 잔차 이벤트 토큰으로 분해한다. 구체적으로, Contextual Farthest-Point Anchoring(CFPA)은 두드러지고 컨텍스트에 일관되며 높은 커버리지를 가진 스켈레톤 토큰을 보존하고, Trajectory-Constrained Residual Condensation(TCRC)은 일대일 시간적 궤적과 제약된 근방 다양체(near-manifold) 응축을 통해 잔차 토큰을 압축하여 모호성이 감소된 추적 가능한 이벤트 토큰을 생성한다. 우리는 GeoTrace를 네 가지 비디오 이해 벤치마크에서 네 가지 Video LLM에 대해 평가하였으며, 결과는 다양한 모델 아키텍처와 시나리오에 걸쳐 그 효과성과 일반화 능력을 입증한다. LLaVA-OneVision에서 시각적 토큰의 단 10%만 유지한 상태로, GeoTrace는 기본 성능의 99.1%를 보존하면서 \(12.99\times\) TFLOPs 감소를 달성한다. 종합적으로, GeoTrace는 효율적이고 견고한 Video LLM 추론을 위한 간결하고 추적 가능한 토큰 표현을 제공한다. 코드는 https://github.com/guohuan-xie/GeoTrace.git 에서 확인할 수 있다.