PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.30794v2cs.CV

MechVQA: 포괄적 기계 도면 이해를 위한 멀티모달 LLM 벤치마킹 및 성능 향상

MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

기계공학 도면 이해에 특화된 최초의 종합 벤치마크 MechVQA를 소개하며, 3,300장의 고밀도 도면과 21,000개의 질의응답 쌍으로 인식·추론·판단 세 가지 능력 축에 걸쳐 10개 세부 태스크를 구성하였다. 이를 기반으로 지도 학습 파인튜닝과 DAPO 기반 강화학습을 결합한 다단계 학습으로 개발된 MechVL 모델은 최강 클로즈드소스 기준선 대비 7.57 퍼센트포인트 높은 성능을 달성하였다.

arXiv:2605.23826v2cs.CV

긴 영상 키프레임 검색을 위한 쿼리의 툴 호출 분해

Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval

ToolMerge는 LLM 기반 플래너가 쿼리를 다양한 경량 비전 툴 호출로 분해하고 불리언 연산자로 결과를 병합해 긴 영상에서 키프레임을 검색하는 방법으로, 기존 키프레임 선택기 대비 특히 캡션 검색에서 5% 향상된 성능을 보인다. 평가를 위해 모든 질문이 특정 시간 구간에 구성 상 고정되는 벤치마크 Molmo-2 Moments(M2M)를 함께 제안한다.

arXiv:2604.03316v3cs.CV

싱크가 도움이 될 때와 해가 될 때: 대규모 비전-언어 모델의 어텐션 싱크를 위한 통합 프레임워크

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

대규모 비전-언어 모델(LVLM)에서 어텐션 싱크(attention sink)를 비전 인코더에서 유래한 V-sinks와 LLM 내부에서 발생하는 L-sinks로 분류하고, 싱크 토큰이 전역 장면 이해에는 유리하지만 세밀한 지역 인식을 억제할 수 있다는 근본적인 트레이드오프를 밝혔다. 이를 해소하기 위해 LVLM 백본을 동결한 채 표준 다음 토큰 예측만으로 학습되는 경량 플러그앤플레이 모듈 Layer-wise Sink Gating(LSG)을 제안하여 대표적인 멀티모달 벤치마크에서 성능 향상을 달성했다.

arXiv:2603.24690v3cs.CV

UniICL: 능력 지향 분류체계를 통한 통합 멀티모달 문맥 내 학습의 체계화

UniICL: Systematizing Unified Multimodal In-context Learning through a Capability-Oriented Taxonomy

통합 멀티모달 모델에서 문맥 내 학습(ICL)의 비단조적 스케일링 문제를 진단하기 위해, 지각부터 고차 식별까지 시연 예제의 기능적 역할을 6단계로 분류하는 능력 지향 분류체계(Capability-Oriented Taxonomy)를 제안하고 이를 기반으로 15개 서브태스크에 걸친 대규모 코퍼스 UniICL-760K와 벤치마크 UniICL-Bench를 구축하였다. 경량 플러그앤플레이 모듈인 CAPM(Context-Adaptive Prototype Modulator)을 추가 안정화 장치로 결합한 결과, 더 많은 파라미터를 가진 멀티모달 대규모 언어 모델(MLLM) 베이스라인을 대부분의 이해 태스크에서 능가하였다.

arXiv:2603.21664v3cs.CV

HumanOmni-Speaker: 누가 무엇을 언제 말했는지 식별하기

HumanOmni-Speaker: Identifying Who said What and When

옴니모달 대규모 언어 모델(LLM)이 다화자 대화에서 '누가 무엇을 언제 말했는지' 정확히 파악하지 못하는 문제를 해결하기 위해, Visual Delta Encoder를 활용해 25fps로 프레임 간 모션 잔차를 프레임당 6개의 토큰으로 압축하는 HumanOmni-Speaker를 제안하고, 시각적 지름길을 배제한 VR-SDR(Visual-Registered Speaker Diarization and Recognition) 벤치마크를 통해 기존 오픈소스 모델을 크게 능가하며 Gemini3-Pro 수준의 성능을 달성했다.

arXiv:2602.14147v2cs.CV

LaViDa-R1: 통합 멀티모달 확산 언어 모델의 추론 능력 향상

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

확산 언어 모델(dLLM)은 최근 자기회귀(auto-regressive) 대규모 언어 모델(LLM)의 유망한 대안으로 부상하였다. 최신 연구들은 이를 멀티모달 이해 및 생성 태스크로 더욱 확장하였다. 본 연구에서는 범용 멀티모달 추론 dLLM인 LaViDa-R1을 제안한다. 기존 연구들이 태스크별 강화학습을 통해 추론 dLLM을 구축하는 것과 달리, LaViDa-R1은 다양한 멀티모달 이해 및 생성 태스크를 통합된 방식으로 포괄한다. 특히, LaViDa-R1은 지도 파인튜닝(SFT)과 멀티태스크 강화학습(RL)을 원활하게 결합하는 새로운 통합 사후 학습 프레임워크를 기반으로 구축되었다. 또한 효과성과 확장성을 높이기 위해 답변 강제(answer-forcing), 트리 탐색(tree search), 상보적 가능도 추정(complementary likelihood estimation) 등 여러 새로운 학습 기법을 적용하였다. 광범위한 실험을 통해 LaViDa-R1이 시각적 수학 추론, 추론 집약적 그라운딩(reason-intensive grounding), 이미지 편집 등 다양한 멀티모달 태스크에서 우수한 성능을 발휘함을 입증한다.

arXiv:2601.06521v2cs.CV

BabyVision: 언어를 넘어선 시각적 추론

BabyVision: Visual Reasoning Beyond Language

현재의 멀티모달 대규모 언어 모델(MLLM)이 세 살 아이도 쉽게 해결하는 기본 시각 과제에서 일관되게 실패한다는 사실에 주목하여, 언어 지식과 독립적으로 핵심 시각 능력을 평가하는 벤치마크 BabyVision을 제안한다. 4개 범주 22개 하위 유형의 388개 문항으로 구성된 BabyVision에서 최고 성능 모델인 Gemini3-Pro-Preview조차 49.7점에 그쳐 성인 평균(94.1점)과 44.4%포인트 격차를 보였으며, 생성 모델 기반의 시각적 추론 평가를 위한 BabyVision-Gen과 자동 평가 툴킷도 함께 공개한다.

arXiv:2512.23020v3cs.CV

OpenGround: 오픈 월드 3D 비주얼 그라운딩을 위한 계획 기반 온라인 지각

OpenGround: Planning-based Online Perception for Open-World 3D Visual Grounding

OpenGround은 3D 장면에서 자연어 쿼리로 객체를 찾는 제로샷(zero-shot) 3D 비주얼 그라운딩(visual grounding) 프레임워크로, 사전 정의된 객체 조회 테이블(OLT)에 의존하는 기존 방법의 한계를 극복하기 위해 복잡한 쿼리를 단계별 서브목표로 분해하는 Task-Chain Planning과 문맥 기반으로 새로운 객체를 온라인에서 탐지하는 Context-Guided Perception을 통합한다. 오픈 월드 평가를 위해 구축한 OpenTarget 벤치마크에서 17.6% 향상을 달성하였으며, ScanRefer에서 최고 수준의 성능을 기록하였다.

arXiv:2502.09696v3cs.CV

ZeroBench: 현세대 대규모 멀티모달 모델을 위한 불가능한 시각 벤치마크

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

현존하는 최신 대규모 멀티모달 모델(LMM)들이 초기 공개 시점에 pass@1 및 pass∧5 기준 0%를 기록하도록 적대적 필터링으로 설계된 경량 시각 추론 벤치마크 ZeroBench를 소개하며, 100개의 수작업 문항과 334개의 하위 문항으로 구성된다. 공개 후 1년간 46개 LMM의 성능을 추적한 결과 최고 성능이 pass@5 19%까지 상승하여 장기적으로 유효한 벤치마크로서의 가능성을 확인하였다.

arXiv:2406.07089v4cs.CV공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.

arXiv:2607.06544v1cs.AI

문화유산 보존의 관점에서 인도 AI를 재고하다

Rethinking Indic AI from a Lens of Cultural Heritage Preservation

인도 아대륙의 자연어 처리(NLP) 기술 발전을 종단적으로 조망하며, 풍부한 형태론·복잡한 문자 체계·양층 언어 현상 등 인도 언어의 구조적 특성이 AI 파운데이션 모델 구축에 제기하는 고유한 과제를 분석한다. 저자원 언어 전반에서 공평한 성능을 보장하고 문화적으로 의미 있는 출력을 생성하기 위해, 해석학적 추론에 기반하여 AI를 재구상하는 'Culture Sensing' 연구 방향을 새롭게 제안한다.

arXiv:2607.06523v1cs.AI

DepthWeave-KV: 장문 컨텍스트 KV 캐시 압축을 위한 토큰 적응형 층간 잔차 분해

DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression

DepthWeave-KV는 장문 컨텍스트 추론 시 KV 캐시 메모리 병목을 해결하기 위해, 인접한 트랜스포머 레이어에 걸쳐 공유 저랭크(low-rank) 채널 기저를 활용하는 층간 잔차 분해(cross-depth residual factorization)와 토큰 조건부 깊이 라우터를 결합한 압축 방법이다. LongBench, Needle-in-a-Haystack 등 벤치마크에서 기존 방법 대비 평균 점수와 검색 정확도를 향상시키면서 64K 컨텍스트 기준 8.3배 KV 메모리 감소와 초당 72.8 토큰의 처리 속도를 달성했다.

arXiv:2607.06519v1cs.AI

FreqDepthKV: 장문 맥락 대규모 언어 모델 추론에서 견고한 KV 캐시 압축을 위한 주파수 기반 깊이 공유

FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference

FreqDepthKV는 인접 트랜스포머 레이어 간 KV 캐시를 공유 저주파 깊이 성분과 희소 고주파 잔차로 분해하는 추론 시 압축 방법으로, 경량 온라인 프로브가 어텐션 로짓 재구성 오차를 기준으로 각 헤드의 압축 모드를 재학습 없이 동적으로 결정한다. 32k 토큰 프리필 기준으로 Exact Match 58.3, F1 63.0을 달성하며 전체 KV 캐시 수준의 정확도를 유지하면서 3.9배 압축률과 디코딩 처리량 70.4 토큰/초를 확보했다.

arXiv:2607.06503v1cs.AI

시작부터 실패 예정: 재현율 제어 프로브 캐스케이드를 통한 LLM 에이전트 에피소드의 조기 중단

Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade

LLM 에이전트가 실패할 에피소드를 초기에 예측하기 위해, 히든 활성화(hidden activations)에 경량 프로브를 적용하는 재현율 제어 중단 캐스케이드(abort cascade)를 제안한다. TextCraft 환경에서 Qwen-2.5-7B와 Llama-3.2-3B 모델에 대해 90% 재현율 목표 달성 시 각각 47.1%, 37.2%의 추론 연산을 절감하며, 이는 최적 단일 게이트 대비 1.6~1.7배 수준이다.

arXiv:2607.06447v1cs.AI

Danus: 팩트-그래프 메모리를 활용한 수학적 추론 에이전트 오케스트레이션

Danus: Orchestrating Mathematical Reasoning Agents with Fact-Graph Memory

공유 팩트 그래프(fact graph)를 전역 메모리 관리 메커니즘으로 활용하는 수학적 추론 오케스트레이션 시스템 Danus를 제안하며, 메인 에이전트의 조율 하에 병렬로 동작하는 다수의 워커 에이전트와 무상태 검증기가 협력하여 긴 수학적 증명을 단계적으로 구성한다. 대수기하학, 특이점 이론, 조합론 분야의 여섯 가지 연구 수준 사례 연구에서 팩트 그래프 기반 오케스트레이션이 장기 연구 문제에 대한 수학적 추론 에이전트의 확장에 효과적임을 입증했다.

arXiv:2607.06435v1cs.AI

세부 기록에서 H. pylori 발견: 위 생검 보고서의 근거 연결 다중 에이전트 케이스 파인딩

Finding H. pylori in the Fine Print: Evidence-Linked Multi-Agent Case Finding from Gastric Biopsy Reports

위 생검 병리 보고서에서 H. pylori 양성 여부 등 4개의 임상 이진 필드를 자동으로 추출하기 위해 필드명 기반 근거 연결 다중 에이전트 시스템(nMAS)을 싱가포르 의료기관의 익명화 보고서 54건에 적용한 결과, 216개 분류 결정 중 213개를 올바르게 판별하여 98.61%의 전체 정확도를 달성하였다. 예측 성능보다는 근거 원문 문장을 포함한 추적 가능한 워크플로우 통합이 핵심 기여점이며, 수작업 대비 검토 시간을 83.3 직원-시간에서 1.4 직원-시간으로 대폭 단축할 수 있음을 시사한다.

arXiv:2607.06413v1stat.ME

에이전트 AI의 자율 모델 탐색 평가를 위한 실험 설계 접근법

An Experimental Design Approach to Evaluating Agentic AI's Autonomous Model Discovery

LLM 코딩 에이전트(Codex, Claude Code)를 확률적 모델 탐색 연산자로 간주하고, 추론 노력·태스크·최적화 메트릭·학습 데이터 구성 등을 통제 요인으로 삼는 요인 실험 설계 프레임워크를 제안한다. 출력 품질, 비용, 처리 시간, 프로세스 복잡도를 공동 반응 변수로 분석하고, 효용 정렬 정준 분해(UACD)를 통해 추론 노력의 효과가 성능-비용 효용 방향과 얼마나 일치하는지를 네트워크 단어 형성 게임 테스트베드에서 실증하였다.

arXiv:2607.06341v1cs.FL

코드 에이전트를 활용한 자동 소프트웨어 검증

Harnessing Code Agents for Automatic Software Verification

형식 검증의 병목인 Coq 증명 자동화를 위해, 고정된 증명 전략을 강제하는 기존 방식 대신 범용 LLM 코드 에이전트(Claude Code)에 보조 정리 전체를 넘기고 건전성·완전성·종료성을 보장하는 검증 하네스(HHL)로 감싸는 Aria 시스템을 제안한다. Aria는 Iris 분리 논리(separation logic) 핵심 모듈의 보조 정리 4,257개와 이를 기반으로 한 Rust 표준 라이브러리 검증 217개, reglang 318개, iris-lean 72개를 전문가 개입 없이 100% 자동 증명하여, 기존 LLM 증명기 대비 월등한 완전 커버리지를 달성했다.

arXiv:2607.06326v1cs.AI

DT-Guard: 추론 없는 LLM 안전 가드레일을 위한 의도 기반 추론 활성화 학습

DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail

학습 시에는 추론(reasoning) 감독을 활용하되 추론(inference) 시에는 구조화된 레이블만 출력하는 Reasoning-Active Training, Reasoning-Free Inference 패러다임을 기반으로, DT-Guard는 안전 판단을 Intent → Category → Safety의 점진적 결정 과정으로 정식화하고 RG-PHO(Rollout-Guided Progressive Hard-Case Optimization)로 어려운 사례의 강건성을 강화한다. 4B 백본만으로 프롬프트 및 응답 측 안전 벤치마크에서 평균 F1 0.878을 달성하여 8B 가드레일 기준 모델을 능가하며, 저지연 배포 환경에서도 추론 감독의 효과를 내재화할 수 있음을 입증한다.

arXiv:2607.06306v1cs.SE

UI2App: 실행 가능한 웹 애플리케이션 생성에서 시각적 상호작용 추론 벤치마킹

UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation

UI 스크린샷만을 입력으로 받아 실행 가능한 멀티페이지 웹 애플리케이션을 생성하는 과제에서 상호작용 추론(interaction inference) 능력을 체계적으로 평가하는 최초의 벤치마크 UI2App을 제안한다. 45개의 상태 일관성 스크린샷 세트와 4가지 평가 지표(실행 가능성, 내비게이션 도달성, 시각적 충실도, 상호작용 추론 점수 IIS)를 통해 6개의 프론티어 비전-언어 모델을 평가한 결과, 시각적 충실도 1위 모델의 IIS가 4위에 그치는 등 시각적 재구성 능력과 상호작용 실현 능력 사이의 뚜렷한 불일치가 확인되었다.