PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.36617v2cs.CL

AI 연구 논문 원고를 위한 수정 유도 질문 생성

Generating Edit-Inducing Questions for AI Research Manuscripts

본 연구에서는 논문 초안을 개선할 수 있는 답변을 이끌어내는 '수정 유도 질문(edit-inducing questions)'을 생성하는 대규모 언어 모델(LLM)의 능력을 연구합니다. ICLR 및 NeurIPS의 투고 논문과 최종 승인(camera-ready) 논문 쌍으로 구성된 데이터셋을 바탕으로, 전체 논문 문맥(context)의 제공 여부에 따른 GPT 모델의 질문 유용성을 인간 리뷰어의 질문과 비교합니다. GPT는 리뷰어의 질문에 비해 더 많은 수정 유도 질문을 생성하며, 해당 질문들은 더 광범위한 수정과 연관되어 있고 수정된 내용의 범위도 더 넓게 다룹니다. 그러나 GPT 질문 중 실제로 수정을 유도하는 질문의 비율은 훨씬 낮습니다. 본 분석은 자동화된 질문이 저자에게 유익할 수 있음을 확인하는 한편, 긴 문맥에 적절히 주의를 기울이는(attending) 과정이 유용한 출력을 생성하는 추론 모델의 능력을 저하시키는 작업 사례를 강조합니다.

arXiv:2609.25611v1cs.CL

Qwen3.8-Omni: 네이티브 옴니모달 에이전트를 향하여

Qwen3.8-Omni: Towards Native Omni-Modal Agents

본 논문에서는 실제 환경의 멀티모달 생산성을 위해 설계된 네이티브 멀티모달 에이전트(agent) 모델인 Qwen3.8-Omni-Flash를 소개한다. 주로 인식과 상호작용에 집중했던 기존 옴니 모델들과 비교하여, Qwen3.8-Omni-Flash는 멀티모달 이해 및 추론뿐만 아니라 긴 호흡의(long-horizon) 에이전트 태스크 성능을 대폭 향상했다. 이러한 능력은 강력한 텍스트 도메인 성능을 보존하는 동시에 텍스트에서 오디오 및 비디오 태스크로의 에이전트 능력 전이를 촉진하는 네이티브 멀티모달 공동 학습(co-training) 전략을 통해 뒷받침된다. 이 모델은 Qwen3.8-Next의 희소 전문가 혼합(sparse MoE) 아키텍처를 계승하고 컨텍스트 윈도우(context window)를 100만 토큰(token)으로 확장하여, 긴 컨텍스트의 멀티모달 추론 및 장기적 계획 수립(long-horizon planning)을 지원한다. 이러한 발전 덕분에 본 모델은 주요 에이전트나 특화된 서브 에이전트로서 프로덕션 워크플로에 통합되어, 비디오 편집, 장문 오디오 및 비디오 번역, 음악 기반 뮤직비디오 또는 영화 생성, 비디오 기반 메모 작성이나 옴니 스킬(omni-skill) 생성을 지원할 수 있다. 기존 에이전트 하네스(harness)에서 네이티브 오디오 및 비디오 지원이 부족한 문제를 해결하기 위해, 멀티모달 생산성을 지원하는 경량 오픈소스 플러그인 프레임워크인 Qwen-MM-Plugins를 공개한다. 나아가 실시간 멀티모달 상호작용을 컨텍스트 및 메모리 관리, 도구 사용, 서브 에이전트 위임의 오케스트레이션을 필요로 하는 시스템 수준의 과제로 정의한다. 이에 따라 Qwen3.8-Omni-Flash 기반의 반응형 실시간 멀티모달 에이전트를 구축하기 위한 오픈소스 프레임워크인 Qwen-Live-Harness를 공개한다. 광범위한 평가(evaluation)를 통해 Qwen3.8-Omni-Flash가 멀티모달 이해, 추론, 긴 호흡의 에이전트 실행 및 비디오 생산성 태스크 전반에 걸쳐 강력한 성능을 달성함을 입증한다. 이러한 결과와 함께 제공되는 오픈소스 도구들은 Qwen3.8-Omni-Flash가 연구 및 프로덕션 환경에서 네이티브 멀티모달 에이전트를 배포하기 위한 실용적인 기반임을 뒷받침한다.

arXiv:2609.22939v1cs.AI

선형 컨텍스트를 넘어: 로컬 9B 언어 모델의 장편 소설 추론을 위한 그래프 안내 증거 탐색

Beyond Linear Context: Graph-Guided Evidence Navigation for Long-Novel Reasoning with a Local 9B Language Model

장문 맥락 모델은 소설을 사람이 인쇄물을 읽듯 읽는다. 서사 순서대로 토큰을 하나씩 처리하며, 전체 이력이 고정된 어텐션 예산을 두고 경쟁한다. 탐정은 그렇게 일하지 않는다. 무엇이 언제 일어났는지 정리하고, 누가 누구와 어떻게 연관되는지에 대한 지도를 유지하여, 1장의 단서가 책 끝에서 던진 질문과 만날 수 있게 한다. 우리는 고정(frozen) 지식 그래프가 소규모 로컬 모델에 그와 같은 자유를 줄 수 있는지 검증한다. 탐정 소설 30편과 객관식 문제 234개에 대해, 하나의 고정된 qwen3.5:9b 리더가 아홉 가지 조건에서 답한다. 다섯 가지 그래프 경로, 최근 윈도우 기준선, 전권 압축, 일반 벡터 검색, 문제만 제시하는 대조군이다. 가장 강한 그래프 경로는 53.85%(126/234)로, 최근 윈도우 46.15%, 압축 51.28%, 벡터 검색 51.71%, 문제만 40.17%를 각각 상회한다. 책 없이는 어떤 모델도 답할 수 없는 부분집합에서 그래프 경로는 42.86%에 이른다. 그래프-기준선 대비 15건 중 Holm 보정을 통과한 것은 없으므로, 결과는 설계에 대한 탐색적 증거로 제시한다. 두 가지 구조적 발견은 요약 수치보다 검증에 더 견딘다. 주석된 증거는 이러한 그래프의 위상학적 코어(topological core)에 집중되며(풀링 기준 2.35배 enrichment), 두 그래프 구축 파이프라인은 주석 커버리지(단서 단락의 16% 대 73%)에서 크게 달라, 풀링된 정확도만으로는 어떤 병목이 측정되는지 가려진다.

arXiv:2605.12227v3cs.CL

온-정책 최적화와 증류를 통한 대규모 언어 모델의 긴 문맥 추론을 위한 레시피

A Recipe for Long-Context Reasoning in Large Language Models via On-Policy Optimization and Distillation

긴 문맥 작업을 위한 모델 사후학습의 기존 접근 방식들은 상호 보완적인 한계에 직면해 있습니다: (i) 지도 미세조정(SFT)은 안정적인 지도를 제공하지만 노출 바이어스 문제가 있으며, (ii) Group Relative Policy Optimization(GRPO)와 같은 강화학습 방법은 모델 생성 궤적으로 학습하지만 장기간 신용 할당과 희소 보상에 어려움을 겪고, (iii) 온-정책 증류(OPD)는 밀집된 토큰 수준의 지도를 제공하지만 작업 보상을 직접 최적화하지 않습니다. 우리는 긴 문맥 정렬을 위한 이러한 상호 보완적인 전략들을 연구하고, GRPO와 OPD 스타일의 교사 지도를 결합한 레시피를 도출했습니다: 학생 모델은 결과 수준 보상을 사용하여 자신의 롤아웃으로부터 학습하는 반면, 더 강력한 교사 모델은 표준 참조 정책 대신 밀집된 토큰 수준의 정규화를 제공합니다. 이는 프로세스 수준의 지도를 얻기 어려운 경우에 특히 유용합니다. 이 연구를 지원하기 위해, 우리는 멀티-홉 추론, 문맥 기반 그라운딩, 장문 생성을 포괄하는 합성 다국어 데이터셋인 LongBlocks를 소개합니다. 제어된 소거 연구를 통해 콜드 스타트 초기화, 교사 앵커링, 데이터 혼합의 역할을 규명하였으며, 그 결과 우리의 레시피는 짧은 문맥 능력을 보존하면서 GRPO나 OPD보다 더 안정적이고 효과적인 긴 문맥 추론 경로를 제공함을 보여주었습니다.

arXiv:2607.09328v2cs.CL

WILDTRACE: 장문 컨텍스트 추론에서 자연적 증거 흔적 벤치마킹

WildTrace: Benchmarking Natural Evidence Trails in Long-Context Reasoning

긴 문서에서 복잡한 질문에 답하려면, 원문 자체가 멀리 떨어진 구절들에 걸쳐 자연스럽게 분산시킨 증거를 통합해야 하는 경우가 많다. 사고 보고서에서는 재난을 공동으로 설명하는 운영 조건, 설계 결함, 누락된 안전 점검이 수십 개의 섹션에 걸쳐 분산되어 나타날 수 있으며, 소설에서는 등장인물의 진짜 동기가 그것이 연관성을 갖는 순간과는 거리가 먼 장면들을 통해서만 드러날 수 있다. 이러한 원문 내부 증거 통합은 실제 장문서 분석의 핵심이지만, 기존 벤치마크들은 대체로 이를 회피해왔다. 니들 프로브(needle probe), 삽입된 사실(planted facts), 역설계된 다중 홉 체인(multi-hop chain)은 분포, 배치, 또는 어조 면에서 호스트 텍스트와 다를 수 있는 증거를 내장하므로, 높은 성능이 진정한 원문 추론을 반영하는지 아니면 분포적 아티팩트를 반영하는지 불분명하다. 우리는 기술적 사고 보고서 및 잘 알려지지 않은 문학적 서사와 같은 214개의 자연 발생 장문 원문에 걸쳐 481개의 태스크로 구성된 벤치마크인 WILDTRACE를 소개한다. 이 벤치마크에서 모든 증거 흔적은 문서 자체의 인과적·시간적·서사적 논리에서 비롯된다. 펄(Pearl)의 인과 계층 구조와 기존의 다중 홉 추론 유형론을 바탕으로, 장문서에서 분석적 독해의 고유한 관계적 요구를 특징짓는 일곱 가지 원문 내부 증거 기하학(source-internal evidence geometry)을 정의한다. 원문 우선 구성 파이프라인은 질문을 작성하기 전에 문서 구조에서 후보 흔적을 채굴하며, 각 항목은 단서 필요성, 답변 근거성, 루브릭 충실도, 오염 저항성 및 답변 가능성을 다루는 다단계 검증(validation)을 거친다. 모델이 실제 고위험 분석 태스크에 점점 더 많이 활용됨에 따라, 정보 접근과 자연스럽게 분산된 증거에 대한 추론 사이의 이러한 격차가 장문 컨텍스트 연구의 다음 단계를 정의하는 핵심 과제로 부상하고 있다.

arXiv:2607.09921v1cs.CL

언어 모델을 활용한 글로벌 합병 차익거래 예측

Global Merger-Arbitrage Forecasting with Language Models

우리는 합병 차익거래(merger arbitrage)를 위한 언어 모델 예측 시스템을 제안한다. 합병 차익거래는 발표된 M&A 거래의 결과를 예측하는 것이 과제인, 특수하고 높은 위험이 수반되는 금융 환경이다. LLM을 활용한 판단적 예측(judgmental forecasting)에 관한 기존 연구들이 광범위한 혼합 주제 벤치마크와 뉴스 단편 같은 짧은 컨텍스트에 집중해온 것과 달리, 우리는 수백 페이지에 달하는 기술 문서에 대한 긴 컨텍스트 추론이 요구되는 환경을 연구한다. 우리 시스템은 전문가가 설계한 컨텍스트 엔지니어링과, 과거 거래에서 도출된 사후 지식 기반 추론 트레이스(hindsight-guided reasoning traces)를 활용한 파인튜닝을 결합한다. 발표된 거래가 주어지면, 시스템은 상호 배타적인 세 가지 결과—발표된 조건으로 종결, 상위 입찰, 거래 종료—에 대한 확률 분포를 출력한다. 42개국에 걸쳐 400개 이상의 대형 거래로 구성된 표본 외(out-of-sample) 데이터셋에서, 우리의 파인튜닝 모델은 평가한 모든 방법 중 최고 성능을 달성하여 클래스 균형 브라이어 점수(class-balanced Brier score)를 0.151로 낮췄다. 이는 보정된 시장 내재 확률보다 24%, XGBoost보다 19%, 프론티어 언어 모델보다 25~42% 낮은 수치이다. 이러한 결과와 절제 연구(ablation studies)를 통해, LLM 기반 예측이 특화된 긴 컨텍스트 금융 워크플로에서 성공할 수 있으며, 사후 지식 기반 지도학습과 전문가 설계 컨텍스트가 핵심적인 역할을 함을 보여준다.

arXiv:2607.08284v1cs.AI

PredicateLongBench를 통한 장문 컨텍스트 태스크의 난이도 축 이해

Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench

PredicateLongBench은 장문 컨텍스트 추론 능력을 평가하기 위해 모델이 주어진 술어(predicate) 조건(예: 사전순 정렬)을 만족하는 가장 긴 연속 부분 수열을 찾도록 요구하는 새로운 벤치마크로, 연산 복잡도·적대적 디코이·탐색 공간 크기 등 다양한 난이도 축을 체계적으로 탐색한다. 실험 결과 GPT, Opus 등 최전선 모델들도 난이도가 높아질수록 성능이 크게 저하됨을 확인하였으며, 특히 이진 술어 태스크와 전칭 양화사(universal quantifier) 조건에서 어려움을 보였다.

arXiv:2607.02509v1cs.AI

ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

ReContext는 대규모 언어 모델(LLM)이 긴 컨텍스트 내에 존재하는 관련 증거를 실제 생성 시 활용하지 못하는 문제를 해결하기 위해, 모델 내부의 어텐션 신호를 기반으로 질의 조건부 증거 풀을 재귀적으로 구성하고 최종 답변 생성 전에 이를 재생(replay)하는 학습 불필요 추론 방법을 제안한다. 8개의 128K 길이 장문 컨텍스트 데이터셋에서 Qwen3-4B, Qwen3-8B, Llama3-8B 모두에 대해 평균 정확도를 0.24에서 0.30으로 24.6% 향상시키며 모든 백본에서 최고 평균 순위를 달성했다.

arXiv:2607.02073v1cs.AI

Evidence-State Rewards for Long-Context Reasoning

Maven은 긴 문맥 추론에서 모델이 증거를 단순 추출하는 데 그치지 않고 동적으로 추가(add)·연결(link)·삭제(drop)하는 상태 전이를 보상하는 강화학습 프레임워크로, 편집 가능한 증거 메모리와 정답 조건부 증거 상태 가치 함수를 GRPO에 결합한다. Llama 및 Qwen 모델로 LongBench v2, LongReason, RULER 벤치마크에서 평가한 결과, 최종 답변만 보상하는 방식과 증거 식별 기반선 대비 일관된 성능 향상과 낮은 방해 증거 잔류율을 달성했다.

arXiv:2606.28349v1cs.IR

HMARS: A Hierarchical Multi-Agent Memory System for Long-Context Reasoning

Long-context reasoning requires models to access, retrieve, and integrate evidence scattered across documents, dialogues, and accumulated interaction histories. Standard retrieval-augmented generation reduces this problem to top-$K$ chunk retrieval, but such passive access can discard relevant evidence before reasoning begins, especially when relevance depends on broader context. We propose HMARS, a hierarchical multi-agent memory system that treats long contexts as managed memory rather than a flat retrieval corpus. Sub-agents maintain grounded access to bounded memory regions, mid-agents manage regional context and provide query-specific coordination, and a frontier model performs final reasoning over retrieved evidence pages. To evaluate this view, we construct two diagnostic benchmarks targeting evidence breadth and context-dependent relevance. Across long-document and multi-turn memory tasks, HMARS achieves the best overall performance against retrieval, reranking, full-context, graph-based, and agentic long-context baselines. Evidence coverage analysis further shows that its gains come from retrieving the required supporting evidence more completely, rather than merely changing the final answer prompt.

arXiv:2606.26875v1cs.CL

장기 추론을 위한 정보 인식형 KV 캐시 압축

Information-Aware KV Cache Compression for Long Reasoning

장문맥 추론에서 커지는 KV 캐시를 줄이기 위해, 어텐션만으로 토큰 중요도를 정하는 기존 방식이 놓치는 예측 불확실성·정보성 신호를 보완하는 InfoKV를 제안하며, 압축 토큰이 이후 생성에 미치는 영향을 측정하는 Forward Influence 분석과 토큰 수준 엔트로피·층별 표현 변화를 어텐션 점수와 결합한다. Llama-3.1, Llama-3.2, DeepSeek-R1 기반 장문맥 추론 벤치마크에서 긴 prefill과 디코딩 모두 기존 어텐션 기반 KV 압축보다 일관되게 우수한 성능을 보였다.

arXiv:2606.18831v1cs.CL

보상 엔지니어링을 넘어서: 긴 컨텍스트 강화학습을 위한 데이터 레시피

Beyond Reward Engineering: A Data Recipe for Long-Context Reinforcement Learning

긴 컨텍스트 강화학습(RL)에서 보상 엔지니어링(reward engineering)에 치우친 기존 연구와 달리, 검색·다중 증거 종합·추론 세 작업군을 아우르는 약 1.4만 건의 데이터 레시피와 최소한의 결과 기반 GRPO만으로 긴 컨텍스트 추론을 크게 향상시킨다. Qwen3-4B/8B/30B-A3B에서 7개 긴 컨텍스트 벤치마크 평균 +7.2/+3.2/+6.4p를 달성하고, 에이전트 튜닝 모델에 적용 시 GAIA +4.8p·BrowseComp +7.0p 개선으로 에이전트(agent) 작업 전이도 입증했다.

arXiv:2606.13643v1cs.CL

재귀적 에이전트 하니스

Recursive Agent Harnesses

Recursive Agent Harness (RAH)는 파일 시스템 도구와 코드 실행이 포함된 전체 에이전트 하니스를 재귀 단위로 활용하여 긴 컨텍스트 추론 성능을 개선합니다. Oolong-Synthetic 벤치마크 평가 결과, RAH는 GPT-5 백본에서 기존 Codex 기준선을 71.75%에서 81.36%로 향상시키고 Claude Sonnet 4.5에서는 89.77%를 달성했습니다.