PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.02091v2cs.CL

Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning

검색-증강 생성(RAG) 파이프라인에서 리랭커가 정적인 인간 레이블 기반으로 독립적으로 최적화되어 하위 생성 품질과 불일치하는 문제를 해결하기 위해, 본 연구는 리랭킹을 순차적 의사결정 과정으로 정식화하고 대규모 언어 모델(LLM) 피드백을 보상 신호로 활용하는 강화학습 프레임워크 RRPO(ReRanking Preference Optimization)를 제안한다. 지식 집약적 벤치마크 실험에서 RRPO는 RankZephyr 등 강력한 기준 모델을 크게 능가하며, GPT-4o 같은 다양한 리더 모델로의 일반화 및 Query2Doc과의 직교적 통합에서도 우수한 성능을 보였다.

arXiv:2603.29466v2cs.LG

An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms

뉴럴 네트워크의 예측 불확실성 정량화를 위해 1차 테일러 전개와 등방성(isotropic) 공분산 가정을 결합하여, 단일 순전파-역전파만으로 인식론적 불확실성을 그래디언트 노름의 제곱으로, 우연적 불확실성을 Bernoulli 분산으로 추정하는 경량화 방법을 제안한다. TruthfulQA에서는 결합 추정치가 AUROC 0.63을 달성한 반면 TriviaQA의 사실 암기 과제에서는 거의 무작위 수준에 그쳐, 파라미터 수준 불확실성이 정답 예측에 유용한 신호를 제공하는 맥락은 벤치마크에 따라 다름을 보인다.

arXiv:2603.02112v2cs.LG

Recursive Models for Long-Horizon Reasoning

재귀적 모델(recursive model)은 대규모 언어 모델(LLM)이 단일 컨텍스트 윈도우의 한계를 극복하기 위해 `call`/`return` 두 가지 도구만으로 서브태스크를 격리된 컨텍스트에서 재귀적으로 처리하는 방식으로, 임의의 계산 가능한 문제를 표준 자기회귀 모델 대비 지수적으로 작은 활성 컨텍스트로 풀 수 있음을 이론적으로 증명하였다. SAT 풀이와 4×4 Go 게임 트리 탐색 실험에서 작은 활성 컨텍스트로도 장기 추론(long-horizon reasoning) 정확도가 향상됨을 확인하였으며, 재귀 모델이 에이전트 시스템 전반에서 최적의 계산 능력을 달성함을 보였다.

arXiv:2602.22897v3cs.AI

OmniGAIA: Towards Native Omni-Modal AI Agents

Human intelligence naturally intertwines omni-modal perception -- spanning vision, audio, and language -- with complex reasoning and tool usage to interact with the world. However, current multi-modal LLMs are primarily confined to bi-modal interactions (e.g., vision-language), lacking the unified cognitive capabilities required for general AI assistants. To bridge this gap, we introduce OmniGAIA, a comprehensive benchmark designed to evaluate omni-modal agents on tasks necessitating deep reasoning and multi-turn tool execution across video, audio, and image modalities. Constructed via a novel omni-modal event graph approach, OmniGAIA synthesizes complex, multi-hop queries derived from real-world data that require cross-modal reasoning and external tool integration. Furthermore, we propose OmniAtlas, a native omni-modal foundation agent under tool-integrated reasoning paradigm with active omni-modal perception. Trained on trajectories synthesized via a hindsight-guided tree exploration strategy and OmniDPO for fine-grained error correction, OmniAtlas effectively enhances the tool-use capabilities of existing open-source models. This work marks a step towards next-generation native omni-modal AI assistants for real-world scenarios.

arXiv:2602.20459v2cs.AI

PreScience: A Dataset and Benchmark for Scientific Forecasting

Can AI systems trained on the existing scientific record forecast the advances that will follow? We introduce PreScience, a dataset and benchmark for scientific forecasting built around 98K recent AI research papers, together with companion papers covering author publication histories and citation links, yielding 502K papers in total. The resulting paper records include titles, abstracts, disambiguated author identities, influential references, topic labels, citation trajectories, and metadata snapshotted to respect temporal cutoffs. We instantiate seven exemplar tasks: five paper-anchored tasks -- contribution generation, collaborator prediction, prior work selection, citation count prediction, and future combination prediction -- and two aggregate topic trend forecasting variants. We develop baselines ranging from simple heuristics and embedding methods to frontier language models and agentic systems, and introduce LACER, an LLM-based metric for evaluating similarity of generated contribution descriptions that agrees better with human judgments than existing metrics. Finally, we compose task models to generate a 12-month synthetic corpus and find that the resulting papers are systematically less diverse and less novel than human-authored research from the same period. We release the PreScience dataset (https://huggingface.co/datasets/allenai/prescience) and code (https://github.com/allenai/prescience).

arXiv:2602.19127v2cs.CL

AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG

기존 검색-증강 생성(RAG) 벤치마크가 최종 QA 쌍만 제공해 에이전트의 중간 추론 단계별 실패 원인을 진단하기 어렵다는 문제를 해결하기 위해, 대규모 언어 모델(LLM)이 자동으로 구축하고 단계별 검증을 지원하는 최초의 Agentic RAG 벤치마크 AgenticRAGTracer(1,305개 데이터 포인트)를 제안한다. 13개 주요 모델 평가 결과 GPT-5조차 가장 어려운 구간에서 EM 정확도 22.6%에 그쳤으며, hop 단위 진단을 통해 실패 원인이 추론 체인의 조기 붕괴 또는 과도한 확장으로 인한 구조 왜곡임을 규명했다.

arXiv:2602.07267v2cs.AI

BRIDGE: Predicting Human Task Completion Time From Model Performance

모델 성능 데이터로부터 잠재 과제 난이도를 추정하는 심리측정 프레임워크 BRIDGE를 제안하며, 2PL 문항반응이론(IRT) 모델을 활용해 이 잠재 난이도가 인간 과제 완료 시간의 로그값과 선형 관계를 가짐을 보인다. 이를 통해 별도의 인간 연구 없이 새로운 벤치마크의 인간 소요 시간을 예측할 수 있으며, 프론티어 모델의 50% 해결 가능 과제 시간 지평선이 약 6개월마다 두 배로 증가한다는 METR의 지수적 스케일링 결과를 독립적으로 재현하였다.

arXiv:2601.22710v2cs.CR

AlienLM: Alienization of Language for API-Boundary Privacy in Black-Box LLMs

블랙박스 API를 통해 대규모 언어 모델(LLM)을 사용할 때 민감한 프롬프트가 외부 서버에 그대로 노출되는 문제를 해결하기 위해, AlienLM은 어휘 수준의 전단사 함수(bijection)로 텍스트를 "외계어(Alien Language)"로 변환한 뒤 API-only 파인튜닝(Alien Adaptation Training, AAT)으로 모델을 적응시키는 노출 저감 레이어를 제안한다. 4개의 LLM 백본과 7개의 벤치마크에서 평균 81% 이상의 원문 성능을 유지하면서, 모델 가중치·코퍼스 통계·역번역 기반 복원 공격에서도 토큰 복원율을 0.22% 미만으로 억제함을 실증하였다.

arXiv:2601.15588v2cs.CL

YuFeng-XGuard: A Reasoning-Centric, Interpretable, and Flexible Guardrail Model for Large Language Models

YuFeng-XGuard는 대규모 언어 모델(LLM) 상호작용에서 다차원적 위험 인식을 수행하는 추론 중심(reasoning-centric) 가드레일 모델로, 불투명한 이진 판단 대신 명시적 위험 카테고리, 신뢰도 점수, 자연어 설명을 포함한 구조화된 위험 예측을 생성한다. 첫 번째 디코딩 토큰 기반의 즉각적 위험 결정과 온디맨드 추론 설명을 지원하는 계층적 추론 패러다임과 모델 재학습 없이 런타임에서 안전 정책을 조정할 수 있는 동적 정책(Dynamic Policy) 메커니즘을 도입하여, 다양한 공개 안전성 벤치마크에서 최고 수준의 성능을 달성했다.

arXiv:2601.02813v3cs.AI

HAL: Inducing Human-likeness in LLMs with Alignment

HAL은 대화형 인간다움(human-likeness)을 정렬 목표로 삼기 어려운 문제를 해결하기 위해, 튜링 테스트 대화 데이터에서 추출한 16가지 대화 특성(HL16Q)을 로지스틱 회귀로 결합한 해석 가능한 스칼라 보상 신호를 설계하고, 이를 DPO 기반 정렬에 활용하는 프레임워크다. Chatbot Arena 방식의 대규모 인간 평가에서 HAL로 정렬된 모델은 다른 벤치마크 성능을 유지하면서도 더 인간답게 인식되는 것으로 나타났다.

arXiv:2511.10687v3cs.MA

Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

다중 에이전트 시스템(MAS)에서 시스템 수준 평가를 개별 에이전트 및 메시지 수준의 학습 신호로 연결하는 이론적 프레임워크를 제안하며, Shapley 값 기반 기여도 할당과 프로세스 보상 모델(PRM)을 통합하여 성공 시에는 협력을 장려하는 메시지별 보상을, 실패 시에는 오류 위치 추적을 통한 수정 인식 선호도 신호를 생성한다. 이 신호는 유계(bounded)·협력적·기여도 보존 특성을 이론적으로 보장하며, 강화학습 및 선호도 기반 사후학습과 직접 호환되는 단일 경로를 제공한다.

arXiv:2510.25741v5cs.CL

Scaling Latent Reasoning via Looped Language Models

사전학습(pre-training) 단계에서 잠재 공간(latent space)의 반복 연산을 통해 추론 능력을 내재화하는 루프 언어 모델(LoopLM) 계열 Ouro를 제안하며, 엔트로피 정규화 기반 적응적 깊이 할당 기법으로 7.7조 토큰 규모까지 학습시켰다. Ouro 1.4B·2.6B 모델은 최대 12B SOTA 대규모 언어 모델(LLM)에 필적하는 성능을 달성했으며, 이 성능 향상이 지식 저장 용량 증가가 아닌 다중 단계 추론 등 지식 조작(knowledge manipulation) 능력의 향상에서 비롯됨을 실험적으로 규명했다.

arXiv:2510.20091v3cs.CL

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

CreativityPrism은 대규모 언어 모델(LLM)의 창의성을 확산적 사고, 창의적 글쓰기, 논리적 추론 세 도메인에 걸쳐 품질·독창성·다양성 세 차원으로 평가하는 크로스 도메인 프레임워크다. 17개 최신 LLM을 평가한 결과, 프론티어급 모델이 창의적 글쓰기와 논리적 추론에서는 오픈 모델 대비 15% 우위를 보였으나 확산적 사고에서는 유의미한 차이가 없었으며, 한 도메인의 높은 창의성이 다른 도메인으로 일반화되지 않음을 확인했다.

arXiv:2510.17426v3cs.CL

Navigating the Alignment-Calibration Trade-off: A Pareto-Superior Frontier via Model Merging

정렬(alignment) 사후학습이 정확도 저하뿐 아니라 모델 과신(overconfidence)을 유발하는 심각한 캘리브레이션(calibration) 손실을 초래함을 보이며, 사전학습 모델과 인스트럭션 튜닝 모델의 가중치를 보간(interpolate)하는 간단한 모델 병합(model merging)으로 이 문제를 효과적으로 완화할 수 있음을 제안한다. Gemma-3, Qwen2.5, Llama-3.1 등 다양한 모델 패밀리 실험에서 최적 병합 계수를 찾으면 두 부모 모델을 동시에 능가하는 정확도와 실질적으로 회복된 캘리브레이션을 갖는 Pareto-최적 모델이 일관되게 발견되었으며, 이 효과는 모델 규모가 커질수록 더욱 강화된다.

arXiv:2510.09517v2cs.CL

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval은 대규모 언어 모델(LLM)의 통계적 추론 능력을 평가하기 위한 최초의 대규모 벤치마크로, 교과과정 수준 문제 22,262개와 연구 수준 증명 과제 84,179개를 포함한 10만 개 이상의 문제를 제공한다. 비정형 학술 텍스트를 정리된 추론 과제로 변환하는 멀티 에이전트 파이프라인 TRACE와 단계별 검증 기반의 적응형 채점 방식을 도입하였으며, 실험 결과 현재 LLM들은 기초 과제에서는 준수한 성능을 보이나 연구 수준의 엄밀한 추론에서는 여전히 한계를 드러냈고, 검색-증강 생성(RAG) 및 도메인 특화 파인튜닝을 통해 성능이 일관되게 향상되었다.

arXiv:2510.04484v2cs.CL

Psychological Steering in LLMs: An Evaluation of Effectiveness and Trustworthiness

LLM의 감정 상태와 성격 특성을 조절하는 다양한 스티어링(steering) 기법을 종합 평가하기 위해 심리학 기반 벤치마크 PsySET을 제안하며, 프롬프팅, 파인튜닝, 벡터 주입(vector injection) 등 네 가지 모델에 걸친 실험 결과 프롬프팅이 일관되게 효과적이나 강도 제어에 한계가 있고, 긍정적 감정인 기쁨조차 적대적 사실성에 대한 강건성을 저하시키는 등 신뢰성 측면의 부작용이 존재함을 밝혔다.

arXiv:2510.04391v5cs.AI

Psychological Imagination Networks Show Cross-Population Centrality and Clustering Alignment in Humans That Large Language Models Fail to Replicate

Mental imagery vividness is a stable individual trait, yet whether imagined scenarios share relational structure across human and synthetic large language model (LLM) populations remains unknown. We applied psychological network analysis to vividness ratings from two validated questionnaires: the Vividness of Visual Imagery Questionnaire (VVIQ-2) and the Plymouth Sensory Imagery Questionnaire (PSIQ), across geographically and linguistically distinct human samples (Florida, Poland, and London; total N = 2,743) and six large language models (LLMs; Gemma3-12B/27B, their quantization-aware counterparts, Llama3.3-70B, and Llama4-16x17B). Imagination networks were constructed as regularized partial correlation graphs, with node centrality and community structure compared across populations using Pearson correlations and the Adjusted Rand Index (ARI). Human networks showed robust cross-population centrality correlations for expected influence, strength, and closeness (r = 0.31-0.93), and community detection recovered clusters aligned with VVIQ-2 scene contexts (ARI = 0.27-0.40) and PSIQ sensory modalities (ARI = 0.87-1.0). Betweenness centrality was unstable across all populations, consistent with its sensitivity to individual experiential history. LLMs failed to replicate human network structure: LLM-human centrality correlations were weak and largely non-significant after correction, and most LLM configurations produced degenerate single-cluster topologies (median ARI = 0). This failure was consistent across model architectures, parameter scales (12B-272B), and conversational conditions. We posit that these findings may be driven by human imagination networks reflecting memory organization accumulated through embodied experience, a representational structure that linguistic training alone does not reproduce regardless of model scale and conversational memory.

arXiv:2507.02964v2cs.CL

Less Data, More Security: Advancing Cybersecurity LLMs Specialization via Resource-Efficient Domain-Adaptive Continuous Pre-training with Minimal Tokens

범용 대규모 언어 모델(LLM)의 사이버보안 도메인 지식 부족 문제를 해결하기 위해, 도메인 적응 연속 사전학습(DAP)을 Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B, Llama-3.3-70B-Instruct 세 모델에 분산 FSDP 파이프라인으로 적용했다. 1억 2,600만 단어 규모의 사이버보안 코퍼스(118.8M 토큰)만으로 CTI-MCQ, CyberMetric, SecEval 벤치마크에서 최대 50억 토큰으로 학습된 Foundation-Sec-8B 등 기존 특화 모델을 능가하는 최고 성능을 달성해, 학습 데이터를 23~42배 줄이면서도 효과적인 도메인 특화가 가능함을 입증했다.

arXiv:2504.12317v2cs.CL

Large language models reshape the language of science

Scientific language is a central infrastructure of knowledge production, but it remains unclear whether large language models (LLMs) are altering not only how scientists write, but also how scientific knowledge is communicated and accessed. Here we analyze 21.36 million scientific abstracts published between 2020 and 2024, together with historical records from major journals, to trace recent changes in the language of science. We identify a marked turning point in 2024, when scientific writing shows a sharp increase in lexical complexity alongside a decline in syntactic complexity. This shift is pervasive across disciplines and journal tiers, and is more pronounced in texts by scholars working in non-native English contexts, especially those from language backgrounds that differ more typologically from English. Controlled polishing experiments confirm that LLMs reproduce this pattern by favoring more lexically dense and syntactically compressed expression. We further show why this linguistic shift matters: it may widen the distance between scientific discourse and public-facing language, while also helping scholars in non-native English contexts navigate English-language publishing requirements. These findings suggest that LLMs may broaden participation in scientific authorship while narrowing the accessibility of scientific communication, making them a new force in the linguistic infrastructure of science.

arXiv:2504.02327v2cs.CL

LearNAT: Learning NL2SQL with AST-guided Task Decomposition for Large Language Models

자연어를 SQL로 변환하는 NL2SQL 태스크에서 GPT-4 같은 대형 독점 모델 의존성을 줄이기 위해, AST 기반 검색으로 검증 가능한 분해(decomposition)를 생성하는 Decomposition Synthesis Procedure와 다단계 추론에 세분화된 선호 최적화를 적용하는 Margin-Aware Reinforcement Learning으로 구성된 LearNAT 프레임워크를 제안한다. Spider·BIRD 벤치마크 실험에서 7B 파라미터 소형 공개 모델로 GPT-4에 준하는 성능을 달성하였다.