PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.16017v2cs.CL

대규모 언어 모델의 도덕적 추론 궤적 이해: 프로빙 기반 설명가능성을 향하여

Understanding Moral Reasoning Trajectories in Large Language Models: Toward Probing-Based Explainability

대규모 언어 모델(LLM)이 도덕적으로 민감한 의사결정에 참여하는 경우가 점점 늘어나고 있지만, 추론 단계 전반에서 윤리적 체계를 어떻게 구성하는지는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 중간 추론 단계 전반에 걸친 윤리적 체계 호출 시퀀스인 '도덕적 추론 궤적(moral reasoning trajectories)'을 도입하고, 6개 모델과 3개 벤치마크에 걸쳐 그 역학을 분석합니다. 연구 결과 도덕적 추론에는 체계적인 다중 체계 숙의 과정이 수반되는 것으로 나타났습니다. 즉, 연속된 추론 단계의 55.4~57.7%에서 체계 전환이 발생하며, 체계 일관성을 유지하는 궤적은 16.4~17.8%에 불과했습니다. 불안정한 궤적은 설득 공격(persuasive attacks)에 1.29배 더 취약한 상태를 보였습니다(p=0.015). 표현 수준에서 선형 프로브(linear probe)는 체계별 인코딩을 모델별 층(Llama-3.3-70B의 경우 81개 층 중 63번 층, Qwen2.5-72B의 경우 81개 층 중 17번 층)에 국소화하여, 단계 사전(step-prior) 기준선 대비 16.8~22.2% 더 낮은 KL 발산을 달성했습니다. 생성 과정에서 적용된 활성화 스티어링(activation steering)은 체계 일관성과 정확도 간의 관계를 변화시켜, Qwen2.5-72B에서는 그 격차를 넓히고 Llama-3.3-70B에서는 이를 상쇄했으며, 프로브 공간 층 탐색(layer sweep)을 통해 달성 가능한 드리프트 감소폭을 6.7~8.9%로 제한했습니다. 나아가 본 연구는 기저의 체계 귀속이 인간 평가자에 의해 검증된(평균 코사인 유사도 = 0.859) 도덕적 표현 일관성(MRC) 지표를 제안하고, 자동화된 일관성 평가기가 이에 대해 무엇을 입증하고 입증하지 못하는지 보고합니다.

arXiv:2602.15983v5cs.SE

ReLoop: 신뢰할 수 있는 LLM 기반 최적화를 위한 구조화된 모델링 및 행동 검증

ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization

대규모 언어 모델(LLM)은 자연어 문제 설명을 최적화(optimization) 코드로 변환할 수 있지만, 해당 코드는 무언의 실패(silent failure)를 겪기 쉽습니다. 즉, 코드가 실행되어 솔버(solver) 기준 실행 가능한 해를 반환하지만 의미적으로는 잘못된 수식을 부호화하는 문제가 발생합니다. 복합적인 구성 문제(compositional problems)에서 이러한 실행 가능성-정확성 간극(feasibility-correctness gap)은 최대 90%p에 달합니다. 본 논문에서는 두 가지 메커니즘을 결합한 ReLoop을 제안합니다. 구조화된 생성은 코드 생성을 4단계 추론 체인(이해, 공식화, 합성, 검증)으로 분해하여 생성 과정 중의 수식 오류를 줄입니다. 행동 검증(behavioral verification)은 수식이 솔버 기반 매개변수 섭동(perturbation)에 올바르게 반응하는지 테스트함으로써 잔여 오류를 탐지하며, 이 신호는 LLM의 자체 검토가 아닌 솔버에서 발생하므로 정답 레이블(ground truth)을 필요로 하지 않습니다. 두 메커니즘은 서로 다른 오류 구조를 해결합니다. 구조화된 생성은 복합적 문제에서 가장 큰 성능 향상을 보이며(Claude Opus 4.6 적용 시 RetailOpt-190에서 정확도 +8.5%p), 행동 검증은 국소적 결함에서 가장 큰 향상을 보입니다(MAMO-ComplexLP에서 +4.4%p). 진단 실행 복구를 포함한 ReLoop은 Claude Opus 4.6에서 100% 실행 가능한 코드를 달성하며, 직접 생성 방식 대비 3개 벤치마크 전체에서 3개 대화형 파운데이션 모델의 보고된 모든 지표를 향상시키거나 유지합니다. 테스트한 좁은 범위로 파인튜닝된 SFT 모델의 경우, 사고의 연쇄(Chain-of-Thought) 프롬프트가 학습된 출력 형식과 충돌하여 MAMO-ComplexLP에서의 정확도를 낮추었으며, 본 연구에서는 이러한 상호작용을 문서화하고 분석합니다. 여러 제약 조건이 상호작용하는 190개의 복합적 소매 최적화 시나리오로 구성된 RetailOpt-190을 공개합니다.

arXiv:2602.11574v5cs.AI

에이전틱 AI 시스템 구성 학습

Learning to Configure Agentic AI Systems

대규모 언어 모델(LLM) 기반 에이전트 시스템을 구성하는 것은 방대한 조합의 설계 공간에서 워크플로, 도구, 토큰 예산, 프롬프트를 선택하는 과정을 수반합니다. 현재는 일반적으로 질의 난이도와 무관하게 동일한 구성을 적용하는 고정된 템플릿이나 수작업으로 튜닝된 휴리스틱으로 처리되어, 취약한 동작과 연산 자원 낭비를 초래합니다. 이를 해결하기 위해, 본 연구에서는 각 구성이 에이전트 시스템의 질의 처리 방식을 결정하는 시간적으로 확장된 옵션으로 작용하는 준 마르코프 결정 과정(SMDP)으로 에이전트 구성을 정형화하고, 질의별 에이전트 구성을 동적으로 선택하는 경량 계층적 정책인 ARC(Agentic Resource & Configuration learner)를 소개합니다. 추론, 도구 사용 및 에이전틱 벤치마크 전반에서 ARC는 예산이 일치하는 도구 증강 LLM보다 일관되게 향상된 성능을 보여주었으며, 평균 추론 정확도를 31.3%, 도구 사용 정확도를 13.95% 향상시켰고, τ-Bench (Airline) Pass^1 성공률을 9.0%에서 18.0%로 두 배로 높였습니다. 이러한 결과는 질의별 에이전트 구성을 학습하는 것이 '모두에게 일률적으로 적용되는(one size fits all)' 설계에 대한 강력한 대안임을 입증합니다.

arXiv:2602.06869v3cs.CL

다중 목적 정렬에서 목적 간 간섭 현상 규명

Uncovering Cross-Objective Interference in Multi-Objective Alignment

본 연구에서는 대규모 언어 모델(LLM)의 다중 목적 정렬(multi-objective alignment)에서 스칼라화 학습(scalarized training) 시 일부 목적만 개선되고 다른 목적은 저하되는 지속적인 실패 모드를 연구합니다. 저자들은 이 현상을 '목적 간 간섭(cross-objective interference)'으로 공식화하고, 우리가 아는 한 다중 목적 LLM 정렬을 위한 스칼라화 알고리즘에 대한 최초의 체계적인 연구를 수행합니다. 이 연구를 통해 간섭 현상이 여러 알고리즘 전반에 걸쳐 만연하지만 모델에 크게 의존한다는 점을 보여줍니다. 간섭이 발생하는 원리를 이해하기 위해, 특정 목적의 개선 또는 저하가 1차(first order) 관점에서 해당 목적의 보상(reward)과 스칼라화 점수 간의 공분산 부호에 따라 결정된다는 '국소 공분산 법칙(local covariance law)'을 도출합니다. 또한 이 법칙을 현대적인 강화 미세조정(reinforcement fine-tuning)의 클리핑된 대리 목적함수(clipped surrogate objectives)로 확장하고, 완만한 조건 하에서도 여전히 성립함을 보여줍니다. 이 법칙을 기반으로, 저자들은 특정 목적의 보상과 클리핑된 어드밴티지 가중치(advantage weight) 간의 공분산이 목표치 아래로 떨어질 때만 해당 목적의 가중치를 높이는 단방향 제어기인 COVER(COVariance-floor Enforced Reweighting)를 제안합니다. 광범위한 실험을 통해 COVER가 목적들이 이미 함께 개선되고 있을 때는 선형 스칼라화와 동등한 성능을 내면서도 목적 간 간섭을 완화할 수 있음을 확인했습니다. 마지막으로 간섭이 모델에 의존적인 이유를 설명하기 위해, 국소 공분산 법칙을 보완하는 전역 수렴(convergence) 분석을 제시합니다. 이 분석은 비볼록(non-convex) 스칼라화 목적함수가 폴리약-로야시에비치(Polyak–Łojasiewicz) 조건을 만족하기 위한 충분조건을 제공하며, 간섭 현상을 모델의 기하학적 구조와 연결합니다.

arXiv:2602.02427v4cs.LG

임베딩 섭동을 통한 대규모 언어 모델 추론에서의 불확실성 위치 특정

Uncertainty Localization in LLM Reasoning via Embedding Perturbations

대규모 언어 모델(LLM)은 다양한 영역에서 괄목할 만한 발전을 이루었으나, 여전히 신뢰할 수 없거나 오해의 소지가 있는 출력을 생성할 수 있습니다. 책임감 있는 LLM 활용을 위해, 모델 출력이 문제가 될 가능도를 나타내는 모델의 출력 불확실성을 추정하는 불확실성 정량화 기법이 사용됩니다. LLM 추론(reasoning) 작업의 경우, 최종 답변뿐만 아니라 중간 추론 과정에서도 불확실성이 어디에서 발생하는지 특정하는 불확실성 추정이 필수적입니다. 이러한 정보는 추론(inference) 과정에서 보다 세밀하고 표적화된 개입을 가능하게 할 수 있습니다. 본 연구에서는 LLM 추론 궤적 내에서 불확실한 지점의 위치를 효과적으로 특정할 수 있는 지표를 조사합니다. 연구 결과, 앞선 토큰들의 임베딩 섭동(perturbation)에 매우 민감한 토큰에서 불확실한 중간 생성이 일어날 가능성이 더 높다는 점을 밝혀냈습니다. 실험을 통해 이러한 섭동 기반 지표가 확률 기반, 샘플링 기반, 베이지안 기반 접근 방식을 포함한 기준선(baseline) 방법보다 불확실한 중간 단계를 특정하는 데 더 우수한 성능을 달성함을 보여줍니다. 아울러 제안된 지표는 뛰어난 간결성과 효율성 또한 제공합니다.

arXiv:2601.16390v2cs.CL

다국어 언어 모델을 위한 교차 언어 활성화 스티어링

Cross-Lingual Activation Steering for Multilingual Language Models

대규모 언어 모델(LLM)은 강력한 다국어 능력을 보여주지만, 주요 언어와 비주요 언어 간에는 여전히 상당한 성능 격차가 존재합니다. 이전 연구에서는 이러한 격차의 원인을 다국어 표현 내 공유 뉴런과 언어 특화 뉴런 간의 불균형으로 보았습니다. 본 논문에서는 뉴런 활성화를 선택적으로 조절하는, 학습(training)이 필요 없는 추론(inference) 시점 개입 기법인 교차 언어 활성화 스티어링(CLAS, Cross-Lingual Activation Steering)을 제안합니다. 분류(classification) 및 생성 벤치마크에서 CLAS를 평가한 결과, 고자원 언어의 성능을 유지하면서 각각 평균 2.3%(정확도) 및 3.4%(F1)의 향상을 달성했습니다. 또한 효과적인 전이가 엄격한 정렬보다는 기능적 분기(functional divergence)를 통해 작동하며, 성능 향상이 언어 클러스터 분리도 증가와 상관관계가 있음을 발견했습니다. 본 연구 결과는 목표 지향적 활성화 스티어링이 모델(model) 가중치 수정 없이도 기존 모델의 잠재된 다국어 능력을 이끌어낼 수 있음을 보여줍니다.

arXiv:2511.21075v4cs.LG

균형 잡힌 미세조정을 통한 생명의학 지식과 대규모 언어 모델의 정렬

Aligning LLMs with Biomedical Knowledge using Balanced Fine-Tuning

생명과학 연구를 가속화하기 위해 대규모 언어 모델(LLM)을 엔지니어링하려면 생명의학 지식과의 견고한 정렬(alignment)이 필요합니다. 본 연구에서는 생명의학 텍스트가 일반 텍스트와 근본적으로 다른 불확실성 구조를 보인다는 점을 관찰했습니다. 즉, 일반 텍스트에서 흔히 나타나는 희소한 우연적(aleatoric) 문체 변이 대신, 밀집된 낮은 신뢰도 구간이 인식적(epistemic) 지식 공백(조밀한 인과 사슬, 희귀 엔티티)을 인코딩합니다. 이러한 발견을 바탕으로, 밀집된 인식적 불확실성을 나타내는 지식 집약적 샘플을 향한 시퀀스 수준 재할당과 그룹 정규화된 토큰 가중치 재조정을 결합한 듀얼 스케일 사후 학습(post-training) 방법인 균형 잡힌 미세조정(Balanced Fine-Tuning, BFT)을 제안합니다. 동일한 학습 환경에서 BFT는 의학 평가, 생물학적 추론, 희소 보상 강화학습(RL), 생물학적 표현 태스크 전반에 걸쳐 SFT 및 DFT보다 더 일관된 성능 향상을 제공합니다. GeneAgent(GPT-4o)와 VCWorld(Gemini-2.5-Flash)의 기본 상용 폐쇄형 백본을 대체했을 때, BFT로 정렬된 70B 모델은 생물학적 프로세스 추론 및 화학적 섭동(perturbation) 예측 전반에 걸쳐 더 뛰어난 성능을 발휘합니다. 특히 중요한 점은, 후속 희소 보상 기반 GRPO 이후 SFT와 DFT는 성능이 저하되는 반면 모든 BFT 변형은 추가적인 성능 향상을 보였다는 것으로, 이는 인식적 불확실성을 인식하는 사후 학습이 더 견고한 정책 초기화(initialization)를 제공함을 시사합니다. 텍스트 생성을 넘어, BFT로 정렬된 LLM은 더욱 정확하고 전문적인 생명의학 프로필 텍스트를 생성합니다. 텍스트 임베딩 모델로 이러한 프로필을 인코딩한 결과 생성된 표현은 유전자 수준, 세포 수준, 섭동 반응 태스크를 지원하며, 이는 BFT로 강화된 생성이 생물학적 표현을 촉진하고 나아가 더 폭넓은 생명의학 다운스트림 태스크에 기여할 수 있음을 보여줍니다.

arXiv:2511.20718v3cs.LG

턴 단위 중요도 샘플링과 클리핑 유발 정규화를 통한 장기 LLM 에이전트 오프-정책 학습의 안정화

Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization

PPO 및 GRPO와 같은 강화학습(RL) 알고리즘은 다중 턴 에이전트 과제를 위한 대규모 언어 모델(LLM) 학습(training)에 널리 사용됩니다. 그러나 오프-정책(off-policy) 학습 파이프라인에서 이러한 방법은 불안정한 최적화 역학을 보이고 성능 붕괴가 발생하기 쉽습니다. 실증적 분석을 통해, 우리는 이 설정에서 불안정성을 초래하는 두 가지 근본적인 원인을 식별했습니다. 즉, (1) 토큰(token) 단위 정책 최적화와 턴 구조화된 상호작용 간의 세분성 불일치, 그리고 (2) 오프-정책 중요도 샘플링과 부정확한 어드밴티지 추정으로 인해 유도되는 고분산 및 신뢰할 수 없는 그래디언트(gradient) 업데이트입니다. 이러한 문제를 해결하기 위해, 우리는 장기 에이전트 학습을 안정화하는 오프-정책 강화학습인 SORL(Stabilizing Off-Policy Reinforcement Learning for Long-Horizon Agent Training)을 제안합니다. SORL은 정책 최적화를 다중 턴 상호작용 구조와 정렬하고 신뢰할 수 없는 오프-정책 업데이트를 적응적으로 억제하는 메커니즘을 도입하여, 더 보수적이고 강건한 학습 역학을 제공합니다. 이 프레임워크 내에서 우리는 SO-PPO와 SO-GRPO라는 두 가지 안정화된 알고리즘을 구체화합니다. 두 알고리즘 모두 세심한 조기 종료(early stopping)나 휴리스틱 튜닝 없이도 그래디언트 분산을 완화하고 최적화 붕괴를 방지하도록 설계되었습니다. 우리는 오픈 도메인 QA, 멀티홉 QA, 의료 객관식 QA를 아우르는 벤치마크에서 SO-PPO와 SO-GRPO를 평가하고, DAPO-Math-17k에서 학습한 후 AIME-2024에서 검증함으로써 수학적 추론을 위한 비동기 강화학습으로의 전이 능력을 추가로 평가합니다. 이러한 결과는 SORL이 다중 턴 LLM 에이전트 학습 및 수학적 추론을 위한 비동기 강화학습에서 강화학습을 안정화하기 위한 실용적이고 확장 가능하며 범용적인 프레임워크를 제공함을 보여줍니다.

arXiv:2511.20471v3cs.AI

Universe of Thoughts: 대규모 언어 모델의 창의적 추론을 위한 계산 프레임워크

Universe of Thoughts: A Computational Framework for Creative Reasoning in Large Language Models

대규모 언어 모델(LLM) 추론의 최근 발전은 전통적인 문제 해결 능력을 향상시켰으나, 창의적 추론은 상대적으로 덜 탐구된 상태로 남아 있습니다. 본 연구는 인지과학에서 영감을 받아 조합적(combinational), 탐색적(exploratory), 변형적(transformational) 창의성을 구조화된 문제 및 해결 공간에 대한 실행 가능한 계산 연산자로 정식화하고, 각 모드가 이러한 공간을 어떻게 결합, 탐색 또는 변형하는지 명시합니다. 조합적 추론은 익숙하지 않은 조합을 형성하기 위해 도메인 전반에 걸쳐 아이디어를 전이하고, 탐색적 추론은 기존의 개념 공간 내에서 새로운 해결책을 탐색하며, 변형적 추론은 해당 공간을 정의하는 규칙이나 제약 조건을 수정합니다. 이러한 정식화는 별개의 알고리즘 절차를 도출하며, 이를 LLM 추론 프레임워크인 Universe of Thoughts(UoT)로 구현합니다. 기존의 창의성 벤치마크는 개방형 아이디어 도출 또는 고도로 제약된 문제 해결 중 하나에 치우쳐 있습니다. 이에 따라 제약이 적은 환경에서 구체적인 해결책을 요구하는 세 가지 새로운 창의적 추론 과제를 도입합니다. 방법 및 과제당 10회의 생성에 걸쳐, GPT-4o를 적용한 T-UoT는 제약이 적고 목표 구체성이 높은 Bridge 및 Electricity 과제에서 가장 우수한 성능을 보였으며, C-UoT는 제약이 적고 목표 구체성이 낮은 Society 과제에서 상대적으로 가장 강력한 성능을 나타냈습니다. 또한 생물의학, 머신러닝, 사회과학 분야 전반의 100개 과제로 구성된 독립적인 과학 가설 생성 벤치마크인 HypoArena에서 UoT를 평가했습니다. Qwen3-14B를 사용했을 때, 탐색적 UoT(Exploratory UoT)는 7개 추론 방법 중 1위를 기록하여 차순위 방법의 25.5% 대비 32.7%의 쌍체 승률(pairwise win rate)을 달성했습니다. 본 결과는 과제 구조에 따라 뚜렷한 성능 패턴이 나타남을 시사합니다. 즉, T-UoT는 제약이 적고 구체성이 높은 환경에서 가장 강력하며, E-UoT는 제약이 더 많고 구체성이 높은 환경에서, C-UoT는 제약이 적고 구체성이 낮은 환경에서 가장 우수합니다.

arXiv:2511.11500v3cs.LG

정확도보다 정직성: 강화된 망설임을 통한 신뢰할 수 있는 언어 모델

Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation

현대 언어 모델(model)은 신뢰할 수 있는 지능의 근본적인 요구사항인 '언제 답변하지 말아야 하는지 아는 것'을 충족하지 못하고 있습니다. 벤치마크(benchmark)에서 인상적인 정확도를 달성했음에도 불구하고, 이러한 모델들은 오답이 치명적인 결과를 초래할 수 있는 경우에도 확신에 찬 환각(hallucination)을 생성합니다. GSM8K, MedQA, GPQA에 대한 평가(evaluation) 결과, 프론티어 모델들은 심각한 페널티에 대한 명시적인 경고가 있음에도 거의 답변을 기권(abstain)하지 않는 것으로 나타났으며, 이는 프롬프트(prompt)가 답변을 하지 않는 것보다 어떤 답변이라도 내놓는 것을 보상하는 학습(training) 방식을 뒤집을 수 없음을 시사합니다. 이에 대한 해결책으로, 우리는 검증 가능한 보상 기반 강화학습(RLVR)을 수정하여 이진 보상 대신 삼원 보상(정답 +1, 기권 0, 오류 -$\lambda$)을 사용하는 '강화된 망설임(Reinforced Hesitation, RH)'을 제안합니다. 논리 퍼즐에 대한 통제된 실험에 따르면, $\lambda$를 다양화함에 따라 파레토 프론티어(Pareto frontier)를 따라 서로 다른 모델이 생성되며, 각 학습 페널티는 그에 대응하는 위험 영역에 최적화된 모델을 도출합니다. 즉, 낮은 페널티는 적극적인 답변자를, 높은 페널티는 보수적인 기권자를 만들어냅니다. 동일한 프론티어가 MATH Level 4--5 및 의료 질의응답(medical QA)에서도 유지되며, 새로운 데이터셋(dataset)으로도 전이됩니다. 이어 우리는 학습된 기권을 조율 신호(coordination signal)로 활용하는 두 가지 추론(inference) 전략을 도입합니다. 캐스케이딩(cascading)은 위험 감수 성향이 감소하는 순서로 모델에 쿼리를 라우팅하며, 셀프 캐스케이딩(self-cascading)은 기권 시 동일한 모델에 다시 질의합니다. 두 전략 모두 더 적은 연산 비용으로 다수결 투표(majority voting)보다 우수한 성능을 보입니다. 이러한 결과는 기권을 1급 학습 목표(first-class training objective)로 확립하여 "모르겠습니다"를 실패가 아닌 조율 신호로 전환하고, 모델이 자신의 한계에 대해 보정된 정직성을 통해 신뢰를 얻을 수 있도록 합니다.

arXiv:2510.22954v2cs.CL

인공 집단지성(Artificial Hivemind): 언어 모델의 개방형 동질성(그리고 그 너머)

Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)

언어 모델(LM)은 종종 다양하고 인간과 유사한 창의적 콘텐츠를 생성하는 데 어려움을 겪으며, 이는 유사한 출력에 반복적으로 노출됨으로써 인간의 사고가 장기적으로 동질화될 수 있다는 우려를 불러일으킵니다. 그러나 난수나 이름 생성과 같은 좁은 범주의 태스크를 넘어서거나, 단일 모델로부터의 반복 샘플링을 넘어서 LM 출력의 다양성을 평가하는 확장 가능한 방법은 여전히 제한적입니다. 본 연구에서는 단일 정답(ground truth)이 없으며 타당한 답변의 범위가 넓은, 실제적이고 개방형(open-ended)인 다양한 사용자 쿼리 2만 6천 개로 구성된 대규모 데이터셋인 Infinity-Chat을 소개합니다. 또한 브레인스토밍 및 아이디어 도출 등 6개의 최상위 카테고리와 17개의 하위 카테고리로 구성되어 LM에 주어지는 개방형 프롬프트의 전체 스펙트럼을 특성화하는 최초의 종합적인 분류 체계(taxonomy)를 제시합니다. Infinity-Chat을 활용하여 LM의 모드 붕괴(mode collapse)에 대한 대규모 연구를 수행한 결과, LM의 개방형 생성에서 두드러진 '인공 집단지성(Artificial Hivemind)' 효과를 발견했습니다. 이는 (1) 단일 모델이 일관되게 유사한 응답을 생성하는 모델 내 반복(intra-model repetition), 그리고 이보다 더 심각한 (2) 서로 다른 모델들이 놀라울 정도로 유사한 출력을 생성하는 모델 간 동질성(inter-model homogeneity)으로 특징지어집니다. 아울러 Infinity-Chat에는 예제당 25개의 독립적인 인간 평가를 바탕으로 절대 평가 및 쌍별 선호도 전반에 걸친 31,250개의 인간 주석(annotation)이 포함되어 있습니다. 이를 통해 개방형 쿼리에 대한 집단적 및 개인별 인간 선호도를 연구할 수 있습니다. 실험 결과, 모델 생성 결과물이 평가자마다 서로 다른 특이적 선호도를 유발할 경우 전반적인 품질은 유사하게 유지됨에도 불구하고 LM, 보상 모델, LM 판정자(LM judge)가 인간의 평가 점수와 덜 보정(calibrated)되는 것으로 나타났습니다. 종합적으로 INFINITY-CHAT은 LM에 대한 실제 개방형 쿼리를 체계적으로 연구할 수 있는 최초의 대규모 자원을 제공하며, 인공 집단지성이 초래하는 장기적인 AI 안전성 위험을 완화하기 위한 향후 연구를 이끌 핵심적인 통찰을 제시합니다.

arXiv:2509.18169v4cs.LG

PiERN: 고정밀 계산과 추론의 통합을 위한 토큰 수준 라우팅

PiERN: Token-Level Routing for Integrating High-Precision Computation and Reasoning

복잡한 시스템을 다루는 작업에서는 의사결정을 뒷받침하기 위해 고정밀(high-precision) 수치 계산이 필요합니다. 그러나 현재의 대규모 언어 모델(LLM)은 향상된 추론 능력을 갖추었더라도 기존 아키텍처 하에서는 이러한 계산을 내재적이면서도 해석 가능한 역량으로 통합하지 못합니다. 이를 해결하기 위해, 본 논문에서는 토큰 수준에서 계산과 추론을 유도하여 단일 사고의 연쇄(Chain-of-Thought) 내에서 반복적인 상호 전환을 가능하게 하는 아키텍처인 PiERN(Physically-isolated Experts Routing Network)을 제안합니다. 저자들은 PDEBench 및 배터리 관리 작업을 포함한 대표적인 계산-추론 작업에서 PiERN을 체계적으로 평가했습니다. 실험 결과, PiERN은 LLM을 직접 파인튜닝하는 것보다 더 높은 정확도를 달성할 뿐만 아니라, 주류 멀티 에이전트(multi-agent) 접근 방식에 비해 응답 지연 시간, 토큰 사용량, GPU 에너지 소비량 및 전문가 라우팅 정확도에서 상당한 개선을 보였습니다. 동시에 MMLU 및 GLUE 벤치마크 성능에서도 유의미한 저하를 나타내지 않았습니다. PiERN은 언어 모델을 과학 시스템과 연계하기 위한 효율적이고 해석 가능하며 확장 가능한 패러다임을 제공합니다.

arXiv:2509.03647v3cs.CL

거울 깨기: 활성화 기반 접근법을 통한 LLM 평가자의 자기 선호 완화

Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators

대규모 언어 모델(LLM)이 자동화된 평가자로 점점 더 많이 활용되고 있지만, 다른 모델의 출력보다 자신의 출력을 선호하는 경향인 "자기 선호 바이어스(self-preference bias)"를 겪고 있습니다. 이러한 바이어스는 특히 선호도 튜닝(preference tuning) 및 모델 라우팅과 같은 작업의 평가 파이프라인에서 공정성과 신뢰성을 저해합니다. 본 연구에서는 재학습 없이 추론(inference) 시점에 경량 스티어링 벡터(steering vector)를 통해 이 문제를 완화할 수 있는지 조사합니다. 연구진은 자기 선호 바이어스를 정당한 자기 선호 사례와 부당한 자기 선호 사례로 구분하는 큐레이션된 데이터셋을 도입하고, 대조 활성화 추가(Contrastive Activation Addition, CAA)와 최적화 기반 접근법의 두 가지 방법을 사용하여 스티어링 벡터를 구축합니다. 실험 결과, 스티어링 벡터는 부당한 자기 선호 바이어스를 최대 97%까지 줄일 수 있어 프롬프팅 및 직접 선호 최적화(DPO) 베이스라인을 크게 능가하는 것으로 나타났습니다. 그러나 스티어링 벡터는 정당한 자기 선호 및 편향되지 않은 일치에서는 불안정한 모습을 보였으며, 이는 자기 선호가 다중 또는 비선형 방향에 걸쳐 있음을 시사합니다. 이는 LLM 판사(LLM-as-a-judge)를 위한 안전장치로서 스티어링 벡터의 가능성과 한계를 모두 강조하며, 보다 강건한 개입 방법에 대한 필요성을 제시합니다.

arXiv:2508.10020v2cs.CL

FedCoT: 대규모 언어 모델을 위한 통신 효율적인 연합 추론 능력 향상 기법

FedCoT: Communication-Efficient Federated Reasoning Enhancement for Large Language Models

엄격한 연산, 통신, 프라이버시 제약으로 인해 연합 환경에서 대규모 언어 모델(LLM)의 추론 능력을 향상하는 것은 쉽지 않은 과제입니다. 특히 임상적으로 중대한 결정이 필요한 의료 분야에서는 안전성, 책임성, 규제 요건을 충족하기 위해 정확도뿐만 아니라 해석 가능하고 감사 가능한 논리적 근거가 필수적입니다. 기존의 연합 미세조정 방식은 단계별 추론 능력을 기르기보다는 최종 답변을 모방하는 데 그치는 경우가 많으며, 프라이버시에 민감한 중앙 집중식 지식 증류에 의존하는 일이 잦고 여전히 상당한 통신 오버헤드를 발생시킵니다. 본 논문에서는 이러한 문제를 해결하기 위해 연합 추론 프레임워크인 FedCoT를 제안합니다. FedCoT는 선택을 위한 경량 식별기(discriminator)와 결합된 가벼운 사고의 연쇄(Chain-of-Thought) 재샘플링, 그리고 이질성을 수용하면서 집합(aggregation) 노이즈와 통신량을 줄이기 위한 클라이언트 인식 LoRA 스태킹 및 가중 분류기 집합 기법을 결합합니다. 클라이언트는 후보 연쇄와 지도 신호를 로컬에서 생성하며, 서버에서는 경량 모듈만 집합됩니다. 의료 추론 벤치마크에 대한 실험 결과, FedCoT는 데이터를 로컬에 유지하고 프라이버시를 보호하면서도 빠듯한 자원 예산 하에서 일관된 성능 향상을 보여주어, 해석 가능하고 자원 효율적인 솔루션을 제공함을 입증했습니다. 연구 코드는 https://github.com/DIaacKr/FedCoT 에서 공개되어 있습니다.

arXiv:2508.05880v3cs.CL

인간이라기엔 너무나 범주적인: LLM과 인간의 감정 개념

Too Categorical to be Human: Emotion Concepts in LLMs and Humans

인간의 감정을 이해하는 것은 사용자를 대면하는 AI 애플리케이션, 안전성 정렬(safety alignment), 그리고 인간 행동 시뮬레이션의 핵심입니다. 감정적 자극이 대규모 언어 모델(LLM)의 중대한 행동을 형성함에 따라, 모델이 내부적으로 감정 개념을 어떻게 표현하는지에 대한 관심이 커지고 있습니다. 그러나 이러한 표현에 대한 기계론적 설명은 인간과 직접 비교하기 어렵습니다. 인간의 감정 처리는 고도로 분산되어 있어 상응하는 신경 표현을 도출하지 않기 때문입니다. LLM이 인간과 유사한 방식으로 감정 개념을 내재화하는지 이해하기 위해, 본 논문에서는 외부적 행동 특성(behavioral signatures)을 활용하여 감정이라는 추상적 개념을 규정하는 방식인 '행동 표현(behavioral representations)'을 제안합니다. 감정 상황을 해석 가능한 평가 차원에 따라 표현할 수 있게 해주는 인지 평가 이론(cognitive appraisal theory)을 활용하여, 15개 감정 범주에 걸친 감정적 시나리오 벤치마크 데이터셋을 구축합니다. 이 벤치마크를 통해 LLM과 인간으로부터 감정 개념의 행동 표현을 도출하고, 이들의 구조적 유사성을 연구합니다. 연구 결과, LLM은 인간보다 감정 개념을 더 범주적이고, 동질적이며, 확정적으로 표현하여, 단일 감정 개념을 더 적은 내부 다양성으로 표현하고 서로 다른 감정 간의 거리를 더 멀리 배치한다는 점을 발견했습니다. LLM 표현의 범주적 구조는 서로 다른 태스크 프레이밍 및 인구통계학적 페르소나를 포함한 맥락적 변화에도 견고함을 유지했습니다. 다양한 학습 단계의 모델 체크포인트를 분석한 결과, 이러한 표현의 이산화된 특성은 중간 학습(mid-training) 단계 이후부터 나타나며 다양한 사후 학습(post-training) 전략에 영향을 받지 않는다는 점도 확인했습니다. 본 연구 결과를 통해 LLM이 감정 개념을 행동적으로 표현하는 방식의 핵심적 차이를 강조하며, 인간의 감정 경험에 내재된 주관성이 억제되어 있음을 보여줍니다.

arXiv:2507.07426v4cs.AI

DrugMCTS: 멀티 에이전트, RAG 및 몬테카를로 트리 탐색을 결합한 신약 재창출 프레임워크

DrugMCTS: a drug repurposing framework combining multi-agent, RAG and Monte Carlo Tree Search

대규모 언어 모델(LLM)의 최근 발전은 신약 재창출(drug repositioning)과 같은 과학적 영역에서 상당한 잠재력을 보여주었습니다. 그러나 사전학습(pre-training) 과정에서 획득한 지식을 넘어서는 추론을 수행할 때 그 효과는 여전히 제한적입니다. 미세조정(fine-tuning)이나 검색-증강 생성(RAG)과 같은 기존 접근 방식은 높은 연산 오버헤드를 발생시키거나 구조화된 과학 데이터를 온전히 활용하지 못한다는 한계가 있습니다. 이러한 문제를 극복하기 위해, 본 논문에서는 신약 재창출을 위해 RAG, 멀티 에이전트 협업, 그리고 몬테카를로 트리 탐색(MCTS)을 시너지 효과가 나도록 통합한 새로운 프레임워크인 DrugMCTS를 제안합니다. 이 프레임워크는 분자 및 단백질 정보를 검색하고 분석하는 역할을 맡은 5개의 특화된 에이전트를 활용하여 구조화되고 반복적인 추론을 가능하게 합니다. DrugBank 및 KIBA 데이터셋에 대한 광범위한 실험을 통해 DrugMCTS가 범용 LLM 및 심층 학습(deep learning) 베이스라인 모두에 비해 상당히 높은 재현율(recall)과 견고성을 달성함을 입증합니다. 본 연구 결과는 신약 재창출을 위한 LLM 응용을 발전시키는 데 있어 구조화된 추론, 에이전트 기반 협업, 피드백 기반 탐색 메커니즘의 중요성을 강조합니다.

arXiv:2506.01732v4cs.CL

Common Corpus: LLM 사전학습을 위한 윤리적 데이터의 최대 규모 컬렉션

Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training

대규모 언어 모델(LLM)은 다양한 출처와 도메인에서 수집된 방대한 양의 데이터로 사전학습(pre-training)됩니다. 이러한 데이터셋(dataset)은 종종 수조 개의 토큰을 포함하며, 상당 부분이 저작권으로 보호되거나 독점적인 콘텐츠로 구성되어 있어 해당 모델의 법적 사용에 대한 의문을 제기합니다. 이는 데이터 보안 및 보호 규정을 준수하는 진정한 개방형 사전학습 데이터의 필요성을 강조합니다. 본 논문에서는 LLM 사전학습을 위한 최대 규모의 공개 데이터셋인 Common Corpus를 소개합니다. Common Corpus에 수집된 데이터는 저작권이 없거나 오픈 라이선스 하에 있으며, 총 약 2조 개의 토큰에 달합니다. 이 데이터셋은 고자원 유럽 언어부터 사전학습 데이터셋에서 거의 다루어지지 않는 일부 저자원 언어에 이르기까지 매우 다양한 언어를 포함하고 있습니다. 또한 대량의 코드 데이터도 포함합니다. 포함된 도메인과 기간 측면에서 데이터 출처의 다양성은 다양한 지식 분야에 걸쳐 연구 및 창업 수요 모두를 위한 길을 열어줍니다. 본 논문에서는 데이터 수집의 상세한 출처와 데이터셋 필터링 및 큐레이션 세부 정보를 제시합니다. 우리는 Common Corpus로 두 개의 소형 언어 모델을 학습(training)시켰으며, 동일한 크기의 다른 모델들과 유사한 성능을 보임을 확인하여 본 데이터셋이 다국어 사전학습에 적합함을 입증했습니다. Common Corpus는 대규모 언어 모델에 관한 오픈 사이언스 연구 생태계에 중요한 기여를 제공합니다.

arXiv:2504.18225v2cs.CL

작은 추론 모델도 출처를 인용해야 한다: Pleias-RAG 모델 패밀리 소개

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

본 논문에서는 검색-증강 생성(RAG), 검색 및 출처 요약을 위한 새로운 세대의 소형 추론 모델을 소개합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 Common Corpus의 다양한 다국어 공개 출처 검색을 모사한 대규모 합성 데이터셋으로 중간 학습(mid-training)되었습니다. 이 모델들은 문자 그대로의 직접 인용을 통한 인용 및 그라운딩(grounding)을 기본적으로 지원하며 질의 라우팅(query routing), 질의 재작성(query reformulation), 출처 재순위화(source reranking)와 같은 RAG 워크플로우 관련 여러 기능들을 재통합합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 표준화된 RAG 벤치마크(HotPotQA, 2wiki)에서 40억(4B) 개 미만 매개변수의 소형 언어 모델(SLM)들을 능가하며, Qwen-2.5-7B, Llama-3.1-8B, Gemma-3-4B를 포함한 널리 쓰이는 대형 모델들과도 경쟁력 있는 성능을 보입니다. 또한 주요 유럽 언어 전반에서 일관된 RAG 성능을 유지하고 진술에 대한 체계적인 참고 문헌 그라운딩을 보장하는 현재까지 유일한 SLM입니다. 크기가 작아 제한된 인프라에서도 쉽게 배포할 수 있고 설계상 사실성(factuality)이 더 높기 때문에, 이 모델들은 생성형 AI의 다양한 새로운 활용 사례를 열어줍니다.

arXiv:2503.22764v3cs.CL공식 코드 · Papers with Code

마스크 미세조정을 통한 대규모 언어 모델 성능 향상

Boosting Large Language Models with Mask Fine-Tuning

대규모 언어 모델(LLM)은 일반적으로 주류 최적화 프로토콜에 통합됩니다. 그러나 모델의 무결성을 유지하는 것이 유의미한 성능을 위해 \textit{필수적}인지는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 가중치를 업데이트하지 않고도 모델의 구조적 무결성을 정교하게 깨뜨림으로써 놀랍게도 성능을 향상시킬 수 있음을 입증하는 새로운 LLM 미세조정 패러다임인 마스크 미세조정(Mask Fine-Tuning, MFT)을 소개합니다. MFT는 표준 LLM 미세조정 목적 함수를 감독 신호로 사용하여, 잘 최적화된 모델에 적용할 이진 마스크를 학습하고 적용합니다. 완전히 미세조정된 모델을 기반으로, MFT는 동일한 미세조정 데이터셋을 활용하여 여러 도메인 및 백본 전반에서 일관된 성능 향상을 달성합니다(예: LLaMA2-7B/3.1-8B 기반 IFEval에서 평균 2.70/4.15 향상). 상세한 절제 연구(ablation study) 및 분석을 통해 희소 비율(sparse ratio)과 손실 표면(loss surface)을 포함한 다양한 관점에서 제안된 MFT를 검토합니다. 또한 잘 훈련된 모델에 적용할 경우, MFT는 다른 LLM 최적화 절차와도 호환되어 전반적인 모델 성능을 향상시킵니다. 나아가 본 연구는 모델 압축을 위한 네트워크 가지치기에서의 전통적 용도를 넘어 마스킹 연산을 확장하여 더 광범위한 모델 역량을 아우르도록 합니다.

arXiv:2409.19979v4cs.IR공식 코드 · Papers with Code

LLM 기반 추천 모델에서 고차 상호작용 인식 향상

Enhancing High-order Interaction Awareness in LLM-based Recommender Model

대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.