PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21961v1cs.CL

문서 기반 팟캐스트 생성의 충실성 개선

On Improving Faithfulness of Podcasts from Documents

대규모 언어 모델(LLM)은 텍스트 소스로부터 팟캐스트와 같은 장문 대화형 콘텐츠를 생성하는 데 점점 더 많이 사용되고 있다. 이러한 시스템은 유창하고 매력적인 내러티브를 생성하지만, 종종 그라운딩되지 않은(ungrounded) 정보를 도입한다. 본 연구에서는 문서 기반(document-grounded) 팟캐스트 생성에서의 충실성(faithfulness)에 대한 최초의 체계적 연구를 제시하며, 여기서는 장문 다중 화자 트랜스크립트의 대화 턴(conversational turns) 전반에 걸쳐 그라운딩(grounding)이 유지되어야 한다. 우리는 5개 도메인에 걸친 1,500개 이상의 문서로 데이터셋을 구축하고, 여러 LLM을 사용하여 팟캐스트 트랜스크립트를 생성한다. 우리는 대화 턴이 원본 문서에 의해 뒷받침되는지 평가하기 위한 턴 수준 LLM-as-a-judge 프레임워크를 도입하고, 인간 연구를 통해 그 신뢰성을 검증한다. 분석 결과, GPT-4o를 포함한 최신(state-of-the-art) 모델조차도 빈번하게 그라운딩되지 않은 콘텐츠를 생성함을 보여준다. 이 문제를 완화하기 위해, 우리는 대화 흐름을 유지하면서 비충실한 대화 턴을 탐지하고 재작성하는 모델 불가지(model-agnostic) 프레임워크인 catch-n-repair를 제안한다. 실험은 도메인 내(in-domain) 및 도메인 외(out-of-domain) 설정 모두에서 충실성의 일관된 개선을 보여준다.

arXiv:2607.21936v1cs.CL

검색-증강 생성 대규모 언어 모델을 활용한 외부 지식 기반 역사 문서 복원

Leveraging External Knowledge for Historical Document Restoration via Retrieval-Augmented Large Language Models

역사 문서는 귀중한 지식 아카이브 역할을 하지만, 물리적 열화와 손상으로 인해 종종 판독이 어려운 상태에 놓인다. 마스크 언어 모델링(masked language modeling) 기반의 기존 복원 방법은 지역적 문맥을 효과적으로 활용하지만, 외부 역사 지식이 필요한 개체명(named entities) 복원에는 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 검색-증강 생성(RAG)을 갖춘 대규모 언어 모델(LLM)을 활용하는 역사 문서 복원을 위한 새로운 프레임워크를 제안한다. 사전학습(pre-training)된 LLM의 암묵적 지식과 명시적으로 검색된 외부 컨텍스트를 결합함으로써, 우리의 모델 ARI는 문맥 의존적 고유명사를 추론하는 문제를 효과적으로 완화한다. 한국 역사 문서에 대한 광범위한 실험 결과, 우리의 접근법이 베이스라인을 크게 능가하며 일반 문자와 개체명 복원 모두에서 상당한 성능 향상을 달성함을 보여준다. 또한 전문가 평가를 포함한 종합적인 평가를 통해 ARI가 도메인 전문가를 위한 실용적인 도구로 기능하며, 역사 기록 분석을 가속화할 것임을 확인하였다.

arXiv:2607.21887v1cs.HC

학습자 수준에 적합한 체화된 대화형 에이전트를 활용한 외국어 불안 감소 연구

Towards Reducing Foreign Language Anxiety Using Level-Appropriate Embodied Conversational Agents

외국어 불안(FLA)은 특히 대화 맥락에서 제2언어 습득(SLA)의 주요 장벽이 될 수 있다. 생활 전반에 걸쳐 대규모 언어 모델(LLM)이 확산됨에 따라, 최근 연구는 LLM 에이전트와의 상호작용이 SLA 및 외국어 교육 분야, 특히 FLA 감소에 중요한 역할을 할 수 있음을 시사한다. 관련 연구는 또한 언어적 요구와 과제 복잡성이 FLA의 예측 변수가 될 수 있음을 제시하며, 이는 요구 수준이 높고 복잡한 언어의 사용이 학습자에게 더 높은 FLA를 유발할 수 있음을 의미한다. 본 논문에서는 영어 학습자를 위한 학습자 수준에 맞는 대화를 생성하는 새로운 다중 에이전트 체화 대화 시스템을 제안한다. 이러한 수준은 비원어민 청자 및 화자의 숙련도를 설명하기 위해 유럽 공통 참조 틀(CEFR)에서 정의한 것을 기반으로 한다. 여러 LLM 에이전트와 수준 분류기를 활용한 "생성-평가-재생성" 루프를 통해, 사용자의 숙련도 수준에 적응하는 원하는 단순성을 달성한다. 또한 일본 대학생을 대상으로 이 시스템을 테스트하여 단순화되지 않은 체화 대화형 에이전트보다 더 낮은 FLA 수준을 산출하는지 확인한 예비 소규모 파일럿 연구 결과를 공유한다. 대화 출력 분석 결과, 제안된 다중 에이전트 시스템이 생성한 대화 문장의 87.4%가 학습자의 자기 평가 숙련도로 예측된 CEFR 수준의 ±1 수준 이내에 있었으며, 단순화되지 않은 에이전트의 경우 54.1%였다. 이는 새로운 시스템이 학습자에게 더 적절한 수준의 출력을 생성할 수 있음을 시사한다. 본 연구는 표본 크기가 작아 일본인 영어 학습자의 FLA 수준을 시스템이 감소시킨다는 통계적으로 유의미한 증거를 제공하지 못했으나, 향후 연구를 위한 사용성 발견과 문화적으로 고려된 설계 통찰을 제공한다.

arXiv:2607.21780v1cs.CL

Khondo: 방글라 양식 문서 패킷 분할을 위한 멀티모달 벤치마크

Khondo: A Multimodal Benchmark for Document Packet Splitting of Bangla Forms

문서 패킷(여러 문서가 하나의 파일로 연결된 것)은 정부 및 행정 업무 흐름에서 흔하지만, 이를 구성 문서로 분할하는 것은 특히 저자원 언어에서 어렵다. 우리는 Khondo(방글라어로 분할/세그먼트를 의미)를 소개한다. 이는 방글라데시 정부 양식에 대한 문서 패킷 분할의 첫 번째 벤치마크이다. 기존의 영어 및 OCR 텍스트 기반 데이터셋과 달리, Khondo는 이중언어(방글라–영어)이며 비전 네이티브(vision-native)로, 모델이 페이지 이미지에 직접 작동한다. 순차적 연결부터 완전 무작위 섞기까지 다섯 가지 연결 방식을 14개 행정 도메인에 걸쳐 포함하며, 정답 경계, 도메인 유형, 페이지 순서를 제공한다. 멀티모달 대규모 언어 모델(MLLM)의 제로샷 평가는 페이지를 원본 문서로 클러스터링하는 데는 비교적 잘 수행하지만, 섞인 후 원래 페이지 순서를 복원하는 데는 어려움을 겪는다는 것을 보여준다. 이 어려움의 원인을 분리하기 위해, 프롬프트 지시를 바꾸고 이어서 패킷 언어를 바꾸는 두 가지 통제 분석을 수행한다. 둘 다 주로 클러스터링보다는 순서 정렬에 영향을 미친다: (a) 명시적 페이지 순서 지시는 필요하지만 충분하지 않으며, (b) 영어 패킷이 방글라 패킷보다 더 안정적으로 순서가 정렬되어, 페이지 배열이 지배적 과제이고 언어는 부차적이지만 일관된 요인임을 보여준다. Khondo는 페이지 순서 재구성을 비전 기반 저자원 문서 이해의 핵심 미해결 문제로 확립하고, 이를 해결하기 위한 진전을 측정할 수 있는 통제된 벤치마크를 제공한다. 데이터셋과 코드는 https://huggingface.co/datasets/Mausul/khondo 에서 이용할 수 있다.

arXiv:2607.21774v1cs.CL

Natural Language Autoencoder를 이용한 Qwen2.5-7B의 잠재적 콜롬비아 정체성 추론 프로빙

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

대규모 언어 모델(LLM)은 해당 속성이 명시적으로 진술되지 않은 경우에도 미묘한 언어적 단서로부터 인구통계학적 속성을 추론할 수 있다. 본 파일럿 연구는 Qwen2.5-7B-Instruct가 콜롬비아 스페인어 및 영어 프롬프트를 처리할 때 콜롬비아 정체성, 사회경제적 지위, 또는 고정관념 관련 정보를 내부적으로 표상하는지 조사한다. 우리는 프롬프트당 네 가지 위치 사분위(positional quartile)에 걸쳐 20번째 층의 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Natural Language Autoencoders(NLA)를 사용한다. 우리 데이터셋은 명시적 콜롬비아 단서, 암시적 콜롬비아 단서, 중립 통제를 아우르는 15쌍의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트를 포함한다. 우리는 통계적으로 검정력이 충분한 효과보다는 기술적 비율과 정성적 증거를 보고하며, 모델 출력에서 언어화되기 전에 잠재적 국적 또는 고정관념 표상이 나타나는지에 초점을 맞춘다. 본 연구는 활성화 수준의 해석 가능성(interpretability)과 소외된 스페인어 변종(varieties)에 대한 바이어스 평가를 연결한다.

arXiv:2607.21632v1cs.CL

대규모 언어 모델의 상대적 선호도 평가를 위한 합의 기반 프레임워크

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

대규모 언어 모델(LLM)의 전통적인 벤치마크는 주로 정적 데이터셋과 객관적 채점 지표에 의존하며, 여러 답이 허용되는 경우 응답 품질의 차이를 포착하지 못하는 경우가 많다. 이러한 설정에서는 정확성만으로는 명확성, 완전성, 유용성에서 차이가 나는 응답들을 구별하기에 불충분하다. 본 논문은 절대적 정확성이 아닌 모델 생성 응답 간 상대적 선호도를 측정하는 합의 기반 평가 프레임워크를 제안한다. 고정된 정답(ground truth)에 대해 출력을 평가하는 대신, 다양한 LLM 패널이 동일한 프롬프트에 대한 익명화된 후보 응답을 어떻게 순위 매기는지 평가한다. 이 접근법은 블라인드 조건 하에서 인지된 응답 품질에 대한 대리(proxy) 지표로 모델 간 집계 합의를 취급한다. 프로그래밍, 일반 지식, 안전성, 논리적 추론, 수학 등 여러 도메인에 걸쳐 최신 LLM 5개를 사용한 통제 실험을 수행한다. 각 모델은 응답을 생성하고 구조화된 투표 과정을 통해 동료 모델의 출력을 독립적으로 순위 매긴다. 점수는 상대적 지능 지수(Relative Intelligence Index, RII)로 집계되며, 이는 다른 모델들이 해당 모델의 응답을 얼마나 자주 선호하는지를 나타낸다. 실험 결과는 도메인 전반에 걸쳐 일관된 선호 패턴을 보여주며, 특정 모델이 동료 모델들로부터 더 자주 높은 순위를 받는다. 그러나 이러한 결과가 객관적 정확성이나 인간 판단이 아니라 모델 간 선호 정렬을 반영함을 강조한다. 이 프레임워크는 확장 가능한 모델 주도 비교 평가 방법을 제공하며, 여러 유효한 답이 존재하는 시나리오에서 응답 품질에 대한 대안적 관점을 제시한다. 인간 평가와 직접적으로 일치하지는 않지만, 선행 연구는 집계된 모델 선호가 인간 판단과 부분적으로 상관될 수 있음을 시사하며, 이를 대리 신호로 활용할 근거가 된다.

arXiv:2607.21619v1cs.CL

적대적 스타일 최적화: GRPO 기반 스타일 트리거 최적화를 통한 VLM 탈옥 강화

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

다중모달 대규모 언어 모델(MLLM)은 인상적인 성능을 달성했지만, 안전성 정렬(alignment)은 여전히 탈옥(jailbreak) 공격에 취약하다. 기존 콘텐츠 기반 탈옥은 종종 일관성이 부족하고 빠르게 진화하는 MLLM에 대해 만족스럽지 못한 성능을 보이며, 콘텐츠 기반이 아닌 취약점을 활용하지 못한다. 이전 연구와 달리, 우리는 MLLM이 이해 능력과 안전 능력 사이에 스타일적 불일치(Stylistic Inconsistency)를 보인다는 것을 실증적으로 발견했다. MLLM은 시각적 스타일과 무관하게 콘텐츠를 견고하게 이해할 수 있지만, 방어 메커니즘은 특정 스타일적 트리거에 의해 쉽게 우회될 수 있다. 이 발견을 바탕으로 우리는 적대적 스타일 최적화(Adversarial Style Optimization, ASO)를 제안한다. ASO는 기존 시각적 탈옥을 증폭하는 플러그 앤 플레이(plug-and-play) 향상 모듈로, Group Relative Policy Optimization(GRPO) 에이전트가 구조적 계층형 보상 함수(Structurally-Tiered Reward Function)의 안내를 받아 이미지 편집 모델을 파인튜닝(fine-tuning)하여, 주어진 적대적 이미지에 최적화된 스타일 수정을 중첩한다. 이 보상 함수는 명시적 거부를 탐지하는 로짓 기반 신호와 강력한 판단 모델의 고충실도 의미 평가를 결합한다. 광범위한 실험 결과 ASO가 SOTA 공격의 공격 성공률(ASR)을 크게 향상시킴을 보여 주며, 스타일적 편향이 MLLM 레드팀 테스팅(red-teaming)을 위한 확장 가능한 벡터임을 입증한다. 코드는 https://github.com/bingjunluo/ASO 에서 이용 가능하다.

arXiv:2607.21608v1cs.SE

의무에서 명세로: RE에서 EU AI Act 요구사항 검증에 관한 서베이

From Obligation to Specification: A Survey on Validating EU AI Act Requirements in RE

EU AI Act가 발효됨에 따라 AI 시스템을 개발하거나 운영하는 조직은 투명성, 위험 관리, 추적 가능성(traceability)에 대한 새로운 의무를 직면하게 된다. 요구사항 공학(RE) 관점에서 이러한 의무는 테스트 가능하고 감사 가능한 요구사항 및 검증 가능한 증거로 변환되어야 한다. 그러나 많은 조직은 현재 이를 달성하기 위한 체계적인 프로세스가 부족하다. 우리는 대규모 언어 모델(LLM) 기반 에이전트 검증 도구가 이러한 변환을 지원하여 이 격차를 해소하는 데 도움이 될 수 있다고 가설한다. 우리는 EU AI Act 지향 RE를 위한 조직의 준비 상태와 LLM 기반 에이전트 폐루프(closed-loop) 검증 도구에 대한 인식을 평가하기 위해 전문가 인터뷰(N=10)와 온라인 설문조사(N=15)를 포함한 혼합 방법 탐색 연구를 수행한다. 참가자는 RE, 데이터 과학, 개발, 컴플라이언스 역할에 걸쳐 있다. 결과는 EU AI Act가 매우 관련성이 높다고 여겨지지만, 규제 의무를 포착하고 프로젝트에 업데이트를 전파하며, 생명주기 전반에 걸친 추적 가능성과 증거를 유지하는 구조화된 메커니즘이 종종 부재함을 보여준다. 참가자들은 LLM 기반 도구가 의무를 요구사항에 매핑하고, 커버리지를 평가하며, 증거를 조직하는 데 유망하다고 보면서도 완전 자동화에 대한 강한 우려를 표명하고 안전장치(safeguards)의 필요성을 강조한다. 이러한 발견을 바탕으로 우리는 EU AI Act 대응 폐루프 접근법을 위한 최소 요구사항을 개략적으로 제시한다.

arXiv:2607.21143v2cs.CL

한 턴 더, 후회는 덜: LLM 명확화 정책을 위한 후회 기반 다중 턴 벤치마크

One More Turn, Less Regret: A Regret-Based Multi-Turn Benchmark for LLMs' Clarification Policies

모호한 사용자 요청은 대화형 LLM 어시스턴트에게 명확화를 순차적 의사결정 문제로 만든다. 어시스턴트는 물을지 여부, 무엇을 물을지, 언제 멈출지, 언제 답할지를 결정해야 한다. 우리는 RegretBench를 소개한다. 이는 고립된 질문 품질이 아니라 정책 행동으로서의 명확화를 평가하는 다중 턴 벤치마크이다. RegretBench는 모호성에 대한 숨겨진 의도(hidden-intent) 공식화를 제공하고, 의미 상태 추적(semantic-state tracking)에 기반한 자유 형식 상호작용을 지원하며, 참조 명확화 정책 대비 모델이 잃는 가치를 측정하는 후회(regret) 기반 목적 함수를 도입한다. 오픈 도메인 QA와 제품 추천 시나리오에서의 실험은 최종 성공만으로는 불충분함을 보여준다. 유사한 정확도를 가진 모델도 효율성, 사용자 행동에 대한 견고성, 중단 결정에서 상당히 다를 수 있기 때문이다. 의도 해소(intent resolution), 상호작용 비용, 비효과적 명확화, 후회를 함께 측정함으로써 RegretBench는 모델이 유용하고 효율적으로 명확화하는지를 드러낸다. 우리 결과는 효과적인 명확화가 그럴듯한 질문 이상을 요구함을 보여준다. 모델은 적절한 시점에 올바른 질문을 해야 하며, 사용자의 의도된 의미가 명확해지면 중단해야 한다.

arXiv:2607.20803v2cs.CL

성격의 기하학: 융(Jung) 인지 기능을 이용한 활성화 스티어링

The Geometry of Personality: Activation Steering with Jungian Cognitive Functions

활성화 스티어링(activation steering)은 대규모 언어 모델(LLM)의 제어와 해석을 가능하게 하지만, 기존 연구는 주로 Big Five와 같은 정적 특성(trait) 프레임워크를 통해 성격을 모델링한다. 본 연구에서는 성격을 대신 8가지 융(Jung)의 인지 기능(Jungian Cognitive Functions)을 이용한 일련의 인지 과정으로 표현하고 제어할 수 있는지 조사한다. 이를 위해 융 평가 프로토콜과 2,100개 이상의 역할극 캐릭터 서술로 구성된 데이터셋을 포함하는 프레임워크를 제안한다. Llama-3.1-8B에 대한 활성화 스티어링 벡터 추출 및 평가 실험은 활성화 스티어링을 통해 8가지 인지 기능 모두에 대해 효과적인 단조(monotonic) 제어가 가능함을 보여준다. 제어 가능성(controllability)을 넘어, 분석 결과는 다음을 밝힌다. 1. 성격 정보는 트랜스포머의 중간 층에 집중되어 있다. 2. 스티어링 벡터는 이성적(rational) 기능과 비이성적(irrational) 기능 간의 구분과 일치하는 구조화된 기하학적 관계를 보인다. 3. 효과적인 다차원 스티어링 방향은 단일 기능 방향의 선형 결합(linear combination)으로 복원할 수 없다. 이러한 결과는 LLM 활성화 공간(activation space)에서의 성격 표현에 대한 새로운 통찰을 제공하며, 해석 가능하고(interpretable) 효과적이며(effective) 다차원적인(multi-dimensional) 성격 제어를 연구하기 위한 프레임워크를 확립한다.

arXiv:2607.10428v2cs.CL

Enjoy Your Talk: 분리형 사용자 시뮬레이션, 타깃 모델링, 판정을 갖춘 인간 중심 다중 턴 대화 벤치마크

Enjoy Your Talk: A Human-Centered Benchmark for Multi-Turn Dialogue with Decoupled User Simulation, Target Modeling, and Judging

대규모 언어 모델(LLM)을 다중 턴 대화 상대로 평가하려면 단일 턴 벤치마크가 놓치는 역량을 탐색해야 한다: 페르소나 일관성, 진화하는 의도 추적, 감정 역학, 그리고 여러 턴에 걸친 목표 달성. 우리는 EYT-Bench를 제안한다. 이는 인간 중심 벤치마크로, 평가 프로토콜이 분리된 3자 설계를 중심으로 구성된다: 페르소나에 그라운딩된 사용자 시뮬레이터, 의도 인식과 응답 생성 모두에서 평가되는 타깃 모델, 그리고 독립적이고 설정 가능한 LLM 판정자 앙상블. 17개 타깃 모델에 걸친 3,400개 대화에서 EYT-Bench는 이전 벤치마크가 놓친 네 가지 발견을 드러낸다: (i) 최첨단 폐쇄형 및 오픈소스 모델은 주관적 차원에서 통계적으로 구별되지 않지만, 객관적 의도 추적에서는 최대 9배까지 차이가 난다; (ii) 추론(reasoning)은 긴 컨텍스트 페르소나에서 객관적 추적의 상전이(phase transition)이지만 주관적 점수에서는 본질적으로 평탄하다; (iii) 페르소나 형식은 궤적 분산에 강하게 영향을 미치며, FICR(final-intent completion rate, 최종 의도 완료율)은 Nemotron-USA에서 0.95 이상으로 포화되지만 PersonaMem-v2에서는 0.53에서 0.88까지 범위를 보인다; (iv) 워밍업 효과(warm-up effect)는 17개 모델 중 16개에서 관찰된다.

arXiv:2607.02770v2cs.CL

Gemma 4 기술 보고서

Gemma 4 Technical Report

우리는 Gemma 모델 패밀리의 새로운 세대인 오픈 가중치(open-weight) 네이티브 멀티모달 언어 모델 Gemma 4를 소개한다. 컴퓨팅 효율성과 추론 능력 향상을 목표로 설계된 Gemma 4 모델 스위트는 2.3B에서 31B 파라미터에 이르는 밀집(dense) 및 전문가 혼합(MoE) 아키텍처를 갖춘다. 전 모델 크기에 걸쳐 향상된 비전 및 오디오 인코더와 함께, 원시 오디오 및 이미지 패치를 직접 입력받는 12B 모델을 위한 통합 인코더-프리(encoder-free) 아키텍처를 제안한다. 또한 사고 모드(thinking mode)를 통합하여 Gemma 모델이 응답 전에 추론 트레이스(reasoning trace)를 생성할 수 있도록 한다. 핵심적인 설계 선택을 통해 추론(inference) 속도, 메모리, 컴퓨팅 효율성 및 장문 컨텍스트 처리 능력을 개선하였다. Gemma 4는 STEM, 멀티모달, 장문 컨텍스트 벤치마크 전반에서 성능의 비약적 향상을 달성하며, 인간 평가 태스크에서 더 대규모의 프론티어 오픈 모델들에 필적하는 수준을 보인다.

arXiv:2606.20295v2cs.SE

대규모 모델을 위한 토큰 운용 지향 추론 최적화 기술

Token-Operations-Oriented Inference Optimization Techniques for Large Models

대규모 모델 추론 최적화는 대규모 모델 서비스의 확장 가능하고, 저렴하며, 매우 안정적인 운영을 지원하는 핵심 기반 역할을 합니다. 본 논문은 토큰 지향 추론 최적화 기술을 중심으로, 다중 모델 융합(Multi-model Fusion), 모델 최적화(Model Optimization), 컴퓨팅-모델 융합(Compute-Model Fusion), 및 컴퓨팅-네트워크-모델 융합(Compute-Network-Model Fusion)으로 구성된 4층 기술 아키텍처를 처음으로 제안합니다. 이 논문은 이 4개 층에 걸쳐 있는 핵심 기술과 현재 산업 현황을 체계적으로 검토하고, 실제 비즈니스 시나리오에서 관련 기술의 응용 가치를 분석합니다. 본 논문은 토큰 생성 비용 절감, 토큰 서비스 효율성 향상, 토큰 공급의 안정성 보장, 그리고 대규모 모델 서비스를 단순 호출 가능한 상태에서 운용 가능한 상태로 전환하는 데 필요한 실용적인 기술 경로를 제공합니다.

arXiv:2605.01006v3cs.CL

AI가 뉴스의 편향을 줄일 수 있는가? LLM 개입은 당파 간 수용성을 높이지만 LLM은 자신의 효과를 과대평가한다

Can AI Debias the News? LLM Interventions Improve Cross-Partisan Receptivity but LLMs Overestimate Their Own Effectiveness

당파적 뉴스 매체는 당파를 넘나드는 신뢰를 약화시키지만, 대규모 언어 모델(LLM)은 이러한 콘텐츠의 편향을 대규모로 완화할 잠재력을 제공한다. 사전 등록된 두 실험에서, 진보 뉴스 헤드라인에 대한 LLM 생성 탈편향화가 보수 독자의 신뢰 관련 판단을 개선하는지 검증했다. 연구 1에서 미묘한 어휘적 탈편향화(감정적 단어를 중립적 동의어로 대체)는 어떤 결과 변수에도 영향을 미치지 않았다. 연구 2에서는 보다 실질적인 재구성 개입이 보수 독자가 진보 뉴스 헤드라인에 대해 느끼는 신뢰성, 완전성, 참여 의향을 유의미하게 높였으며, 진보 독자에게 역효과(backfire effect)를 일으키지 않았다. 연구 1에서 해당 개입은 여섯 가지 모델(o3-mini, o3, GPT-4o mini, GPT-4o, GPT-5 mini, GPT-5)로 시뮬레이션한 실리콘 참가자(silicon participants)에게는 견고한 효과를 보였으나, 실제 인간 독자에게는 영향을 미치지 않았다. 연구 2에서는 실리콘 참가자에서 관찰된 개입 효과가 전반적으로 인간 반응과 방향적으로 일치했으나 일부 결과에서는 유의미하게 더 컸고, 세 모델(o3, GPT-4o mini, GPT-4o)은 인간에게는 나타나지 않은 진보측 역효과를 잘못 예측했다. 조절(moderation) 분석에 따르면, 모델들이 암묵적으로 가정한 ‘누가 탈편향화에 반응하는가’에 대한 이론은 실제로 인간의 반응성을 예측한 심리적 프로필과 달랐다. 특히 연구 2에서, 여섯 모델 각각으로 시뮬레이션한 참가자들은 정치적 내집단(political in-group) 동일시가 높은 참가자일수록 탈편향화 효과가 더 클 것이라고 시사했으나, 인간 참가자에서는 그러한 조절 효과가 관찰되지 않았다. 이 결과는 LLM 기반 탈편향화가 표면적 언어보다 이념적 프레이밍을 대상으로 할 때 당파 간 수용성을 개선할 수 있음을 보여주지만, 현재 모델들은 인간의 감독 없이 자신의 개입을 평가하기에 필요한 정량적 정확성과 질적 심리적 충실성을 모두 갖추지 못함을 시사한다.

arXiv:2603.07025v2cs.CL

ASR 전용 지도 기반 다국어 지시 따르기 음성 LLM을 위한 언어 인식 증류

Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

여러 언어로 지시를 이해하고 따르는 음성 대규모 언어 모델(Speech LLM)은 실제 상호작용에 유용하지만, 지도 미세조정으로 학습하기 어려워 대규모의 과제별 음성 코퍼스가 필요하다. 최근 증류 기반 접근법은 경량 프로젝터만으로 텍스트와 음성을 정렬하여 주석이 달린 ASR 데이터만으로 성능이 좋은 영어 전용 Speech LLM을 학습시키지만, 공유 프로젝터에서의 언어 간섭으로 인해 다국어 설정으로 확장할 때 성능이 저하된다. 이를 해결하기 위해 쿼리 뱅크와 Q-Former 프로젝터를 사용하여 쿼리 토큰을 선택하거나 혼합하는 게이팅 네트워크를 활용한 언어 인식 증류를 제안한다. 우리 접근법은 지시 따르기에서 동등한 다국어 증류 기준선 대비 14%의 향상을 보인다. 또한 MLQA를 기반으로 고품질 TTS 질문으로 구성된 다국어 음성 QA 벤치마크인 Audio-MLQA를 합성한다. 최고 성능 모델은 Audio-MLQA에서 기존 Speech LLM 기준선 대비 32% 향상된다.

arXiv:2601.08160v2cs.CL

SwiftMem: 쿼리 인식 인덱싱을 통한 빠른 에이전트 메모리

SwiftMem: Fast Agentic Memory via Query-aware Indexing

에이전트형 메모리 시스템은 LLM 에이전트가 장기 문맥을 유지하고 관련 정보를 효율적으로 검색할 수 있게 하는 데 핵심적이 되었다. 그러나 기존 메모리 프레임워크는 저장 층이 HNSW와 같은 효율적인 벡터 인덱스로 뒷받침되는 경우에도 전체 메모리 임베딩 공간에 대해 쿼리와 무관한(query-agnostic) 검색을 수행하는 경우가 많다. 이 전체 범위 검색 경로는 메모리가 커질수록 지연 병목을 만들어 실시간 에이전트 상호작용을 방해한다. 우리는 SwiftMem을 제안한다. 이는 시간적 및 의미적 차원에 대한 특화 인덱싱을 통해 검색 범위를 쿼리 관련 메모리 부분집합으로 좁히는 쿼리 인식 에이전트형 메모리 시스템이다. 우리의 시간적 인덱스는 시간에 민감한 검색을 위한 로그 시간 범위 쿼리를 가능하게 하며, 의미적 DAG-Tag 인덱스는 계층적 태그 구조를 통해 쿼리를 관련 주제에 매핑한다. 성장 과정에서의 메모리 단편화를 해결하기 위해, 우리는 의미적 클러스터를 기반으로 저장소를 재구성하여 지역성을 개선하는 임베딩-태그 공동 통합(co-consolidation) 메커니즘을 도입한다. LoCoMo와 LongMemEval$_S$에서 SwiftMem은 강력한 HNSW 기반 메모리 시스템 대비 경쟁력 있는 LLM-judge 정확도를 유지하면서 10.8/12.7 ms 검색 지연 시간을 달성한다. 보정된 벤치마크인 LoCoMo Refined에서 SwiftMem은 최상위 LLM-judge 점수에 근접한 수준을 유지하면서 한 자릿수(order-of-magnitude) 지연 시간 우위를 보존한다.

arXiv:2601.03190v4cs.CL

중요한 지점에서 국소 엔트로피 극대화: 접두 문맥 인식 국소 LLM 언러닝

Maximizing Local Entropy Where It Matters: Prefix-Aware Localized LLM Unlearning

기계 언러닝(machine unlearning)은 대규모 언어 모델(LLM)에서 민감한 지식을 잊으면서 일반적인 유용성을 유지하는 것을 목표로 한다. 그러나 기존 접근법은 일반적으로 응답의 모든 토큰을 무차별적으로 다루고 전체 어휘(vocabulary)에 걸쳐 불확실성을 강제한다. 이러한 전역적 처리는 불필요한 유용성 저하를 초래하고 콘텐츠와 무관한 영역까지 최적화를 확장한다. 이러한 한계를 해결하기 위해, 우리는 시간적 차원과 어휘 차원 모두에서 국소 엔트로피 극대화 목표에 의해 구동되는 프레임워크인 PALU(Prefix-Aware Localized Unlearning, 접두 문맥 인식 국소 언러닝)를 제안한다. PALU는 (i) 민감한 접두 문맥만 억제하는 것만으로도 인과적 생성 연결을 끊기에 충분하고, (ii) 상위-$k$ logits만 평탄화하는 것만으로도 핵심 부분공간에서 불확실성을 극대화하기에 충분하다는 것을 밝힌다. 이러한 발견은 PALU가 전체 어휘 및 매개변수 공간에 걸친 중복 최적화를 완화하면서 일반 모델 성능에 대한 부수적 피해를 최소화할 수 있게 한다. 종합적인 평가를 통해 PALU가 최신(state-of-the-art) 기준선 대비 우수한 망각 효과와 유용성 보존을 달성함을 검증한다. 코드는 https://github.com/nxZhai/PALU 에서 제공된다.

arXiv:2510.24668v2cs.CL

InteractComp: 모호한 질의를 통한 검색 에이전트 평가

InteractComp: Evaluating Search Agents With Ambiguous Queries

언어 에이전트는 웹 검색 및 정보 검색에서 뛰어난 잠재력을 보여주었다. 그러나 많은 검색 에이전트 벤치마크는 사용자 질의가 완전하고 모호하지 않다고 가정한다. 이 가정으로 인해 실용적인 실패 모드가 충분히 검증되지 않는다. 즉, 에이전트는 명확화 없이는 의도된 대상을 식별할 수 없는 모호한 요청에 직면할 수 있다. 그럼에도 대부분의 에이전트는 검색 과정 중 상호작용 메커니즘이 부족하며, 기존 벤치마크는 이러한 능력을 평가할 수 없다. 이 공백을 해소하기 위해, 우리는 검색 에이전트가 질의의 모호성을 인식하고 검색 중 이를 해소하기 위해 능동적으로 상호작용할 수 있는지 평가하도록 설계된 벤치마크인 InteractComp를 제안한다. '검증은 쉽게, 모호성 해소는 상호작용으로'라는 원칙에 따라, 우리는 상호작용을 통해서만 해결 가능한 통제된 모호성을 만드는 target-distractor 방법론을 통해 9개 도메인에 걸쳐 전문가가 큐레이션한 210개의 질문을 구성했다. 17개 모델 평가 결과 놀라운 실패가 드러났다. 최고 성능 모델도 완전한 컨텍스트에서는 71.50%인데 반해 정확도는 13.73%에 불과하며, 이는 추론 능력의 결함이라기보다 체계적인 과신을 드러낸다. 강제 상호작용은 극적인 성능 향상을 가져오며, 현재 전략이 활용하지 못하는 잠재적 능력이 있음을 보여준다. 종단 분석에 따르면, 검색 성능은 7배 향상된 반면 상호작용 능력은 15개월 동안 정체되었으며, 이는 중요한 사각지대를 드러낸다. 검색 작업에 내재된 즉각적 피드백과 결합된 이러한 정체 현상은 InteractComp를 검색 에이전트의 상호작용 능력을 평가하고 학습하는 데 모두 유용한 자원으로 만든다. 코드는 https://github.com/FoundationAgents/InteractComp 에서 확인할 수 있다.

arXiv:2508.12393v3cs.CL

MedKGent: 시간에 따라 진화하는 의료 지식 그래프 구축을 위한 대규모 언어 모델 에이전트 프레임워크

MedKGent: A Large Language Model Agent Framework for Constructing Temporally Evolving Medical Knowledge Graph

의료 문헌의 급속한 확장은 도메인 지식의 확장 가능한 구조화에 어려움을 준다. 지식 그래프(KG)는 해결책을 제공하지만, 현재의 구축 방법은 일반화 가능성이 부족하고 진화하는 지식의 시간적 역학을 무시한다. 이를 해결하기 위해, 시간에 따라 진화하는 의료 KG를 구축하기 위한 대규모 언어 모델(LLM) 에이전트 프레임워크인 MedKGent를 제안한다. 1975년부터 2023년까지 1천만 개 이상의 PubMed 초록을 사용하여, MedKGent는 두 개의 전문화된 에이전트를 통해 매일 KG를 점진적으로 구축한다. Extractor Agent는 지식 트리플을 식별하고 신뢰도 점수를 부여하며, Constructor Agent는 이러한 트리플을 시간적 그래프에 통합하여 반복되는 지식을 강화하고 충돌을 해결한다. 결과적으로 생성된 KG는 156,275개의 엔티티와 2,971,384개의 트리플을 포함하며, 우리가 아는 한 현재까지 가장 큰 LLM 기반 의료 KG이다. 자동화 평가와 전문가 평가 결과, 트리플 유효성 비율이 약 90%에 근접한 것으로 나타났다. 하류 평가에서 MedKGent-KG는 7개의 의료 질의응답 벤치마크에서 5개 LLM의 검색-증강 생성(RAG) 성능을 크게 향상시켰다. 종합하면, 이러한 결과는 MedKGent를 의료 지식 표현 및 문헌 기반 AI 연구를 위한 확장 가능하고 시간적 인식을 갖춘 인프라로 자리매김한다.

arXiv:2508.05618v2cs.CL

사실성을 위한 추론 학습

Learning to Reason for Factuality

추론 대규모 언어 모델(R-LLM)은 복잡한 추론 과제에서 크게 발전했지만, 사실성에서는 종종 어려움을 겪으며 장문 사실성 벤치마크에서 비추론 모델에 비해 상당히 더 많은 환각을 생성한다. 그러나 최근 R-LLM 발전의 핵심 요소인 온라인 강화학습(RL)을 장문 사실성 설정으로 확장하는 것은 신뢰할 수 있는 검증 방법의 부재로 인해 여러 고유한 과제를 제기한다. 이전 연구는 FActScore와 같은 자동 사실성 평가 프레임워크를 활용하여 오프라인 RL 설정에서 선호도 데이터를 구축했지만, 이러한 방법을 온라인 RL의 보상으로 직접 활용하면 덜 상세하거나 관련성이 낮은 응답을 생성하는 등 여러 방식의 보상 해킹이 발생함을 확인했다. 우리는 사실적 정밀도, 응답 상세도, 답변 관련성을 동시에 고려하는 새로운 보상 함수를 제안하고, 온라인 RL을 적용하여 고품질의 사실적 추론을 학습한다. 6개의 장문 사실성 벤치마크에서 평가한 결과, 우리의 사실적 추론 모델은 환각률을 평균 23.1%p 감소, 답변 상세도 23% 증가, 전체 응답 유용성 저하 없음을 달성했다.