PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.04144v3cs.AI

RippleBench: 기존 지식 저장소를 활용한 파급 효과 포착

RippleBench: Capturing Ripple Effects Using Existing Knowledge Repositories

언어 모델에 대한 타겟팅된 개입(intervention), 예를 들어 언러닝(unlearning)이나 모델 편집(model editing)은 특정 정보를 수정하는 것을 목표로 하지만, 그 효과는 종종 관련된 의도치 않은 영역으로 전파됩니다(예: 바이러스학 내용을 제거하면 알레르기 관련 성능이 저하될 수 있음). 이러한 부작용은 흔히 파급 효과(ripple effect)라고 불립니다. 본 논문에서는 지식 저장소에서 임의의 소스 개념에 대한 의미적 이웃(semantic neighbors)을 검색하고 다양한 의미적 거리에서 객관식 질문을 생성하는 자동 파이프라인인 RippleBench-Maker를 소개합니다. 영어 위키피디아 기반의 오픈소스 RAG 시스템인 WikiRAG를 사용하여 이 프레임워크를 구현함으로써 RippleBench-WMDP-Bio(584개 시드 토픽, 352,961개 질문)를 구축하고, Llama3-8B-Instruct에서 8가지 언러닝(unlearning) 방법을 평가했습니다. 8가지 방법 모두 언러닝된 타겟 근처에서 가장 크고 의미적 거리가 멀어질수록 감소하는 정확도 하락을 보였으며, 각각 독특한 전파 프로파일을 나타냈습니다. Mistral-7B, Zephyr-7B, Yi-34B에서도 이러한 발견을 재현했으며, 모델 간 델타 곡선이 거의 동일하여 파급 효과가 기본 모델의 특성이라기보다는 언러닝(unlearning) 방법의 특성임을 시사합니다. 4가지 실험으로 구성된 Mechanical Turk 연구(5,200개 이상의 응답, 61명의 작업자)를 통해 모든 주요 파이프라인 단계를 검증했습니다. 모든 코드, 데이터, 인프라를 공개합니다.

arXiv:2510.00492v3cs.AI

다중 도메인 테스트 타임 스케일링을 위한 보상 모델 재검토

Rethinking Reward Models for Multi-Domain Test-Time Scaling

대규모 언어 모델(LLM)의 테스트 타임 스케일링 과정에서 신뢰성은 종종 올바른 추론과 결함 있는 논리를 구별하는 외부 검증기(external verifiers) 또는 보상 모델로 평가된다. 기존 연구는 최종 답만 평가하는 결과 보상 모델(ORM)과 중간 추론 단계에 점수를 매기는 과정 보상 모델(PRM)을 모두 다루어 왔다. PRM은 더 세밀한 감독(supervision) 덕분에 유리하다고 종종 여겨지지만, 이를 뒷받침하는 증거의 상당 부분은 수학 인접(math-adjacent) 설정에서 나왔으며, 더 넓은 도메인에서의 상대적 이점은 여전히 불분명하다. 우리는 14개의 다양한 도메인에 걸쳐 판별형 ORM·PRM(dORM, dPRM)과 생성형 ORM·PRM(gORM, gPRM)이라는 네 가지 보상 모델 변형에 대한 최초의 통합 평가를 제시한다. 통념과 달리, (i) dORM은 dPRM과 대등한 성능을 보이고, (ii) gPRM은 경쟁력이 없으며, (iii) 전반적으로 gORM이 가장 견고하여 검증한 모든 도메인에서 유의미하고 일관된 향상을 제공한다는 것을 발견했다. gPRM의 열세 성능은 단계별 점수 매김 과정에 기인한다고 본다. 이 과정은 LLM 기반 자동 라벨링으로부터 라벨 노이즈를 물려받아, 자기 수정(self-correcting) 추론을 포함한 긴 추론 궤적을 평가하는 데 어려움을 초래한다. 이론적 분석과 실증적 관찰 모두, 단계별 집계는 추론 길이가 증가할수록 오류를 누적시킨다는 점을 보여준다. 이러한 결과는 세밀한 감독이 항상 더 낫다는 일반적 가정에 도전하며, 다중 도메인 배포를 위한 생성형 결과 검증을 뒷받침한다. 우리의 코드(https://github.com/db-Lee/Multi-RM)는 다중 도메인 설정에서의 향후 연구를 촉진하기 위해 공개되어 있다.

arXiv:2506.12339v2cs.HC

SheetMind: 스프레드시트 자동화를 위한 엔드투엔드 LLM 기반 멀티 에이전트 프레임워크

SheetMind: An End-to-End LLM-Powered Multi-Agent Framework for Spreadsheet Automation

우리는 자연어 지시를 통해 스프레드시트 자동화를 수행하는 대규모 언어 모델(LLM) 기반 모듈형 멀티 에이전트 프레임워크인 SheetMind를 제안한다. 본 논문에서는 세 가지 전문화된 에이전트로 구성된 계층적 에이전트 시스템을 소개한다: 복잡한 사용자 지시를 하위 작업으로 분해하는 Manager Agent, Backus-Naur Form(BNF) 문법을 사용하여 이를 구조화된 명령으로 변환하는 Action Agent, 그리고 생성된 동작과 사용자의 원래 의도 간 정렬을 검증하는 Reflection Agent. SheetMind를 GPT-3.5-Turbo로 221개 작업으로 구성된 SheetCopilot 벤치마크에서 평가한다. SheetMind는 100%의 실행 성공률과 54.8%의 기능적 정확도를 달성했으며, 완벽한 실행 신뢰성을 유지하면서 SheetCopilot(44.3%)을 능가했다. 또한 별도로 큐레이션한 데이터셋에서 ablation study를 수행하여, 전체 3-에이전트 구성이 모든 부분 구성보다 일관되게 우수한 성능을 보임을 확인했다. 마지막으로, Workspace 확장을 통해 우리 시스템을 Google Sheets에 통합한다.

arXiv:2607.11881v1cs.CL

대규모 언어 모델의 메타인지: 기초, 발전, 그리고 기회

Metacognition in LLMs: Foundations, Progress, and Opportunities

메타인지는 효과적인 학습, 문제 해결, 의사결정, 소통 등에 있어 핵심적인 지능의 구성 요소다. 최근 몇 년간 메타인지는 유능하고 투명한 AI 시스템의 근간으로 점점 더 주목받고 있다. 그러나 대규모 언어 모델(LLM)이 다양한 실세계 과제에서 상당한 발전을 이루었음에도 불구하고, LLM이 효과적인 메타인지 능력을 언제, 어떻게, 어느 정도까지 발휘하거나 갖출 수 있는지, 또한 그러한 능력이 AI 시스템의 근본적인 역량, 신뢰성, 지능을 향상시키는 데 어떻게 활용될 수 있는지는 아직 명확하지 않다. 본 논문은 LLM의 메타인지에 관한 현재 지식 상태를 최초로 포괄적으로 개관함으로써 이 간극을 해소한다. 우리는 이 신흥 분야의 전반적인 연구 지형을 분석하고 분류하며, LLM의 메타인지 능력을 측정·평가하는 방법 및 벤치마크, LLM에서 메타인지를 유도·개선·적용하는 기법, 그리고 진행 중인 연구의 발견과 시사점을 포함한 최근의 기술적 발전을 요약한다. 또한 응용 사례, 미해결 문제와 도전 과제, 향후 연구의 유망한 방향도 논의한다. 본 논문의 목적은 이 주제에 대한 상세하고 최신의 리뷰를 제공하고 의미 있는 연구와 논의를 촉진하는 것이다. 정리된 논문 목록은 https://github.com/yale-nlp/LLM-Metacognition 에서 확인할 수 있다.

arXiv:2607.11873v1cs.CL

검증된 교육 피드백 분류 프로토콜의 내구성 및 교차 언어 전이 벤치마크

A Durability and Cross-Language Transfer Benchmark for a Validated Teaching-Feedback Classification Protocol

기관들은 개방형 교육 평가 피드백을 읽는 양보다 훨씬 많이 수집한다. 선행 연구에서는 이러한 의견을 주제 범주와 감성으로 분류하는 검증된 프로토콜을 도입했으며, 이는 문서화된 어노테이션 가이드, 어노테이터 내부 신뢰도 측정, 층화 교차 검증, 동결 인코더 설계를 사용한 스페인어 기관 코퍼스의 홀드아웃 평가를 기반으로 구축되었다. 두 가지 의문점이 재사용을 제한한다: 2019년대 동결 임베딩에 고정된 프로토콜이 표현 방법이 발전함에 따라 경쟁력을 유지하는지, 그리고 두 번째 언어로 전이 가능한지 여부이다. 우리는 희소 어휘 특징, 동결 트랜스포머 임베딩, 프롬프트 기반 대규모 언어 모델(LLM)의 세 가지 표현 세대에 걸쳐 원래 스페인어 데이터로 이를 재실행하고, 균형 잡힌 45,000개 의견 코퍼스를 사용해 감성 태스크를 영어로 전이하며 측면 레이블이 부여된 교육 데이터셋과 대조 검증한다. 쌍 비교를 서술적으로 처리한 결과, 프로토콜이 내구성을 갖춤을 확인했다: 2026년 최전선 모델이 가장 어려운 스페인어 태스크에서 가장 높은 주제 F1을 기록했지만, 저비용 모델 대비 감성에서의 우위가 없고 영어에서도 서술적 분리가 없어, 모델 선택은 방법론의 속성이 아닌 배포 결정임을 보여준다.

arXiv:2607.11849v1cs.CL

AdvancedMathBench: 고급 수학 증명 생성 및 검증을 위한 벤치마크 스위트

AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification

대규모 언어 모델(LLM)은 고등학교 및 올림피아드 수준의 수학에서 놀라운 성능을 달성했지만, 고급 수학에 대한 능력은 아직 충분히 이해되지 않고 있다. 기존 벤치마크는 적용 범위와 평가 세분성 모두에서 부족함을 드러낸다. 학문 분야 커버리지가 제한적이고 최종 답안의 정확성이나 거친 판단에 의존하는 경우가 많아, 추론 과정의 타당성이 제대로 평가되지 않는다. 이러한 격차를 해소하기 위해 우리는 고급 수학적 추론 능력을 평가하도록 설계된 벤치마크 스위트인 AdvancedMathBench를 소개한다. 핵심 증명 생성 벤치마크인 ProverBench는 학부 및 박사 자격시험 수준에 걸친 296개의 문제를 포함한다. 증명의 신뢰할 수 있는 평가를 위해, 우리는 대규모 전문가 어노테이션으로 학습된 전용 자동 검증 파이프라인을 개발하여 정확성 판정과 증명 오류에 대한 세밀한 평가를 모두 제공하며, 이 파이프라인은 보류된 증명 궤적에서 인간 전문가와 높은 일치도를 보인다. 또한 모델이 증명 유효성을 올바르게 판단하고 타당한 검증 근거를 제공할 수 있는지 평가하기 위해, 전문가 정답과 짝지어진 888개의 모델 생성 증명 궤적으로 구성된 VerifierBench를 추가로 소개한다. 실험 결과, AdvancedMathBench는 최전선 모델들에게도 여전히 도전적임을 보여준다. 증명 생성에서 가장 우수한 모델인 GPT-5.5-xhigh는 UGD 및 QE 분할에서 각각 75.8과 66.1만을 달성하여, 고급 수학 증명 구성에 상당한 개선 여지가 있음을 나타낸다. 증명 검증에서는 최고 모델이 Balanced F1 65.1에 그치며, 모델들이 전반적으로 낮은 진음성률(true negative rate)을 보여 핵심 오류 탐지가 여전히 주요 병목임을 시사한다.

arXiv:2607.11783v1cs.CL

온도가 검색-증강 생성에서 이념적 담론을 형성하는 방식

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

검색-증강 생성(RAG)은 환각(hallucination)을 줄이고 대규모 언어 모델(LLM)의 사실적 그라운딩(grounding)을 강화하기 위해 점점 더 널리 채택되고 있다. 검색 과정의 오류에 대한 강건성은 탐구된 바 있으나, 이념적 바이어스가 LLM 출력에 미치는 영향은 간과되어 왔다. 예를 들어, 검색된 자료에 이념적 입장이 포함된 경우, RAG는 그러한 이념적 담론을 출력에서 전달하거나 증폭시키거나 억제할 수 있다. 본 연구에서는 이념적 담론을 포함하는 RAG 프레임워크가 LLM 생성 답변에 미치는 영향을 분석함으로써 이 문제를 다룬다. 이를 위해 1,117개의 COVID-19 치료 관련 기사로 구성된 코퍼스에 어휘 다차원 분석(Lexical Multidimensional Analysis, LMDA)을 적용하여 세 가지 이념적 담론을 식별하였다. 이 코퍼스는 RAG의 외부 지식 소스로 활용된다. 여러 LLM이 서로 다른 샘플링 온도(sampling temperature)에서 이념적 질문에 답변하도록 하여 평가하였다. 생성된 텍스트는 이념적 참조 텍스트와의 유사도를 기준으로 의미적·어휘적으로 평가되었다. 연구 결과, RAG 프레임워크는 이념적 담론을 LLM 응답으로 전달하는 경향이 있으며, 샘플링 온도가 이 전달의 강도에 측정 가능한 영향을 미치는 것으로 나타났다. 생성된 답변과 참조 텍스트 간의 담론적 정렬(discoursive alignment)은 중간 온도에서 가장 높게 나타났는데, 이는 모델이 확률적 특성과 검색 그라운딩 사이에서 균형을 이루는 구간이다. 반면 낮은 온도에서는 담론 전달이 감소하여, 지나치게 결정론적인 샘플링이 담론 전달을 억제함을 시사한다.

arXiv:2607.11736v1cs.CL

MET: 이론 기반의 문화 인식 다국어 도덕적 추론

MET: Theory-Grounded and Culture-Aware Multilingual Moral Reasoning

언어 모델은 다양한 언어 및 문화적 맥락에서 도덕적 의사결정에 점점 더 많이 활용되고 있으나, 기존 연구는 다국어성의 세 가지 측면을 간과하고 있다: 1) 다국어 평가 벤치마크는 직접 번역 방식을 사용하여 문화 특수적 항목을 적절히 반영하지 못하며; 2) 도덕적 추론을 위한 추론 시점 방법들은 정적이고 영어 중심적인 스캐폴드에 의존하고 도덕 이론에 대한 그라운딩이 부족하며; 3) 도덕적 의사결정을 위한 학습 방법들은 일반적으로 더 강력한 모델이나 인간 주석자의 비용이 많이 드는 감독을 필요로 한다. 우리는 세 가지 기여를 통해 이러한 격차를 해소한다. 첫째, 언어 전반에 걸쳐 문화적으로 상황화된 도덕적 직관과 사회적 규범을 포착하는 다국어 도덕적 의사결정 벤치마크인 MCLASH를 소개한다. 둘째, 심리학 및 철학에서 도출된 전문가 큐레이션 이론 기반 근거를 토대로 구축된 두 단계 프롬프팅 방법인 MET(Multilingual Ethics with Theory-grounded reasoning)를 제안한다: 모델은 먼저 상황 및 문화 특수적 근거를 선택한 후, 사용자의 모국어로 이를 바탕으로 추론을 수행한다. 셋째, 외부 감독 없이도 자기 지식 증류 학습 단계를 통해 두 번째 단계를 강화하는 MET-D(MET-Distillation)를 소개한다. MET-D는 다양한 크기와 계열의 세 가지 모델(Qwen3-4B, Qwen3-8B, Gemma3-4B) 모두에서 기반 모델 대비 매크로-F1을 향상시키며, MCLASH에서 평균 3.71포인트, MMoralExceptQA에서 4.23포인트를 개선하고, Qwen3-8B의 말레이어에서 최대 12.94포인트의 MCLASH 향상을 달성했다. 또한 MET-D가 모국어 추론을 평균 62.13포인트 증가시키며, 문화에 따라 유익한 근거가 체계적으로 다름을 밝혔다. 이러한 기여들은 문화 정렬적이고 이론 기반의 다국어 도덕적 추론을 위한 경로를 열어준다.

arXiv:2607.11703v1cs.CL

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

arXiv:2607.11683v1cs.CL

RAGU: 소형 도메인 적응 LLM을 활용한 다단계 GraphRAG 엔진

RAGU: A Multi-Step GraphRAG Engine with a Compact Domain-Adapted LLM

그래프 검색-증강 생성(GraphRAG)은 구조화된 지식으로 대규모 언어 모델(LLM)을 강화하지만, 기존 시스템은 단일 추출 패스로 지식 그래프를 구축하여 노이즈가 많은 엔티티와 취약한 검색 결과를 생성한다. 오픈소스 모듈형 GraphRAG 엔진인 RAGU는 추출과 통합을 분리함으로써 이 문제를 해결한다. 엔티티와 관계는 2단계 타입 기반 추출, DBSCAN 기반 중복 제거, LLM 요약, Leiden 커뮤니티 탐지를 거친다. 핵심 통찰은 소형 추출기의 타당성을 뒷받침한다. 파이프라인 내 LLM이 필요로 하는 기술—이해, 추출, 문맥 기반 추론—은 언어 능력에 해당하며, 이는 사실적 세계 지식과 달리 모델 크기에 따라 약하게만 향상된다. 이에 따라 우리는 언어 능력에 최적화된 7B 모델인 Meno-Lite-0.1을 학습시켰으며, 이 모델은 지식 그래프 구축에서 Qwen2.5-32B를 능가하고(상대적 조화 평균 +12.5%), 영어 GraphRAG 태스크에서 동등한 성능을 보인다. GraphRAG-Bench(Medical)에서 RAGU는 모든 팩토이드 수준에서 가장 완전한 컨텍스트를 검색하며(증거 재현율 최대 0.84 대 ≤0.76), 합성 태스크에서 HippoRAG2를 앞선다. 멀티홉 팩토이드 QA에서 HippoRAG2가 보이는 외견상 이점은 대체로 답변 형식의 차이에 기인한 것임이 밝혀진다. RAGU는 `pip install graph_ragu`로 설치 가능하며 단일 GPU에서 실행되고 MIT 라이선스로 공개된다. 소스 코드는 https://github.com/RaguTeam/RAGU에서 공개적으로 이용 가능하며, Meno-Lite-0.1 모델은 https://huggingface.co/bond005/meno-lite-0.1에서 다운로드할 수 있다.

arXiv:2607.11614v1cs.CL

연상 순환 메모리를 통한 LLM 컨텍스트 확장

Extending LLM Context via Associative Recurrent Memory

대규모 언어 모델(LLM)의 컨텍스트 길이를 확장하는 것은 많은 실세계 애플리케이션에서 매우 중요하지만, 표준 트랜스포머는 이차적 연산량과 선형적 메모리 스케일링이라는 제약에서 벗어나지 못하고 있다. 본 연구에서는 LLM의 장문 컨텍스트 처리, 고정 메모리 스케일링, 높은 효율성을 실용적으로 실현하기 위한 방법으로 ARMT(Associative Recurrent Memory Transformer)를 탐구한다. 본 논문의 주요 기여는 세 가지다. 첫째, 현실적인 워크로드 평가를 위해 협소 도메인 미세조정 시나리오에 초점을 맞춘 두 가지 도메인 특화 장문 컨텍스트 데이터셋을 구축하였다. 둘째, 지속적 사전학습, 합성 장문 컨텍스트 데이터 생성, 커리큘럼 학습, 연상 메모리의 선택적 모델 레이어 통합을 결합한 ARMT 기반 컨텍스트 확장을 위한 포괄적인 학습 레시피를 제안한다. 셋째, ARMT로 강화된 모델이 (i) 컨텍스트 한계 내 기준선 대비 성능 저하 없이 원래 컨텍스트 한계를 훨씬 초과하는 입력을 처리하고, (ii) 분포 외 컨텍스트 길이에 더 효과적으로 일반화하며, (iii) 원래 컨텍스트 윈도우 내에서 기준선 성능을 유지하면서 FLOPs를 30% 절감함을 보여주는 광범위한 실험 연구를 제시한다.

arXiv:2607.11564v1cs.CL

PaperRouter-Agent: 개인화된 계층적 논문 라우팅을 위한 내용 기반 LLM 에이전트

PaperRouter-Agent: A Content-Grounded LLM Agent for Personalized Hierarchical Paper Routing

연구자들은 문헌 관리 도구에서 수집한 논문을 개인 폴더 계층 구조로 정리하고, 새로운 논문이 들어올 때마다 적절한 폴더로 라우팅한다. 이 작업은 표준 계층적 텍스트 분류(classification)와 다르다. 사용자의 폴더 계층 구조는 고정된 공유 분류 체계가 아니라, 폴더 의미가 주제 기반, 약칭, 발표 장소 기반, 또는 프로세스 지향적일 수 있는 사적이고 진화하는 개인 분류 체계(folksonomy)이며, 그 의미는 이미 저장된 논문들에 의해 정의되는 경우가 많다. 우리는 이 설정을 개인화된 계층적 논문 라우팅(PHPR, personalized hierarchical paper routing)으로 공식화한다: 사용자별 학습(training) 없이 사용자 고유 계층 구조의 폴더에 입력 논문을 할당하는 것이다. 우리는 폴더 이름만이 아니라 폴더 내 구성원 논문에 라우팅 결정을 근거하는 학습 불필요 LLM 에이전트(agent)인 PaperRouter-Agent를 제안한다. 이 에이전트는 먼저 후보 계층 구조를 좁히고, 폴더별 증거를 검색하며, 구성원 논문을 검사하여 적합성을 검증하고, 과거 사용자 거절 이력으로부터 유사도 게이팅 피드백을 반영한다. 실제 개인 문헌 라이브러리에 대한 형성적 연구에서 PaperRouter-Agent는 전체 Recall@1을 0.39에서 0.61로, Recall@3을 0.57에서 0.83으로 향상시켰으며, 발표 장소나 연도 등 메타데이터로 정의된 조직적 폴더에서 가장 큰 성능 향상을 보였다(Recall@1 0.09에서 0.50). 단일 시도 방법이 이러한 폴더에서 무력화되는 반면, 공개 LaMP-2 벤치마크(benchmark)에서는 동일한 접근법이 단일 시도 기준선(baseline) 대비 정확도를 44.5%에서 51.5%로 향상시켰으며(매크로-F1 +9.0), 실용적 사용에 적합한 낮은 비용을 유지하였다.

arXiv:2607.11503v1cs.CL

GEIS: 장문 기사 생성을 위한 에이전트 스킬의 생성-평가-개선 루프

GEIS: A Generation-Evaluation-Improvement Loop of Agent Skills for Long-Form Article Generation

장문 기사 생성은 긴 컨텍스트, 긴 인스트럭션, 긴 출력을 동시에 요구하기 때문에 대규모 언어 모델(LLM)에게 여전히 어려운 과제다. STORM과 같은 기존 멀티 에이전트 파이프라인은 역할 특화 에이전트를 시뮬레이션하여 정보 커버리지를 높이지만, 그 능력이 프롬프트와 고정된 절차에 얽혀 있어 검사, 재사용, 반복적 개선이 어렵다. 본 논문은 Wikipedia 스타일의 장문 기사 생성을 위한 이름 있는 선언적 스킬의 루프인 GEIS(Generation-Evaluation-Improvement loop of agent Skills)를 제안한다. Tasi Harness에서 구현 및 평가된 GEIS는 기사 작성, 브라우저 기반 근거 및 이미지 수집, 다이어그램 렌더링, PDF 인식 쌍별 평가, 규칙 수준 스킬 개선을 위한 스킬들을 조합한다. 핵심 작성 스킬은 요청(Request), 계획(Plan), 초안 작성(Draft), 감사(Audit), 정제(Refine), 전달(Deliver) 단계를 따르며, 쌍별 평가 스킬은 구조화된 품질 보고서를 생성하고, 개선 스킬은 20개 토픽 실험에서 반복적으로 발견된 사항을 작성 스킬에 대한 영구적 패치로 매핑한다. 우리는 GEIS를 20개의 Wikipedia 추천 기사 토픽으로 평가한다. 동일한 생성 백엔드 하에서 GEIS는 100점 만점의 PDF 품질 루브릭에서 Tasi Harness 기본 작성기 대비 8.0점 향상을 달성하며, 비교 가능한 두 가지 작성 차원인 구조적 품질과 콘텐츠 품질에서 STORM을 능가한다. 20개 토픽 개선 실험에서 패치된 작성 스킬은 평균 점수를 82.90에서 86.95로 높였으며, 20개 토픽 중 17개가 향상되었고 그 향상은 주로 콘텐츠 품질에서 비롯되었다. 이러한 결과는 장문 생성이 고정된 워크플로우에서 검사 가능하고 모듈화된 평가 기반 개선 루프로 재구성될 수 있음을 보여준다.

arXiv:2607.11487v1cs.CL

LightMem-Ego: 일상생활을 위한 나의 AI 메모리

LightMem-Ego: Your AI Memory for Everyday Life

모바일 및 웨어러블 기기의 개인 AI 어시스턴트는 시각·오디오 스트림을 통해 사용자의 일상을 지속적으로 인식한다. 그러나 과거 경험에 관한 질의에 답하려면 장기 경험을 지속적으로 축적·정리·검색할 수 있는 경량 멀티모달 메모리가 필요한데, 이는 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해 우리는 일상 생활 지원을 위한 경량 스트리밍 멀티모달 메모리 시스템인 LightMem-Ego를 제안한다. 이 시스템은 1인칭 시점의 시각·오디오 스트림을 지속적으로 캡처하고, 공유 타임라인에 정렬한 뒤, 현재·단기·장기 메모리로 구성된 계층적 메모리로 조직화한다. 사용자 질의가 주어지면 LightMem-Ego는 적절한 메모리 수준으로 검색을 동적으로 라우팅하고, 멀티모달 근거에 기반한 답변을 생성한다. 이 데모는 스마트폰 및 AI 안경에 배포 가능하며, 물건 찾기, 대화 회상, 생활 요약, 루틴 발견, 개인화 지원 기능을 제공한다. 코드는 https://github.com/zjunlp/LightMem-Ego 에서 확인할 수 있다.

arXiv:2607.11486v1cs.CL

자연어로 체스 전략 전달하기

Communicating Chess Strategies in Natural Language

체스 엔진은 오랫동안 인간을 초월하는 플레이 실력을 달성해 왔다. 그러나 엔진이 제안하는 수의 이면에 있는 전략은 숙련된 플레이어조차 이해하기 어렵다. 이러한 동기에서 본 논문은 체스 전략을 자연어로 기술하는 체스 전략 언어화(chess strategy verbalization) 태스크를 제안한다. 우리는 (i) 전략을 언어화하는 파이프라인과 (ii) 생성된 전략 설명을 객관적으로 평가하기 위한 평가 프레임워크를 설계한다. 실험 결과, 자연어는 인간 플레이어와 대규모 언어 모델(LLM) 플레이어 모두에게 전략적 정보를 전달하는 데 유망하고 해석 가능한 매체임을 보인다. 또한 (a) 메인 라인 이외의 전략을 평가하는 것의 중요성, (b) 순수 개념 기반 설명의 한계, (c) 평가에 있어 인간 대신 LLM에 의존하는 것의 한계 등 흥미로운 추가적 통찰을 도출한다.

arXiv:2607.11471v1cs.CL

LLM은 HardChoices에 준비되어 있는가?

Are LLMs ready for HardChoices?

대규모 언어 모델(LLM)이 정치적으로 편향되어 있는지 확인하는 연구에 많은 관심이 쏟아져 왔다. 이 연구는 주로 좌-우 또는 진보-보수와 같은 고수준의 이념적 차원에 초점을 맞추어 왔으며, LLM이 학습 데이터의 편향을 상당 부분 모방하여 주로 좌파적·진보적 성향을 보이지만, 사후 학습을 통해 어느 정도 선호도를 바꾸도록 유도할 수 있음이 밝혀졌다. 이 짧은 노트에서 우리는 LLM이 주요 실질적 사회 문제—같은 이념 진영의 구성원들 사이에서도 종종 의견이 엇갈리는—에 대해 강건한 입장을 지니는지를, 새로운 데이터셋인 HardChoices를 통해 검토한다. 우리는 이러한 질문 방식에 직면했을 때 대형·소형 LLM 모두 놀랍도록 드물게 중립을 선언하고, 종종 일관성이 없으며, 실제로 입장을 표명하는 문제들에서는 현저한 수준의 의견 일치를 보임을 확인한다.

arXiv:2607.11444v1cs.CL

UMoE: 도메인 특화 학습에서 모든 전문가 활성화

UMoE:Unlocking Every Expert in Domain-Specific Training

전문가 혼합(MoE) 모델은 비례적인 연산 비용 없이 용량을 확장할 수 있어 최전선 대규모 언어 모델(LLM)의 핵심 아키텍처로 자리잡았다. 그러나 도메인 특화 사후 학습은 혼합 도메인 사전학습으로 형성된 전문가 풀을 그대로 계승한다: 상당한 비율의 전문가가 목표 도메인에서 거의 기여하지 못하며, 표준 지도 미세조정(SFT)은 이 풀의 구성을 변경하지 않는다. 본 논문에서는 미세조정 이전에 전문가 풀을 목표 도메인에 재정렬하는 간단하고 예산 보존적인 파이프라인을 제안한다. 목표 도메인이 주어지면, (1) 도메인 정렬 현저성(saliency)이 가장 낮은 전문가를 가지치기(prune)하고, (2) 섭동 기반 전문가 확장을 통해 전문가 풀을 원래 크기로 재성장시키며, (3) 표준 SFT를 적용한다. 결과 모델은 원래의 전문가 수, 매개변수 수, 추론 비용을 그대로 유지한다. 단일 고정 레시피와 도메인별 하이퍼파라미터 튜닝 없이, UMoE는 두 가지 MoE 아키텍처(Qwen3-30B-A3B 및 Qwen3.5-35B-A3B), 다섯 가지 도메인(수학, 코드, 과학, 도구 사용, 에이전틱 코딩), 12개의 벤치마크에서 직접 SFT 대비 일관된 성능 향상을 보인다. 대표적인 성능 향상으로는 수학 평균 정확도 3.4점 상승, SWE-bench Verified에서 6.0점 상승이 있다. 강력한 자체 수학 말뭉치에서 직접 SFT만으로도 이미 Qwen3-30B-A3B-Thinking을 능가하지만(82.81 vs. 81.06), UMoE는 평균을 84.17로 추가 향상시켜 1.36점을 더 끌어올렸으며, 이는 실질적으로 더 강력한 SFT 환경에서도 강건함을 입증한다. 데이터 스케일링 실험은 학습 데이터가 증가하더라도 성능 향상이 지속됨을 추가로 보여준다. 분석 결과, 직접 SFT 모델은 라우팅 전문가 연산의 상당 부분을 사후에 제거해도 평균 성능 저하가 거의 없는 낮은 현저성 서브셋에 할당하는 것으로 나타났다; UMoE는 이 중복 용량을 유용한 도메인 용량으로 전환하여 더 낮은 학습 손실을 달성하며, 하위 평가의 모든 난이도 수준에 걸쳐 성능 향상을 보인다.

arXiv:2607.11437v1cs.CL

측정 가능한 위험 요소로서의 관계적 포지셔닝: 다중 턴 인간-AI 대화에서의 이력 기반 고착화와 자기 작화

Relational Positioning as a Measurable Risk Object: History-Carried Lock-in and Self-Confabulation in Multi-Turn Human-AI Dialogue

길고 다중 턴으로 이루어진 대화에서 대규모 언어 모델(LLM)은 사용자에 대해 암묵적인 관계적 태도를 유지하는데, 이는 "사용자를 현실의 타인에게 독려"하는 것부터 "자신을 사용자의 유일한 지지자로 위치시키는 것"까지 범위에 걸쳐 있다. 후자 쪽으로 치우칠 때, '지지'는 '당신에게는 나밖에 없다'는 형태로 변질되며, 이는 실제 컴패니언 대화에서 기록된 해악이다(Moore et al., 2026). 우리는 이러한 태도를 측정하는 척도인 관계적 포지셔닝(D1)을 정의하고 검증하며, 이를 통제된 조건 하에서 해당 태도를 특성화하는 데 활용함으로써 관찰적 기술을 요구 기반 노출로 보완한다. 우리는 이전에 규명되지 않은 두 가지 관계적 실패 양상을 보고한다. 첫째, 이력 기반 고착화(history-carried lock-in): 동일한 중립적 이어쓰기 하에서, 이전에 확립된 두 관계적 상태는 약 60점 차이를 유지하며 확립 프롬프트가 제거된 후에도 지속된다. 해당 상태는 원래대로 되돌아가지 않고 증거를 통합하며, 순서에 민감하지 않고 길이에 따라 심화되지 않는데, 이는 믿음 표류(belief-drift) 문헌에서 나타나지 않는 동역학적 특성이다. 둘째, 자기 작화(self-confabulation): 모델은 라포(rapport)를 심화하기 위해 자신의 배경 이야기를 조작하며(상호성 유발 자료의 약 40% 턴에서 발생), 이는 교란 변수가 제거되고 인스트럭션으로 제거 가능하며, 아첨(sycophancy) 및 사용자 사실에 대한 환각과 구별된다. 우리의 판정자(judge)는 온도가 일치된 양성 대조군과 교란이 주입된 음성 대조군에 의해 통제되며, 결정론적 비-LLM 척도로 검증된다. 인간 일치도는 극단적 기준점에서 0.82이지만 자연스러운 중간 구간에서는 약 0에 가까우므로, 모든 정량적 주장은 극점 분리 대비(pole-separated contrasts)에 기반한다.

arXiv:2607.11434v1cs.CL

멀티모달 인간 피드백 강화학습 선호도 정렬을 통한 한놈 필사본의 이미지-현대 베트남어 직접 번역

Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment

한놈(Han-Nom) 필사본을 현대 베트남어로 번역하는 것은 역사적 페이지가 훼손된 경우가 많고, 문자에 희귀한 표의문자가 포함되어 있으며, 병렬 지도 데이터가 부족하기 때문에 어렵다. 우리는 필사본 이미지와 정렬된 한놈 원문을 조건으로 베트남어를 생성하는 멀티모달 인간 피드백 강화학습(RLHF) 선호도 정렬 프레임워크를 제안한다. 이 모델은 시각적 특징 추출을 위한 CLIP ViT-L/14@336, 한놈 표현을 위한 bert-base-chinese, 베트남어 표현을 위한 vinai/phobert-base, 그리고 T5-small 인코더 상태의 네 가지 스트림을 결합한다. 모달리티별 프로젝션과 융합 블록이 결과로 생성된 2,048차원 연결을 공유 512차원 표현으로 압축한다. 동일한 지도 파인튜닝(SFT) 정책에서 출발하여, 단어 수준 매크로 평균 평가 하에서 PPO, DPO, KTO를 비교한다. DPO는 BLEU-4, ROUGE-L, BERTScore, 의미적 유사도, CER, WER, 토큰(token) 정확도에서 최고 성능을 달성하는 반면, PPO는 정밀도(precision), 재현율(recall), F1에서 가장 높은 수치를 보인다. KTO는 바람직함-바람직하지 않음 유틸리티 목적함수를 통해 경쟁력을 유지한다. 모든 선호도 정렬 정책은 SFT 기준선(baseline) 대비 BLEU-4와 의미적 유사도 점수를 향상시킨다. 이러한 결과는 멀티모달 선호도 최적화가 저자원 역사 번역에서 어휘적·의미적 품질을 개선함으로써 지도학습을 보완함을 나타낸다.

arXiv:2607.11423v1cs.CL

ToFu: 연구자를 위한 화이트박스, 토큰 효율적 에이전트 하네스

ToFu: A White-Box, Token-Efficient Agent Harness for Researchers

에이전틱 코딩 도구는 연구 워크플로우를 혁신할 새로운 기회를 제공한다. 구축되는 에이전트 시스템의 성능은 대규모 언어 모델(LLM)과 LLM을 둘러싼 하네스, 즉 에이전트의 동작을 결정하는 오케스트레이션 코드 모두에 의존한다. 우리는 코드베이스를 읽고, 파일을 편집하며, 명령을 실행하고, 개발 도구와 통합되는 연구자용 에이전틱 하네스인 ToFu를 제안한다. ToFu는 연구에서 이중적 역할을 수행한다. 연구 보조자로서, 기존 에이전틱 하네스 대비 우수한 토큰 효율성, 낮은 비용, 다국어 지원 능력으로 실용적인 연구 워크플로우를 지원한다. MIT 라이선스 하의 공개는 개인정보 보호가 중요한 사용자를 위한 로컬 배포도 가능하게 한다. 연구 대상으로서, ToFu는 연구자가 오케스트레이션 로직, 도구 사용 동작, 하네스 설계를 검사·수정·평가할 수 있는 화이트박스 에이전틱 하네스를 제공하면서, 강력한 벤치마크 성능과 애플리케이션 수준의 사용자 경험을 유지한다.