PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13591v1cs.CL

통제된 과정으로서의 메모리: LLM 에이전트를 위한 학습 기반 적응형 메모리 관리

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

대규모 언어 모델(LLM) 에이전트는 여러 과업에 걸쳐 경험을 축적하기 위해 외부 메모리 시스템에 점점 더 의존하고 있다. 그러나 그래프 구조 메모리부터 반성적 인사이트 저장소까지, 거의 모든 기존 접근법은 고정된 수작업 설계 휴리스틱을 통해 메모리에 접근한다. 우리는 메모리에 대한 이러한 정적 관점이 에이전트 학습의 핵심 병목이라고 주장하는데, 이는 최적의 메모리 동작이 근본적으로 문맥에 따라 달라지기 때문이다. 과업 초기에는 메모리가 희박하므로 최소한의 검색(retrieval)이 유리하고, 반복되는 목표 유형은 일반적인 최근접 이웃(nearest-neighbor) 조회보다 계획 재사용이 유리하며, 진행이 막힌 에이전트는 대안 쿼리를 통한 재검색이 유리하고, 긴 과업 스트림 전반에서는 메모리 저장소 자체를 통합(consolidation)하고 가지치기(pruning)해야 유용성을 유지할 수 있다. 우리는 메모리 연산을 마르코프 결정 과정(MDP)으로 모델링하고, 언제·무엇을·얼마나 검색할지, 언제 정제된 계획을 주입할지, 언제 통합하거나 망각할지를 적응적으로 결정하는 온라인 정책을 학습하는 프레임워크인 Memory as a Controlled Process(MemCon)를 제안한다. MemCon은 백엔드에 무관하다: 기존 어떤 메모리 구현이든 감싸며, 사전학습(pre-training)이나 추가 LLM 호출 없이 과업별 이진 피드백으로 학습하고, 수십 개의 과업 내에서 수렴하는 UCB 탐험이 적용된 경량 표 형식(tabular) 컨텍스트 밴딧(contextual bandit)을 사용한다. 6개 벤치마크, 3개 에이전트 프레임워크, 3개 LLM 백본에서 MemCon은 과업 성공에서 최대 15.2점까지 여러 메모리 베이스라인을 일관되게 능가하면서 토큰 소비를 5--20% 절감한다.

arXiv:2607.13568v1cs.CL

언어 모델의 등급화된 엔티티 친숙도 판독: 폴란드어 적응, 교차 언어 견고성 및 거절 조향

Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering

언어 모델이 답을 생성하기 전에 특정 엔티티에 대한 자신의 친숙도를 추정할 수 있는가? 우리는 Bielik, PLLuM, Gemma-4, Qwen3 계열의 12개 인스트럭션 튜닝 모델에서 최종 프롬프트 토큰의 활성화를 연구한다. 네 개 도메인과 Wikipedia pageview 10분위에 걸친 1,440개의 폴란드어 엔티티로 구성된 새 데이터셋과 인위적 대조군을 사용한다. 친숙도 프로브 점수는 모든 계열에서 실제 엔티티와 인위적 엔티티를 구분한다. 폴란드어 적응 Bielik 및 PLLuM 계열에서는 추가로 엔티티 인기도와도 상관한다(모델 평균 Spearman $ρ$ 0.28–0.57, Gemma-4와 Qwen3에서는 최대 0.11). 이 패턴은 이 모델 표본에서 매개변수 수보다 폴란드어 적응과 더 강하게 연관된다. 두 계열에 대한 쌍 실험에서, 변경되지 않은 엔티티명 주위의 폴란드어 질문 줄기를 영어로 바꾸면 프로브는 동일 언어 내 AUROC의 96–101%를 유지하며, 이 설정에서 프롬프트 언어에 대한 견고성을 보여준다. 기본적으로 거절을 수행하는 유일한 모델인 Gemma-4-12B에서, 단일 층에서 1차원 친숙도 방향을 추가하면 거절률이 양방향으로 단조롭게 변화한다(잘 알려진 엔티티에서 0.24–1.00, 알려지지 않은 엔티티에서 0.73–0.00). 마지막으로, 보정된 친숙도 프로브는 생성 전 기권 게이트 가운데 경쟁력 있는 수준이지만, 생성 후 탐지기가 평균적으로 행동 오류를 더 잘 예측한다. 이 결과는 등급화된 생성 전 엔티티 친숙도 판독, 그리고 이를 기권으로 전환하는 정책과 표상 친숙도 사이의 분리를 뒷받침한다.

arXiv:2607.13551v1cs.CL

BioASQ A+ 및 B 단계를 위한 비용-실용적 품질 게이팅과 선택-융합 다중 모델 결합기

Cost-Pragmatic Quality Gating and Selection-Fusion Multi-Model Combiners for BioASQ Phases A+ and B

우리는 BioASQ Task 14B 2026 시스템을 설명한다. 본 연구는 두 가지 설계 결정에 초점을 둔다: 1단계 검색(retrieval)이 약할 때 재검색(re-retrieval)을 얼마나 적극적으로 수행할 것인지, 그리고 여러 언어 모델 답변을 어떻게 결합할 것인지. 검색은 두 개의 병렬 파이프라인을 결합한다—하이브리드 1단계(dense BGE + BM25 + RRF, BioASQ-13b 역사적 아카이브에서 R@200 = 99.3% 달성)와 PubMed, Europe PMC, iCite에 걸쳐 질문을 분해하는 에이전트 주도 파이프라인—으로, BGE cross-encoder 품질 게이트가 약하게 지원되는 질문을 선별적 재검색을 위해 표시한다. Task 12B 2024 검증(validation)에서 비용-실용적 재검색 정책은 list F1과 list 정밀도(precision)에서 skill-strict 기준선(baseline)을 유의하게 능가하며, 재검색 비용은 12% 더 낮다. 프롬프트와 모델을 val 및 test 13B(서로 다른 질문 집합) 전반에 고정했을 때, BioASQ가 공개한 gold-input 풀에서 list F1이 절대 +0.132 상승하며, 이는 검색 측면에 상당한 여력(headroom)이 있음과 일치한다. Phase B 답변에서 우리는 다중 모델 앙상블(ensemble) 향상을 질문별 오라클(oracle)로 상한이 정해지는 선택(selection) 구성요소와 집계자(aggregator)가 초과할 수 있는 융합(fusion) 구성요소로 분해한다. 이 분해는 실험 전에 LLM-as-judge가 선택 지배적 지표(yes/no, multi-reference ROUGE)에서는 우수하지만, 융합 친화적 지표(factoid rank-1, list 재현율(recall))의 재현율 구성요소에서는 구조적으로 불충분함을 예측한다. Task 13B 2025에서 우리의 synonym-union resolver는 모든 head에서 list 재현율을 획득하는 반면, GPT-5.5 단독은 resolver의 더 넓은 항목 집합이 정밀도 비용을 치르기 때문에 list-F1 1위를 유지한다. Task 14B 2026 예비 리더보드에서 우리 팀은 8개(phase × 배치(batch)) 리더보드 중 3개에서 combined-exact 집계 1위, 4개의 개별 질문 유형 셀에서 승리, Phase B b3 ideal에서 1위를 차지한다.

arXiv:2607.13477v1cs.SD

음성 평가를 위한 대규모 오디오 언어 모델 심사자의 프로토콜 수준 쇼트컷 감사

Auditing Protocol-Level Shortcuts in Large Audio Language Model Judges for Speech Evaluation

대규모 오디오-언어 모델(LALM)은 음성 평가의 자동 심사자로 점점 더 많이 사용되고 있다. 그러나 인간 평가와의 높은 일치율이 그들의 판정이 오디오에 그라운딩(grounding)되어 있음을 보장하지는 않는다. 심사자는 대신 평가 프로토콜 자체가 제공하는 전문가 라벨이나 참조 데이터에 의존하여, 오디오를 듣는 대신 쇼트컷을 택할 수 있다. 본 논문에서는 세 가지 일반적인 배포 프로토콜—음향 특징의 구조화된 텍스트 설명으로 오디오를 대체하는 특징-블루프린트(feature-blueprint) 판정, 참조 조건(reference-conditioned) 판정, 쌍별 A/B 비교—에 걸쳐 LALM 심사자의 이러한 프로토콜 수준 '쇼트컷'을 감사한다. 여섯 개의 심사자와 네 가지 속성에 걸쳐, 여러 LALM이 프로토콜 수준 쇼트컷에 의존함을 확인한다. 예를 들어, 특징-블루프린트 판정에서 잘못된 전문가 라벨은 다섯 심사자의 감정 정확도를 0.10 이하로 낮추며, 연결된 A/B 비교에서 Qwen3-Omni-Thinking은 순서 교환과 관계없이 종종 동일한 슬롯을 선택한다. 이러한 결과는 집계 일치율이 LALM 심사자의 타당성을 과대평가할 수 있으며, 모델과 평가 프로토콜을 함께 평가해야 하고 각 모델-프로토콜 쌍은 대응하는 쇼트컷 프로브로 평가되어야 함을 시사한다.

arXiv:2607.13474v1cs.CL

MyAG: 구성 가능한 LLM 에이전트 시스템의 설계 및 분석을 위한 그래프 기반 프레임워크

MyAG: A Graph-Based Framework for Designing and Analyzing Composable LLM Agent Systems

본 논문은 구성 가능한 LLM 에이전트 시스템을 설계하고 분석하기 위한 그래프 기반 프레임워크인 MyAG를 제안한다. 본 프레임워크는 에이전트 시스템 구축을 세 가지 그래프 추상화로 분리한다: 에이전트, 환경, 모듈을 위한 컴포넌트 그래프; 실행 제어를 위한 워크플로우 그래프; 런타임 실행을 위한 탐색 그래프. 이러한 분리를 통해 사용자는 동일한 컴포넌트를 서로 다른 전략과 함께 유연하게 재사용할 수 있다. 또한 재귀적 시스템 노드를 통한 계층적 구성을 지원하며, 에이전트 실행을 검사하기 위한 모니터링 및 시각화 도구를 제공한다. 대표적인 에이전트 응용에 대한 실험은 본 프레임워크가 유연한 에이전트 시스템 설계를 지원하고 성능-효율성 트레이드오프를 분석하는 데 도움이 됨을 보여준다. 본 프레임워크는 공개적으로 제공되며 완전 오픈소스이다.

arXiv:2607.13465v1cs.CL

DevicesWorld: 이종 환경에서 크로스 디바이스 에이전트 벤치마킹

DevicesWorld: Benchmarking Cross-Device Agents in Heterogeneous Environments

LLM 기반 에이전트는 모바일 애플리케이션, 데스크톱 시스템, 스마트 홈과 같은 개별 디지털 환경을 조작하는 능력이 빠르게 향상되었다. 그러나 실제 사용자 목표는 여러 디바이스에 걸쳐 있는 경우가 많다. 정보는 휴대폰에서 얻고, 데스크톱에서 처리하며, 결과는 다른 디바이스에 표시되어야 할 수 있다. 대부분의 기존 벤치마크는 단일 주요 실행 환경에 초점을 맞추고 있어, 에이전트가 이종 디바이스 간 정보를 획득·통합하고 크로스 디바이스 의존성이 있는 end-to-end 작업을 완료할 수 있는지 평가하기 어렵다. 본 논문은 크로스 디바이스 협업 조작을 위한 대규모 실행 가능 벤치마크인 DevicesWorld를 제안한다. DevicesWorld는 6,140개의 작업을 포함하며, 모바일, 데스크톱, IoT의 세 가지 디바이스 환경 클래스를 통합된 크로스 디바이스 상호작용 및 평가 프레임워크에 통합한다. 각 작업은 자연어 사용자 목표, 참여 디바이스 및 초기 상태, 실행 가능한 행동, 규칙 기반 검증기, 정리 절차를 정의한다. 다단계 구축 및 품질 관리 파이프라인은 작업을 실제 사용자 요구에 가깝게 유지하면서, 디바이스 상태와 생성된 파일로부터 최종 결과를 자동 검증할 수 있게 한다. 고정된 평가 집합에서 다섯 가지 최신 LLM 에이전트 시스템을 평가했다. 모든 방법의 성공률이 낮았으며, 최고 성능도 12.5%에 불과했다. 실패한 실행 가운데 약 28.7%는 최소 하나의 채점 조건을 충족했지만 전체 작업은 여전히 실패했다. 궤적 분석 결과, 에이전트는 정보 획득이나 인터페이스 조작에서 막히거나, 소스 디바이스와 출력 디바이스를 혼동하거나, 모든 조건이 동시에 충족되기 전에 종료하는 것으로 나타났다. DevicesWorld는 크로스 디바이스 협업 조작을 신뢰할 수 있는 크로스 디바이스 에이전트 연구를 위한 실행 가능하고, 재현 가능하며, 진단에 유용한 평가 문제로 전환한다.

arXiv:2607.13433v1cs.CL

루브릭이 바뀔 때: 비판적 사고 에세이 채점을 위한 교차-루브릭 일반화

When Rubrics Change: Cross-Rubric Generalization for Critical Thinking Essay Scoring

자동 에세이 채점(AES) 연구는 주로 교차-프롬프트 일반화에 집중해 왔으며, 이는 채점 기준이 일반적으로 일정하게 유지되는 가운데 보이지 않는 프롬프트의 에세이를 채점하는 문제이다. 그러나 실제로는 교육자들이 에세이의 다양한 측면을 평가하기 위해 채점 과제에서 루브릭을 수정하거나 새로 도입할 수 있다. 본 연구는 교차-루브릭 일반화를 다룬다. 즉, 하나의 루브릭 집합 하에서 라벨이 붙은 에세이로 학습하고, 에세이의 서로 다른 측면을 목표로 하는 이전에 보지 못한 루브릭에서 평가하는 것이다. 우리는 두 가지 구성 요소를 갖춘 대규모 언어 모델(LLM) 미세조정 프레임워크를 사용한다: traits라고 불리는 루브릭에 무관한 중간 표현, 그리고 학습 중 관찰된 루브릭 하의 대상 에세이 감독(supervision)이다. 학생의 비판적 사고 능력에 대한 여러 루브릭 정의 라벨로 보강된 AES 데이터셋에서, traits는 학습 중 대상 루브릭과 대상 에세이가 모두 보이지 않는 가장 어려운 설정에서 traits가 없는 기준선 대비 macro F1을 5.0% 향상시킴을 확인했다. 또한 대상 에세이 감독을 늘리면 성능이 향상되며, 우리의 최고 성능 미세조정 오픈소스 Llama 기반 모델이 GPT-5-mini 프롬프팅을 macro F1 기준 2.1%p 앞서고 GPT-5에는 1.9%p 뒤처진다. 이러한 결과는 trait 기반 중간 구조와 통제된 감독이 보이지 않는 루브릭에 대한 일반화를 개선함을 보여준다.

arXiv:2607.13394v1cs.CL

GFlowRL: 대규모 언어 모델로 분포 매칭 강화학습 확장

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

생성 흐름 네트워크(GFlowNets)는 대규모 추론 모델을 위한 보상 최대화 강화학습(RL)에 대한 유망한 대안을 제공하며, 지배적 모드로 수렴하는 대신 보상 분포를 맞춤으로써 다양한 추론 경로를 장려한다. 최근 연구는 수학 및 코드 분야에서 가능성을 보여주지만, GFlowNet 스타일의 강화학습을 현대적인 사후 학습 파이프라인으로 확장하는 것은 여전히 어렵다. 모델 크기, 롤아웃 수평선, 보상 노이즈, 분산 시스템 복잡도가 함께 증가함에 따라, 학습된 프롬프트 조건부 분할 함수(partition function)는 유용한 정규화 요소(normalizer)라기보다 그래디언트 불안정성과 엔지니어링 오버헤드의 원인이 된다. 체계적인 분석을 통해, 이전에는 필수적인 것으로 여겨졌던 학습된 분할 함수가 학습에 이미 필요한 롤아웃 그룹으로부터 계산되는 배치 내 Monte Carlo 추정치로 대체될 수 있음을 밝혔다. 우리는 보조 분할 네트워크를 완전히 제거하면서도 보상-분포 매칭 목표를 유지하는 간소화된 GFlowNet 스타일 강화학습 알고리즘인 GFlowRL을 제안한다. 이는 롤아웃/트레이너 드리프트에 대한 중요도 샘플링(importance-sampling) 보정과 이상치(outlier) 잔차에 대한 비대칭 flow-gap 클리핑이라는 두 가지 안정화 장치로 보완된다. GFlowRL은 수학, 코드, 적대적 레드팀 테스팅 벤치마크에서 모든 대안 방법들을 능가하며, 14B 규모에서 Codeforces 레이팅 2048(o3-mini와 25 Elo 이내)에 도달하고 AdvBench 및 HarmBench에서 최고 평균 ASR@1을 달성하여, 이전 GFlowNet 스타일 방법인 FlowRL이 발산하는 영역에서 이전 SOTA 다중 턴(multi-turn) 공격자를 능가한다. 동일한 방법은 최대 235B 파라미터까지 평가된 모든 전문가 혼합(MoE) 구성으로 전이되며, FlowRL은 여기서도 다시 수렴하지 못한다. 우리가 아는 한, GFlowRL은 dense 및 sparse 아키텍처 모두에서 안정적으로 확장되는 최초의 GFlowNet 스타일 강화학습 알고리즘이다. 코드는 https://github.com/microsoft/gflowrl 에 공개될 예정이다.

arXiv:2607.13260v1cs.CL

논증을 활용한 담화 인식 정책 분석: 재난 거버넌스를 위한 하이브리드 LLM-기호 프레임워크

Discourse-Aware Policy Analysis with Argumentation: A Hybrid LLM-Symbolic Framework for Disaster Governance

정책 문서는 거버넌스 결과를 형성하지만, 그 안의 추론은 종종 암묵적이다. 참여형 약속과 관리적 통제는 같은 텍스트 안에서 흔히 공존하며, 이 둘 사이의 긴장은 거의 명시적으로 서술되지 않는다. 기존의 정책 담화에 대한 계산적 접근법은 이러한 긴장을 유발하는 프레임 매개 관계를 표현할 수 없는데, 여기서 한 논증이 다른 논증을 거부하기보다는 좁히거나 도구화한다. 대규모 언어 모델(LLM)의 종단 간(end-to-end) 요약은 유창한 텍스트를 생성하지만, 분야 전문가가 검토하거나 반박할 수 있는 구조를 거의 제공하지 않는다. 우리는 정책 텍스트에 대한 비판적 담화 분석(critical discourse analysis)을 정량적 쌍극(bipolar) 논증 프레임워크로 구체화하는 하이브리드 LLM-기호 파이프라인인 Apaf를 제안한다. 논증은 먼저 숙의적(deliberative) 또는 관리적(managerial) 프레임으로 분류된다. 이어서 네 가지 프레임 매개 관계 하위 유형(행위 주체 축소, 의제 전환, 도구적 지지, 규범적 지지)이 LLM으로 추출한 특징에 대한 결정론적 규칙을 통해 생성된다. 미국, 영국, 캐나다, 호주의 재난 위험 감소 정책 100개 하위 문서로 구성된 새로운 데이터셋을 공개하고, 그 결과로 얻어지는 논증 그래프가 정확하고, 해석 가능하며, 관할권 간에 안정적임을 보인다.

arXiv:2607.13248v1cs.CL

GSM-Plus-BN: 대규모 언어 모델의 벵골어 수학적 추론을 위한 교란 기반 벤치마크

GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models

대규모 언어 모델(LLM)의 수학적 추론 평가는 주로 영어와 같은 고자원 언어에 집중되어 왔다. 이는 벵골어를 사용하는 2억 3천만 명 이상의 인구가 있는 방글라데시와 같은 언어학적으로 다양한 지역에서 AI의 공정한 개발과 배포에 상당한 장벽을 만들었다. 이러한 세계적 중요성에도 불구하고, 벵골어 수학적 추론에 대한 선행 연구는 거의 없으며 교란된 벵골어 수학 데이터셋을 체계적으로 벤치마킹하는 기존 연구도 없어, 패턴 인식을 넘어선 모델 견고성과 진정한 이해를 평가하는 데 있어 중요한 공백이 남아 있다. 본 연구는 영어 GSM-Plus 벤치마크에서 파생되고 인간 번역가에 의해 검증된 새로운 교란 벵골어 수학 데이터셋인 GSM-Plus-BN을 도입함으로써 이러한 공백을 해소한다. 우리는 Standard Prompting과 사고의 연쇄(Chain-of-Thought, CoT) Prompting 모두에서 1,000개의 seed 질문과 8,000개의 교란 변형으로 구성된 9,000개의 평가 샘플 벤치마크를 사용하여 Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B, GPT-OSS-20B 등 여섯 개의 오픈소스 LLM을 평가한다. 실험 결과, GPT-OSS-20B는 Standard Prompting에서 96.08%로 가장 높은 seed 질문 정확도를 달성한 반면, Llama-3.3-70B와 GPT-OSS-120B와 같은 더 큰 모델들은 다양한 교란 유형에서 우수한 견고성을 보였다. 또한 CoT prompting은 Standard Prompting에 비해 대부분의 모델에서 추론을 크게 향상시켰으나, 모든 모델에서 영어 벤치마크 대비 눈에 띄는 성능 격차가 지속되어 교란된 벵골어 텍스트의 고유한 난이도를 강조한다. 본 연구는 향후 벵골어 수학적 추론 연구를 위한 새로운 자원과 기준선으로서 GSM-Plus-BN을 제공함으로써 기초적인 기여를 한다.

arXiv:2607.13205v1cs.CL

KV 캐시의 적응형 필터링: LLM 추론에서 구조-역할 바이어스 진단 및 보정

Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference

어텐션 기반 KV 캐시 퇴출(H2O 및 그 후속 방법)은 누적 어텐션 질량—여기서는 신호 에너지로 간주—으로 토큰을 순위화하여 가장 큰 것만 유지함으로써, 장문 맥락 모델의 메모리 제약 상태를 압축한다. 중첩 JSON과 같은 스키마 밀집(schema-dense) 입력 스트림에서, 이 점수는 비정상(non-stationary) 필터로 작동하여 잡음을 불균형적으로 유지한다. 비콘텐츠 싱크 역할(구분자 또는 공백)은 어떤 콘텐츠 역할보다 한 자릿수(order of magnitude) 더 많은 에너지를 담고, 구조적 KEY 토큰은 답을 담는 VALUE 토큰 대비 대략 1.8배의 비율로 과다 유지되어, 유지된 상태의 신호 대 잡음비(signal-to-noise ratio)가 저하되면서 5% 예산에서 정확 일치(exact-match) 정확도가 88%에서 0%로 붕괴한다. 반사실(counterfactual) 실험은 KEY 토큰을 억제하는 것이 최상의 배포 가능한 필터임을 입증한다. SnapKV의 윈도우 점수에 대한 재학습 없는(retraining-free) 역할 조건부 할당은 단일 튜닝 하이퍼파라미터로 제어되며, 20% 미만 예산에서 H2O 격차의 63–98%를 메우고, 더 높은 예산에서는 전체 캐시 정확도와 비슷하거나 약간 능가한다. 이는 작고 시드에 민감한 노이즈 제거(denoising) 효과이다(B=0.50에서 경계선상 유의; 4개 시드에서 B=0.30일 때 0과 구별 불가). 15 MB 선형 역할 프로브(role probe)가 추론 비용을 거의 들이지 않고 이러한 레이블을 제공하지만, 파서 수준의 하류 정확도와의 일치는 여전히 미해결 과제로 남아 있다.

arXiv:2607.13189v1cs.CL

SemEval-2026 Task 1의 RAGthoven: 다단계 파이프라인이 벤치마크에 걸려 들어와 겨우 기준을 넘겼다

RAGthoven at SemEval-2026 Task 1: A Multi-Stage Pipeline Walks Into a Benchmark and Barely Clears the Bar

우리는 SemEval-2026 Task 1(MWAHAHA)의 Subtask A(영어, 스페인어, 중국어에서의 다국어 제약 기반 유머 생성)를 위한 시스템 RAGthoven을 제시한다. RAGthoven은 창의적 텍스트 생성을 계산 유머 이론(Benign Violation Theory, Script-based Semantic Theory of Humor)에 기반한 다단계 대규모 언어 모델(LLM) 파이프라인(Planner, Best-of-N Writer, 자기 비판을 위한 Reflector, LLM-as-a-judge Judge)으로 분해하고, 이를 열 번의 실험을 거쳐 정제했다. 최종 구성에서는 Planner를 큐레이션된 농담 코퍼스로부터의 검색-증강 생성(RAG)으로 보강하여, 다양한 농담 메커니즘으로 생성을 시드(seed)했다. 또한 동일한 네 단계를 결정론적 ConstraintAudit 검사기와 함께 노출하는 두 가지 에이전트(agentic) 변형—ReAct 스타일 순차적 도구 호출(Exp09)과 자율적 다분기 오케스트레이션(Exp10)—을 평가했다. 홀드아웃 12개 인스턴스 영어 샘플에 대한 네 가지 프론티어 모델에서, 두 에이전트 변형 모두 훨씬 더 높은 도구 호출 예산에도 불구하고 비에이전트 파이프라인보다 우수하다고 판단한 출력을 생성하지 못했다. RAGthoven은 세 언어 모두에서 Gemini 2.5 Flash 기준선과 Rank 1을 공유하며, 주최 측이 보고한 신뢰 구간이 겹친다. 스페인어에서는 기준선보다 42 raw Elo 포인트(1182 vs. 1140)로 앞서지만, 영어(1045 vs. 1081)와 중국어(1045 vs. 1053)에서는 동일한 통계적 동률 범위 내에서 기준선이 더 높은 raw rating을 유지한다. 종합하면, 이러한 결과는 강력한 프론티어 모델이 루프에 포함되면 정교한 다단계 프롬프트 엔지니어링과 에이전트 스캐폴딩으로부터 얻는 이득이 언어에 따라 감소할 수 있음을 시사한다.

arXiv:2607.13158v1cs.CL

동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.

arXiv:2607.13044v1cs.CL

퍼플렉시티 함정: 특허법이 인간 작성 텍스트를 AI처럼 보이게 할 때

The Perplexity Trap: When Patent Law Makes Human Writing Look Like AI

유럽특허청(EPO)은 2025년 기록적인 출원 건수를 보고했으며, 2026년 EPO 지침은 제83조 및 규칙 42에 따라 대규모 언어 모델(LLM) 보조 콘텐츠에 대해 출원인에게 엄격한 책임을 부과하여, AI 생성으로 의심되는 특허 텍스트를 선별해야 하는 압력을 형성하고 있다. 이를 어렵게 만드는 두 가지 제약이 있다. 첫째, 현실적인 출원·심사(prosecution) 환경에서는 데이터센터급 스코oring 스택이 아닌, 약 8GB VRAM을 갖춘 소비자용 GPU만 갖춘 경우가 많다. 둘째, 유럽특허협약 제84조는 청구항이 명확하고 간결할 것을 요구하여, 인간의 초안 작성을 LLM이 차지하는 것과 동일한 낮은 perplexity·낮은 burstiness 다양체(manifold)로 밀어붙인다. 다섯 가지 프롬프팅(prompting) 전략을 모두 소비자용 하드웨어 환경 내에서 적용하여, 승인된 EPO H04 통신 특허 500건과 LLM 생성 대응물 500건에 대해 세 가지 오픈소스 제로샷(zero-shot) 감지기를 벤치마크했다. 청구항 수준에서 모든 감지기는 60%를 초과하는 오탐률(false-positive rate)을 기록했다: Binoculars 78.3%, Fast-DetectGPT 61.3%, DetectGPT 80.5%. 이러한 실패는 Qwen2.5-3B-Instruct 재생성, LoRA 적응 Pythia-2.8B 스코oring 헤드, A61K·C07D·F03D에 대한 IPC 간 복제(평균 FPR 84.6%), 및 공개된 Falcon-7B와 GPT-J-6B 헤드를 사용한 H100 재평가에서도 지속되며, 문제가 대체 모델(substitute-model) 용량(capacity)이라기보다 구조적임을 시사한다. 7개 특징(feature)을 사용한 언어 복잡도 로지스틱 회귀는 28.1% FPR에서 74.0% 정확도에 도달하며, 유사한 운영 지점(operating point)에서 perplexity만 사용한 기준선 대비 13퍼센트포인트 향상을 보였다. 이는 추론(inference) 시 가능도(likelihood)를 사용하지 않으며 동일한 하드웨어 예산 내에서 달성되었다.

arXiv:2607.13036v1cs.CL

진단하기 전에 물어보라: Safe-Psych, 정신의학 LLM 순차 평가 벤치마크

Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry

대규모 언어 모델(LLM)은 의료 분야에서 의사결정 지원에 점점 더 많이 사용되고 있지만, 임상 근거는 종종 불완전하거나 계속 변화한다. 사용 가능한 정보가 신뢰할 수 있는 답을 뒷받침하기에 불충분할 때, 모델은 근거 없는 응답을 제공하기보다 명확화를 요청하거나 기권해야 한다. 그러나 기존 의료 벤치마크는 일반적으로 처음부터 완전한 정보가 제공된다고 가정한다. 우리는 임상 정신의학에서 진단 불확실성이 점진적으로 드러나는 상황에서 LLM이 어떻게 대응하는지 평가하기 위한 순차 벤치마크 Safe-Psych를 제안한다. Safe-Psych는 점진적 근거 공개를 시뮬레이션하도록 분절된 1,000개 이상의 실세계 정신과 임상 기록을 포함하며, 각 단계마다 정신과 의사가 도출한 행동 레이블 DIAGNOSE, CLARIFY, ABSTAIN을 제공한다. 우리는 완전 정보 설정과 순차 설정에서 여러 최신 LLM을 평가한다. 결과는 능력이 교정(calibration)을 보장하지 않음을 보여준다: 강력한 모델조차 불완전한 임상 정보 하에서는 어려움을 겪으며, 대부분의 모델에서 기권 부족(under-abstention)이 60%를 초과하고, 안전성 인식 프롬프팅은 성급한 판단을 줄이는 대신 오류를 과도한 기권 쪽으로만 이동시킨다. 순차 평가에서 모델은 충분한 근거가 제공되기 전에 자주 진단하며, 명시적으로 프롬프트하지 않는 한 명확화를 거의 요청하지 않는다; 이러한 성급한 진단은 적시 진단보다 정확도가 낮다. 전반적으로 Safe-Psych는 평가 대상 모델 전반에 걸친 한계를 드러낸다: 임상 근거가 불완전하고 추가 정보가 필요하다는 것을 인식하는 능력. 우리는 의료 분야에서 LLM 안전성 개선 연구를 지원하기 위해 Safe-Psych를 공개한다.

arXiv:2607.13035v1cs.CL

FixItFlow: 클라우드 인시던트로부터의 자동 트러블슈팅 가이드 생성

FixItFlow: Automated Troubleshooting Guide Generation from Cloud Incidents

클라우드 서비스는 신속한 진단과 해결이 필요한 잦은 인시던트를 겪는다. 트러블슈팅 가이드는 엔지니어가 일관되게 대응하도록 돕지만, 수동으로 작성하는 것은 노동 집약적이어서 커버리지가 불완전하고 문서가 구식이 되는 결과를 낳는다. 우리는 대규모 언어 모델(LLM)을 사용해 과거 인시던트 데이터로부터 트러블슈팅 가이드를 생성하는 자동화 시스템 FixItFlow를 제안한다. 이 시스템은 엔지니어의 조치에서 진단 패턴을 추출하고, 검증된 명령어가 포함된 구조화된 가이드를 합성하며, 허구의 내용을 방지하기 위해 엄격한 검증을 적용한다. 26명의 엔지니어를 대상으로 한 평가에서, 생성된 가이드는 명확성에 대해 61.5%의 긍정 평가를 받았으며, 관련 가이드가 있는 인시던트에 대해 완화 시간을 2.3배 줄였다. 이 결과는 자동화된 가이드 생성이 엔지니어 팀의 문서화 부담을 줄이면서 인시던트 대응을 개선할 수 있음을 보여준다.

arXiv:2607.11722v2cs.CL

STEP: 시간적·교육적 궤적 모델링을 통한 경력 경로 추천

STEP: Career-Path Recommendation via Temporal and Educational Trajectory Modeling

경력 경로는 수십 년에 걸친 기술 습득, 역할 전환, 교육 투자를 담고 있으며, 이를 대규모로 이해하는 것은 인력 계획, 노동 시장 정책, 취업 추천의 근간이 된다. 이력서는 경력 경로에 관한 풍부한 정보 원천으로, 업무 경험, 교육, 기술에 대한 상세한 설명을 포함한다. 그러나 비정형적이고 이질적이며 다국어로 작성되는 특성으로 인해 대규모 체계적 분석이 오랫동안 어려웠다. 대규모 언어 모델(LLM)의 등장으로, 비정형 이력서에서 시간적·교육적 신호를 포함한 풍부한 경력 궤적 데이터를 추출하는 것이 가능해졌으며, 이는 경력 경로 추천에 새로운 기회를 열어준다. 이 기회를 활용하여, 우리는 STEP(Sequential Trajectory of Employment Prediction)을 제안한다. STEP은 경력 궤적에서 다음 직업을 예측하기 위해 시간적·교육적 신호를 활용하는 새로운 경력 경로 추천 시스템이다. STEP은 시간적 역학을 모델링하기 위한 시간 감쇠 게이트 순환 유닛(GRU) 셀, 교육 수준에 조건화된 Feature-wise Linear Modulation(FiLM), 그리고 다음 직업 예측을 위한 관련 특징 선택에 어텐션 기반 시퀀스 풀링을 통합한다. STEP의 내부 직업 표현을 개선하기 위해, 우리는 ROUTE를 소개한다. ROUTE는 먼저 비지도 노이즈 제거 오토인코딩을 통해 다국어 인코더를 경력 도메인에 적응시키고, 이후 가이드된 부정 샘플 선택을 활용한 지도 대조적 미세조정을 수행하는 2단계 대조 학습 절차이다. 우리는 공개 제공 중인 JobHop 데이터셋의 개선 버전을 포함한 4개의 경력 궤적 데이터셋에서 STEP을 평가하고, 다음 직업 예측에서 최신 기준 모델들을 능가함을 보인다. 재현 가능한 경력 궤적 연구를 지원하기 위해 데이터셋과 코드는 공개 배포된다.

arXiv:2607.11715v2cs.CL

JobHop v2: 비정형 이력서로부터 구축한 대규모 경력 궤적 데이터셋

JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

대규모의 풍부하게 주석된 경력 궤적(career trajectory) 데이터는 인력 계획, 직업 추천, 노동 시장 분석의 근간이 되지만, 공개된 데이터셋은 규모가 작거나 독립적 활용이 불가하거나, 실제 자유 텍스트 대신 대규모 언어 모델(LLM)이 합성한 텍스트와 사전 표준화된 직업 코드를 기반으로 구축된 것이 대부분이다. 본 논문에서는 공개 데이터셋인 JobHop의 개선 버전 JobHop v2를 소개한다. 이 데이터셋은 플랑드르 공공 고용 서비스 VDAB가 제공한 약 440,000건의 가명화된 다국어 이력서 코퍼스로부터 엔드-투-엔드 대규모 언어 모델(LLM) 추출을 통해 구축되었다. 공개된 데이터셋은 ESCO 직업 코드, 분기 단위 시간 정보, 정규화된 5단계 학력으로 주석된 355,315개의 경력 궤적을 포함하며, 원본 릴리스 대비 커버리지와 주석 풍부도를 모두 향상시켰다. v1 대비 JobHop v2는 재시도 메커니즘을 갖춘 추론 제어 LLM 추론(100% JSON 파싱률 달성) 기반의 재설계된 추출 파이프라인, 보다 풍부한 추출 스키마, 그리고 세 가지 보완적 주석 기준선(annotation baseline)에 대해 평가되는 수정된 평가 프로토콜을 도입했다. 이 기준선들을 대상으로 한 평가에서 최고 성능 추출기는 비교된 모든 모델 중 어노테이터 간 합의(inter-annotator agreement) 상한에 가장 근접했으며, 단 1.1~2.7 퍼센트포인트 차이에 그쳤다. 재현 가능한 경력 궤적 연구를 지원하기 위해 데이터셋과 코드는 공개 릴리스된다.

arXiv:2607.11098v3cs.SE

AgentCheck: MCP 기반 LLM 에이전트를 위한 재현-개입-완화 워크벤치

AgentCheck: A Reproduce-Intervene-Mitigate Workbench for LLM Agents over MCP

도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 대부분 모든 도구가 정상 동작한다는 가정 하에 평가된다. 도구가 타임아웃되거나, 일주일 지난 값을 반환하거나, 배포 환경에서 설명이 오염되는 경우, 개발자는 장애를 재현하고 수정 사항을 테스트하며 배포 전에 수정이 실제로 동작하는지 확인할 수 있는 통제된 방법이 필요하다. 우리는 MCP 서버를 개입 인터페이스로 전환하는 오픈소스 웹 워크벤치인 AgentCheck를 제안한다. AgentCheck는 에이전트를 실제 도구와 함께 실행하여 모든 도구 응답을 기록한 뒤, 장애(12가지 유형) 주입기로 응답을 변조하여 에이전트를 재실행한다. 일치하는 도구 호출은 캐시에서 재생되고, 에이전트가 분기된 이후의 도구 호출은 실제로 실행된다. 이를 통해 재현-개입-확인 루프가 형성된다. 개발자는 완화 조치를 토글하고 동일한 장애에 대해 재실행하여 장애가 해소되는지 확인할 수 있다. 평가는 두 부분으로 구성된다. 결정론적 통과/실패 규칙과, 사람 어노테이션으로 검증된 해석적 레이블을 위한 LLM 심사자이다. 다섯 가지 에이전트에 걸쳐 최고 성능 에이전트는 120개 시나리오 중 105개를 통과하고 최저 성능 에이전트는 77개만 통과한다. 대부분의 실패는 충돌이 아니라 잘못된 도구 출력을 조용하고 확신 있게 사용하는 형태로 나타난다. 최저 성능 에이전트에서, 재시도 완화 조치는 타임아웃 오류 장애에 대한 성공률을 최저 30%에서 100%로 끌어올리는 반면, 오래된 데이터 장애는 완화 조치와 관계없이 10건 중 3~4건 수준에 머문다. AgentCheck는 이러한 장애 모드를 배포 전에 재현 가능하고, 비교 가능하며, 검증 가능하게 만든다.

arXiv:2607.05969v2cs.CL

MemDefrag: 대규모 언어 모델을 위한 잠재 메모리 조각 모음

MemDefrag: Latent Memory Defragmentation for Large Language Models

잠재 메모리(latent memory)는 과거 지식 단편을 층별 은닉 상태(hidden state)로 저장하는 방식으로, 대규모 언어 모델(LLM)에서 장기 기억을 위한 유망한 패러다임(예: MemoryLLM, M+)으로 부상했다. 그러나 이 패러다임은 메모리 업데이트 시 위치 인코딩(positional encoding) 불일치와 목표 메모리 단편과 무관한 단편을 구분할 추적(tracing) 메커니즘 부재로 인해 성능이 크게 저하되는 문제가 있다. 이러한 추적 메커니즘을 찾기 위해, 저장된 메모리 단편에 대한 층별 어텐션 밀도를 탐색(probe)한 결과, 소수의 중간 트랜스포머 층이 목표 단편에 일관되게 가장 높은 밀도를 집중시킨다는 것을 발견했으며, 이는 내재적인 추적 신호를 드러낸다. 이를 바탕으로 우리는 MemDefrag를 제안한다. 이는 학습 불필요(training-free)이며 모델 불문(model-agnostic)인 프레임워크로, (1) 중간 층 추적 신호를 이용해 메모리 조각 모음(순위 지정, 재정렬, 필터링)을 수행하고, (2) 용량 초과 시 정보량(informativeness) 기반 비례 망각(forgetting) 메커니즘을 적용한다. 실험 결과 MemDefrag는 지식 보존(예: 메모리 업데이트 50회 후 43.0% vs. 17.4%/17.6%)과 장문맥 벤치마크에서 MemoryLLM 및 M+를 크게 능가하며, 다양한 LLM과 잠재 메모리 변형에도 잘 일반화된다. 코드는 github.com/ryehr/MemDefrag에서 제공된다.