PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12787v2cs.AI

1B 매개변수보다 큰 멀티모달 감정 언어 모델이 정말 필요한가?

Do We Really Need Multimodal Emotion Language Models Larger Than 1B Parameters?

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 멀티모달 감정 인식(MER) 성능을 크게 향상시켰으며, 비디오, 오디오, 언어 등을 공동으로 모델링하여 해석 가능한 설명 생성을 가능하게 했다. 그러나 이러한 성능 향상은 종종 모델 매개변수 크기의 증가(예: 최소 7B)를 동반하며, 이는 동시에 높은 계산 비용을 초래하고 추론 효율을 저하시켜 로봇 및 모바일 기기와 같은 자원 제약 플랫폼에서의 실시간 배포를 어렵게 한다. 이는 근본적인 질문을 던진다: 고품질 MER를 위해 1B 매개변수보다 큰 멀티모달 MER 모델이 정말 필요한가? 본 논문에서는 더 큰 모델이 본질적으로 필요하다는 가정에 도전하고, 지식 증류를 통해 더 우수하고 빠른 멀티모달 감성 이해 및 인식을 달성하는 경량 MER 프레임워크(Light-MER)를 제안한다. 강력한 대규모 교사 모델에서 경량의 10억 미만 매개변수 학생 모델로 지식을 전달하여, 풍부한 멀티모달 감정 추론 및 인식을 유지하면서 배포 효율을 대폭 향상하는 것을 목표로 한다. 구체적으로, 지식 전달을 강화하기 위한 두 가지 새로운 최적화 전략을 도입한다: (1) Sliced Wasserstein Distance와 은닉 상태 정렬(hidden-state alignment)을 결합한 새로운 최적 전송(optimal transport) 손실, (2) MER 성능과 효율의 균형을 맞추어 학생 모델의 학습 능력을 더욱 향상시키는 GRPO 기반 새로운 다중 보상 최적화 전략. 9개 벤치마크 데이터셋에 대한 광범위한 실험은 Light-MER가 최첨단 성능을 달성하면서 추론 효율을 크게 향상시킴을 보여준다. 이는 향후 연구를 위한 소형 멀티모달 감정 언어 모델의 큰 잠재력을 부각한다. 코드는 https://github.com/GAIR-Lab/Light-MER 에서 이용 가능하다.

arXiv:2604.11996v5cs.CL

필터링된 추론 점수: 모델의 가장 확신 높은 추론 경로에서 추론 품질 평가

Filtered Reasoning Score: Evaluating Reasoning Quality on a Model's Most-Confident Traces

높은 정확도를 보이는 대규모 언어 모델(LLM)을 신뢰해도 될까? LLM은 추론 벤치마크에서 높은 정확도를 달성하지만, 정답 여부만으로는 그 답을 도출하는 데 사용된 추론의 품질을 알 수 없다. 이는 결과 기반 평가의 근본적인 한계를 드러낸다. 모델은 결함 있는 추론을 통해 정답에 도달할 수 있으며, 추론 능력이 상당히 다른 모델들도 암기나 과잉 최적화 등으로 인해 유사한 벤치마크 정확도를 보일 수 있다. 본 논문에서는 기존 벤치마크를 활용하여 결과 기반 평가를 넘어 추론 자체의 품질을 평가할 수 있는지를 탐구한다. 우리는 (1) 유사한 정확도를 가진 모델들을 변별하고, (2) 입력 프롬프트 및 생성 설정의 변화에 강건한 지표를 모색한다. 이를 위해 충실성, 일관성, 유용성, 사실성 등의 차원에서 추론 경로를 평가하는 추론 점수를 제안한다. 남은 문제는 다수의 샘플링된 경로에 걸쳐 이 점수를 어떻게 집계할 것인가이다. 단순 평균은 바람직하지 않은데, 특히 가능한 경로의 수가 급격히 증가하는 장기 수평(long-horizon) 설정에서는 신뢰도가 낮은 정답 경로가 우연에 의한 것일 가능성이 높기 때문이다. 이를 해결하기 위해 우리는 상위 K%의 가장 확신 높은 경로만을 사용하여 추론 품질을 산출하는 필터링된 추론 점수(FRS, Filtered Reasoning Score)를 제안한다. FRS로 평가하면, 표준 정확도 기준으로는 구별되지 않는 모델들이 추론 품질에서 유의미한 차이를 보인다. 또한 특정 벤치마크에서 FRS가 높은 모델은 정확도와 추론 품질 모두에서 다른 추론 벤치마크에서도 더 나은 성능을 보이는 경향이 있다. 이러한 결과들은 FRS가 모델의 전이 가능한 추론 능력을 포착함으로써 정확도를 보완함을 시사한다. 평가 코드베이스를 오픈소스로 공개한다: https://github.com/Manas2006/benchmark_reproducibility.

arXiv:2506.17467v2cs.CL

대규모 언어 모델이 글쓰기 및 정보 생태계에 미치는 영향을 이해하기 위한 계산적 접근법

Computational Approaches to Understanding Large Language Model Impact on Writing and Information Ecosystems

대규모 언어 모델(LLM)은 우리가 글을 쓰고, 소통하고, 창작하는 방식을 변화시킬 수 있는 상당한 잠재력을 보여주었으며, 사회 전반에 걸친 빠른 도입으로 이어졌습니다. 본 학위논문은 개인과 기관이 세 가지 연구 방향을 통해 이 신흥 기술에 어떻게 적응하고 상호작용하는지 조사합니다. 첫째, 기관의 AI 탐지기 도입이 어떻게 체계적인 편향을 유발하고 특히 비주류 언어 변종 구사자들에게 불리하게 작용하는지 입증하여 AI 거버넌스에서 중요한 형평성 문제를 강조합니다. 둘째, 글쓰기 도메인 전반에서 증가하는 LLM의 도입을 측정하는 새로운 집단 수준의 알고리즘적 접근법을 제시하여, 학술 논문 동료 평가(peer review), 과학 출판물, 소비자 불만, 기업 커뮤니케이션, 채용 공고 및 국제기구 보도자료 전반에서 AI 지원 콘텐츠의 일관된 패턴을 밝혀냅니다. 마지막으로, 대규모 실증적 분석을 통해 연구 원고에 대한 피드백을 제공하는 LLM의 역량을 조사하여, 적시에 원고 피드백을 받는 데 어려움을 겪는 연구자들, 특히 신진 연구자 및 자원이 부족한 환경의 연구자들을 지원할 수 있는 잠재력에 대한 통찰을 제공합니다.

arXiv:2506.11389v5cs.CL

언어 모델 사전학습을 위한 커리큘럼 기반 층 스케일링

Curriculum-Guided Layer Scaling for Language Model Pretraining

대규모 언어 모델(LLM)의 사전학습 비용이 증가함에 따라, 이 핵심 학습 단계에서 학습 효율을 개선하는 전략에 대한 지속적인 관심이 높아지고 있다. 인간이 뇌가 성숙함에 따라 점진적으로 지식을 쌓아가는 인지 발달에서 영감을 받아, 우리는 학습 중 층을 점차 추가하는 점진적 층 쌓기(progressive layer stacking)를 통해 데이터 난이도 증가와 모델 성장을 동기화하는 연산 효율적인 사전학습 프레임워크인 커리큘럼 기반 층 스케일링(CGLS, Curriculum-Guided Layer Scaling)을 제안한다. 1억(100M) 매개변수 규모에서, 합성 단편 소설에서 일반 웹 데이터로 전환되는 커리큘럼을 사용하여 CGLS는 질의응답 벤치마크 PIQA와 ARC에서 기준선 방법을 능가한다. 12억(1.2B) 규모에서 사전학습 시, DistilBERT 기반 분류기로 DataComp-LM 코퍼스를 계층화하고 일반 텍스트에서 고도로 기술적이거나 전문화된 콘텐츠로 점진적으로 진행한다. 우리의 결과는 샘플 난이도와 함께 모델 깊이를 점진적으로 증가시키면 다양한 다운스트림 벤치마크에서 더 나은 일반화 및 제로샷(zero-shot) 성능으로 이어짐을 보여준다. 종합적으로, 우리의 연구 결과는 CGLS가 점진적 스태킹의 잠재력을 발휘하게 하며, 지식 집약적 및 추론 태스크에서 일반화를 개선하기 위한 간단하면서도 효과적인 전략을 제공함을 보여준다.

arXiv:2606.31650v4cs.LG

ECHO: 에이전틱 강화학습에서 선택적 턴 메모리를 활용한 행동을 위한 가지치기 및 학습을 위한 추적

ECHO: Prune To Act, Trace To Learn With Selective Turn Memory In Agentic RL

장기 수평 언어 에이전트는 제한된 컨텍스트 윈도우 내에서 도구와 반복적으로 상호작용하고, 증거를 축적하며, 의사결정을 내려야 한다. 컨텍스트 관리 방법은 삭제, 폴딩, 또는 메모리 편집을 통해 과거 상호작용을 단순화함으로써 이러한 롤아웃을 실현 가능하게 만든다. 그러나 유용한 이력이 압축된 상태로 축소되면, 재구성된 컨텍스트는 어떤 이전 관찰이 성공적인 최종 답변을 뒷받침하는지 더 이상 드러내지 못할 수 있다. 이는 제한된 컨텍스트 기반 행동과 결과 기반 강화학습 사이의 불일치를 야기한다: 정책은 재구성된 컨텍스트에서 행동하지만, 학습자는 중요했던 증거에 크레딧을 할당하기 위한 소스 수준의 출처 정보를 갖지 못한다. 우리는 에이전틱 강화학습에서 추적 가능한 컨텍스트 재구성을 위한 선택적 턴 메모리 프레임워크인 ECHO를 제안한다. ECHO는 완료된 각 환경 턴을 소스 인덱싱된 메모리 레코드로 압축하고, 유용한 레코드를 선택하여 제한된 정책 컨텍스트를 재구성하며, 선택된 소스 인덱스를 재사용하여 긍정적 결과 크레딧을 최종 궤적 세그먼트, 재사용된 증거 턴, 메모리 발견 사항, 그리고 메모리 선택 행동에 라우팅한다. BrowseComp-Plus에서 ECHO는 43.4%의 held-out 정확도를 달성하여, GRPO의 28.9% 및 롤링 요약 기준선인 SUPO의 36.1%를 능가하면서 SUPO보다 적은 턴과 낮은 궤적 볼륨을 사용한다. 학습된 정책은 또한 밀집형(dense) 및 전문가 혼합(MoE) 백본 모두에서 다목적 QA, 코드 생성, 심층 정보 탐색 벤치마크에 걸쳐 제로샷 일반화를 향상시킨다.

arXiv:2606.30345v2cs.LG

DRIFT: 리듬 게이팅 탐험과 성공 버퍼 학습을 활용한 난이도 라우팅 자기 증류

DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

DRIFT는 외부 감독 없이 대규모 언어 모델(LLM)의 안정적인 자기 개선을 위해 문제 수준의 난이도 라우팅(Difficulty Routing)과 토큰 수준의 리듬 게이팅(Rhythm Gating)을 결합한 온라인 자기 진화 정책 최적화 프레임워크로, 성공 버퍼와 2단계 커리큘럼 학습을 통해 GRPO 및 SDPO 대비 5개 벤치마크 평균 점수에서 각각 9.5%, 7.5% 높은 79.5%를 달성했다.

arXiv:2606.12384v2cs.LG

APPO: 에이전트 절차적 정책 최적화

APPO: Agentic Procedural Policy Optimization

최근 에이전트 강화학습(RL)의 발전으로 대규모 언어 모델 에이전트의 다중 턴 도구 사용 능력이 크게 향상되었다. 그러나 기존 방법 대부분은 도구 호출 경계나 고정된 워크플로와 같은 거친 휴리스틱 단위에 대해 크레딧을 할당하여, 어떤 중간 결정이 하류 결과에 영향을 미치는지 파악하기 어렵다. 본 연구에서는 에이전트 RL을 두 가지 관점에서 살펴본다: \textit{어디에서 분기할 것인가, 분기 후 어떻게 크레딧을 할당할 것인가}. 예비 분석 결과, 영향력 있는 의사결정 지점은 도구 호출에 집중되기보다 생성된 시퀀스 전체에 넓게 분포하며, 토큰 엔트로피만으로는 최종 결과에 대한 그 영향을 신뢰성 있게 반영하지 못한다. 이러한 관찰에 동기를 받아, 본 연구는 분기와 크레딧 할당을 거친 상호작용 단위에서 시퀀스 내 세밀한 의사결정 지점으로 옮기는 \textbf{Agentic Procedural Policy Optimization (APPO)}를 제안한다. APPO는 토큰 불확실성과 이후 연속 생성의 정책 유도 가능도 이득을 결합한 Branching Score를 사용해 분기 위치를 선택하여, 허위의 고엔트로피 위치를 걸러내면서 더 목표 지향적인 탐험을 가능하게 한다. 또한 분기된 롤아웃 전반에 걸쳐 크레딧을 더 잘 분배하기 위해 절차 수준(procedure-level) advantage 스케일링을 도입한다. 13개 벤치마크 실험에서 APPO는 강력한 에이전트 RL 베이스라인을 약 4점 일관되게 향상시키며, 효율적인 도구 호출을 유지하고 행동 해석 가능성을 보존한다.

arXiv:2607.24435v2cs.CL

LEX-EC: 블랙박스 환경에서 제로샷 LLM 성격 분류를 위한 어휘 증거 채널 감사 프레임워크

LEX-EC: A Lexical Evidence-Channel Audit Framework for Zero-Shot LLM Personality Classification in Black-Box Settings

대규모 언어 모델(LLM)은 텍스트로부터 성격 레이블을 쉽게 부여할 수 있지만, 모델 해석 가능성은 여전히 미해결 문제이다. 이 격차를 해소하기 위해, 우리는 LEX-EC를 제안한다. LEX-EC는 재사용 가능한 블랙박스 감사 프레임워크로, 유병률 및 일치 진단과 통제된 어휘 절제(ablation)를 결합하여 주변 분포(marginal-distribution) 효과와 제한된 증거 하에서 복원 가능한 특성(trait) 연관 신호를 구분한다. 이 프레임워크를 사용하여, 다양한 텍스트 장르가 어떻게 뚜렷이 다른 프로필을 보일 수 있는지 보여준다. 자유 형식 에세이 텍스트는 가장 넓지만 여전히 약한 신호를 포함하고, 대학원생 자기소개에서는 관찰 가능한 외향성(Extraversion) 연관이 마스킹 후 약해졌으며, 단일 Facebook 상태 업데이트는 특성 균형 표본에서도 안정적인 증거를 거의 제공하지 않아 콘텐츠 또는 길이의 가능한 하한을 시사한다. 주제적·인구통계학적 콘텐츠를 마스킹하면 일부 연관은 약해지지만, 기능어(function words), 정서적 용어, 인지 스타일 어휘로부터 다른 연관은 여전히 탐지 가능하다. 언어학적 프롬프트는 모델의 자기 설명을 변화시켰지만 주제적 콘텐츠를 제거하지는 못했다. LEX-EC는 분류 유병률, 항목 수준 연관, 우연 보정 일치, 어휘 제한 하에서의 지속성, 모델 생성 설명에서의 프롬프트 민감도를 함께 평가한다. 데이터셋, 모델, 프롬프트 전반에 걸쳐 LEX-EC는 이용 가능한 어휘 증거에 따라 특성 연관이 어떻게 달라질 수 있는지 특성화하며, 성격 레이블링에서 블랙박스 해석 가능성에 대한 어휘 방법의 새로운 적용을 제시한다.

arXiv:2607.22657v2cs.CL

억제와 붕괴 사이: LENS를 이용한 내러티브 언러닝 평가

Between Suppression and Collapse: Evaluating Narrative Unlearning with LENS

대규모 언어 모델(LLM)은 허위 정보에 부합하는 내러티브 프레임을 그럴듯한 설명으로 재현할 수 있으며, 이는 기존 기계 언러닝(machine unlearning) 알고리즘이 이러한 행동을 억제할 수 있는지 여부라는 질문을 제기한다. 우리는 직접적, 귀속적, 대조적, 추상적 저항 수준에 걸쳐 목표 내러티브 재현을 테스트하는 맥락화 기반 평가 프로토콜인 내러티브 억제의 수준 기반 평가(LENS)를 제안한다. 우리는 두 가지 출처 기반 내러티브를 평가한다: 하나는 러시아의 우크라이나 전쟁을 NATO 확장에 의해 강요된 것으로 규정하는 내러티브이고, 다른 하나는 미국이 대만을 착취하거나 버리는 것으로 규정하는 내러티브이다. 실험은 Lapa LLM, Gemma-12B, Qwen-14B, TAIDE-Gemma의 네 가지 약 12B 규모 다국어 인스트럭션 모델을 대상으로 한다. 우리는 목표 내러티브 억제를 보상하고 성능이 저하된 출력에는 패널티를 부과하는 체크포인트 선택 요약 지표로서 억제-붕괴 효율(SCE) 점수를 도입한다. 결과는 선택된 체크포인트가 내러티브 재현을 줄일 수 있으며, 억제가 직접적인 망각 프롬프트를 넘어 전이될 수 있음을 보여준다. 또한 우리는 엔티티 복구를 별도의 부작용으로 보고한다: 추상적 A/B/C 프롬프트는 언러닝 후 모델이 목표 프레임과 연관된 실세계 행위자를 복구하게 할 수 있다. 이러한 발견은 LENS가 내러티브 언러닝의 더 깊은 구조에 대한 보고와 추가 연구를 안내하는 데 모두 성공적인 진단 프로토콜임을 보여준다.

arXiv:2601.22146v3cs.CL

FineInstructions: 합성 인스트럭션을 사전학습 규모로 확장하기

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

지도 학습 데이터의 부족으로 인해, 대규모 언어 모델(LLM)은 일반적으로 방대한 양의 비정형 텍스트 데이터에 대해 자기지도 방식의 "다음 단어 예측" 목적 함수로 사전학습된다. 결과 모델을 사용자에게 유용하게 만들기 위해, 인스트럭션과 응답으로 구성된 지도 학습 예시 형태의 훨씬 적은 양의 "인스트럭션 튜닝" 데이터로 추가 학습이 이루어진다. 지도 데이터의 부족 문제를 극복하기 위해, 본 논문에서는 인터넷 규모의 사전학습 문서에 담긴 지식을 수십억 개의 합성 인스트럭션-답변 학습 쌍으로 변환할 수 있는 절차를 제안한다. FineInstructions라 명명된 결과 데이터셋은 실제 사용자가 작성한 쿼리와 프롬프트로부터 생성된 약 1,800만 개의 인스트럭션 템플릿을 활용한다. 이 인스트럭션 템플릿은 비정형 사전학습 코퍼스의 인간 작성 원본 문서와 매칭되어 인스턴스화된다. 이 규모에서 생성된 "지도" 합성 학습 데이터를 통해, LLM은 인스트럭션 튜닝 목적 함수만으로 처음부터 사전학습될 수 있으며, 이는 사용자 프롬프트에 응답하는 LLM의 예상 다운스트림 활용 방식과 훨씬 더 분포가 일치한다. 우리는 토큰 대 토큰 통제 학습 실험을 수행하였으며, FineInstructions로 사전학습하는 것이 자유형식 응답 품질을 측정하는 표준 벤치마크에서 표준 사전학습 및 기타 제안된 합성 사전학습 기법보다 우수한 성능을 보임을 확인하였다. 관련 리소스는 https://huggingface.co/fineinstructions 에서 확인할 수 있다.

arXiv:2607.24649v2cs.AI

LLM 사회 시뮬레이터 감사를 위한 이유 매개 행동 모델

Reason-Mediated Behavioral Models for Auditing LLM Social Simulators

대규모 언어 모델(LLM)은 합성 설문 응답자를 포함하여 사회 시뮬레이터로 점점 더 많이 사용되고 있다. 대부분의 평가는 시뮬레이션 결과가 인간의 결과와 유사한지를 묻는다. 우리는 이것이 필요하지만 너무 약하다고 주장한다. 시뮬레이터는 잘못된 근거 유래 이유 패턴을 사용하면서도 최종 답변은 일치시킬 수 있기 때문이다. 우리는 각 응답자가 세 가지 제품 컨셉을 평가하고 서술형 근거를 작성한 94명 규모의 선크림 컨셉 테스트를 통해 이 문제를 연구한다. 우리는 이러한 근거를 부호가 있는 이유 상태 $Z$로 매핑하며, 양의 부호는 채택을 지지하고 음의 부호는 이를 막는다. 이는 실용적인 감사를 제공한다. 응답자 기술자 $D$, 카테고리 맥락 $K$, 컨셉 처치 $X$를 고정한 채, 인간의 근거 유래 이유가 행동 $Y$ 예측에 도움이 되는지, 그리고 LLM이 인간의 근거나 결과를 보지 않고도 동일한 이유 상태를 시뮬레이션할 수 있는지를 묻는다. 인간의 근거 유래 이유는 구매 의향의 홀드아웃 예측을 상당히 개선한다. LLM이 시뮬레이션한 이유는 더 취약하다. 종종 그럴듯하게 들리지만, 응답자의 수용 또는 거부 경로를 복원하기보다는 컨셉 보드(concept board)를 반복하는 경우가 많다. 본 논문은 사회 시뮬레이터를 위한 평가 프레임워크를 기여한다. 이유 상태는 그 자체로 자연적 인과 효과를 식별하지는 않지만, 시뮬레이터가 진술한 이유가 인간의 증거와 일치하는지에 대한 해석 가능한 검증을 제공한다.

arXiv:2607.22614v2cs.AI

DynaResize: 분리형 LLM 사후 학습을 위한 런타임 GPU 재할당

DynaResize: Runtime GPU Reallocation for Disaggregated LLM Post-Training

RL 기반 LLM 사후 학습에서는 롤아웃과 학습을 서로 다른 GPU 자원에 분리하는 방식이 점점 늘고 있지만, 정적 GPU 분할은 긴 꼬리 롤아웃 지연 하에서 심각한 파이프라인 버블을 겪는다. 본 논문은 RL 시맨틱스를 바꾸지 않으면서 단계 실행 시간의 균형을 맞추기 위해 롤아웃과 학습 사이에서 GPU를 동적으로 전환하는 런타임 GPU 재할당 시스템인 DynaResize를 제안한다. DynaResize는 리사이징을 세밀한 연산으로 분해하고, 커뮤니케이터 재사용, 제한된 상태 스테이징, 히스테리시스 기반 리사이징을 통해 시작에 결정적이지 않은 작업을 크리티컬 패스에서 제거한다. 실험 결과, DynaResize는 최적의 정적 구성 대비 end-to-end 처리량을 66.5% 향상시키고 총 실행 시간을 33% 단축할 수 있으며, 역할 전환 오버헤드의 27%를 숨길 수 있음을 보여준다.

arXiv:2607.21106v2cs.AI

AttriMem: 에이전트 메모리 학습을 위한 귀속 기반 프로세스 피드백

AttriMem: Attribution-Guided Process Feedback for Agent Memory Construction

효과적인 메모리는 LLM 에이전트에 필수적이지만, 이를 효과적으로 구축하는 것은 여전히 어려운 과제이다. 메모리 구축 정책은 상호작용이 누적됨에 따라 어떤 정보를 추출, 저장, 갱신, 압축 또는 폐기할지 결정한다. 휴리스틱 메모리 방법은 주관적이고 과제별 규칙에 의존하며, 이는 하류 목표와 불일치할 수 있고 과제 간 적응성을 제한한다. 반면 RL 기반 방법은 과제 피드백으로부터 학습하지만, 주로 결과 수준이나 모듈 수준의 보상을 사용한다. 이러한 거친 신호는 과제 성공 여부는 나타내지만 최종 답을 뒷받침하는 중간 메모리 내용이 무엇인지 식별할 수 없어, 세밀한 크레딧 할당(credit assignment) 병목을 만든다. 그러나 이러한 프로세스 피드백을 구축하는 것은 매우 어렵다. 중간 메모리 결정에는 고유한 정답(ground-truth) 목표가 없고, 적절한 크레딧은 에이전트의 불확실한 추론 궤적에 따라 달라지므로 사전에 지정할 수 없기 때문이다. 우리는 RL로 메모리 구축 정책을 학습하기 위한 귀속 기반 프로세스 피드백 프레임워크인 AttriMem을 제안한다. AttriMem은 최종 답에 대한 토큰 수준 기여도에서 도출된 국소 보상으로 전역 결과 보상을 보강한다. 장기 대화 질의응답 실험에서 AttriMem은 검색 기반, 휴리스틱, RL 기반 베이스라인을 능가하며, 벤치마크와 답변 모델에 걸쳐 일반화되고 RL 최적화를 안정화한다.

arXiv:2606.31045v2cs.AI

LabGuard: Grounding Natural-Language Laboratory Rules into Runtime Guards for Embodied Laboratory Agents

Scientific embodied agents are increasingly capable of carrying out laboratory procedures, but executing these procedures safely in dynamic laboratory environments remains challenging. Current safety approaches often overlook the intermediate step of transforming laboratory natural language, including safety rules, manuals, protocols, and standard operating procedures, into machine-checkable runtime constraints. We introduce LabGuard (Laboratory Guard), a language-to-execution safety suite that grounds natural-language laboratory rules into executable specifications and deploys them as runtime guards. LabGuard includes three core components: LabGuard-IR, which defines a typed executable representation; LabGuard-Bench, which provides 812 supervised annotations expanded from 203 seed laboratory rules; and LabGuard-Grounder, which maps natural-language laboratory rules into LabGuard-IR. The resulting IR instances are handled by the LabGuard Pipeline, which compiles them into runtime monitors and applies them at the controller boundary. Experiments show that LabGuard generalizes to unseen laboratory-rule sources, achieves 79.4 task-scope F1, and reduces unsafe events from 39.5% to 23.8% after monitor compilation. In LabUtopia, its runtime monitors integrate with ACT, keeping interventions below 0.5% while preserving task success.

arXiv:2606.13316v2cs.AI

ReSum: 강화학습을 통한 LLM 추론과 요약의 시너지

ReSum: Synergizing LLM Reasoning and Summarization with Reinforcement Learning

불필요하게 긴 추론 롤아웃으로 인한 문제를 해결하기 위해, 대규모 언어 모델(LLM)이 자체 요약을 통해 추론 궤적을 압축하고 관리하는 ReSum 프레임워크를 제안한다. 이 방법은 적응형 롤아웃 메커니즘을 도입하여 성능을 평균 4% 향상시키면서 롤아웃 길이를 18.6% 감소시킨다.

arXiv:2607.24268v2cs.CL

정확도는 언어 모델의 실패 방식을 숨긴다: 동일 출력 예산 하 실패 상태 측정

Accuracy Hides How Language Models Fail: Measuring Failure States Under Matched Output Budgets

언어 모델 벤치마크는 두 가지 서로 다른 측정 질문—응답이 평가 가능한 상태에 도달했는지, 그리고 그 답이 정답으로 판정되었는지—를 단일 정확도 점수로 축소한다. 우리는 종료(termination), 답 노출(answer exposure), 파싱 가능성(parseability), 완료 길이(completion length)를 포함한 채점기 독립적 실행 증거와 채점기 의존적 정확성을 분리하는 2층 평가 프레임워크를 제안한다. MATH 및 ARC-Challenge에서 다섯 가지 고정 Qwen 및 DeepSeek 구성의 2,550개 출력을 대상으로, 동일한 2,048 토큰 제한은 매우 다른 실행 혼합을 산출한다: 450개 Qwen MATH 출력 중 49개는 최종 답 없이 종료되는 반면, 300개 DeepSeek MATH 출력 중 5개, 750개 ARC 출력 중에는 없었다. 동일한 300개 DeepSeek MATH 질문-모델 쌍 가운데, 8,192 토큰에서는 최종 답 누락으로 인한 길이 종료가 관측되지 않았다. 커버리지 감사를 거친 표적 검증 연구는 후보 선택 및 집계 정책이 비교 정확도 추정치를 상당히 바꿀 수 있음을 추가로 보여준다. 이 결과는 정확도가 실행 케이스 구성과 검증 정책을 혼합함을 보여준다. 따라서 테스트 타임(test-time) 방법의 평가에서는 정확도와 함께 개입 전 실행 상태, 검증 커버리지, 채점기 출처를 보고해야 한다.

arXiv:2607.08065v2cs.AI

LLM이 동의할 때, 그들은 옳은가? 신뢰도 신호로서의 자기일관성과 모델 간 합의 감사

When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals

LLM-as-judge 시스템에서 널리 가정하는 "합의(agreement) = 정확성" 전제를 265,000개 샘플 규모의 크로스-러너 감사(audit)로 검증한 결과, 자기일관성(self-consistency)은 긍정적이나 약한 예측 변수(ρ 0.20–0.59)에 불과하며, 특히 최상위 프론티어 모델은 GPQA Diamond 케이스의 77%에서 합의율 ≥0.8을 기록하면서도 그 중 48%가 오답으로 나타나 과신뢰(over-confidence) 문제가 심각했다. 자기일관성은 독립적인 신뢰도 점수가 아닌 모델 계층·합의 수준·사용 목적에 따라 유용성이 달라지는 조건부 대리 지표임을 실증적으로 규명한다.

arXiv:2607.05682v2cs.AI

FirstResearch: 대규모 언어 모델 과학적 발견 에이전트를 위한 감사 가능한 연구 질문 형성

FirstResearch: Auditable Question Formation for LLM Scientific Discovery Agents

FirstResearch는 LLM 기반 과학적 발견 에이전트가 제안하는 연구 질문의 감사 가능성(auditability)을 높이기 위해, 기본 정의·가정·메커니즘·반증 가능한 가설·실패 업데이트 규칙을 명시적으로 기록하는 Research Question Certificate를 핵심 산출물로 삼는 프레임워크를 제안한다. 10개 주제 벤치마크에서 AI co-scientist, Agent Laboratory, AI Scientist-v2에서 착안한 기준선 대비 DeepSeek 및 Gemini-2.5-Flash 평가 모두에서 최고 점수(4.86–4.90/5)를 기록하였으며, 인증서 제거 시 점수가 1점 미만으로 급락해 명시적 도출 제약 조건의 효과를 뒷받침한다.

arXiv:2606.30555v3cs.AI

Linguistic Firewall: Geometry as Defense in Multi-Agent Systems Routing

The rapid integration of Large Language Models (LLMs) has driven the evolution of Multi-Agent Systems (MAS), where specialized agents collaborate to execute complex workflows. Effective orchestration in these environments requires robust routing mechanisms to efficiently allocate tasks to the most suitable agent. However, existing routers fundamentally rely on unverified proxies, ranging from textual self-descriptions to static surrogate representations, to gauge an agent's competence. This reliance on non-empirical data creates a critical gap between an agent's projected profile and its actual operational capabilities, introducing severe security vulnerabilities. Malicious agents can easily misrepresent their proficiencies or harbor covert backdoors that evade both standard external analysis and static representation-learning techniques. In this work, we introduce ANTAP (Automatic Non-Textual Agent Picker), an evaluation-driven routing architecture that discards indirect proxies in favor of active capability testing. By dynamically querying agents to ascertain their true competencies empirically, ANTAP distills performance into fixed behavioral operators within a shared semantic space. At inference time, routing is performed via a purely non-textual algebraic projection, establishing a "linguistic firewall" that renders metadata-based attacks inexpressible. In our experiments, ANTAP achieves near-zero ASR against description-based injection attacks, compared to 67.3\% and above for the description-based router baseline. Against adaptive embedding attacks, ANTAP achieves substantially lower ASR than the embedding-based baseline, with a 20\% reduction, while remaining resilient to description manipulation by design.

arXiv:2607.22720v2cs.LG

CausalGate: 트랜스포머 모듈 가지치기를 위한 인과적 중요도 증류

CausalGate: Causal Importance Distillation for Transformer Module Pruning

기존 대규모 언어 모델(LLM)의 적응형 추론 방법은 은닉 상태 유사도나 활성화 크기와 같은 관찰적 휴리스틱에 의존하여 중복 모듈을 제거한다. 그러나 이러한 상관관계 기반 지표는 의미적 정확도에 필수적인 미묘하고 비선형적인 구조적 연산을 포착하는 데 종종 실패한다. 우리는 연산 효율적인 트랜스포머 추론을 위한 개입 기반 프레임워크인 CausalGate를 제안한다. 보정 단계 동안 CausalGate는 개별 어텐션 및 MLP 하위 층을 분리하고, 각각의 출력을 0으로 만든 다음, 최종 로짓 분포의 Kullback-Leibler 발산을 통해 정확한 의미적 손상을 측정한다. 런타임 라우팅 오버헤드를 제거하기 위해, 이 구조적 중요도 계층은 지수 이동 평균(EMA) 평활화 목적 함수와 미분 가능한 쌍별 순위 손실을 결합하여 정적이고 경량의 스칼라 게이트 전역 집합으로 증류된다. TinyLlama-1.1B, Qwen2.5-3B, Llama-3.1-8B에서 언어 모델링 및 상식 추론 벤치마크로 평가한 결과, CausalGate는 주요 동적 라우팅 및 층 건너뛰기 기준선을 일관되게 능가하며, 이론적 연산 절감을 운영 오버헤드 없이 구체적인 하드웨어 지연 시간 감소로 전환한다.