PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12267v1cs.LG

추적, 순위화, 해결: 인식론적 작업 기억이 언어 에이전트의 다중 홉 추론을 확장한다

Track, Rank, Crack: Epistemic Working Memory Scales Multi-Hop Reasoning in Language Agents

추론과 도구 사용을 번갈아 수행하는 언어 에이전트는 각 개별 단계가 쉬운데도 추론 체인이 길어질수록 성능이 급격히 저하된다. 이를 컨텍스트 희석(context dilution)으로 귀인한다. 에이전트의 조사 상태(확인한 내용, 의심하는 내용, 아직 필요한 내용)가 점점 커지는 컨텍스트 윈도우에 암묵적으로만 존재하며, 초기 발견이 이후 검색 결과 아래에 묻혀 버리기 때문이다. 우리는 SLEUTH를 제안한다. 이는 구조화된 인식론적 작업 기억(epistemic working memory)을 통해 이 상태를 명시적이고 실행 가능하게 만든다. 에이전트는 출처에 그라운딩된 확인된 사실(Confirmed Facts), 증거에 따라 순위가 매겨진 활성 가설(Active Hypotheses), 다음 행동을 직접 이끄는 미해결 질문(Open Questions)을 유지한다. 5개의 다중 홉 벤치마크와 5개의 기존 베이스라인에 걸쳐, SLEUTH의 이점은 난이도가 높아질수록 커져 HotpotQA에서 +5점, 4-hop 체인에서 +11점에 이르며, 여러 에피소드 없이 Reflexion을 능가한다. 남은 격차가 어디에 있는지 분석한 결과, 증거 충분성 문제(evidence sufficiency problem)를 확인했다. 에이전트는 종종 답을 찾지만 확정(commit)하지 못하고, 불필요한 검증에 예산을 소진한다. 경량 확정 트리거가 이를 해결하지만, 에이전트가 이미 구조화된 상태를 유지할 때에만 효과가 있다. 동일한 트리거를 비구조화 에이전트에 적용하면 개선이 없어, 조직화된 인식론적 상태가 효과적인 확정의 필요 조건임을 분리해 보여준다. 마지막으로, 더 약한 모델에 프로토콜 준수를 강제하면 가장 어려운 문제에서 최대 +19점까지 회복되며, 다중 홉 추론을 확장하는 핵심 요소는 원시 모델 역량이 아니라 에이전트가 추론을 조직하는 방식임을 보여준다.

arXiv:2607.12266v1cs.LG

포화는 양자화 오차를 가산적으로 만든다: 인증을 갖춘 커버리지 모델

Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate

혼합 정밀도 양자화는 모델의 어떤 부분을 더 높은 정밀도로 유지할지 결정해야 한다. HAWQ 및 CoopQ와 같은 민감도 기반 방법들이 공유하는 일반적인 전제는, 층 집합을 양자화할 때 발생하는 손실이 고립된 상태에서 측정된 층별 또는 쌍별 민감도로부터 재구성될 수 있다는 것이다. 우리는 현재 배포되고 있는 4비트 가중치-활성화 정밀도에서 이 전제를 검증하며, 층 집합 $S$를 양자화할 때의 손실 변화 $f(S)$를 불리언 큐브 상의 집합 함수로 취급하고 두 가지 고전적인 기저 변환을 통해 분석한다. 이 분석은 두 가지 결과를 도출한다. 첫째, 배포 분포에서 추출한 구성들에 걸쳐 $f$의 분산의 85--93%가 오직 층별 효과만으로 설명된다. 둘째, 층별 항들의 합에 대한 단조 변환이 $f$의 구성 순위를 재현하며, 최대 2%의 쌍만 잘못 순서를 매긴다. 우리는 커버리지 모델 $f(S)=c\bigl(1-\prod_{i\in S}(1-a_i)\bigr)$을 제안하며, 이 모델은 $L$개의 적합된 break-rate로부터 $f$의 측정된 분산 프로파일을 몇 퍼센트 이내로 재현한다. 이 구조는 각각 $L+1$개의 파라미터를 갖는, 구성의 손실에 대한 두 가지 예측기를 뒷받침한다. 가산 모델은 최적의 1차 예측기이다. Parseval 항등식에 의해 그 평균제곱오차는 층별 효과로 설명되지 않은 $f$의 분산과 같으며, 우리는 이를 전체 격자에서 측정하고 전체 네트워크 규모에서 표본 외로 추정하며, 모든 결과와 함께 어떤 가산 모델이 얼마나 잘 수행할 수 있는지에 대한 인증으로 보고한다. 커버리지 모델 자체가 두 번째 예측기이다. 동일한 메모리에서 할당기로 사용할 때, 이들은 30B부터 355B 파라미터 모델에서 비교된 할당기들 중 가장 낮은 KL 발산을 달성한다. 4비트 미만에서, 이로 인한 할당은 그래디언트 민감도로부터의 할당이 더 이상 종료되는 생성을 만들어내지 못하는 예산에서도 코드 및 추론 과제를 계속 해결한다.

arXiv:2607.12260v1cs.LG

많은 특징에서 의미 있는 특징으로: 대규모 언어 모델을 활용한 특징 기반 제로샷 만성신장병 스크리닝

From Many to Meaningful: Feature-Guided Zero-Shot Chronic Kidney Disease Screening Using Large Language Models

만성신장병(CKD)의 조기 스크리닝은 비가역적 진행을 예방하는 데 필수적이다. 그러나 많은 기계학습(ML) 기반 스크리닝 방법은 대규모 라벨 데이터셋, 자원 집약적인 병리 검사, 또는 고차원 임상 특징에 의존하고, 인구 및 분포 변화에 대한 견고성이 제한적이어서 지역사회 및 자원이 제한된 스크리닝 환경에서 배포하기 어렵다. 본 연구는 데이터셋별 학습 없이 제로샷 설정에서 대규모 언어 모델(LLM)을 이용한 조기 단계 CKD 스크리닝의 타당성을 검토한다. 우리는 포괄적인 임상 입력 대신 임상적으로 의미 있고 쉽게 이용 가능한 지역사회 기반 특징의 선별된 집합을 사용하여 LLM 성능을 평가하는 특징 기반 제로샷 프레임워크를 제안한다. 특징 선택은 ML 기반 분석에 의해 안내되어, 간결하고 임상적으로 관련 있는 변수 부분집합을 식별했다. 이후 표 형식의 환자 기록을 표준화된 프롬프트 템플릿을 사용해 텍스트로 직렬화하여 제로샷 추론을 가능하게 했다. LLaMA-3, Qwen-3, Mistral, GPT-4o-mini의 네 가지 LLM에 대해 전체 특징 집합과 선별된 부분집합 모두를 사용하여 제로샷 성능을 평가했다. 일반화 가능성은 세 개국에 걸친 세 개의 이질적 CKD 데이터셋에서 평가했다. 모델과 데이터셋 전반에 걸쳐, 선별된 특징 집합은 균형 정확도와 확률 추정치에서 일관되고 통계적으로 유의미한 개선을 가져왔으며, 스크리닝 목적에 적합한 성능 수준을 달성했다. 이러한 결과는 LLM이 최소한의 지역사회에서 접근 가능한 환자 특징을 사용하여 임상적으로 의미 있는, 학습 없는 CKD 스크리닝을 지원할 수 있음을 시사하며, 실제 스크리닝 환경에서 기존 ML 방법에 대한 실용적인 보완을 제공한다.

arXiv:2607.12236v1cs.LG

메모리를 활용한 투기 실행: LLM 에이전트의 무손실 가속

Speculate with Memory: Lossless Acceleration for LLM Agents

투기 실행(speculative execution)은 환경이 유휴 상태일 때 더 작고 비용이 적은 모델을 사용해 다음 단계를 예측하고 선행 실행함으로써 LLM 에이전트를 가속한다. 그러나 기존 투기기(speculator)는 상태를 유지하지 않으며 작업 간 모든 정보를 폐기하므로, 경험이 쌓여도 예측 품질이 개선되지 않는다. 우리는 과거 에이전트 궤적에서 학습하는 세 가지 온라인 메모리 시스템을 투기기에 장착한다: 행동 시퀀스 통계를 추적하는 대조 전이 표(contrastive transition table), 문맥적으로 유사한 구간을 검색하는 에피소드 메모리(episodic memory), 반복 오류를 억제하는 혼동 추적기(confusion tracker). 이 접근법을 행동 예측, 관찰 예측, 연쇄 예측의 세 가지 투기 유형을 아우르는 여섯 개의 벤치마크에서 평가한다. 메모리가 증강된 투기는 행동 예측에서 19–39%의 상대적 정확도 향상을 달성하며, 반복적인 행동 공간을 가진 관찰 예측 작업에서는 최대 2.5배의 향상을 보인다. 이러한 이득은 메모리가 축적될수록 지속적으로 커지며, 비용이 다른 다양한 투기기 모델에 걸쳐 일반화된다. 모든 투기는 유휴 시간 동안 실행되어 추가 벽시계(wall-clock) 비용이 0이기 때문에 무손실이며, 액터(actor)의 궤적은 비투기 실행과 동일하다.

arXiv:2607.12122v1cs.LG

자동 신경 연산자 발견을 위한 에이전틱 AI 과학 커뮤니티

An Agentic AI Scientific Community for Automated Neural Operator Discovery

우리는 인용 기반 영향력 경제 하에서 상호작용하는 가상 실험실 군집으로 구성된 AI 과학 커뮤니티를 기반으로 한 자율적 신경 연산자 발견의 에이전틱 접근법을 제안한다. 높은 인용을 받은 실험실은 자신의 연구 방향을 따르는 새 실험실을 설립하고, 성과가 저조한 실험실을 대체한다. 각 가상 실험실에는 세 가지 에이전트가 있다: 아키텍처를 제안하는 LLM 플래너, 이를 학습하고 측정하는 수치 작업자, 그리고 실험실 간 상호 심사에 참여하는 LLM 리뷰어. 모든 실험실은 DeepONet(branch-trunk), Fourier, 트랜스포머(어텐션), 웨이블릿, 잔차 컨볼루션 신경 연산자 빌딩 블록으로 구성된 공통 어휘를 공유한다. 우리는 신경 연산자 AI 과학 커뮤니티를 다섯 가지 문제, 즉 구간별 회귀(piecewise regression), 선형 이류 및 Burgers 1D PDE, Navier-Stokes 및 Darcy flow 2D PDE에서 평가하며, 각 문제에 대해 시뮬레이션을 세 번 반복했다. 결과는 신경 연산자 AI 과학 커뮤니티가 고정확도·저매개변수 신경 연산자 아키텍처를 발견할 수 있음을 보여준다. 기록 및 감사된 LLM 호출 9,623건 전부에서, 가상 실험실의 LLM 플래너가 기록된 결정의 99.8%에서 하이브리드화를 선택하고 일관되게 다중 계열 하이브리드를 반환한다는 것이 드러났다. 또한 각 실험실의 LLM 에이전트를 규칙 기반 대안으로 대체하는 어블레이션 연구를 수행했으며, 이는 여러 경우에서 과학 커뮤니티가 비하이브리드 단일 계열 스택으로 붕괴하게 하여, 다양성을 유지하려면 LLM 에이전시가 필요함을 보여준다. 결과는 신경 연산자에 대한 무공식 점심(no-free-lunch) 정리를 시사한다: 보편적 승자는 존재하지 않는다. 코드, 설정, 전체 LLM 대화 기록은 https://github.com/luislootx/AI-SC 에서 공개되었다.

arXiv:2607.12112v1cs.LG

연합 MLLM 미세조정을 위한 탄성 정규화 및 합성 리플레이 기반 지속 학습

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

분산 네트워크 전반에 걸친 멀티모달 대규모 언어 모델(MLLM)의 연합 미세조정은 진화하는 데이터 스트림에 대한 프라이버시 민감 적응을 가능하게 하지만, 동적 환경에서의 견고한 배포를 막는 근본적 장애물이 존재한다: 순차적 과제 업데이트가 시각, 언어, 교차 모달 표현에 걸쳐 이전에 습득한 지식을 지워버리는 치명적 망각(catastrophic forgetting)이다. 이러한 과제를 해결하는 것은 콘텐츠 검열과 같은 안전성 민감 영역에서 운용되는 자율 연결형 AI에 특히 중요하며, 여기서 이전 지식의 신뢰할 수 있는 유지는 시스템 무결성의 기반이 된다. 이를 극복하기 위해, 우리는 연합 지속 다중모달 학습(FedCMM)을 제안한다. 이는 세 가지 상호 보완적 수준에서 연합 최적화 루프에 지속 학습 보호 장치를 내장하는 프레임워크이다. 매개변수 수준에서, 모달리티 인식 탄성 가중치 통합(elastic weight consolidation)은 비전 인코더, 언어 백본, 교차 모달 프로젝터에 대해 각각 별도의 Fisher 정보 행렬을 계산하여, 모달리티 특화 망각에 대한 세밀하고 비대칭 인식 보호를 제공한다. 데이터 수준에서, 각 클라이언트는 경량 로컬 생성형 리플레이 모듈을 학습하여 원시 데이터 공유 없이 원시 데이터 없는 임베딩 수준 멀티모달 리플레이 튜플을 합성한다. 집계 수준에서, 과제 유사도 인식 그래디언트 집계는 그래디언트 코사인 유사도에 따라 클라이언트 업데이트를 자율적으로 필터링하고 재가중하여 충돌하는 방향을 억제하고 전역 학습 궤적을 안정화한다. 두 벤치마크에 대한 광범위한 실험은 FedCMM이 정확도와 역방향 전이(backward transfer)에서 최근 베이스라인을 일관되게 능가함을 보여주며, 전체적이고 모달리티 인식 최적화가 이질적인 연결형 AI 배포 전반에 걸쳐 견고한 진화적 적응을 가능하게 함을 확인한다.

arXiv:2607.12111v1cs.LG

PFAdapter: 개인화 연합 MLLM을 위한 계층적 LoRA 분해

PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs

에이전트형 AI 시스템은 네트워크 엣지에서 데이터 프라이버시를 유지하면서 협업 학습이 가능한 자율 지능형 에이전트를 배포함으로써 통신 및 네트워킹을 재편하고 있다. 분산 네트워크 환경에서 멀티모달 대규모 언어 모델(MLLM)은 엣지 디바이스의 인지 엔진 역할을 하지만, 연합 미세조정은 이질적인 네트워크 조건 하에서 전역 지식 집약과 로컬 적응의 균형을 맞추는 데 상당한 어려움이 있다. 기존 연합 프로토콜은 일반적으로 균일한 매개변수 집약에 의존하여, 도메인 불변 특징과 클라이언트별 세부 사항을 혼동하게 되고, 이로 인해 비최적의 개인화와 과도한 통신 오버헤드가 발생한다. 이러한 과제를 해결하기 위해, 우리는 글로벌-공유 및 로컬-프라이빗 구성 요소로 어댑터 매개변수를 명시적으로 분리하는 계층적 LoRA 분해를 도입한 통신 효율적 프레임워크 PFAdapter를 제안한다. 쿼리 및 키 투영은 네트워크 전반에 걸친 보편적 멀티모달 의미론을 포착하기 위해 전역 동기화에 할당되며, value 및 output 투영은 엣지별 적응을 위해 로컬에 유지된다. 또한 Frobenius norm 기반 직교성 정규화는 이러한 구성 요소 간의 엄격한 분리를 강제하여 중복 특징 학습을 방지한다. 선택적 집약 프로토콜은 연합 네트워크 전반에서 글로벌-공유 구성 요소만 동기화하여 로컬 전문성을 보존하고 통신 비용을 거의 50% 감소시킨다. VQA-RAD, SLAKE, Hateful Memes, CrisisMMD 데이터셋에 대한 광범위한 실험은 PFAdapter가 최신 베이스라인을 지속적으로 능가하며, 다양한 엣지 지능 과제에서 2.4%에서 4.8%에 이르는 정확도 향상을 달성함을 보여준다. 결과적으로, 우리의 프레임워크는 자원 제약이 있는 통신 네트워크에서 에이전트형 AI 배포를 위한 효율적인 솔루션을 제시한다.

arXiv:2607.11954v1cs.LG

극단적 임상 코드 예측을 위한 그래프 제약 정책 학습

Graph-Constrained Policy Learning for Extreme Clinical Code Prediction

임상 코드 예측은 비구조화된 퇴원 요약을 대규모·희소·깊이 계층화된 라벨 공간의 ICD-10-CM 리프 코드로 매핑하는 작업이다. 대부분의 시스템은 이 작업을 평면 다중 라벨 분류로 취급하여 코드를 독립적으로 점수화하고 희귀 라벨에 대한 학습 신호를 제한적으로 제공한다. 우리는 가지치기된 코드 계층 위의 유한 시한 결정 과정으로 ICD 예측을 공식화하는 그래프 제약 순회 정책을 제안한다. 단일 언어 모델이 그래프를 레벨별로 하강하며 청구 가능한 리프 코드에 도달할 때까지 유효한 자식 노드를 선택한다. 이는 극단적 다중 라벨 예측을 희소하고 계층을 인식하는 부분집합 결정으로 변환하며 구조적으로 유효한 출력을 보장한다. MIMIC-IV 퇴원 요약에서 우리의 최고 지도 학습 정책인 SFT-1+는 선별된 50코드 부분집합에서 0.709 micro-F1, 전체 15,761코드 공간에서 0.527 micro-F1을 달성하여 CAML, LAAT, PLM-ICD를 포함한 평면 기준선을 능가한다. 전체 설정에서 SFT-1+는 가장 강한 평면 기준선 대비 micro-F1 0.044, macro-F1 0.157을 개선하여, 그래프 제약 분해가 희귀 코드 병목을 완화함을 시사한다. 통제된 요인 연구는 아키텍처, 학습 알고리즘, 데이터 예산을 평가한다. 두 규모 모두에서 단일 공유 정책이 3전문가 캐스케이드와 동등한 성능을 달성하면서 전체 공간 테스트 노트의 28-32%에서 발생하는 컨텍스트 윈도우 오버플로를 방지한다. 지도 학습 궤적 데이터를 늘리는 것만이 일관되게 성능을 개선하는 유일한 개입이며, 동일한 데이터로 지도 학습을 이어가는 것보다 GRPO 강화학습은 이점을 제공하지 않는다. 이 결과는 단순한 그래프 제약 정책 학습이 극단적 임상 코드 예측에서 더 복잡한 평면, 캐스케이드, 강화학습 대안보다 우수할 수 있음을 보여준다.

arXiv:2607.11937v1cs.LG

미러 호라이즌: 유한 반사의 척도로서의 가능 경로 엔트로피

Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection

미러 이론(Mirror Theory)은 지능 시스템을 그것이 표현하는 것뿐만 아니라, 반복적인 반사(reflection) 하에서 유지할 수 있는 일관된 연속(coherent continuations)으로 연구해야 한다고 제안한다. 우리는 검증된 연속 능력(verified continuation capacity)의 유한 예산 척도인 \emph{가능 경로 엔트로피(viable path entropy)}(VPE)를 통해 이 주장을 실용화한다. 미러 상태, 롤아웃 프로토콜, 검증기, 모드 맵이 주어지면 VPE는 유한 능력을 두 부분으로 분해한다: 유효한 연속(viable continuation)에 도달할 확률, 그리고 성공한 롤아웃들 가운데 도달한 검증된 연속 모드(verified continuation modes)의 다양성이다. 본 논문은 이 척도 뒤의 전체 이론적 틀을 복원한다: 직관(intuition)을 국소적 과소결정 제약(local underdetermining constraint)으로, 취향(taste)을 불변량 선택 압력(invariant-selecting pressure)으로, 반사를 과소결정의 취향 유도 해소(taste-guided resolution of underdetermination)로, 기하(geometry)를 미래 반사를 안정적으로 만드는 학습된 구조(learned structure)로 본다. 그런 다음 GSM8K에서 언어 모델 추론 실험에 이 이론을 구현한다. Qwen2.5-Instruct 모델들, 문제당 32개의 샘플링된 롤아웃, 두 가지 반사 호라이즌(reflection horizons)에 걸쳐, 토큰 예산을 96에서 160으로 늘리면 검증된 도달성(verified reachability)이 크게 확장되고, 영 도달성(zero-reachability)이 감소하며, 검증된 모드 엔트로피(verified-mode entropy)가 증가하고, 평활화된 VPE(smoothed VPE)가 개선된다. 160 토큰에서 Qwen2.5-1.5B는 테스트된 모델들 가운데 가장 강한 미러 호라이즌(mirror horizon)을 실현하는데, Qwen2.5-3B가 더 많은 매개변수를 갖고 있음에도 불구하고 그렇다. 이는 미러 호라이즌이 매개변수 수가 아니라, 유한 반사 프로토콜 하에서 접근 가능한 검증된 연속 능력이라는 점을 보여준다. 이 결과는 미러 이론을 척도 수준의 설명으로 뒷받침한다: 능력은 단순히 일회성 정확도나 pass@k가 아니라, 도달 가능하게 만든 유효한 연속들의 구조이다.

arXiv:2607.11918v1cs.DL

AAAI-26 이중 제출: 새로운 도전 과제

AAAI-26 Dual Submissions: Novel Challenges

이중 제출(dual submission)이란 동일하거나 실질적으로 유사한 논문이 상호 인용이나 공개 없이 하나 이상의 아카이브 출판 장소(archival venue)에 동시에 제출되는 것으로, AAAI Conference 및 기타 과학 출판 장소에서 점점 커지는 문제이다. 이러한 제출은 동료 심사(peer-review) 시스템에 부담을 늘리고 과학 기록을 오염시킨다. AAAI-26 심사 과정의 일환으로, 우리(회의 조직자)는 AAAI 메인 트랙(main track) 제출 논문을 심사 기간이 겹치는 다른 9개 아카이브 출판 장소의 논문과 비교했다. 또한 AAAI-26 메인 트랙 내에서 이중 제출을 탐색했다. 우리는 제목+초록 유사도 평가를 사용해 매우 유사한 논문 쌍을 우선순위화하고, 이후 대규모 언어 모델(LLM) 기반 중복 평가 도구로 1차 선별(triage)한 뒤, 심각도가 가장 높은 쌍에 대해 수동 검토를 진행했다. 이러한 쌍에 대한 수동 검토 결과 AAAI-26 메인 트랙 제출 141편이 데스크 리젝션(desk-rejection)되었다. 우리는 향후 조직자와 더 넓은 인공지능 연구 커뮤니티에 이중 제출의 급격한 증가를 알리고자 한다. 탐지가 쉬운 정확한 중복 제출의 발생 빈도는, 동일한 기여를 다른 표현으로 서술한 논문의 수에 뒤처졌으며, 후자는 탐지에 매우 많은 시간이 소요된다. 이 현상의 증가는 생성형 AI(generative AI) 도구에 대한 접근성 증가에 의해 촉진된 것으로 보인다. 우리는 이 문제에 대응하기 위한 여러 권고사항을 제시한다. 여기에는 (1) AAAI 다중 제출 정책(Multiple Submission Policy)을 개정하고 허용 가능한 관행에 대해 커뮤니티를 교육할 것, (2) 제출 마감 전에 이중 제출 검사 도구를 갖춰 둘 것, (3) 여러 출판 장소가 협력하여 일관된 정책과 제재를 수렴함으로써 이중 제출 발생을 줄일 것, (4) 견고한 탐지 도구 개발을 가속하기 위해 커뮤니티 주도의 적대적(adversarial) 챌린지를 만드는 것이 포함된다.

arXiv:2607.11327v2cs.LG

PRISM Edit: 모든 시간적 답변을 위한 단일 벡터

PRISM Edit: One Vector for All Temporal Answers

모델 편집은 대규모 언어 모델(LLM)을 재학습 없이 최신 상태로 유지하지만, 시간적 사실은 현재 주류인 위치 탐색 후 편집(locate-and-edit) 패러다임의 한계를 드러낸다. 업데이트가 항상 대체를 의미하지는 않기 때문이다. 사실이 변경될 때, 새로운 답변은 현재 시점에서 정확해야 하지만 기존 답변은 역사적 시간 맥락에서 여전히 유효할 수 있다. 이 통찰을 바탕으로, 우리는 인과 추적(causal tracing)을 통해 LLM이 이미 2단계 내부 계산을 통해 이러한 구분을 지원함을 보인다: 초기 MLP 레이어는 시간 불변(time-agnostic) 주어 표현을 검색하고, 이후 레이어는 시간 맥락으로 이를 조절하여 시간적으로 올바른 답변을 생성한다. 이 발견에 기반하여, 우리는 PRISM Edit을 소개한다. PRISM Edit은 시간적 맥락 전반에 걸쳐 단일 다의적(polysemous) 표현을 최적화하고, 어떠한 아키텍처 수정 없이 모델의 내재적 조절 경로를 활용하여 시간적으로 올바른 예측으로 라우팅한다. 우리는 새롭게 도입한 시간적 편집 벤치마크인 TimeConflict와 시간적으로 증강된 CounterFact에서 평가를 수행한다. PRISM Edit은 최고 기준선(baseline) 대비 Temporal Consistency(TC)에서 평균 +23.3, Current Relative-time Score(CRS)에서 평균 +33.7 향상을 달성하면서 2배 이상 빠른 속도를 보인다. 코드와 데이터는 https://github.com/AnonymousStudy972/PRISM-Edit 에서 공개되어 있다.

arXiv:2606.12634v3cs.LG

정책 그래디언트의 주도권 유지: 장기 도구 사용 에이전트를 위한 형제 안내 크레딧 증류

Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents

장기 도구 사용 에이전트 강화학습에서 직접 자기 증류(self-distillation)가 도구 사용을 붕괴시키는 실패 원인을 분석하고, 이를 해결하기 위해 성공·실패 형제 롤아웃(sibling rollout)의 대비를 외부 LLM으로 요약한 크레딧 참조를 활용해 GRPO 토큰 어드밴티지를 재가중하는 SGCD(Sibling-Guided Credit Distillation)를 제안한다. SGCD는 AppWorld와 tau^3-airline 벤치마크에서 GRPO 계열 비교 모델보다 높은 성능을 기록하며, 정책 그래디언트가 액터 업데이트를 주도하고 증류는 크레딧 할당 안내에만 활용해야 한다는 설계 원칙을 실증적으로 지지한다.

arXiv:2606.04115v2cs.LG

dMX: 저정밀 부동소수점 형식을 위한 미분 가능한 혼합 정밀도 할당

dMX: Differentiable Mixed-Precision Assignment for Low-Precision Floating-Point Formats

대규모 언어 모델(LLM)을 저정밀 부동소수점 표현으로 양자화하는 것은 효율적인 배포의 핵심이지만, 모든 층에 단일 비트폭을 균일하게 적용하는 것은 성능과 정확도 모두에서 최적이 아니다. 본 연구는 학습 가능한 부동소수점 비트폭 할당을 위한 미분 가능한 혼합 정밀도 양자화 프레임워크인 dMX를 제안한다. Open Compute Project(OCP) 표준에 정의된 마이크로스케일링 부동소수점(MXFP) 데이터 형식 계열에 대한 적용을 연구한다. 층별 비트폭 할당은 각 층의 부동소수점 형식이 스칼라 매개변수로 매개변수화되는 연속 최적화 문제로 공식화되며, 이를 통해 다변량 설계 공간을 단일 학습 가능한 오프셋으로 축소한다. 학습 과정에서 이 오프셋은 연속 값을 취하여 이산 양자화 형식 간의 급격한 진동을 피한다. 온도 기반 어닐링 스케줄이 학습된 오프셋을 점진적으로 이산화하여, 최종 구성이 하드웨어 호환 MXFP 형식에 매핑되도록 하며 학습과 추론 동작 간의 급격한 전환 없이 이를 보장한다. 목표 인식 정규화 항은 평균 비트폭을 사용자가 지정한 예산 방향으로 유도하며, 추론 비용의 거친 수준 프록시 역할을 하면서 모델 품질과 배포 효율성 간의 균형을 맞춘다. Llama, Qwen3, SmolLM2 등 다양한 LLM 계열에 대해 실험을 수행하였으며, WikiText-2에서의 혼란도(perplexity)와 네 가지 제로샷 추론 벤치마크에서의 정확도를 평가하였다. 이러한 설정 전반에 걸쳐 dMX는 일관되게 파레토 우월 모델을 산출하며, Kullback-Leibler(KL) 발산 기반 층 선택 휴리스틱보다 개선되고, 모델 품질과 평균 비트폭 간의 트레이드오프를 효율적으로 탐색한다.

arXiv:2602.02244v3cs.LG

대규모 추론 모델을 위한 적응형 자기 증류 기반 엔트로피 보존 지도 미세조정

Entropy-Preserving Supervised Fine-Tuning via Adaptive Self-Distillation for Large Reasoning Models

대규모 추론 모델의 표준 사후 학습 절차인 지도 미세조정(SFT) 후 강화학습(RL)을 적용하는 방식(SFT-then-RL)은 RL 단계의 이점을 제한할 수 있다. SFT가 전문가 시연을 모방하는 반면, 과도한 확신을 유발하고 생성 다양성을 감소시켜 RL이 탐험할 수 있는 해 공간을 좁히는 경우가 많다. SFT 중 엔트로피 정규화를 추가하는 것은 만능 해결책이 아니다. 토큰 분포를 균일성 쪽으로 평탄화하여 엔트로피는 증가시키지만 의미 있는 탐험 능력을 개선하지는 못하는 경향이 있다. 본 논문에서는 내재적 호기심을 통해 탐험 능력을 향상시키도록 설계된 엔트로피 보존 SFT 방법인 CurioSFT를 제안한다. 이는 (a) 자기 탐색적 증류(Self-Exploratory Distillation)로, 모델이 자체 생성된 온도 스케일링된 교사를 향해 증류되어 능력 범위 내에서 탐험을 장려하고; (b) 엔트로피 유도 온도 선택(Entropy-Guided Temperature Selection)으로, 추론 토큰에서는 탐험을 증폭하고 사실 토큰에서는 안정화하여 지식 망각을 완화하도록 증류 강도를 적응적으로 조정하는 두 구성 요소로 이루어진다. 수학적 추론 과제에 대한 광범위한 실험에서 SFT 단계에서 CurioSFT가 분포 내(in-distribution) 과제에서 바닐라 SFT 대비 2.5점, 분포 외(out-of-distribution) 과제에서 2.9점 더 우수한 성능을 보였음을 입증한다. 또한 SFT 중 보존된 탐험 능력이 RL 단계에서 구체적인 성능 향상으로 성공적으로 이어져 평균 5.0점의 개선을 달성함을 검증한다.

arXiv:2511.23276v2cs.LG

구조화된 LLM 에이전트를 활용한 감사 가능한 상황 인식 HFMD 예측

Auditable Context-Aware HFMD Forecasting with Structured LLM Agents

효과적인 HFMD 감시를 위해서는 시계열 패턴과 학교 일정, 기상, 정책 또는 감시 보고서와 같은 상황적 요인을 모두 포착하는 예측이 필요하다. 임상 환경에서 예측은 신뢰할 수 있고 실행 가능해야 하므로, 의사결정권자는 점 예측 정확도를 넘어 위험이 상승하거나 하강할 것으로 예상되는 이유에 대한 간결하고 감사 가능한 설명을 요구한다. 전통 모델(예: ARIMA, Prophet)과 파운데이션 모델(예: Chronos, Moirai, TimesFM)은 외부 공변량을 수치 입력으로 취급하여, 역학적 기전을 반영하거나 상충하는 신호를 해소하는 의미적 추론이 부족하다. 우리는 상황 해석과 확률적 예측을 분리하는 2-에이전트 신경-기호(neuro-symbolic) 프레임워크를 제안한다. LLM 기반 이벤트 해석기(Event Interpreter)는 학교 일정, 기상 요약, 정부 보고서, 임상 지침 등 이질적 신호를 수집하여 스칼라 전파 영향 신호를 출력한다. 예측 생성기(Forecast Generator)는 이 신호와 과거 사례 수를 결합해 점 예측을 생성하고, 포아송(Poisson)/음이항(negative-binomial) 모멘트 매칭을 통해 확률적 예측으로 매핑한다. 우리는 1주 앞 롤링 예측에 초점을 맞추며, 이는 주간 병원 수용 능력 계획 및 HFMD에 전형적인 급속하고 상황 기반 변곡점과 일치한다. 두 데이터셋에서 평가한다: 홍콩 감시 데이터(2023--2024년 대상 주 90주)와 리수이(Lishui) 병원 방문 데이터(2024년 대상 주 33주). 전통 및 파운데이션 모델 베이스라인 대비, 우리 접근법은 경쟁력 있는 점 예측 정확도를 달성하는 동시에 견고한 90% 구간(커버리지 약 0.85--1.00)과 간결한 근거를 제공한다. 이는 LLM 기반 에이전트를 통해 도메인 지식을 통합하면 강력한 수치 예측 모델과 대등한 성능을 달성하면서도, 공중보건 의사결정에 부합하는 해석 가능하고 상황 인식 예측을 제공할 수 있음을 보여준다.

arXiv:2510.20963v2cs.LG

다중 에이전트 토론은 언제, 왜 실패하며 정말 성능이 낮은가?

When and Why Does Multi-Agent Debate Fail and Does It Really Underperform?

다중 에이전트 토론(MAD)은 여러 대규모 언어 모델(LLM)의 지혜를 앙상블하여 추론을 개선하고, 초인간적 LLM에 효과적인 감독을 제공하는 유망한 접근법으로 제안되었다. 그러나 점점 늘어나는 실증적 증거는 MAD가 단일 에이전트(SA) 접근법보다 나아지지 못하거나 오히려 현저히 성능이 낮을 수 있음을 시사하여, MAD의 이점에 대한 의문을 제기하고 있다. 본 연구에서는 인기 있는 MAD 패러다임의 인센티브 구조를 분석하여 이 문제를 조사한다: (i) 에이전트들이 대립하는 입장을 취하며 경쟁하는 경쟁형 MAD(CopMAD); (ii) 에이전트들이 합의를 추구하도록 유도되는 합의 지향 MAD(CosMAD). 두 패러다임 모두 토론 해킹(debate hacking)에 시달린다는 것을 보인다. CopMAD는 에이전트들이 게임에서 이기기 위해 오해를 유발하는 메시지를 생성하는 cheap-talk game으로 환원되며, CosMAD는 정보가 있는 이견을 조기 합의를 위해 걸러낸다. 결과적으로 CopMAD와 CosMAD의 에이전트들은 모호성을 공동으로 해소하고 진실을 추구하는 데 실패한다. 이를 위해 MAD를 비영(sum) 게임으로 재구성하여 에이전트들이 정보가 있으면서도 진실한 메시지를 제공하도록 장려하는 협력형 프로토콜 ColMAD를 제안한다. 오류 탐지와 같은 어려운 과제에 대한 광범위한 벤치마킹을 통해 ColMAD가 기존 MAD 프로토콜보다 최대 10퍼센트포인트만큼 크게 우수함을 보인다. 동일한 예산 하에서 ColMAD는 SA 방법 대비 실질적인 개선을 효과적으로 가져오며, 이는 MAD의 잠재력을 실현하는 데 프로토콜 설계가 핵심적임을 시사한다.

arXiv:2509.24372v3cs.LG

대규모 진화 전략: 강화학습을 넘어선 LLM 미세조정

Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning

다운스트림 작업을 위해 대규모 언어 모델(LLM)을 미세조정하는 것은 현대 AI 배포의 필수 단계이다. 강화학습(RL)은 지배적인 미세조정 패러다임으로 부상하여 많은 최신 LLM의 기반이 되었다. 대조적으로, 진화 전략(ES)은 현대 모델 규모에 확장되지 않는다는 널리 퍼진 믿음 때문에 대체로 간과되어 왔다. 본 논문은 차원 축소 없이 수십억 매개변수 규모에서 LLM의 전체 매개변수 미세조정에 ES를 최초로 성공적으로 적용함으로써 이 가정을 뒤집는다. ES는 실제로 극도로 고차원인 매개변수 공간을 탐색할 수 있으며, 장기 호라이즌 및 지연 보상에 대한 향상된 내성, 다양한 베이스 LLM에 걸친 강건성, 보상 해킹(reward hacking)에 대한 취약성 감소, 향상된 학습 안정성 등 여러 축에서 기존 RL 구현을 능가한다. 이러한 결과는 ES가 RL의 단순한 대안이 아니라, 역전파 없는 강력하고 근본적으로 다른 사후 학습 패러다임이며, 현재 RL 기반 접근법을 넘어선 LLM 미세조정의 새로운 방향을 연다는 것을 시사한다.

arXiv:2607.12911v1cs.CV

Open-KNEAD: 에이전트 분해 기반 지식 그라운딩 영양 추정

Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition

다중모달 대규모 언어 모델(MLLM)은 식사 이미지로부터 식이 평가에 점점 더 많이 사용되고 있으며, 검색-증강 그라운딩(retrieval-augmented grounding)이 영양 추정의 정확도를 높이는 것으로 나타났다. 그러나 우리는 이 전제가 현재 MLLM에는 더 이상 성립하지 않는다는 것을 발견한다. 현대 MLLM의 직접 추정은 이제 전체 검색 파이프라인과 동등하거나 이를 초과한다. 이는 질문을 던진다: 검색이 더 이상 전체 추정을 개선하지 않는다면, 임상의들이 중시하는 두 가지—정확한 분량과 추적 가능한 항목별 기록—을 여전히 제공할 수 있는가? 우리는 임상적 도입에 중요한 요소를 유지하면서 이를 추구한다: 최소한의 사용자 부담(주석 없는 단일 식사 이미지), 설명 가능성(감사 가능한 기록), 프라이버시(로컬 호스팅 추론). 우리는 Open-KNEAD를 소개한다. 이는 학습 불필요하고 로컬 배포 가능한 식사 영양 추정을 위한 지식 기반 에이전트 프레임워크이다. 분해된 각 식품 항목은 선택적 영양소 인식 검색을 통해 Food and Nutrient Database for Dietary Studies(FNDDS) 코드에 그라운딩되어, 감사 가능한 항목별 기록을 구성한다. 두 개의 공개 MLLM 계열과 세 가지 요리에 걸쳐 Open-KNEAD는 대부분의 백본-데이터셋 설정에서 기존 그라운딩 방법과 직접 추정 모두에 비해 분량 추정을 개선한다. 에이전트 내부의 레시피 사전(recipe-prior) 단계는 비미국 요리에서 추정을 편향시키는, 조리로 인해 추가되지만 눈에 보이지 않는 에너지를 추가로 회복한다. 이 이점은 영양사 검증 ACETADA 데이터셋에서 가장 크며, 여기서 로컬 공개 에이전트는 두 선도적인 폐쇄형 모델의 직접 분량 추정을 대략 $30\%$ 및 $53\%$ 초과한다—all while keeping every meal image on local hardware. 우리는 Open-KNEAD 프레임워크와 에이전트 준비 FNDDS 지식 베이스를 공개한다.

arXiv:2607.12621v1cs.CV

비전 없는 CIR을 향하여: 제로샷 구성 이미지 검색을 위한 속성 증강 스코어링과 LLM 기반 재순위화

Towards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrieval

최근 연구는 이미지를 텍스트로 표현하는 "비전 없는(Vision-Free)" 접근법이 표준 이미지 검색 작업에 효과적일 수 있음을 보여주었다. 그러나 텍스트 설명에 내재된 정보 손실로 인해, 이러한 패러다임이 보다 복잡한 멀티모달 과제인 구성 이미지 검색(Composed Image Retrieval, CIR)을 효과적으로 처리할 수 있는지는 아직 불분명하다. 본 논문에서는 두 가지 핵심 기법을 통해 이 과제를 해결하는 비전 없는 CIR 프레임워크를 제안한다: (1) 명시적 속성 매칭을 통해 손실된 시각적 세부 정보를 보완하는 속성 증강 하이브리드 스코어링(Attribute-Augmented Hybrid Scoring), (2) 상위 후보들의 의미적 일관성을 검증하는 LLM 기반 재순위화(LLM-Based Reranking). 오픈 도메인 CIRR 데이터셋에서의 실험은 우리 접근법이 기존 제로샷 CIR 방법들을 능가함을 보여준다(44.04% R@1, +8.79%). FashionIQ에서는 우리 결과가 의미적 추론과 세밀한 시각적 매칭 사이의 트레이드오프를 부각한다. 절제 연구는 속성 증강 스코어링과 LLM 기반 재순위화 모두가 일관되게 성능을 향상시킴을 보여준다.

arXiv:2607.12497v1cs.CV

TerraLogic: 지구 관측에서의 계층적 지리공간 추론 벤치마크

TerraLogic: A Benchmark for Hierarchical Geospatial Reasoning in Earth Observation

인식을 넘어, 원격 탐사에서 고급 해석, 추론, 의사결정을 위해서는 추론이 필수적이다. 대규모 언어 모델(LLM)의 최근 발전으로 외부 도구를 활용하여 복잡한 분석 작업을 수행하는 도구 증강(tool-augmented) 에이전트가 가능해졌다. 그러나 원격 탐사 분야의 기존 연구는 주로 인식 중심 작업에 초점을 맞추어 인지적 지리공간 추론은 대체로 미탐색 상태로 남아 있다. 이 공백을 메우기 위해 지리공간 추론을 위한 벤치마크인 TerraLogic를 소개한다. TerraLogic은 재난 취약성 평가, 도시 열섬 분석, 산림 단편화 역학 등 광학, 합성개구레이더(Synthetic Aperture Radar, SAR), 적외선(infrared, IR) 영상에 걸친 545개의 시나리오 기반·계층 인식 과제로 구성된다. 이는 평가를 인식과 모니터링을 넘어 인지 수준의 지리공간 분석으로 확장한다. TerraLogic에서의 평가를 용이하게 하기 위해, 툴킷을 기능적 계층으로 구성하고 내결함성(fault-tolerant) 추론을 수행하는 도구 증강 에이전트 HieraPlan을 추가로 제안한다. HieraPlan은 구조화된 추상화, 도구 실패로부터의 견고한 복구, 안정적인 장기 계획을 가능하게 한다. 광범위한 실험을 통해 현재 접근법이 계층적 지리공간 추론에서 어려움을 겪음을 보여주며, HieraPlan은 추론, 교차 모달 일반화, 오류 처리가 개선된 강력한 기준선을 제공한다. 데이터셋과 에이전트 코드는 https://github.com/Ireliya/TerraLogic 에서 공개적으로 이용할 수 있다.