PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01439v1cs.AI

DRelay: 접두 문맥 인식 병렬 추측 디코딩 복구를 위한 전역 초안 문맥

DRelay: Global Draft Context for Prefix-Aware Parallel Speculative Decoding Repair

병렬 초안 작성(parallel drafting)은 대규모 언어 모델(LLM)을 위한 추측 디코딩(speculative decoding)의 초안 생성 오버헤드를 줄여주지만, 그로 인한 성능 향상은 수락되는 접두 문맥(prefix) 길이에 의해 여전히 제한됩니다. 올바른 토큰이 후보군에 존재하더라도, 초기에 발생한 단 하나의 선택 오류로 인해 후속 예측을 사용하지 못하게 됩니다. 본 논문에서는 타깃 모델의 검증 전에 전체 초안 블록의 전역 정보를 활용하여 후보 선택에 대한 접두 문맥 인식 선택적 복구를 수행하는 DRelay를 제안합니다. DRelay는 후보 간의 상관관계와 선택된 경로를 기반으로 결정을 내립니다. 즉, 전역 리더(global reader)가 각 후보에 대해 여러 위치에 걸친 예측 정보를 추출합니다. 동시에 인과적 선택기(causal selector)는 전역 판독을 통해 추출된 후보 수준 정보와 이전 위치에서 선택된 토큰들을 결합하여, 현재 위치의 기본 선택이 전역 증거 및 선택된 접두 문맥과 일치하는지 판단합니다. 그런 다음 해당 토큰을 유지할지 또는 교체할지 결정함으로써 초기 오류를 복구하고 수락되는 접두 문맥을 연장합니다. 나아가 초안 백본과 선택기를 공동으로 학습(training)시켜 후보 지원 학습과 복구 목적 함수를 결합하는 한편, 연속적으로 수락되는 접두 문맥에 대한 각 블록 위치의 잠재적 기여도에 따라 복구 손실(loss)에 가중치를 부여합니다. H800 GPU 기반의 8가지 다양한 벤치마크 전반에서 DRelay는 DFlash, Domino, DSpark 대비 평균 수락 길이와 엔드투엔드 디코딩 성능을 일관되게 향상시킵니다. SGLang 서빙 환경에서 DRelay는 DFlash, Domino, DSpark 대비 평균 엔드투엔드 속도 향상을 각각 14.7%~16.8%, 8.7%~9.3%, 8.1%~9.3% 달성합니다.

arXiv:2610.01415v1cs.AI

메모리를 넘어서: 명시적 신념 상태를 활용한 장기적 에이전트 제어

Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

대규모 언어 모델(LLM) 에이전트(agent)는 점점 더 복잡한 작업을 수행할 수 있게 되었지만, 상호작용 이력을 메모리로 구성하는 기존 방식은 현재 세계에 대한 일관된 이해를 보장하지 못합니다. 본 논문에서는 에이전트의 의사결정 맥락으로서 명시적 신념 상태(belief state)를 구성하고 지속적으로 유지하는 추론(inference) 시점 프레임워크인 PoS를 소개합니다. 각 신념은 현재 세계 상태에 대한 추정과 미해결된 작업 요구사항을 결합하여, 에이전트가 여전히 무엇을 학습하고 달성해야 하는지를 명시화합니다. 이러한 신념을 신뢰할 수 있고 실행 가능한 상태로 유지하기 위해, PoS는 일관성을 검증(validation)하고 작업 진행 상황을 모니터링하여 에이전트가 목표를 향한 유의미한 진전 없이 행동을 지속하는 '신념 갇힘(Belief Trapping)' 현상을 감지합니다. 이후 갇힘 패턴과 미해결된 작업 요구사항의 유형 모두에 맞추어 복구가 이루어집니다. 실행 및 진단을 아우르는 4개의 벤치마크(benchmark)에 걸친 실험 결과, PoS는 세 가지 LLM 백본 모두에서 모든 벤치마크에 걸쳐 가장 높은 종합 성능을 달성함을 보여줍니다. 소거 연구(ablation)를 통해 일관성 검증과 복구의 중요성을 입증하였으며, 문맥 스케일링(context-scaling) 실험에서는 문맥 증가에 대한 견고성을 확인했습니다. 종합적으로 이러한 결과는 단순한 이력 유지 및 압축을 넘어, 장기적(long-horizon) 문맥 관리의 기반으로서 신념 구성과 지속적 유지의 유효성을 뒷받침합니다.

arXiv:2610.01382v1cs.AI

가차 디코딩: 지시 준수를 통한 다양한 생성 도출

Gacha Decoding: Eliciting Diverse Generations Through Instruction Following

본 논문에서는 모델 성능에 비례하여 확장되며 다양한 언어 모델 생성을 도출하는 추론 시점(inference-time) 방법인 가차 디코딩(Gacha Decoding)을 소개합니다. 개방형 도메인(실제 대화, 창작 글쓰기, 이미지 생성을 위한 계획 수립, 단백질 설계) 전반에서, Gacha Decoding은 동일한 품질 조건 하에서 기존의 생성 다양성 접근법들을 크게 능가하며(차순위 기존 접근법 대비 최대 2.4배 높은 Vendi 점수 달성), 10배 이상 적은 샘플 수(11.0배)로도 동일한 수의 고품질 모드를 확보하고 기존의 어떤 접근법으로도 드러나지 않았던 새로운 모드를 발견합니다. 본 연구의 핵심 통찰은 다양성을 지시 준수(instruction-following) 문제로 다루는 데 있습니다. 즉, 언어 모델의 토큰 엔트로피에만 의존하는 대신 모델의 지시 준수 능력과 외부 난수 생성기(RNG) 도구의 무작위성을 결합하여 응답 공간의 구별되는 모드들을 확장 가능한 방식으로 식별하고 구현합니다. 이러한 '주사위 기반 계획 수립(planning with dice)' 접근 방식을 통해 Gacha는 다양성과 모델 성능 간에 오랫동안 관찰되어 온 긴장 관계를 반전시킬 수 있었습니다. 기반 언어 모델의 지시 준수 능력이 향상될수록, 기존 접근법 하에서는 토큰 엔트로피와 다양성이 감소하더라도 Gacha Decoding 하에서의 다양성은 일관되게 향상됩니다. 종합적으로, 본 결과는 토큰 엔트로피 단독보다는 지시 준수가 생성 다양성을 견인할 수 있음을 강조합니다.

arXiv:2610.01364v1cs.MA

스킬 기반 스마트 제조를 위한 LLM 기반 다중 에이전트 제어

LLM-Driven Multi-Agent Control for Skill-Based Smart Manufacturing

공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.

arXiv:2610.01323v1cs.AI

TRACE: 다중 턴 안전성을 위한 궤적 리턴 귀속 및 대조적 소거

TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety

안전성 정렬(safety alignment)을 거친 대규모 언어 모델(LLM)은 유해한 단일 요청은 종종 거부하지만, 동일한 목표가 여러 턴에 걸쳐 분산되면 요청에 순응하곤 합니다. 선호도 목적함수는 단일 프롬프트에 대한 전체 응답을 평가하므로, 해당 학습 손실만으로는 이전에 보지 못한 대화 이력에서의 위험을 제어할 수 없습니다. 본 연구의 분석에서는 지도 학습된 단일 턴 컨텍스트에서의 억제가 다중 턴 궤적 위험에 대한 상한(bound)을 산출하기 위한 충분조건을 제시합니다. 이 경계는 커버리지, 전이 여유(transfer slack), 누출을 고려하며, 학습된 정책의 컨텍스트에서 평가된 기본 정책 위험 예산 대비 수축(contraction)을 특성화합니다. TRACE(Trajectory Return Attribution and Contrastive Erasure)는 이러한 원리를 토큰 수준의 목적함수로 전환합니다. 안전한 응답에서 각 토큰은 거부 귀속 어드밴티지(refusal-attributable advantage)의 할인된 리턴에 의해 가중치가 부여됩니다. 이 어드밴티지는 고정된 참조 모델과 거부 기능이 제거된(refusal-ablated) 사본을 비교함으로써, 앞선 응답 토큰이 이후의 거부 관련 증거로부터 크레딧을 받을 수 있도록 합니다. 거부된 응답의 격차가 큰 위치에서 TRACE는 소거 대상에서 관측된 토큰과 정책이 선택한 대안을 결합합니다. 그래디언트 노름 페널티는 유지 세트(retain set)를 대체합니다. 5개의 오픈 가중치 모델과 7개의 다중 턴 공격에 걸쳐, TRACE는 총 35개의 모든 모델 및 공격 조합에서 가장 낮은 공격 성공률(ASR)을 기록했으며, MMLU 및 HellaSwag에서 평가된 모델 유용성 하락은 최대 1.23점에 불과했습니다. 소스 코드는 보충 자료에서 확인할 수 있습니다.

arXiv:2610.01304v1cs.NI

모바일 네트워크 기반 LLM 연합학습: RAN 트랜스포트에서의 문제점과 해결 방안

Federated Learning for LLMs over Mobile Networks: Issues and Solutions in the RAN Transport

연합 LLM 미세조정(fine-tuning)은 네트워크 엣지에서 비공개 및 지리적으로 분산된 데이터를 활용해 대규모 모델을 적응시킬 수 있도록 지원하지만, 액세스 및 트랜스포트 네트워크 전반에 걸쳐 주기적이고 마감 기한에 민감한 통신 워크로드를 유발합니다. 이러한 과제는 무선 가변성, 이동성, 기기 이종성으로 인해 모델 업데이트가 비동기적으로 도착하는 모바일 RAN(무선 접속망)에서 특히 두드러집니다. 이 업데이트들은 동일한 학습 라운드에 속하며 공통의 목적지와 마감 기한을 공유함에도 불구하고, 기존 트랜스포트 네트워크는 이를 개별 기기에서 생성된 독립적인 흐름으로 취급하여 기저의 구조를 가리고 트랜스포트 자원을 효율적으로 프로비저닝하는 능력을 제한합니다. 이러한 불일치는 예측 가능하고 스케줄링 가능한 트래픽 수요에 유리한 광 회선 교환(optical circuit switching) 및 전광(all-photonics) 트랜스포트에서 특히 문제가 됩니다. 본 논문에서는 미래의 RAN이 분산 모델 적응의 통신 구조를 트랜스포트 층(layer)에 노출함으로써 학습 인지형 트래픽 셰이퍼(traffic shaper) 역할을 수행해야 한다고 주장합니다. gNB에서의 인네트워크 집약(in-network aggregation)을 통해, 비동기적인 UE 업데이트는 제한된 크기와 전달 요구사항을 갖는 더 적은 수의 집약 전송으로 변환될 수 있습니다. 이러한 방식으로 정형화되면 연합 LLM 트래픽은 선택적으로 프로비저닝되는 광학 연결에 적합한 후보가 되며, 집약 전송 윈도우 동안 대용량 경로를 설정하고 학습 라운드 사이에는 이를 해제할 수 있습니다. 결과적인 아키텍처는 패킷 기반 모바일 액세스의 유연성과 동적으로 프로비저닝되는 광 용량을 결합하여, 프로그래머블 액세스 및 트랜스포트 네트워크 전반에서 분산 AI 워크로드를 조정하기 위한 보다 폭넓은 접근 방식을 보여줍니다.

arXiv:2610.01256v1cs.AI

DeFA: LLM 에이전트를 위한 의존성 기반 실패 귀인 프레임워크

DeFA: Dependency-Guided Failure Attribution for LLM Agents

대규모 언어 모델(LLM) 에이전트의 실행 중 발생하는 오류와 눈에 보이는 결과 사이에는 많은 단계가 존재할 수 있어, 결정적인 오류를 국소화하려면 각 단계의 내용과 단계 간 의존성을 모두 이해해야 합니다. 본 논문에서는 에이전트의 실패 귀인(failure attribution)을 위한 의존성 기반 프레임워크인 DeFA를 소개합니다. DeFA는 먼저 프로토콜 관계와 의미론적 의존성을 결합하여 전체 궤적에 걸친 사건 의존성 그래프를 구축합니다. 그런 다음 작업 요구사항을 위반할 수 있는 사건을 식별하고 그 원인과 후속 영향을 추적하여 실패 전파 그래프를 구성합니다. 마지막으로 DeFA는 단계별 증거와 실패 전파 과정에서 각 단계가 수행한 역할을 활용하여 결정적 오류, 책임 에이전트, 오류 범주를 식별합니다. 긴 궤적을 지원하기 위해 DeFA는 실행 과정을 세그먼트로 분할하고 현재 세그먼트의 상세한 내용과 다른 세그먼트의 요약을 결합함으로써 로컬 진단에서도 전체 실행 문맥에 접근할 수 있도록 합니다. Who and When 및 Who and When Pro 텍스트 하위 집합 전반에서, DeFA는 평가된 모든 백본에서 가장 높은 책임 에이전트 및 정확한 단계 정확도를 달성했으며, Pro에서는 분류 체계 기반 방법 중 가장 높은 실패 모드 정확도를 기록했습니다. 이미지 및 비디오 궤적에 대한 추가 실험은 멀티모달 실패 귀인에 대한 적용 가능성을 보여줍니다. 절제 연구(ablation)는 세그먼트 분할, 사건 의존성 그래프, 실패 전파 그래프의 기여도를 뒷받침합니다. Trace2Skill의 스킬 진화에 DeFA의 진단 피드백을 활용했을 때 기본 파이프라인 대비 다운스트림 작업 정확도가 6~15%p 향상되어, 이러한 진단이 후속 작업에서 에이전트의 개선을 지원할 수 있음을 입증합니다.

arXiv:2610.01236v1cs.AI

질문하는 법 배우기: 예산 제약 조건 하에서 SLM-LLM 협업을 위한 정보 획득

Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget

소형 언어 모델(SLM)과 대규모 언어 모델(LLM) 간의 협업은 소형 모델의 효율성과 대형 모델의 강력한 추론 능력을 결합할 기회를 제공합니다. 기존 접근 방식은 주로 이러한 협업을 연산 할당(computation allocation) 문제로 규정하여, 추론 과정의 각 부분을 어떤 모델이 처리해야 할지 결정합니다. 그러나 블랙박스 API 기반 환경에서는 거친 입도(coarse-grained)의 위임이나 모델 전환 간의 반복적인 문맥 전송으로 인해 이러한 패러다임이 비효율적일 수 있습니다. 본 연구에서는 이를 대신하여 SLM-LLM 협업을 API 예산 제약 조건 하의 정보 획득(information acquisition) 문제로 공식화합니다. SLM은 주요 추론 주체로 유지되며 추론 과정 자체를 위임하기보다는 표적화된 질의를 전달함으로써, 필요할 때만 선별적으로 블랙박스 LLM 조언자(advisor)에게 질의합니다. 이러한 전략을 실현하기 위해, 우리는 조언자 호출 여부, 유용한 질의 구성 방법, 그리고 조언자 호출과 정보 활용을 공동으로 개선하여 협업을 추론 과정에 통합하는 방법을 학습하는 3단계 RLVR 프레임워크를 개발합니다. 수학적 추론 및 코딩 작업 전반에서 우리의 접근 방식은 기존 협업 베이스라인 대비 성능-비용 트레이드오프를 개선하며, 일부 환경에서는 오라클(oracle) 문제 수준 라우팅과 일치하거나 이를 능가합니다. 마지막으로, 우리는 추가 학습 없이도 우리의 전략이 다른 조언자 모델 군(family)으로 전이될 수 있음을 보여줍니다.

arXiv:2610.01230v1cs.AI

HHR: 효율적인 LLM 생성을 위한 계층적 해시 검색

HHR: Hierarchical Hash Retrieval for Efficient LLM Generation

효율적인 긴 문맥 추론(inference)은 대규모 언어 모델(LLM)에 필수적이지만, 극심한 연산 병목 현상을 유발합니다. 해시 기반 검색은 쿼리(query)와 키(key)를 이진 코드로 인코딩하고 해밍 거리(Hamming distance)를 사용하여 키를 선택함으로써 효율적인 대안을 제공합니다. 그러나 이는 해밍 거리와 어텐션(attention) 관련성 사이에 심각한 불일치를 초래합니다. 쿼리-키 로짓(logit)은 방향 유사도와 특징(feature) 크기에 함께 의존하는 반면, 해시 이진화는 크기 정보를 버리기 때문에 낮은 로짓 키의 위양성(false-positive) 검색과 높은 로짓 키의 위음성(false-negative) 누락을 모두 유발합니다. 이러한 실패를 해결하기 위해, 본 논문에서는 기하학 인식 키 라우팅(Geometry-Aware Key Routing, GKR)과 학습된 해시 투영(Learned Hash Projection, LHP)을 통해 점진적으로 검색 정확도를 향상시키는 coarse-to-fine 프레임워크인 계층적 해시 검색(Hierarchical Hash Retrieval, HHR)을 제안합니다. GKR은 헤드별 직교 변환을 학습하여 특징 크기를 재분배하고 더 변별력 있는 페이지 수준 로짓 경계를 도출함으로써, 중요한 후보를 보존하면서 낮은 로짓 키의 효과적인 가지치기(pruning)를 가능하게 합니다. 그런 다음 LHP는 미세 단위(fine-grained) 검색을 위해 해밍 거리를 실제 쿼리-키 관련성 순위와 정렬하는 헤드별 투영 공간을 학습합니다. GKR과 LHP를 결합함으로써 HHR은 위양성을 억제하고 위음성을 복구하여 해시 기반 희소 어텐션(sparse attention)의 충실도를 크게 향상시킵니다. 다양한 LLM 및 벤치마크에 걸친 광범위한 실험을 통해 HHR이 기존 방법들보다 우수한 성능을 달성함을 입증합니다. 예를 들어 LongBench에서 HHR은 평균 점수를 1.10점 향상시키며, 128K 문맥 길이에서 Llama-3.1-8B-Instruct 기준 최대 3.30배의 디코딩 속도 향상과 2.83배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/HHR 에서 공개되어 있습니다.

arXiv:2610.01207v1cs.AI

에이전트 강화학습을 위한 의존성 인식 보상 형성

Dependency-Aware Reward Shaping for Agentic Reinforcement Learning

강화학습(RL)으로 대규모 언어 모델(LLM)을 학습시킬 때, 종단 보상(terminal reward)은 어떤 스텝이 중요한지에 대한 지침을 거의 제공하지 못합니다. 스텝 단위의 기여도(credit)를 부여하는 일반적인 방법들은 수정되지 않은 실수 위에 쌓인 작업은 낭비되는 반면, 독립적인 작업은 여전히 유효하다는 점을 간과합니다. 최종 성공/실패 보상만 주어질 경우, 실패한 에피소드의 모든 스텝은 비록 진전을 이루었더라도 미래 총 보상이 0이 됩니다. 본 논문에서는 태스크의 진행 상황을 선행 조건 관계로 연결된 술어(predicate)로 표현하고 의존성 그래프상에서 스텝 레벨의 기여도를 할당하는 의존성 인식 보상 형성(Dependency-Aware Reward Shaping, DARS)을 제안합니다. 주석기(annotator)는 각 스텝이 어떤 술어를 검증(verify), 무효화(invalidate) 또는 복구(repair)하는지 표시합니다. 검증된 술어는 가장 가까운 깨진 선행 조건과의 그래프 거리에 따라 할인되며, 독립적인 술어는 영향을 받지 않습니다. 복구 작업은 남아 있는 오류를 기반으로 이러한 가중치를 업데이트하며, 무효화된 술어는 기여도를 다시 얻기 위해 재검증이 필요합니다. 고정된 포텐셜(potential)은 이러한 주석을 부호가 있는 스텝별 보상으로 변환합니다. 공통 보상 및 주석 인터페이스 덕분에 DARS는 롤아웃(rollout) 전략이나 옵티마이저를 변경하지 않고도 GiGPO, ARPO/AEPO와 같은 다양한 추론 및 에이전트 학습 방법에 통합될 수 있습니다. 5가지 태스크 제품군과 1.5B부터 8B까지의 모델 전반에서, DARS는 동일한 예산 및 하네스로 학습된 GiGPO 대비 성공률을 최대 10포인트 향상시키고(ALFWorld), WebShop 태스크 점수와 Search-R1 QA 정확도를 높이며, Python 인터프리터를 활용한 AIME24/25에서의 AEPO 엔트로피 기반 학습을 보완하고, 1.7B 및 4B의 제어된 도구 미사용(tool-free) 추론 비교에서 OmniOPD를 능가합니다. 소거 연구(ablation study)는 스텝 레벨 기여도, 의존성 감쇠, 그래프 토폴로지가 각각 성능에 기여함을 보여줍니다. ALFWorld에서 증류된 8B 주석기는 API 주석기와 동등한 성능을 보여, DARS가 프론티어 판별 모델(frontier judge) 없이도 효율적으로 실행될 수 있도록 합니다. 코드는 https://github.com/JianhuiWei7/DARS 에서 확인할 수 있습니다.

arXiv:2610.01195v1cs.AI

연합 에이전트 최적화

Federated Agent Optimization

대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.

arXiv:2610.01128v1cs.AI

정책 생성 및 예측을 위한 DSGE 시뮬레이터 기반 대규모 언어 모델 그라운딩

Grounding Large Language Models in DSGE Simulators for Policy Generation and Forecasting

대규모 언어 모델(LLM)은 그럴듯하게 들리는 경제 정책 대응을 생성할 수 있지만, 이것이 모델의 조치가 경제적 동역학과 일치함을 보여주지는 않습니다. 우리는 인스트럭션 튜닝(instruction tuning)된 언어 모델을 6개의 Snowdrop 기반 동적 확률적 일반 균형(DSGE) 시뮬레이터 내부에 배치하여 이를 검증합니다. 매 턴마다 모델은 경제 상황과 경제 담론의 변화를 관측하고, 유계된(bounded) 정책 조치를 선택하며, 다음 시뮬레이션 상태와 경제적 보상을 받습니다. 우리는 반복적인 롤아웃, 지속적 충격, 상태 복제, 롤링 호라이즌(rolling-horizon) 시뮬레이션을 위한 공통 Python 인터페이스를 구현합니다. 이러한 설정은 장기적인 신용 할당(credit-assignment) 문제를 야기합니다. 정책 효과는 조치가 취해진 후 여러 분기가 지나서 나타날 수 있습니다. PPO는 일반화된 이점 추정(GAE)을 통해 지연된 보상을 이전 토큰으로 전파할 수 있는 학습된 가치 함수를 가지고 있습니다. 반면 GRPO는 학습된 가치 함수가 없으며, 대신 전체 롤아웃 수익으로부터 그룹 상대적 이점을 할당합니다. 따라서 GRPO는 어떤 이전 턴이 결과를 초래했는지 구별할 수 없으며, 모든 롤아웃이 동일한 수익을 받는 경우 정규화된 이점은 0이 됩니다. 우리는 PPO를 주요 방법으로 사용하고 GRPO를 이에 대응하는 비평가 없는(critic-free) 기준선으로 사용합니다. 또한 실험에서는 방향성 의미 신호, 보상 호라이즌, 궤적 웜 스타트(warm start), 시뮬레이터 간 전이, 그리고 역사적 사실에 기반한 팬데믹 및 통화 정책 충격도 테스트합니다. 본 연구의 목적은 그럴듯한 언어만으로 평가하는 것이 아니라, 시뮬레이션된 경제적 결과를 바탕으로 정책 조치를 평가하는 것입니다.

arXiv:2610.01119v1cs.AI

AbsorbEvo: 마이크로파 흡수체의 자율 역설계를 위한 에이전트 프레임워크

AbsorbEvo: An Agentic Framework for Autonomous Inverse Design of Microwave Absorbers

고성능 마이크로파 흡수체 설계는 전자기 이론, 재료 과학 및 시뮬레이션 프로그래밍에 대한 전문적인 지식을 요구하며, 많은 시간이 소요되는 최적화(optimization) 과정을 수반합니다. 본 논문에서는 자연어 성능 목표를 전파(full-wave) 시뮬레이션으로 검증된 설계로 변환하는 자율 역설계 에이전트(agent) 프레임워크인 AbsorbEvo를 제시합니다. 본 프레임워크의 후보 진화 전략은 언어적 추론, 물리 기반 예측 및 과거 피드백을 통합합니다. 대규모 언어 모델(LLM)은 작업 목표와 계산 기록을 바탕으로 매개변수 조정의 방향과 크기를 제안합니다. 시스템은 방향성이 있는 증분과 전역 샘플링을 결합하여 후보를 생성하고, 저비용 예측 모델을 물리적 사전 지식(prior)으로 사용하여 순위를 매깁니다. 높은 순위를 기록한 설계만이 전파 시뮬레이션을 거칩니다. 물리적 타당성 검사를 통과한 결과는 성능을 평가하고 후속 탐색을 안내하는 데 사용됩니다. 학습 작업에서 얻은 경험은 텍스트 형태의 스킬로 추가 증류(distillation)되며, 이는 새로운 작업에 사용되기 전에 독립적으로 검증됩니다. 공개되지 않은 AbsorbBench-36 작업에서 동일한 제안 예산 조건하에 AbsorbEvo는 79.17%의 작업 성공률을 달성하여, 일반적인 에이전트의 25.00% 및 무작위 탐색(random search)의 12.50%와 대비되는 성과를 보였습니다. 평균 최고 커버리지는 각각 0.6434와 0.6448이었던 데 반해 0.7816을 기록했습니다. AbsorbEvo는 언어 추론과 물리 기반 피드백을 설계 결정에 통합함으로써, 자연어 기반 마이크로파 흡수체 자율 역설계를 위한 방법론적 기반을 제공합니다.

arXiv:2610.01097v1cs.AI

YouRA: 증거 추적 가능한 자율 연구 에이전트를 위한 영구 상태 아키텍처

YouRA: A Persistent-State Architecture for Evidence-Traceable Autonomous Research Agents

엔드투엔드(end-to-end) 연구 에이전트는 이제 완전한 과학 논문을 작성할 수 있지만, 원고의 주장과 실제 수행된 실험 간에 괴리가 발생하는 경우가 많습니다. 이러한 간극은 구조적 문제입니다. 즉, 장기적인 파이프라인 전반에서 연구 상태, 실패 이력, 주장-증거 간의 정렬이 영구적이고 검증 가능한 상태로 유지되지 않기 때문입니다. 본 논문에서는 상태 유지 및 증거 추적이 가능한 자율 연구를 위한 아키텍처인 YouRA(Your Research Agent)를 제시합니다. YouRA는 세 가지 구성 요소를 통합하여 연구 전 과정에 걸쳐 연구 상태, 실행 증거, 실패 이력을 보존합니다. 첫째, 가설, 게이트, 증거 포인터를 추적하는 검증 상태 아키텍처(VSA, Verification State Architecture), 둘째, 제어와 실행을 분리하면서 상태 및 성찰 기록을 수명 주기, 복구, 토론/검토 제어로 변환하는 독립 컨트롤러(Independent Controller), 셋째, 실패를 구조화된 교훈으로 기록하고 제한된 복구, 재설계 또는 재설정을 통해 복구 경로를 지정하는 상태 유지 성찰(Stateful Reflection)입니다. MLR-Bench의 사전 정의된 10개 작업 엔드투엔드 하위 집합에서 YouRA는 일치하는 세 가지 백본 모두에서 스칼라 Overall 지표 기준으로 MLR-Agent와 AI Scientist V2 모두를 능가하는 성능을 보였습니다. MLR-Bench의 환각 분류 체계를 사용한 자동화된 진단에서는 네 가지 사실 기반 실패 유형에 대한 교집합/합집합 개수를 보고하며, 데이터 출처 진단 결과 실제 데이터에 기반한 출력이 더 많음을 확인했습니다. 네 가지 구성 요소(VSA, 독립 컨트롤러, MCP 도구 접근, 성찰 기반 복구)에 대한 절제 연구(ablation study)는 각 요소의 독립적인 기여도를 입증합니다. 핵심 상태 구성 요소 중 하나라도 제거하면 YouRA의 성능은 전체 시스템보다 저하됩니다. 코드: https://github.com/PrayPrey/Your-Research-Agent.

arXiv:2610.01080v1cs.AI

가치 유도 정보 탐색을 통한 수학적 추론 능력 향상

Improving Math Reasoning through Value-guided Informative Search

검증 가능한 보상 기반 강화학습(RLVR)은 대규모 언어 모델(LLM)의 수학적 추론 능력을 크게 향상시켰습니다. 최근 연구들은 궤적의 다양성을 높이기 위해 RLVR 롤아웃에 탐색 기법을 도입하고 있으나, 다양성만으로는 탐색으로 유도된 롤아웃 정책이 현재 정책보다 반드시 개선된다고 보장할 수 없습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 유한 예산 검벨 탐색(finite-budget Gumbel search)을 청크 단위의 수학적 추론에 맞게 조정한 학습 프레임워크인 APIVIS를 제안합니다. APIVIS는 각 롤아웃 그룹 내에서 직접 생성한 응답과 탐색을 거친 응답을 결합하여, 탐색을 통해 발견된 개선 사항이 정보 가치가 높은 상대적 보상을 생성하도록 합니다. 나아가 탐색으로 개선된 토큰에 선택적 지도를 적용함으로써, 균일한 그룹 보상으로 인해 GRPO가 비효율적이 되는 상황에서도 학습 신호를 보존합니다. 본 연구는 정확한 가치 기반 선택이 탐색된 각 상태에서 검증기 기대 보상을 개선하며, 유계 가치 추정 오차(bounded value-estimation error) 하에서의 근사적 보장과 함께 이러한 보장이 전체 롤아웃 정책으로 확장됨을 보입니다. 널리 인정받는 수학적 추론 벤치마크와 다양한 모델 규모에서 진행된 실험을 통해 경쟁력 있는 탐색 기반 방식 대비 상당한 성능 향상을 입증하여 APIVIS의 유효성을 검증합니다.

arXiv:2610.01042v1cs.AI

최종 정확도를 넘어서: LLM 멀티 에이전트 시스템 내 소통 감사

Beyond Final Accuracy: Auditing Communication in LLM Multi-Agent Systems

멀티 에이전트 소통은 에이전트들이 서로의 정보를 활용하여 이득을 얻도록 돕는 것을 목표로 합니다. 그러나 시스템 성능의 향상은 근본적인 모호함을 남깁니다. 즉, 이것이 효과적인 소통을 반영하는 것인지, 유리한 에이전트 구조 덕분인지, 아니면 단순히 추가적인 추론(reasoning) 때문인지 불분명합니다. 소통 방식은 보통 해당 방식이 설계된 시스템 내에서 평가되기 때문에 이러한 요인들을 분리해 파악하기 어렵습니다. 나아가 최종 정확도는 수정된 오류와 훼손된 정답을 단일 결과로 합쳐버려, 소통이 의사결정을 어떻게 변화시키는지 가려버립니다. 본 논문에서는 독립적인 추론 후의 답변 수정을 통해 소통을 평가하는 통제된 프레임워크인 ICR(Independent--Communicate--Revise)을 소개합니다. ICR은 초기 추론 궤적을 고정하고, 두 에이전트의 초기 정답 여부를 조건으로 하여 오류 수정(correction) 및 정답 유지(preservation)를 측정하며, 메시지 없는 수정 대조군을 사용하여 추가 추론을 넘어서는 이득을 정량화합니다. 네 가지 추론 벤치마크에 걸쳐 텍스트 및 잠재(latent) 소통을 감사한 결과, 유사한 종합 정확도 뒤에 실질적으로 다른 수정 행동이 숨겨져 있을 수 있음을 밝혀냈습니다. 정답만 전송하는 것과 비교했을 때, 전체 추론을 전달하면 네 가지 벤치마크 모두에서 오류 수정은 증가하지만 정답 유지는 감소하므로, 더 풍부한 메시지는 유익한 영향과 유해한 영향을 모두 증폭시킵니다. 또한 MedQA 및 GPQA-D에서의 수신자 정책 비교는 구조화된 검증 정책이 모든 채널을 더 높은 정답 유지와 더 낮은 오류 수정 방향으로 유도하는 반면, 선택성(selectivity)에 미치는 영향은 채널과 태스크에 따라 상이함을 보여줍니다. 이러한 발견은 소통 품질을 채널 고유의 특성으로 취급하는 기존 관점에 의문을 제기합니다. 따라서 ICR은 평가의 초점을 선택적 수정에 다시 맞추어, 메시지 내용과 수신자 정책이 어떻게 상호작용하여 이득과 피해를 낳는지 조사할 수 있는 통합 프레임워크를 제공합니다.

arXiv:2610.01017v1cs.AI

흐름이 아닌 결함에 대가를 치르다: 레이블 없는 흐름 내 멀티 에이전트 워크플로우 최적화

Pay for the Fault, Not the Flow: Label-Free In-Flow Multi-Agent Workflow Optimization

대규모 언어 모델(LLM)은 복잡한 작업을 분해하고 풀에서 전문 에이전트(agent)를 할당하는 멀티 에이전트 워크플로우를 점점 더 많이 구축하고 있습니다. 그러나 이러한 워크플로우를 잘 구축하는 것은 여전히 어렵습니다. 작업을 얼마나 세밀하게 나눌지, 각 하위 작업을 어떤 에이전트에 맡길지, 언제 새로운 전문가를 생성할지는 모두 워크플로우 생성자가 사전에 결정해야 하는 중요한 사항입니다. 따라서 워크플로우가 실행되기 전까지는 각 하위 작업의 성공 여부를 알 수 없습니다. 게다가 워크플로우를 개선하는 데는 많은 비용이 듭니다. 결함을 찾아내려면 대개 기준 정답, 채점된 결과 또는 훈련된 평가자가 필요하며, 재실행, 재탐색 또는 재학습을 통해 워크플로우 전체에 수정이 적용됩니다. 본 연구에서는 하위 작업이 요구하는 바를 에이전트의 역량이 얼마나 잘 충족하는지와 해당 에이전트를 실행하는 데 드는 비용을 함께 고려하는 단일 레이블 없는(label-free) 비용으로 모든 결정을 평가하는 InFlowOp을 제안합니다. 실행 전에 InFlowOp은 고정된 템플릿 대신 이 비용을 기반으로 작업 분해의 세분성과 에이전트 할당을 양방향으로 결정합니다. 실행 중에는 워크플로우 구축과 실행 모두에 사용되는 동일한 비용을 통해 가장 저렴한 조치로 결함을 수정합니다. 워크플로우 수준의 평가 과제에 대응하여, 단일 에이전트의 능력을 넘어서는 멀티 에이전트 조율이 필요한 작업으로 구성된 벤치마크 Braid를 소개합니다. 다양한 도메인과 백본에 걸쳐 InFlowOp은 단일 에이전트 베이스라인 대비 최대 $+11.97\%$ 뛰어난 성능을 보이며, 흐름 내(in-flow) 최적화를 통해 $+9.64\%$를 달성합니다. 프로젝트 페이지: https://xhguo7.github.io/InFlowOp/.

arXiv:2610.01014v1cs.AI

발견에서 결정까지: 대규모 언어 모델(LLM) 투표에서의 유한 예산 회복 가능성

From Discovery to Decision: Finite-Budget Recoverability in LLM Voting

여러 대규모 언어 모델(LLM) 응답에 대한 투표는 테스트 시간 스케일링(test-time scaling)과 앙상블(ensemble) 추론(inference)에서 널리 쓰이는 기본 연산(primitive)입니다. 더 많은 응답을 수집하면 후보 집합이 확장되어 정답이 발견될 가능성이 높아질 수 있습니다. 그러나 고정된 호출 예산 내에서는 발견된 답변이라도 최종적인 다수결(plurality) 승자가 되기 위해 남은 호출 횟수 내에서 충분한 지지를 축적해야 하므로, '발견과 결정 간의 격차(discovery-to-decision gap)'가 발생합니다. 본 연구에서는 실현된 투표 상태와 남은 호출 예산을 통해 이러한 격차를 특성화합니다. 저자들은 명확한 회복 가능성 임계값(recoverability threshold)을 유도하고, 샘플링이 진행됨에 따라 관찰된 후보 집합은 확장되기만 하는 반면 도달 가능한 최종 승자 집합은 축소되기만 하여 후보 수준의 전환 창(conversion window)이 유도됨을 보입니다. 지정된 독립동일분포(iid) 응답 법칙 하에서, 동일한 상태를 통해 정확한 유한 구간(finite-horizon) 최종 확률을 도출할 수 있습니다. 나아가 오답 식별자를 병합하는 것은 단일 호출 정확도를 보존하면서도 다수결 정확도를 향상시킬 수 없으며, 오답 확률 재분배의 효과는 실현된 투표 상태에 따라 달라짐을 보입니다. 단일 원소 도달 가능성(singleton reachability)은 정답 레이블이 필요 없는(gold-free) 정확한 잠금 보증서(locking certificate)를 제공합니다. 알려진 답변 공간(universe)에 대해, 이 보증서의 최초 작동 시점은 모든 허용 가능한 연속 과정이 동일한 고정 예산 출력을 생성하는 가장 빠른 접두 문맥(prefix)에 해당합니다. 실증적으로, 발견되었으나 선택되지 못한 대부분의 정답은 발견된 이후에야 비로소 도달 가능성을 상실합니다. 통제된 Word16 실험에서, 입력 순열(permutation)은 단일 호출 정확도를 본질적으로 유지하면서도 원시 다수결 정확도를 21.1%p 향상시켰습니다. 또한 정확한 잠금 기법은 16회 호출 예산에서 모든 고정 예산 출력을 보존하면서도 호출 수를 28-30% 절감합니다.

arXiv:2610.01000v1cs.AI

LLM이 생성한 선호도 분포 평가

Evaluating LLM-Generated Preference Distributions

대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.

arXiv:2610.00949v1cs.AI

PG-SFT: 오프라인 에이전트 미세조정에서 능력 획득과 유지 간의 균형 잡기

PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning

오프라인 에이전트(agent) 궤적에 대한 지도 미세조정(SFT)은 특화된 도구 사용 에이전트를 학습(training)하기 위한 표준적인 접근법이지만, 모델이 추론과 행동을 토큰(token) 단위로 모방하도록 강제하는 것은 베이스 모델의 다른 능력(예: 일반 추론, 도구 호출, 코드 생성)을 손상시킬 수 있습니다. 본 연구에서는 에이전트 궤적 SFT 과정에서 새로운 능력을 획득하는 것과 기존 능력을 보존하는 것 사이의 트레이드오프(trade-off)를 어떻게 더 잘 균형 잡을 수 있는지에 대해 중점적으로 연구합니다. 본 실험 환경에서 여러 베이스라인을 비교한 결과, 표준 SFT는 목표 벤치마크 점수를 향상시키는 반면 목표 외 여러 벤치마크 점수를 낮추었습니다. 한편, KL 페널티를 사용해 분포 드리프트를 단순히 억제하거나 업데이트 크기를 제한하는 방식으로는 이러한 성능 저하 추세를 피할 수 없었습니다. 최근의 토큰별 적응형 학습 목표에서 영감을 받아, 본 연구에서는 에이전트 궤적의 턴(turn) 수준 정보 이득을 지표로 활용하여 지도(supervision) 강도를 조절하는 Privilege-Guided SFT(PG-SFT)를 제안합니다. PG-SFT는 평가된 벤치마크에서 목표 작업 성능의 미미한 저하를 대가로 분포 드리프트와 광범위한 능력 저하를 대폭 줄여, 관찰된 트레이드오프를 훨씬 더 유리하게 만듭니다. 본 연구의 결과는 획득-유지 간의 트레이드오프 균형이 모델이 기본 동작에 고정되어 있는지 여부뿐만 아니라, 지도가 해당 동작에서 어디서 얼마나 강하게 벗어나야 하는지에도 달려 있음을 시사합니다.