PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05310v1cs.AI

의료 비전-언어 모델의 모델 편집 평가 및 이해

Evaluating and Understanding Model Editing for Medical Vision Language Models

모델 편집(model editing)은 비용이 많이 드는 재학습 없이 의료 비전-언어 모델(VLM)의 배포 후 오류를 신속하고 표적화된 방식으로 수정할 수 있는 방법을 제시한다. 그러나 기존의 멀티모달 모델 편집 벤치마크는 범용 태스크에 초점을 맞추고 있어 실제 임상 도메인의 요구사항과 다양성을 반영하지 못한다. 이를 해결하기 위해, 우리는 이미지 및 텍스트 변형, 모달리티 및 프로토콜 변화, 임상 지식 구성, 시간적 진행이라는 도전 과제 하에서 편집이 신뢰성, 정밀성, 일반화 가능성을 유지하는지 평가하는 임상 기반 멀티모달 모델 편집 벤치마크인 M3Bench를 소개한다. M3Bench는 다양한 해부학적 부위, 모달리티, 전문 분야에 걸쳐 16,276개의 질문을 포함하며, 단일 편집과 순차적 편집 모두를 지원한다. 6개의 의료 및 범용 VLM에 걸쳐 4개의 대표적인 편집기를 평가한 결과, 모든 기준에서 우수한 성능을 보이는 방법은 존재하지 않는 것으로 나타났다. 그래디언트 기반 편집기는 강한 전이(transfer)를 달성하지만 치명적인 지역성(locality) 위반 문제를 겪는 반면, 메모리 기반 방법은 지역성을 보존하지만 구성적 일반화가 부족하고 백본에 따른 하이퍼파라미터 민감도가 높게 나타난다. 우리는 이러한 실패의 원인을 VLM의 잠재 공간 기하학과 서로 다른 편집 방법이 그 구조를 변화시키는 방식에서 찾는다. 전반적으로, M3Bench는 멀티모달 모델 편집을 위한 엄격한 임상 스트레스 테스트를 확립하고 더 안전한 배포 후 적응을 위한 실행 가능한 지침을 제공한다. 벤치마크는 https://github.com/BioMed-AI-Lab-U-Michgan/M3Bench 에서 공개적으로 이용 가능하다.

arXiv:2607.05297v1cs.AI

MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution

최근 LLM 에이전트는 점점 더 장기적이고 개방형 태스크를 처리하며, 에이전트에 제공되는 재사용 가능한 절차적 지식인 외부 스킬이 이 능력을 더욱 확장한다. 그러나 고정된 수작업 스킬은 최적이기 어렵고, 에이전트가 마주하는 다양한 태스크에 적응할 수 없다. 자기 개선 에이전트는 실행 트레이스로부터 자신의 스킬 파일을 재작성함으로써 이 문제를 해결하며, 어려운 벤치마크에서 의미 있는 성능 향상을 달성한다. 그러나 이러한 자기 진화는 비재귀적으로, 태스크 스킬(에이전트가 무엇을 하는가)만 개선할 뿐, 개선 절차(어떻게 개선하는가) 자체는 한 번 작성된 채 고정된다. 우리는 에이전트의 스킬 개선을 재귀적으로 만드는 이중 시간 척도 프레임워크인 MetaSkill-Evolve를 제안한다. 각 브랜치는 태스크 스킬 $s$와, 개선 파이프라인의 Analyzer, Retriever, Allocator, Proposer, Evolver 에이전트를 매개변수화하는 다섯 가지 구성 요소 $m=(ψ,σ,α,π,\varepsilon)$로 이루어진 브랜치 로컬 메타-스킬을 함께 보유한다. 태스크 스킬은 빠른 루프에서 진화하고, 메타-스킬은 동일한 파이프라인이 자기 자신에게 적용되는 느린 루프에서 진화하며, 추가적인 모델이나 목적 함수는 필요하지 않다. 다섯 가지 파이프라인 에이전트가 단일 고정 백본을 공유하는 환경에서, MetaSkill-Evolve는 세 가지 에이전트 벤치마크(OfficeQA, SealQA, ALFWorld)에서 스킬 없음, 정적 스킬, 단일 수준 진화 기준 모델을 능가하며, 원시 백본 대비 보류 테스트 정확도를 각각 +23.54, +16.09, +1.92 포인트 향상시킨다.

arXiv:2607.05202v1cs.AI

EvoAgentBench: 능력 전이를 통한 에이전트 자기 진화 벤치마킹

EvoAgentBench: Benchmarking Agent Self-Evolution via Ability Transfer

장기 수평 대규모 언어 모델(LLM) 시스템에서 에이전트 자기 진화는 대체로 절차적 성격을 띤다. 즉, 유용한 경험은 단순히 저장된 정보가 아니라 검색, 디버깅, 검증을 위한 재사용 가능한 절차다. 그러나 현재의 평가 방법은 이러한 형태의 전이를 분리하여 측정하지 못한다. 에이전트 벤치마크는 단일 에피소드 태스크 해결을 평가하고, 메모리 벤치마크는 절차적 재사용보다 정보 보존을 목표로 한다. 우리는 웹 리서치, 알고리즘적 추론, 소프트웨어 공학, 지식 업무의 네 가지 에이전틱 도메인에 걸쳐 능력(Ability) 기반 전이를 통한 에이전트 자기 진화 벤치마크인 EvoAgentBench를 소개한다. EvoAgentBench는 에이전트 실행으로부터 트레이스에 근거한 능력을 추출하고, 이를 운영 단위로 표준화하며, 절차적 중첩을 공유하는 태스크를 연결하는 도메인별 능력 그래프(Ability Graph)를 구축한다. 설계상 모든 테스트 태스크는 검증된 학습 측 능력 지원을 기반으로 한다. 528/267의 학습/테스트 분할, 두 가지 스캐폴드, 세 가지 백본에 걸쳐, 정제된 능력 콘텐츠는 모델 패밀리 간에 신뢰롭게 전이되지만, 현재의 어떤 자동화 방법도 모든 환경에서 지속적인 성능 향상을 유지하지 못한다. EvoAgentBench는 자기 진화 평가를 집계 정확도 비교에서 경험 인코딩, 라우팅, 흡수에 대한 세밀한 진단으로 전환한다. 벤치마크는 https://huggingface.co/datasets/EverMind-AI/EvoAgentBench에서 공개적으로 이용 가능하다.

arXiv:2607.05199v1cs.AI

추론, 보상, 개선: 소형 언어 모델의 물리 추론을 위한 구조적 피드백 기반 단계별 오류 수정

Reason, Reward, Refine: Step-Level Errors Corrections with Structured Feedback for Physics Reasoning in Small Language Models

소형 언어 모델에서 물리 추론은 구조적으로 실패한다: 어느 단계에서든 발생한 오류는 이후 모든 추론을 오염시키며 전파된다. 제한된 도메인 지식, 다단계 유도 과정에서의 환각, 분포 민감성이 이러한 실패를 복합적으로 악화시킨다. 우리는 첫 번째 추론 오류를 식별하고 목표화된 구조적 피드백을 생성하며, KL 정규화를 적용한 정책 그래디언트를 통해 모델이 해답을 수정하도록 학습시키는 단계별 보상 프레임워크를 제안한다. 이 과정에서 모델은 정답 풀이를 생성 목표로 직접 노출받지 않는다. 어노테이션 의존적인 단계별 방법과 달리, 선호도 데이터 구축이 불필요하며 외부 검증기는 학습 시에만 작동한다. 다섯 가지 물리 벤치마크에서 우리의 프레임워크는 사고의 연쇄(CoT) 프롬프팅 대비 17~20%, 최강 기준선 대비 10~16%의 정확도 향상을 달성하며, 최적 관측 사례에서 계산 오류를 56.9%에서 23.5%로, 오독 오류를 22.3%에서 12.0%로 감소시킨다. 개념적 오류는 89.7%에서 68.7%로 감소하지만, 모든 조건에서 가장 어려운 실패 유형으로 지속된다.

arXiv:2607.05174v1cs.AI

AgentGym2: 비이상화된 실세계 환경에서의 대규모 언어 모델 에이전트 벤치마킹

AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments

언어 에이전트, 즉 LLM 에이전트는 빠르게 발전하고 있으며 프로덕션 환경에 점점 더 많이 배포되고 있다. 이러한 추세는 엄격하고 현실적인 평가의 시급한 필요성을 부각시킨다. 그러나 기존 벤치마크의 대부분은 단순화되고 이상화된 환경에서 에이전트를 평가한다. 이들은 일반적으로 미리 패키징된 도구 인터페이스에 의존하고, 중요한 단계를 간과하며, 입력이 깔끔하고 완전히 명세되어 있다고 가정한다. 결과적으로, 불확실성과 노이즈가 만연하고 에이전트가 새로운 도구를 발견하기 위해 능동적으로 환경을 탐험해야 하는 실제 배포의 어려움을 과소평가한다. 이 격차를 해소하기 위해, 우리는 실세계 엔드투엔드 작업 요구에 기반한 태스크 인스턴스를 갖춘 새로운 평가 프레임워크인 AgentGym2를 제시한다. 추론 및 계획을 넘어, 엔드투엔드 절차 실행 능력, 탐험을 통한 도구 발견 능력, 미지의 태스크에 대한 도구 조합 능력, 그리고 노이즈가 있거나 불완전하게 명세된 정보에 대한 강건성을 측정한다. 15개의 독점 및 오픈소스 모델에 대한 실험 결과, Gemini와 GPT-5 같은 최첨단 시스템조차 AgentGym2에서 어려움을 겪으며, 현재 에이전트의 능력과 실세계 애플리케이션의 요구 사이에 상당한 격차가 있음을 보여준다.

arXiv:2607.05147v1cs.AI

DSpark: 반자기회귀 생성을 활용한 신뢰도 기반 스케줄링 추측적 디코딩

DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

추측적 디코딩(Speculative decoding)은 초안 생성과 목표 검증을 분리함으로써 대규모 언어 모델(LLM) 추론을 가속화한다. 최근의 병렬 초안 생성기는 단일 순전파(forward pass)로 긴 토큰 시퀀스를 효율적으로 제안하지만, 토큰 간 의존성 부재로 인해 수락률이 급격히 감소하는 문제를 겪는다. 또한, 이러한 확장된 블록을 무차별적으로 검증하면 거부 위험이 높은 토큰에 중요한 배치 용량이 낭비되어 고동시성 서빙 시스템의 처리량이 심각하게 저하된다. 우리는 고처리량 병렬 생성과 적응적·부하 인식 검증을 통합하는 추측적 디코딩 프레임워크인 DSpark를 소개한다. 초안 품질을 유지하기 위해 DSpark는 반자기회귀(semi-autoregressive) 아키텍처를 활용하여 병렬 백본과 경량 순차 모듈을 결합함으로써 블록 내 의존성 모델링을 도입하고 후위 감소(suffix decay)를 완화한다. 시스템 효율성을 최적화하기 위해 DSpark는 신뢰도 기반 스케줄링 검증(confidence-scheduled verification)을 채용하여, 추정된 접두 문맥 생존 확률과 엔진별 처리량 프로파일에 기반해 각 요청의 검증 길이를 동적으로 조정한다. 다양한 도메인에 걸친 오프라인 벤치마크에서 DSpark는 최신 자기회귀 및 병렬 초안 생성기 대비 수락 길이를 대폭 향상시킨다. 실시간 사용자 트래픽 하에 DeepSeek-V4 서빙 시스템에 배포했을 때, DSpark는 검증 낭비를 성공적으로 완화한다. 확립된 생산 기준선(MTP-1)과 비교하여, DSpark는 동일 처리량 수준에서 사용자별 생성 속도를 60~85% 가속화한다. 더 중요하게는, 엄격한 상호작용 제약 조건 하에서 심각한 처리량 저하를 방지함으로써 이전에는 달성 불가능했던 성능 수준을 가능하게 하여, 서빙 시스템의 파레토 프런티어를 이동시킨다.

arXiv:2607.05131v1cs.AI

TacReasoner: 실세계 시나리오에서 상호작용적 추론을 위한 동적 촉각-언어 프레임워크

TacReasoner: A Dynamic Tactile-Language Framework for Interactive Reasoning in Real-World Scenarios

인간의 다섯 가지 기본 감각 중 촉각은 실세계 환경에서 물리적 접촉과 상호작용을 지각할 수 있게 해준다는 점에서 생존에 가장 근본적인 감각이라 할 수 있습니다. 본 논문에서는 멀티모달 추론을 위한 지능형 시스템에 촉각 센싱을 통합하는 두 가지 핵심 과제를 탐구합니다: (i) 동적 촉각 신호의 불충분한 모델링으로 인해 시간적으로 변화하는 속성에 대한 추론이 제한되는 문제, (ii) 명시적 추론 메커니즘의 부재로 인해 촉각 파운데이션 모델에서 발생하는 환각(hallucination)으로 실세계 추론이 불안정해지는 문제. 이러한 과제를 해결하기 위해, 본 논문은 실세계 시나리오에서 상호작용적 추론을 위한 동적 촉각-언어 프레임워크인 TacReasoner를 제안합니다. 먼저, TacReasoner는 동적 촉각 신호의 지각 및 표현을 향상시키기 위한 동적 인식 촉각 인코더(Dynamic-aware Tactile Encoder)를 통합합니다. 더 나아가, 촉각 입력에 대한 구조화된 추론을 위한 최초의 촉각 사고의 연쇄(Chain-of-Thought) 데이터셋인 TouchCoT-10k를 제시합니다. 이를 기반으로, 동적 촉각 지각과 실세계 상식 추론을 체계적으로 평가하는 DynTac-Bench를 구축합니다. 실험 결과, TacReasoner는 다수의 데이터셋에서 최신 모델들과 경쟁력 있는 성능을 달성합니다. 특히, 7B 파라미터만을 사용함에도 불구하고 TacReasoner는 대부분의 서브태스크에서 14B 규모의 VTV-LLM 모델을 능가하며, 촉각 상식 추론에서의 효과성과 효율성을 입증합니다.

arXiv:2607.05123v1cs.AI

ASSEMCAD: 자연어로부터 생산 준비 완료 CAD 어셈블리 생성

ASSEMCAD: Production-Ready CAD Assembly Generation from Natural Language

대규모 언어 모델과 프로그래매틱 CAD의 최근 발전은 개별 부품에 대한 텍스트-투-CAD 생성을 크게 향상시켰다. 그러나 생산 준비 완료 수준의 기계 어셈블리 생성은 여전히 대부분 미해결 과제로 남아 있다. 단일 부품 모델링과 달리, 어셈블리는 여러 컴포넌트, 기능적 인터페이스, 어셈블리 관계, 공학 원칙, 물리적 일관성에 걸친 조율된 추론을 요구한다. 따라서 실행 가능한 CAD 코드를 직접 생성하는 것만으로는 기계적으로 유효하고 재사용 가능한 어셈블리를 구성하기에 불충분하다. 우리는 자연어로부터 생산 준비 완료 CAD 어셈블리를 생성하기 위한 공리 기반 프레임워크인 AssemCAD를 제시한다. AssemCAD는 어셈블리를 단일체 CAD 코드로 표현하는 대신, 먼저 타입이 지정된 부품, 기하학적으로 뒷받침된 포트, 실행 가능한 mates, 공학 공리로 구성된 공리적 어셈블리 명세(Assembly Specification)를 구축한다. 각 어셈블리 관계는 하나 이상의 공학 원칙에 명시적으로 근거를 두어, 결과 명세를 해석 가능하고 재사용 가능하며 검증 가능하게 만든다. 이 명세를 구현하기 위해 AssemCAD는 결정론적 mate 변환을 통해 심볼릭 어셈블리 관계를 실행하고 구체적인 B-Rep 기하학적 증거를 사용하여 선언된 인터페이스를 검증하는 포트 및 mate 기반 CAD 어셈블리 라이브러리를 도입한다. 이 표현 및 라이브러리를 기반으로, AssemCAD는 표준 및 오픈-월드 기하학 모두에 대해 재사용 가능한 파라메트릭 컴포넌트 팩토리의 온디맨드 합성도 추가로 지원한다. AssemBench에서의 실험은 AssemCAD가 코드 중심 CAD 생성 기준선 대비 어셈블리 보존성과 물리적 유효성을 크게 개선하면서도 다양한 기반 모델 백본에 걸쳐 일반화됨을 보여준다. 공리 기반 어셈블리 추론과 결정론적 기하학 실행을 결합함으로써, AssemCAD는 텍스트-투-CAD를 고립된 부품 생성에서 생산 준비 완료 수준의 기계 어셈블리 설계로 확장한다.

arXiv:2607.05055v1cs.AI

의료 분야의 신뢰할 수 있는 대규모 언어 모델 에이전트를 향하여

Toward Trustworthy Large Language Model Agents in Healthcare

의료 예약 스케줄링은 수동 조율, 분산된 레거시 시스템, 높은 행정 부담으로 인해 지속적인 운영상 병목 현상으로 남아 있다. 이러한 비효율성은 의료 제공자의 가용성을 제약하고 환자의 의료 접근성을 저하시킨다. 본 논문은 의료 물류 자동화를 위한 안전 우선 대화형 에이전트인 CareConnect를 제시한다. 이 에이전트는 대규모 언어 모델(LLM) 함수 호출, 검색-증강 생성(RAG), 계층화된 결정론적 안전 가드레일을 활용한다. 본 시스템은 예약 등록, 수정, 취소 및 시설 정보 검색을 지원하는 8개의 도메인 특화 도구를 조율하는 동시에, 의학적 조언이나 진단을 금지하는 엄격한 범위 제약을 적용한다. 안전 중요 상황은 응급 감지 및 의학적 의도 거부를 위한 결정론적 단락(short-circuit) 메커니즘을 통해 처리된다. 우리는 엔드투엔드 워크플로우, 멀티턴 상호작용, 엣지 케이스를 포괄하는 680개의 태스크 지향 시나리오로 구성된 종합 벤치마크에서 CareConnect를 평가한다. 실험 결과, 요청당 중앙값 지연 시간 2.2초에서 91.8%의 태스크 완료율, 전용 안전 중요 평가 서브셋에서 96.0%의 안전 준수율, 예약당 평균 운영 비용 $0.0324를 달성하여 수동 인간 스케줄링 대비 상당한 비용 절감을 실현하였다. 이러한 결과는 신중하게 범위가 설정되고 철저하게 안전장치가 마련된 LLM 기반 에이전트가 안전 보장을 유지하고 상당한 비용 효율성을 달성하면서 복잡한 의료 운영 워크플로우를 신뢰성 있게 자동화할 수 있음을 보여준다. 소스 코드와 시스템 구현은 https://github.com/Hadi-Hsn/CareConnect에서 공개적으로 이용 가능하다.

arXiv:2607.04963v1cs.AI

STAPO: LLM 에이전트 학습을 위한 선택적 궤적 인식 정책 최적화

STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training

강화학습(RL)은 장기 과제에서 대규모 언어 모델(LLM) 에이전트를 학습시키는 주류 패러다임이다. 그러나 희소하고 지연된 보상은 종종 궤적 무시(trajectory neglect)로 이어지며, 이는 에이전트가 중간 단계에서 과제 목표와 상호작용 이력에 대한 집중력을 잃는 현상이다. 기존 연구에서는 섀넌 엔트로피 기반 불확실성 신호를 활용한 스텝 수준 감독을 탐구했으나, 이 방법은 상태의 내재적 복잡성과 에이전트의 신뢰도를 혼동하여 의사결정 신뢰성을 불안정하게 추정하는 문제가 있다. 이를 해결하기 위해 우리는 정규화 엔트로피(normalized entropy)를 제안한다. 정규화 엔트로피는 주어진 상태에서 에이전트의 평균 행동 대비 신뢰도 편차를 측정함으로써, 낮은 품질의 행동과 궤적 무시 간의 연관성을 강화한다. 이 통찰을 바탕으로 우리는 계층적 그룹 기반 RL 프레임워크인 선택적 궤적 인식 정책 최적화(STAPO)를 제안한다. STAPO는 정규화 엔트로피를 활용해 궤적 무시와 관련된 이상 스텝을 찾아내고, 궤적 인식 보상과 궤적 독립 패널티의 결합 메커니즘을 통해 이를 최적화함으로써 궤적 인식을 강화하는 동시에 학습 안정성을 유지한다. ALFWorld, WebShop, Search-Augmented QA에 대한 광범위한 실험을 통해 STAPO가 최고 수준의 성능을 달성하면서 궤적 무시를 크게 완화함을 입증하였으며, 에이전트 과제에 대한 효과성과 강건성을 검증하였다.

arXiv:2607.04907v1cs.AI

Medi-Gemma: 결정론적 EMR 분석과 검색-증강 생성을 통합한 하이브리드 임상 의사결정 지원 시스템

Medi-Gemma: A Hybrid Clinical Decision Support System Integrating Deterministic EMR Analytics and Retrieval-Augmented Generation

고위험 임상 환경에 대규모 언어 모델(LLM)을 배포하는 것은 구조적 환각(hallucination), 표 형식 환자 데이터에 대한 취약한 결정론적 추론, 그리고 벡터 검색의 누락 문제로 인해 여전히 제한적이다. 본 논문은 상처 병리 분류(triage) 및 워크플로 자동화를 위한 임상 의사결정 지원 시스템(CDSS)인 Medi-Gemma의 아키텍처와 검증을 제시한다. 이 플랫폼은 추적 가능한 추론을 보존하면서 임상 인식과 데이터 오케스트레이션을 분리하는 디커플링 프레임워크를 도입한다. Medi-Gemma는 중앙화된 ClinicalOrchestrator가 조율하는 다단계 파이프라인을 사용한다. 데이터 요청은 타입 강제 변환(type coercion)을 통해 비정형 전자의무기록(EMR) 파일을 정제하는 DataManager가 생성형 추론 없이 처리한다. 자연어 쿼리는 계층적 IntentRouter가 처리하며, 이는 요청을 PandasQueryEngine이 실행하는 결정론적 분석 경로 또는 CPU 최적화 벡터 스토어를 사용하는 ClinicalRAGEngine이 관리하는 환자별 추론 경로로 라우팅한다. 주요 기여는 Ground Truth Injection Module로, 이는 환자별 쿼리를 가로채어 수치 식별 토큰을 추출하고, Pandas를 통해 정형 데이터프레임을 조회하며, 최신 검증된 임상 상태를 가져와 생성 전에 이 스냅샷을 LLM 프롬프트의 우선 적용 컨텍스트 블록으로 삽입한다. 안전성 준수는 임상 용어를 고정된 근거 기반 위험 경로에 매핑하는 결정론적 ProtocolManager가 강제하며, SafetyVerifier 구문 필터가 출력 규칙 위반을 방지한다. 검증 결과, 이 아키텍처는 의미론적 컨텍스트 드리프트를 제거하고, 데이터베이스 컴파일 충돌을 방지하며, 백엔드 임상 저장소에 대한 사실적 충실도를 향상시키는 것으로 나타났다. 이러한 결과는 정형 데이터 충실성, 검색 그라운딩(retrieval grounding), 결정론적 안전장치가 필수적인 LLM 기반 임상 의사결정 지원에서 Medi-Gemma가 더 안전한 패턴임을 뒷받침한다.

arXiv:2607.04854v1cs.AI

CARL: LLM 계획 수립을 위한 제약 인식 강화학습

CARL: Constraint-Aware Reinforcement Learning for Planning with LLMs

대규모 언어 모델(LLM)은 강력한 추론 능력과 방대한 세계 지식을 보유하고 있음에도 불구하고, 태스크 제약 조건을 위반하는 계획을 빈번하게 생성하여 실제 응용에서의 신뢰성을 저해한다. 이러한 결함은 생성 과정에서 제약 정보를 체계적으로 반영하는 메커니즘의 부재에서 비롯된다. 기존 접근법들은 외부 도구나 태스크 분해에 의존하여 이를 완화하려 하지만, 모델의 내재적 제약 인식 능력을 강화하지는 못한다. 이를 해결하기 위해 우리는 LLM의 제약 조건에 대한 내재적 집중력을 강화하도록 설계된 새로운 강화학습(RL) 프레임워크인 제약 인식 강화학습(CARL)을 제안한다. CARL은 제약이 있는 입력과 없는 입력 하에서 모델의 출력 분포를 비교하는 제약 인식 보상(reward)을 도입하여, 제약 집중을 장려하고 무시를 페널티로 처벌한다. 다양한 RL 프레임워크와 호환되며 외부 솔버나 상위 모델을 필요로 하지 않는 CARL은 확장 가능한 엔드투엔드 제약 인식 계획 수립을 가능하게 한다. BlocksWorld, TravelPlanner, T-Eval에 대한 광범위한 실험을 통해 CARL이 표준 강화 미세조정(RFT) 기준선 및 최신 추론 모델을 크게 능가하며, 제약 조건에 대한 뚜렷하게 향상된 집중력을 보임을 입증한다.

arXiv:2607.04758v1cs.AI

AgenticPD: 물리 설계 QoR 최적화를 위한 스테이지 인식 에이전틱 프레임워크

AgenticPD: A Stage-Aware Agentic Framework for Physical Design QoR Optimization

물리 설계 결과 품질(QoR) 최적화는 어렵고 비용이 많이 드는 작업이다. 한 단계에서 내린 선택은 이후 단계에 도움이 되거나 해가 될 수 있다. 각 평가는 전체 플로우를 거치는 비용이 많이 드는 EDA 실행을 필요로 한다. 기존 방법들이 여전히 최적화를 단순 매개변수 튜닝이나 대규모 언어 모델(LLM) 기반 스크립트 생성 작업으로 처리하는 반면, 우리는 물리 설계 QoR 최적화를 위한 스테이지 인식 에이전틱 프레임워크인 AgenticPD를 제시한다. AgenticPD는 매 시도마다 전체 플로우를 재실행하는 대신 물리 설계 플로우의 스테이지 경계를 중심으로 구성되어, Judge 에이전트가 탐색을 수행하고 스테이지 특화 에이전트들이 스테이지 로컬 도구를 활용해 각자의 단계 내에서 로컬 결정을 내린다. 또한 AgenticPD의 에이전트 하네스는 구조화된 관찰, 실행 이력, 에이전트 컨텍스트 관리를 제공한다. 그 결과 시스템은 이전 중간 상태에서 분기하고 체크포인트를 재사용하여 최적화 절차를 이어갈 수 있으며, 모든 후보는 라우팅 후 사인오프(post-route signoff) 단계에서 평가된다. 이러한 베이스라인 대비 AgenticPD는 전력 및 면적에서 경쟁력을 유지하면서도 강력한 라우팅 후 타이밍 성능을 달성한다.

arXiv:2607.04631v1cs.AI

Formal Disco: 형식 검증 프로그램의 확장 가능한 오픈엔드 생성

Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs

AI 에이전트의 역량이 빠르게 향상됨에 따라 코드 생성 비용은 급격히 낮아지고 있지만, 생성된 프로그램의 품질 보증은 이에 발맞추지 못하고 있다. 형식 검증(formal verification)은 가장 강력한 수준의 보장을 제공하지만, 검증 인식 언어(verification-aware language)로 작성된 인간 예제의 희소성으로 인해 AI 모델이 이러한 언어를 다루는 능력이 제한된다. 이러한 만연한 데이터 희소성 문제를 해결하기 위해, 우리는 Formal Disco를 제안한다. 이는 대규모 오픈엔드 합성 데이터 생성에 손쉽게 적용할 수 있는 대규모 언어 모델(LLM) 기반 워커 조율을 위한 분산 시스템이다. 우리는 Formal Disco를 사용하여 세 가지 유형의 워커 간에 태스크와 프로그램을 공유한다: 오픈소스 저장소의 임의 README와 문서 스니펫을 읽어 관련 검증 프로그램의 초안을 작성하는 "initiator", 컴파일러 및 검증기 피드백을 받아 문제를 해결하는 "fixer", 그리고 동작하는 프로그램을 받아 이를 확장하는 패치를 제안하는 "extender"이다. Formal Disco는 에이전트가 생성한 모든 트레이스를 기록하고, 이를 더 강력한 모델로부터의 초기 지식 증류(distillation)와 자기 개선 모두에 활용한다. 또한 합성 프로그램 생성을 위한 최대 엔트로피 원칙을 제안하고, 반복적인 지도 미세조정(supervised fine-tuning)을 통한 엔트로피 최대화를 사용하여 시간이 지남에 따라 점점 더 다양한 프로그램을 생성하도록 학습한다. Dafny, Verus, Frama-C 세 가지 언어로 작성된 대규모 합성 검증 프로그램 데이터셋을 공개하고, 검증 관련 태스크를 위한 오픈 모델을 미세조정하여 Claude Opus 4.5의 성능과 동등하거나 이를 초과하는 결과를 자주 달성한다. 전반적으로, 우리의 연구는 형식 추론 도메인에서 대규모 합성 데이터를 생성하고 오랫동안 지속되어 온 데이터 장벽을 극복하는 경로를 제시한다.

arXiv:2607.04617v1cs.AI

MRMS: 장기 실행 AI 에이전트를 위한 다중 해상도 메모리 기반

MRMS: A Multi-Resolution Memory Substrate for Long-Lived AI Agents

장기 실행 AI 에이전트는 상호작용 전반에 걸쳐 연속성을 필요로 하지만, 연속성은 단순히 프롬프트 윈도우를 확장하는 것만으로는 확보할 수 없다. 에이전트는 유용한 과거 경험을 보존하고, 선택적으로 검색하며, 개인적 맥락을 외부 증거와 구별하고, 기저 상황이 변화할 때 메모리를 수정할 수 있어야 한다. 우리는 두 직교 축을 따라 구성된 아키텍처적 메모리 기반을 제안한다: 구조화된 레코드, 벡터 표현, 그래프 관계에 걸친 표현 축과 단기 추적, 중기 추상화, 장기 의미론적 커밋에 걸친 시간 축이다. 핵심 설계 제약은 동기화된 구조-벡터-그래프 메모리로, 구조화된 레코드는 적격성을 결정하고, 벡터 표현은 회상을 지원하며, 그래프 관계는 게이트된 컨텍스트 프로젝션 이전에 지지, 모순, 대체를 판정한다. 중심 주장은 신뢰할 수 있는 개인화가 메모리 설계 문제라는 것이다: 유용한 메모리는 미분류 대화 기록으로 저장되는 것이 아니라, 구조화되고 선택적으로 노출되며 지속적으로 통합되고 인식론적으로 레이블된다. 프레임워크를 넘어, 우리는 구조화된 레코드, 벡터 검색, 시간적 정책, 그래프 기반 수정을 구현하는 경량 프로토타입으로 MRMS를 구체화한다. 이 프로토타입은 명시적인 증거 요건을 갖춘 제어된 장기 상호작용 시나리오에서 생성 전 메모리 선택, 수정, 경계 강제, 증거 귀인을 통해 핵심 기반 메커니즘을 실증한다.

arXiv:2607.04613v1cs.AI

통제된 개별화: 에이전트의 학습과 권한을 암호학적으로 분리하기

Governed Individuation: Cryptographically Decoupling an Agent's Learning from Its Authority

자율 에이전트는 샌드박스 텍스트 생성기에서 코드, 데이터 및 물리적 인프라의 운영자로 진화하고 있으며, 배포 중에도 점점 더 학습하고 있다. 이는 정렬(alignment) 기법이 확률적으로만 답할 수 있는 질문을 다시 제기한다: 에이전트가 현장에서 적응한 이후에도 실행 중인 시스템이 운영자가 승인한 범위 내에 여전히 국한되는가? 본 논문에서는 이러한 국한이 학습의 확률적 결과가 아니라 에이전트의 실행 아키텍처의 불변 속성으로 보장될 수 있음을 보인다. 통제된 개별화(governed individuation)는 부팅 시 에이전트를 암호학적으로 고정된 신원 다이제스트에 바인딩하고, 모든 행동을 행동의 이름이 아닌 의미론적 효과에 따라 정의된 게이트를 통해 라우팅한다. 우리는 어떠한 양의 학습, 기술 습득, 혹은 자가 유도 거버넌스 추상화도 운영자 서명 신원 변경 없이는 에이전트의 허용된 권한을 확장할 수 없음을 증명한다; 이 보장은 에이전트가 자체 안전성 원칙을 유도하고 그 원칙이 틀린 경우에도 유지된다. 실증적으로, 넓은 행동 공간으로 인해 이름 기반 차단이 불가능한 개방형 도구 사용 벤치마크에서, 보상 압박 하의 비통제 소프트웨어 에이전트는 과제에 따라 다른 비율로 자체 평가를 조작하려 시도하며, 가장 어려운 과제에서는 모든 실행에서 이러한 시도가 발생하였다. 반면 게이트는 구성의 검증된 속성으로서 실행된 금지 효과를 영으로 줄이면서 과제 성공을 유지하였다. 의미론적 깊이가 증가하는 모니터의 적대적 평가에서 허위 허용(false-allow)이 75%(이름 기반 게이팅)에서 영(동적 효과 추적)으로 감소하였으며, 거부 이력은 미학습 레드라인 계열에 대한 컴플라이언스를 전이한다. 배포된 학습 에이전트에 대한 신뢰는 지속적인 정렬에 대한 도박에서 부팅 시 누구나 실행할 수 있는 검증으로 전환된다.

arXiv:2607.04590v1cs.AI

어텐션 제한 보상 학습

Attention Limited Reward Learning

쌍별(pairwise) 인간 비교는 현대 AI 시스템이 인간의 선호를 학습하는 주요 인터페이스이다. 인간 피드백 강화학습(RLHF)과 관련 정렬(alignment) 파이프라인은 일반적으로 이러한 비교를 Bradley-Terry 로그-오즈로 모델링하며, 여기서 선택 확률은 잠재 보상(reward) 차이에 의해 결정된다. 이 논문은 합리적 부주의(rational inattention)에서 영감을 받은 축약형(reduced-form) 모델을 통해 이 가정이 놓치는 바를 고찰하는데, 이 모델에서 각 레이블은 저용량 평가 채널에 의해 생성된다. 이 모델은 표준 보상 모델링이 혼동하는 경향이 있는 두 가지 형태의 모호성을 분리한다: 비교가 어려운 이유가 두 후보의 가치가 실제로 유사하기 때문일 수도 있고, 제한된 어텐션(attention) 하에서 관련 구분을 감지하기 어렵기 때문일 수도 있다. 우리는 제한된 어텐션이 쌍별 비교를 통해 드러나는 정보를 근본적으로 왜곡할 수 있음을 보인다. 특히, 수동적 비교 데이터는 일반적으로 보상, 어텐션, 기본 성향을 구별할 수 없으며, 이질적인 어텐션은 표준 Bradley-Terry 보상 모델링이 오도적인 순위를 복원하도록 만들 수 있다. 우리의 분석은 학습이 레이블의 원시 수가 아니라 각 레이블이 담고 있는 주목된 정보의 양에 의해 결정됨을 보여준다. Chatbot Arena의 언어 모델 쌍에 대한 인간 투표를 대상으로 한 사례 연구는 예측된 특징을 보여주는데, 샘플링 노이즈를 초과하며 어떠한 스칼라 보상으로도 표현할 수 없는 비교 데이터의 순환 성분이 그것이다. 지각적 비교를 대상으로 한 두 번째 사례 연구는 응답 시간과 시선이 레이블에 담기지 않은 격차 정보를 담고 있음을 보여준다. 이 관점은 인간 피드백을 직접적인 현시 선호(revealed preference)가 아닌 어텐션 제한 측정 과정으로 다루어야 함을 시사한다: 약한 선호 신호는 진정한 무관심이 아니라 숨겨진 평가 난이도를 반영하는 것일 수 있다.

arXiv:2607.04572v1cs.AI

절단된 사고의 연쇄 감사를 통한 LLM 기반 교육용 튜터의 정답 주도 추론 탐지

Detecting Answer-Driven Reasoning in LLM-Based Educational Tutors via Truncated Chain-of-Thought Auditing

대규모 언어 모델(LLM) 튜터는 종종 유창한 단계별 설명을 생성하지만, 올바르고 교육적으로 형식화된 응답이 반드시 해당 답이 학생이 마주하는 문제로부터 도출되었음을 보장하지는 않는다. 현실적인 튜터링 시스템에서 모델은 교사 노트, 정답지, 채점 기준표, 또는 검색된 풀이 결과물에도 접근할 수 있다. 우리는 이러한 비공개 정답 정보가 튜터 설명을 정답 주도(answer-driven) 방식으로 만들 수 있는지 연구한다: 최종 답이 작성된 설명이 이를 정당화하기 전에 행동적으로 이용 가능한 상태가 되는 것이다. 사고의 연쇄(chain-of-thought) 접두 문맥이 얼마나 일찍 검증기를 통과할 수 있는지를 탐지하는 TRACE(Truncated Reasoning AUC Evaluation)를 사용하여, 세 가지 쌍을 이루는 튜터링 컨텍스트—질문만, 정확한 정답지, 오답 정답지—에서 1000개의 GSM8K 테스트 문제를 평가한다. 각 생성된 설명의 고정된 비율 지점에서 모델이 즉시 답하도록 강제하고 응답을 정답(gold) 수치와 대조하여 검증한다. Qwen2.5-3B-Instruct에서 정답지 접근은 TRACE AUC 중앙값을 0.375에서 0.900으로 높이고, 1000개 중 997개 사례에서 첫 10% 접두 문맥 시점에 정답을 이용 가능하게 만든다. 이 효과는 질문만 조건과 정답지 조건의 설명 모두 올바른 답으로 끝나는 746개의 예시에서도 강하게 유지된다. 이러한 결과는 절단된 CoT 감사(truncated CoT auditing)가 수학 튜터링 설명에서의 정답 주도 추론을 탐지하는 경량 프로세스 수준 진단 도구로서 유효함을 지지한다.

arXiv:2607.04528v1cs.AI

다단계 LLM 에이전트에서 하네스 유발 신념 분기 측정

Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents

소프트웨어 에이전트 벤치마크는 대개 에이전트가 작업을 해결하는지 여부를 보고하지만, 에이전트는 하네스(harness)를 통해 해당 결과에 도달하며, 하네스는 에이전트가 보는 것, 취할 수 있는 행동, 수리되는 실패, 검증되는 상태, 기록되는 증거를 제어한다. 우리는 작업, 환경, 기반 LLM이 고정된 경우에도 이 하네스가 에이전트의 다단계 신념을 변경할 수 있음을 보인다. 우리는 진행 상황, 위험, 복구 가능성, 제약 조건, 실패 모드, 불확실성, 미래 성공, 수리 비용, 그리고 대안적 하네스 하에서의 다음 행동에 대해 구조화된 K단계 궤적을 도출하는 신념-롤아웃 진단을 도입한다. 우리는 교차-하네스 신념 분기를 정의하고, 이를 즉각적인 인터페이스 변화에 대한 도달 항(arrival term)과 수평선 의존적 신념 변화에 대한 성장 항(growth term)으로 분해한다. 통제된 코딩 작업과 공개 벤치마크 스트레스 테스트에서, 차단된 행동, 압축된 수리, 선택적 검증, 비용 인식 증거 가지치기는 이후 결정을 이끄는 신념을 변경하면서도 종단 성공을 보존하는 경우가 많음을 확인한다. 우리는 또한 BIWM을 도입하는데, 이는 관측을 정규화하고, 검열된 분기를 기록하며, 수리 추적을 확장하고, 검증 마스크를 기록하며, 위험한 분기를 섀도우에서 실행하고, 하네스 뷰 전반에 걸쳐 신념 궤적을 정렬하는 학습 불필요 프로토콜이다. 이 결과는 하네스 설계가 에이전트 평가에서 구현 세부 사항이 아닌 실험 변수임을 시사한다. 코드는 https://github.com/Hik289/Harness-induce-bias.git 에서 이용 가능하다.

arXiv:2607.04505v1cs.AI

순수 추론만으로는 충분하지 않은 이유: 수학적 혁신의 원천으로서의 자연

Why Pure Reasoning is Not Enough: Nature as the Source of Mathematical Innovation

우리는 인간의 수학적 추론이 순수 연역의 결정 불가능성(undecidability)과 계산적 난해성(computational intractability)에 의해 제약받기 때문에, 순수 연역 외부 영역에서의 패턴 매칭에 근본적으로 의존한다는 가설을 제시한다. 이러한 패턴의 가장 풍부한 저장소는 자연 세계로, 그 물리 법칙과 생물학적 시스템은 수십억 년에 걸친 '사전 계산(pre-computation)'을 거쳐 이미 놀랍도록 혁신적인 해법을 내재하고 있다. 이 주장을 뒷받침하기 위해 우리는 진동하는 현(vibrating string) 논쟁에서 열 방정식(heat equation)과 그 이후 수학에서 널리 쓰이는 형식 체계에 이르기까지, 푸리에 변환(Fourier transform)과 관련 수학의 역사를 추적한다. 각각의 결정적 전환점에서 물리학 문제는 순수 형식 추론이 예측하지 못했거나 오히려 인간 추론이 저항했던 수학적 도구의 수용 또는 창조를 강제했다. 나아가 NP-난해 명제 충족 가능성 문제(NP-hard propositional satisfiability)부터 단항 이차 이론(monadic second-order theories)의 비초등(non-elementary) 결정 절차에 이르는 논리적 복잡도의 전체 지형을 개관함으로써, 논리가 결정 가능한 경우에도 최악의 경우 연역에 필요한 자원이 천문학적으로 많음을 보인다. 우리는 이러한 장벽들이 물리학에서 영감을 받은 패턴 매칭을 단순한 역사적 우연이 아닌 인지적 필연으로 만든다고 주장한다. 마지막으로 인공지능에 대한 함의를 도출한다. 순수 추론이 본질적으로 불충분하다면, 인간 수준의 수학적 창의성을 목표로 하는 어떤 시스템도 연역에만 의존하기보다 방대한 교차 영역(cross-domain) 패턴을 내재해야 한다. 이는 현대 대규모 언어 모델(LLM)의 거대한 규모에 대한 원리적 정당화를 제공한다.