PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13416v1cs.LG

EXPLORE: 언어 모델을 이용한 아날로그 토폴로지 생성을 위한 안내 검색 기반 탐험

EXPLORE: Exploration with Guided Search for Analog Topology Generation using Language Models

아날로그 회로 토폴로지 설계 자동화는 점점 더 다양하고 맞춤화된 애플리케이션 요구를 충족하는 데 필요한 광범위한 수동 노력을 줄이는 데 필수적이다. 최근 연구에서는 사전학습된 언어 모델에 시퀀스-투-시퀀스 미세조정을 적용하여 사용자 사양으로부터 회로 토폴로지를 한 번에 직접 생성하는 방법이 제안되었다. 그러나 이러한 원샷(one-shot) 생성 방식은 기하급수적으로 증가하는 탐색 공간과 제한된 학습 데이터셋 때문에 복잡한 회로를 생성하는 데 실패했다. 본 논문에서는 아날로그 토폴로지 생성을 위한 테스트 타임 스케일링(test-time scaling)을 가능하게 하기 위해 시뮬레이터 안내 Monte Carlo Tree Search(MCTS)와 트랜스포머 기반 디코딩을 통합한 검색 강화 프레임워크 EXPLORE를 제안한다. EXPLORE는 언어 모델 사전분포(prior)를 활용하고 높은 신뢰도의 구조적 토큰(token)을 건너뛰어, 검색 중 토폴로지를 변경하는 결정에 비용이 큰 시뮬레이터 예산을 주로 할당한다. 6-구성요소 벤치마크에서 0.01의 엄격한 허용 오차 조건에서 EXPLORE는 원샷 생성 12%, 샘플링-필터 기준선 33%에서 성공률을 65%로 끌어올리고, 동일한 검색 예산 하에서 샘플링-필터 대비 MSE를 20% 이상 낮췄다. 이 결과는 EXPLORE가 아날로그 토폴로지 생성을 위해 구조화된 테스트 타임 검색과 LM 디코딩을 통합한 최초의 프레임워크임을 보여 주며, LLM 기반 설계 자동화를 스케일링(scaling)하기 위한 실용적인 진전이다.

arXiv:2603.00546v2cs.AI

능력 지향 벤치마크와 MCTS 기반 데이터 생성을 통한 멀티모달 심판 모델 발전

Advancing Multimodal Judge Models through a Capability-Oriented Benchmark and MCTS-Driven Data Generation

멀티모달 대규모 언어 모델(MLLM)을 심판으로 사용하여 정밀하고 일관된 평가를 수행하는 것은 다양한 분야에서 점차 새로운 패러다임으로 자리 잡고 있다. 따라서 MLLM-as-a-judge 시스템의 역량과 신뢰성을 평가하는 것은 신뢰할 수 있는 평가를 보장하는 데 필수적이다. 기존 심판 벤치마크는 샘플을 작업 유형별로 분류하지만, 신뢰할 수 있는 평가에 필요한 근본적인 판정 역량을 포착하지 못한다. 본 연구에서는 MLLM의 판정 능력을 종합적으로 평가하기 위해 설계된 10차원 능력 지향 벤치마크 M-JudgeBench를 제안한다. 우리 벤치마크는 평가를 쌍별 사고의 연쇄(Chain-of-Thought, CoT) 비교, 길이 바이어스 회피, 과정 오류 탐지 작업으로 분해하여, 총 열 가지 세분화된 하위 작업을 함께 다룬다. 이러한 설계는 추론 스타일, 응답 길이, 모델 간 변이에 걸친 모델 신뢰성 진단을 가능하게 한다. 체계적인 평가를 통해 기존 MLLM-as-a-judge 시스템의 체계적인 약점이 드러난다. 이 문제를 해결하기 위해, 다양한 정확성과 길이를 갖는 쌍별 추론 궤적을 생성하는 데이터 구축 프레임워크인 Judge-MCTS를 추가로 제안한다. Judge-MCTS를 활용하여 MCTS 증강 데이터셋을 구축하고, 일련의 강력한 심판 모델인 M-Judger를 학습한다. 광범위한 실험은 기존 심판 벤치마크와 M-JudgeBench 모두에서 M-Judger의 우수성을 입증한다. 종합적으로, 본 연구는 M-JudgeBench와 Judge-MCTS 프레임워크를 통해 MLLM-as-a-judge 평가를 위한 보다 원칙적인 기반을 마련하여, 심판 모델 평가 및 역량 기반 심판 모델 학습에 대한 향후 연구의 길을 연다.

arXiv:2510.24803v3cs.MA

MASPRM: 다중 에이전트 시스템 과정 보상 모델

MASPRM: Multi-Agent System Process Reward Model

다중 에이전트 시스템(MAS)에 대한 추론 시점 탐색은, 어떤 에이전트의 중간 메시지가 진행을 앞당겼는지 식별할 수 없을 때 연산을 낭비한다. 본 논문은 라우팅된 transcript(에이전트 간 순서화된 메시지 시퀀스)를 점수화하고 단계 수준 빔 탐색(SBS) 및 몬테카를로 트리 탐색(MCTS)을 위한 추론 제어기로 작동하는 다중 에이전트 시스템 과정 보상 모델(MASPRM)을 제안한다. MASPRM은 인간의 단계 수준 주석 없이 최종 결과 보상으로만 레이블된 다중 에이전트 MCTS 롤아웃으로부터 학습된다. GSM8K, MATH, MMLU, LogiQA에서 평가하였다. 동일한 스코어러 크기와 유사한 MCTS 예산 하에서 MASPRM은 1.5B에서 +2.0~+3.0점, 7B에서 +4.1~+14.5점만큼 네 벤치마크 전반에 걸쳐 동일 크기의 ORM(결과 보상 모델)을 초과하며, 7B에서 정책 가능도 대비 추가적인 스코어러 스케일링 이득(MCTS 하 평균 +13.4)을 보인다. MASPRM은 또한 순위 품질을 개선하여 Hit@1과 Hit@5 간 격차를 최대 10.3점 줄이며, 중간 결정을 사용하는 단계별 탐색에서 가장 큰 이득을 보인다. 코드: https://github.com/milad1378yz/MASPRM

arXiv:2603.04873v3cs.AI

SEA-TS: 시계열 예측 알고리즘의 자율 코드 생성을 위한 자기 진화 에이전트

SEA-TS: Self-Evolving Agent for Autonomous Code Generation of Time Series Forecasting Algorithms

정확한 시계열 예측은 많은 분야에서 의사결정의 기반이 되지만, 기존 ML 개발은 데이터 부족, 분포 이동(distribution shift), 수동 반복의 한계 수익(diminishing returns) 등의 문제에 직면한다. 우리는 시계열 알고리즘을 위한 자기 진화 에이전트(Self-Evolving Agent for Time Series Algorithms, SEATS)를 제안한다. 이 프레임워크는 반복적 자기 진화 루프를 통해 예측 알고리즘 코드를 자율적으로 생성, 검증, 최적화한다. 우리 설계는 세 가지 메커니즘을 결합한다: (1) Metric-Advantage MCTS(MA-MCTS)는 고정 보상을 탐색 안내를 위한 통계적으로 정규화된 advantage 점수로 대체하고, (2) 실행 중 프롬프트 정제(running prompt refinement)를 수반하는 코드 리뷰로, 성공적으로 실행된 모든 솔루션을 검토하며 실행 중 프롬프트가 이후 반복을 위한 수정 패턴을 인코딩하고, (3) 전역 조향 가능 추론(global steerable reasoning)은 각 평가된 노드를 전역 최고 및 최저 성능 솔루션과 비교하여 궤적 간 전이(cross-trajectory transfer)를 수행한다. MAP-Elites 아카이브는 아키텍처 다양성을 유지한다. 네 개 데이터셋과 두 가지 지표에서 SEATS는 강력한 베이스라인 TimeMixer, Timer, SEMixer와의 8번 비교 중 7번에서 우승한다.

arXiv:2606.26793v1cs.CR

MIRROR: 에이전트 RAG를 위한 신규성 제약 메모리 기반 MCTS 레드팀 테스팅

MIRROR: Novelty-Constrained Memory-Guided MCTS Red-Teaming for Agentic RAG

다중모달 에이전트형 검색-증강 생성(RAG)의 텍스트·이미지 포이즈닝, 직접 쿼리, 오케스트레이터 조작 등 네 가지 공격 표면을 대상으로, MIRROR는 검색 컨텍스트 기반 후보 생성과 결정론적 Novelty Gate를 결합한 메모리 기반 몬테카를로 트리 탐색(MCTS)으로 통합 레드팀 테스팅을 수행한다. 네 표면 평가에서 이미지 포이즈닝 76% ASR(베이스라인 52%), 쿼리 비용 절반으로 오케스트레이터 공격 97% ASR, 최저 교차 표면 분산(변동계수 0.47)을 달성했으며 ART-SafeBench를 공개한다.

arXiv:2606.25394v1cs.LG

FactorLibrary: From Polynomials to Circuits via Recursive Subgoals

유한체 위 다항식의 최소 산술 회로(arithmetic circuit) 탐색을 상향식·하향식 강화학습(RL) 문제로 정식화하고, 분해 가능한 부분식을 에피소드 간 재사용 하위목표로 저장하는 FactorLibrary를 제안해 급격히 커지는 조합 탐색 공간을 완화한다. PPO+MCTS 하향식 에이전트가 가장 안정적인 성능을 보였으며, 복잡도 8까지 인증된 최적 회로를 91.8% 성공률로 찾았다.

arXiv:2606.21971v1cs.AI

REBA: 연속 POMDP에서 온라인 계획을 위한 표출 신념 오토마톤(Revealed Belief Automaton) 프레임워크

REBA: A Revealed Belief Automaton Framework for Online Planning in Continuous POMDPs

연속 부분 관측 마르코프 결정 과정(POMDP)에서 $ω$-regular 명세를 사용한 온라인 계획은 시간적 진행을 추적하기 위해 유한한 기호 기억(symbolic memory) 내에서 연속적인 믿음 상태 역학(belief dynamics)을 처리해야 한다. 믿음 공간에서의 직접 탐색이나 사전 정의된 이산 추상화에 기반한 기존 방법들은 장기 지평 논리적 진행을 위한 기호 기억 부재, 또는 노이즈가 있는 온라인 믿음 상태로부터의 검증(certification) 어려움 등의 단점을 가진다. 따라서 연속 관측으로부터 신뢰할 수 있는 기호 상태를 온라인으로 얻는 것은 여전히 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 전역 믿음 공간 이산화에서 표출(revelation) 사건의 온라인 검증이라는 근본적으로 새로운 사고 방식으로 연구를 발전시키는 이벤트 기반 프레임워크인 표출 신념 오토마톤(Revealed Belief Automaton, REBA)을 제안한다. 구체적으로, 정보 이론적 게이트(information-theoretic gates)를 통해 노이즈가 있는 믿음 상태들 사이에서 신뢰할 수 있는 앵커(anchor)를 발견함으로써 연속 믿음 공간으로부터 믿음 추상화(belief abstraction)를 동적으로 분석하고 확립하는 온라인 표출(revelation) 방법을 제안한다. 그다음 검증된 앵커 위에 점증적 위상(topology) 적응 메커니즘을 개발하여 온라인 유한 믿음 오토마톤(Belief Automaton)을 구현한다. $ω$-regular 명세와 결합함으로써 REBA는 사전 정의된 이산 추상화 없이 형식적 패리티(parity) 정책 합성(formal parity policy synthesis)을 지원할 수 있으며, 이는 다시 Monte Carlo Tree Search(MCTS) 과정을 국소 지평(local horizon)을 넘어 온라인 탐색을 수행하도록 안내할 수 있다. 또한 기본 연속 POMDP에 대한 이러한 이산 안내의 효과와 신뢰성을 평가할 수 있는 오류 분해(error decomposition) 분석을 설계한다. 순찰(patrolling) 및 내비게이션 시나리오에서의 실증 평가는 REBA가 평가된 모든 기준선(baseline)과 동등하거나 이를 초과함을 보여주며, 최신(state-of-the-art) 접근법 대비 주요 지표에서 +17.0%에서 +47.4%의 향상을 달성한다.

arXiv:2606.19399v1cs.LG

VERITAS: 제로샷 형식적 정리 증명을 위한 검증기-안내 증명 탐색

VERITAS: Verifier-Guided Proof Search for Zero-Shot Formal Theorem Proving

LLM 기반 형식적 증명기들은 종종 풍부한 검증기 신호(구문 오류, 타입 불일치, 부분적인 목표 진척)를 이진 통과/실패 비트로 단순화합니다. 본 논문에서는 모든 검증기 신호를 2단계 프로토콜을 통해 증명 탐색으로 다시 전달하는 제로샷 프레임워크인 VERITAS를 제안합니다: 먼저 Best-of-N 샘플링을 수행하고, 이어서 1단계 실패를 명시적 부정 예제로 활용하는 비평자(critic)-안내 MCTS(몬테카를로 트리 탐색) 단계를 거칩니다. 이 프로토콜은 자체 1단계 스윕(sweep)에서 해결된 모든 정리를 보존하므로, 2단계의 추가 해결은 피드백 기반 탐험에 기인한 것으로 볼 수 있습니다. VERITAS는 miniF2F에서 40.6%를 달성했으며(독립 실행된 Best-of-5는 36.9%, Portfolio는 26.2%), 우리가 공개하는 55개 정리의 조합론 벤치마크인 VERITAS-CombiBench에서 7.3%를 기록했습니다. 이 벤치마크에서 Best-of-5(1.8%)는 Portfolio(3.6%)보다 낮은 성능을 보이며, 올바른 보조정리(lemma) 이름을 검증기 피드백으로부터 반복적으로 복구해야 하는 경우 안내되지 않은 샘플링이 성능을 저해한다는 사실을 보여줍니다. 아티팩트는 GitHub에서 확인할 수 있습니다.