PyTorchKR Papers

최신 논문

총 1,869편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11470v1cs.CL

LLM 추론의 주기율표: 추론 패러다임, 방법론 및 실패 양상에 대한 구조화된 조사

The Periodic Table of LLM Reasoning: A Structured Survey of Reasoning Paradigms, Methods, and Failure Modes

대규모 언어 모델(LLM)은 자연어 처리(NLP) 작업 전반에서 강력한 성능을 달성했으나, 신뢰할 수 있는 추론은 여전히 해결되지 않은 과제로 남아 있습니다. 현대 LLM은 구조화된 추론, 다단계 문제 해결, 문맥 이해에서 진전을 보이지만, 추론 행동은 종종 일관성이 없으며 프롬프트 전략, 작업 설계, 모델 규모에 민감합니다. 본 조사는 arXiv, Semantic Scholar, Google Scholar, Papers with Code, ACL Anthology의 300편 이상의 최신 논문을 체계적으로 분석하여 LLM에서 추론 능력이 어떻게 발현하는지 그리고 어디에서 실패하는지 조사합니다. 우리는 세 가지 주요 기여를 합니다. 첫째, 사고의 연쇄(Chain-of-Thought) 추론, 멀티-홉(multi-hop) 추론, 수학적 추론, 상식적 추론, 시각 및 시간적 추론, 코드 및 알고리즘적 추론, 검색 증강(retrieval-augmented) 추론, 도구 증강 및 에이전트(agentic) 추론, 강화학습 기반 추론을 포괄하는 LLM 추론 연구의 구조화된 분류 체계를 소개합니다. 둘째, 프롬프트 방법, 모델 아키텍처, 학습 목표, 보상 모델링, 평가 벤치마크를 포함하여 이러한 패러다임 전반의 방법론적 동향을 분석합니다. 셋째, 추론 환각, 취약한 다단계 추론, 약한 인과적 추상화, 낮은 도메인 간 일반화와 같은 반복되는 한계와 실패 양상을 종합합니다. 급격히 확장되는 문헌을 정리함으로써, 본 조사는 LLM 추론의 현재 능력과 한계에 대한 통합된 관점을 제공합니다. 또한 메타 추론, 자가 진화 추론 프레임워크, 멀티모달 추론, 사회적 그라운딩(socially grounded) 추론을 포함한 신흥 연구 방향을 식별합니다. 전반적으로, 이 작업은 향후 언어 모델에서 더 견고하고, 해석 가능하며, 일반화 가능한 추론 시스템을 개발하기 위한 참고 자료가 되는 것을 목표로 합니다.

arXiv:2307.01472v2cs.AI

오프라인 다중 에이전트 강화학습에서 확산을 활용한 일반화 및 데이터 효율성 향상

Improving Generalization and Data Efficiency with Diffusion in Offline Multi-agent RL

오프라인 다중 에이전트 강화학습(Offline MARL)을 위해 확산 모델(diffusion model)을 정책 네트워크에 통합하고 궤적 기반 데이터 재가중치 기법을 적용한 DOM2를 소개한다. 해당 방법은 기존 최첨단 방법론 대비 환경 변화에 대한 강건성, 일반화 성능, 그리고 데이터 효율성을 획기적으로 개선했다.

arXiv:2606.06790v1cs.RO

능동 관절 현가 시스템을 갖춘 행성 탐사 로버를 위한 전지형 이동 학습

Learning All-Terrain Locomotion for a Planetary Rover with Actively Articulated Suspension

이 논문은 ERNEST, 즉 요(yaw)와 롤(roll) 구동을 결합하여 휠 재구성, 조향, 능동 하중 재분배를 가능하게 하는 2자유도 능동 짐벌 서스펜션(Active Gimbal Suspension)을 장착한 4륜 행성 탐사 로버 컨셉을 제시합니다. 험난한 지형에서 목표 경로를 추적하도록 학습된 단일 신경망(neural network) 컨트롤러는 자율적인 장애물 극복을 위해 이 구동형 현가 시스템의 기능을 완전히 발휘하게 합니다. 강체 접촉 역학과 Bekker-Wong 지반 역학(terramechanics)을 결합하여 느슨한 토양 조건에 적응된 이동 전략이 발현되도록 하는 고충실도 DARTS 시뮬레이션 엔진을 사용하여 강화학습(reinforcement learning) 프레임워크가 개발되었습니다. 이질적인 지형에서 단일 통합 컨트롤러를 얻기 위해, 정책 통합(policy consolidation) 전략은 지형 특화 에이전트들의 경험을 하나의 신경망으로 병합하여 명시적인 지형 분류(classification) 및 컨트롤러 전환의 필요성을 제거합니다. 결과적으로 도출된 컨트롤러는 희소한 스테레오 기반 지형 고도, 섀시 자세, 관절 상태, 그리고 힘-토크 측정값을 포함하는 고유 수용성(proprioceptive) 및 외부 수용성(exteroceptive) 피드백의 조합을 기반으로 작동합니다. 도메인 무작위화(domain randomization), 센서 노이즈 주입, 그리고 시뮬레이션-실물 시스템 식별(model-to-real system identification)을 통해 실제 로버로의 제로샷(zero-shot) 전이가 달성되었습니다. 실험 결과는 암석 지대, 요철 함정(bump trap), 휠 높이의 단차, 모래 물결, 그리고 모래 경사면을 자율적으로 주행할 수 있음을 보여줍니다. 20도 모래 경사면에서, 학습된 컨트롤러는 추가적인 구동에도 불구하고 건조한 모래에서 이동 비용을 37% 감소시켰으며, 수동 현가 시스템이 완전히 고착되는 젖은 모래에서는 우수한 성능을 달성했습니다.

arXiv:2606.06744v1cs.LG

매칭 학습: 시간적으로 확장된 피드백을 갖는 양면 매칭

Learn to Match: Two-Sided Matching with Temporally Extended Feedback

양면 매칭 시장은 종종 면접, 반복적인 상호작용, 학습, 그리고 분리를 통해 시간의 흐름에 따라 드러나는 정보를 포함합니다. 기존 매칭 모델은 일반적으로 이 과정을 고정된 선호도에 대한 즉각적인 sub-Gaussian 피드백으로 단순화하여, 보상과 관련된 정보가 점진적으로 드러나고 미래의 매칭 결정을 변경하는 상황을 간과합니다. 본 논문에서는 시간적으로 확장된 피드백을 포함하는 프레임워크를 소개하며, 이는 비용이 수반되는 매칭 전 스크리닝(screening), 잡음이 섞인 매칭 후 관찰, 변화하는 잠재적 프로필(latent profile), 그리고 내생적인 지속 또는 해체를 특징으로 하는 부분적으로 관측 가능한 마르코프 게임(partially observable Markov game)으로 양면 매칭을 공식화합니다. 우리는 이 프레임워크를 동적 매칭 시장을 위한 다중 에이전트 강화학습(multi-agent reinforcement learning) 벤치마크인 Learn2Match로 구체화합니다. Learn2Match는 누구와 면접을 하고, 누구와 매칭할지, 그리고 언제 매칭을 해지할지에 대한 분산 의사결정을 지원하며, 후회(regret), 사회적 후생(social welfare), 그리고 잠재적 선호도의 불완전한 드러남으로 인해 발생하는 후생 격차를 측정하는 정보 마찰 손실(information-friction loss)을 사용하여 정책을 평가합니다. 우리는 시간적으로 확장된 피드백 환경에서 독립적인 PPO가 밴디트 스타일의 CA-ETC 기준선(baseline)보다 더 높은 누적 사회적 후생과 더 낮은 누적 후회(regret)를 달성함을 확인하였으며, 이는 동적 매칭 시장에서 다중 에이전트 강화학습(MARL)의 잠재력을 보여줍니다. 그러나 PPO는 여전히 더 높은 정보 마찰 손실을 겪으며, 이는 엔드투엔드(end-to-end) 다중 에이전트 강화학습이 아직 매칭 밴디트(matching-bandit) 방법들이 가진 조정된 탐험(exploration) 구조를 제공하지 못함을 시사합니다. 이러한 결과들은 Learn2Match가 차세대 매칭 시장 알고리즘, 즉 강화학습 에이전트처럼 적응적이고, 밴디트 알고리즘처럼 통계적으로 엄격하며, 안정 매칭(stable-matching) 메커니즘처럼 구조를 인식하는 방법들을 개발하기 위한 벤치마크로 자리매김합니다.

arXiv:2510.09041v3cs.LG

자율주행 차량을 위한 강인한 주행 제어: 지능형 일반합 제약 적대적 강화학습 접근법

Robust Driving Control for Autonomous Vehicles: An Intelligent General-sum Constrained Adversarial Reinforcement Learning Approach

심층 강화학습(DRL)은 자율주행 정책 개발에서 뛰어난 성공을 거두었다. 그러나 적대적 공격에 대한 취약성은 실제 배치를 가로막는 중요한 장벽으로 남아 있다. 기존 강인성 방법들이 성공을 거두었음에도 불구하고, 여전히 세 가지 핵심 문제를 겪고 있다: (i) 이러한 방법들은 근시안적인 적대적 공격에 대해 학습되어, 보다 전략적인 위협에 대응하는 능력이 제한된다, (ii) 실제로 안전에 치명적인 사건(예: 충돌)을 유발하기 어렵고, 대신 종종 경미한 결과에 그친다, (iii) 강인한 제약이 부족해 학습 중 학습 불안정성과 정책 표류(policy drift)가 발생할 수 있다. 이를 해결하기 위해, 전략적 표적 적대자와 강인한 주행 에이전트로 구성된 새로운 강인한 자율주행 접근법인 지능형 일반합 제약 적대적 강화학습(IGCARL)을 제안한다. 전략적 표적 적대자는 DRL의 시간적 의사결정 역량을 활용해 전략적으로 조율된 다단계 공격을 수행하도록 설계되었다. 또한 일반합(general-sum) 목적함수를 채택해 안전에 치명적인 사건을 유도하는 데 명시적으로 초점을 맞춘다. 강인한 주행 에이전트는 적대자와 상호작용하며 학습하여 적대적 공격에 대비한 강인한 자율주행 정책을 개발한다. 적대적 환경에서 안정적인 학습을 보장하고 공격으로 인한 정책 표류를 완화하기 위해, 에이전트는 제약 기반 공식화 하에서 최적화된다. 광범위한 실험 결과, IGCARL은 최신 방법 대비 성공률을 최소 27.9% 향상시켰으며, 적대적 공격에 대한 우수한 강인성을 보여주고 DRL 기반 자율주행의 안전성과 신뢰성을 높인다.

arXiv:2606.06787v1cs.AI

AdMem: 과제 해결 에이전트를 위한 고급 메모리

AdMem: Advanced Memory for Task-solving Agents

대규모 언어 모델(LLM)은 도구를 사용하는 에이전트로서 유망한 가능성을 보이지만, 지식을 기억하고 조직하며 재사용해야 하는 장기(long-horizon) 과제에서는 여전히 한계가 있다. 기존 메모리 접근법은 이러한 상황을 해결하려 하지만, 주로 사실적 정보 저장에 초점을 맞춘다. 절차 기억(procedural memory)에 대한 최근 연구는 과제 재사용을 개선하지만, 종종 실패 사례나 온라인 확장성을 다루지 않고 과거 성공을 재생하는 수준에 그친다. 우리는 단기 및 장기 저장소를 결합한 이중 수준 설계에서 의미 기억(semantic memory), 일화 기억(episodic memory), 절차 기억을 통합하는 통합적이고 자동화된 메모리 프레임워크를 제안한다. 액터, 메모리, 비평가(critic) 에이전트를 갖춘 다중 에이전트 아키텍처는 자동 메모리 생성, 보상 주석, 적응적 검색을 가능하게 한다. 장기 기억은 보상 기반 평가, 병합, 가지치기를 통해 관리되어 확장성과 지속적 개선을 보장한다. 다양한 환경에서의 실험은 우리 접근법이 기존 베이스라인 대비 장기 다중 턴 과제에서 견고성과 성공률을 향상시킴을 보여준다. 이 연구는 LLM 기반 에이전트 발전을 위해 포괄적이고 적응적인 메모리의 중요성을 강조한다.

arXiv:2606.05050v1cond-mat.mtrl-sci

자기 진화형 다중 에이전트 디지털 트윈을 이용한 자율 불균일 촉매 발견

Autonomous heterogeneous catalyst discovery with a self-evolving multi-agent digital twin

이론적 불균일 촉매 연구는 빠른 촉매 발견을 가능하게 할 것으로 기대되지만, 충실도 높은 조건 인식 촉매 시뮬레이터의 부재로 인해 계산 및 머신러닝 예측이 실험과 자주 불일치하고 좁은 소재 계열에 국한되는 문제가 있다. 우리는 기체-고체 및 액체-고체 모델링을 통합하여 실제 작동 촉매의 자율적 디지털 트윈을 구축하는 자기 진화형 다중 에이전트 시스템인 CatDT(Catalysis Digital Twin)를 제안한다. 벌크 결정 구조와 자연어 반응 설명만으로, 8개의 전문화된 에이전트와 27개의 과학 도구가 단일 GPU에서 5-30분 내에 안정적인 패싯(facet) 예측, 실제 표면 재구성, 반응 경로 열거 및 순위 결정, 전이 상태(transition state) 탐색, 그리고 반응 동역학 계산을 수행한다. 가장 어려운 두 단계를 해결하기 위한 두 가지 혁신이 도입되었다: UniMech은 에이전트 기반 제안과 에너지 캐시 그래프 탐색을 융합하여 전수 열거 대비 $10^3\times$ 이상 낮은 비용으로 신규 소재의 지배적 반응 경로를 탐색하고, 메모리 증강 강화 루프(memory-augmented reinforcement loop)는 600개의 촉매 표면에 걸쳐 에너지 장벽 계산 성공률을 41%에서 84%로 향상시킨다. 계단형 금속, 단일 원자 촉매(SAC), 규칙적 금속간 화합물, 공공(vacancy)이 풍부한 2D 황화물 및 탄화물, 강한 금속-지지체 상호작용(SMSI) 계면을 포함한 7개의 기체-고체 벤치마크 전반에 걸쳐, 모든 CatDT 예측값은 네 자릿수의 크기 범위에서 실험값의 0.5-2배 이내에 위치한다. 프로판 탈수소화 반응에 대해, CatDT는 Pt 기반 산업 벤치마크에 필적하는 비귀금속 후보를 독립적으로 발견하였으며, 제안된 Ni@ZrO$_2$ SMSI 오버레이어는 약 100% 선택도에서 $1.63~\text{s}^{-1}$의 시뮬레이션 TOF(전환 빈도)에 도달하였다. 더 넓은 관점에서, 충실도 높은 촉매 디지털 트윈 — 또는 모든 다단계 과학 시뮬레이터 — 의 결정적 요소는 대규모 언어 모델(LLM) 자체의 원시 능력이 아니라, 그 주변에 설계된 하네스(harness), 즉 결정론적 도구, 영속적 메모리, 그리고 모델·도구·실행 전반에 걸쳐 복리적으로 누적되는 검증된 자기 개선에 있다.

arXiv:2604.23057v2cs.AI

LLM이 그래프를 읽게 하지 말고, 그래프가 생각하게 하라

Don't Make the LLM Read the Graph: Make the Graph Think

협력적 다중 에이전트 추론에서 명시적 신념 그래프(belief graph)가 LLM 성능을 향상시키는지 조사한다. 협력 카드 게임 Hanabi에서 네 가지 LLM 계열에 걸친 3,000회 이상의 통제 실험을 통해 네 가지 결과를 도출한다. 첫째, 통합 아키텍처가 신념 그래프의 가치 여부를 결정한다. 프롬프트 컨텍스트로 사용될 때 그래프는 강한 모델에게는 장식에 불과하며, 약한 모델에게만 2차 Theory of Mind(ToM)에서 이점을 준다(80% vs 10%, p<0.0001, OR=36.0). 그래프가 순위가 매겨진 숏리스트를 통해 행동 선택을 게이트할 때는 강한 모델에서도 구조적으로 필수적이 된다(2차 ToM에서 100% vs 20%, p<0.001). 둘째, "Planner Defiance"라는 모델 계열별 실패 양상을 확인한다. 이는 LLM이 부분적 능력 수준에서 올바른 플래너 권고를 무시하는 현상이다(90% 무시, N=20에서 재현). Gemini 모델은 거의 무시하지 않는 반면 Llama 70B는 90%를 보이며, 모델들은 사실적 컨텍스트(순응)와 권고적 추천(무시)을 구분한다. 셋째, 전체 게임 증거는 에이전트 간 관습이 기준선 대비 +128%(p=0.003)로 모든 단일 에이전트 개입을 능가함을 확인하며, 개별 신념 그래프 구성 요소는 이득을 내기 위해 결합되어야 한다. 넷째, 예비 스케일링 분석(N=10/cell, 탐색적)은 그래프 깊이에 수익 체감이 있음을 시사한다. 얕은 그래프가 최고의 비용-편익 비율을 제공하는 반면, 더 깊은 ToM 그래프는 플레이어 수가 많을수록 해로워 보인다(5인에서 -1.5 pts, p=0.029).

arXiv:2602.00471v2cs.AI

비전 다중 에이전트 시스템을 위한 이중 잠재 메모리

Dual Latent Memory for Visual Multi-agent System

비전 다중 에이전트 시스템(VMAS)은 에이전트 간 협업을 통해 종합적인 능력을 향상시킬 것을 약속하지만, 실증적 증거는 직관에 반하는 "스케일링 벽(scaling wall)"을 보여줍니다. 즉, 에이전트 턴(turns)을 늘리는 것은 종종 성능을 저하시키면서 토큰 비용을 기하급수적으로 증가시킵니다. 우리는 이러한 실패를 텍스트 중심 통신에 내재된 정보 병목에 기인한다고 봅니다. 지각 및 사고 궤적(trajectories)을 이산적인 자연어로 변환하는 과정에서 필연적으로 의미 손실(semantic loss)이 발생하기 때문입니다. 이를 위해 우리는 이중 잠재 메모리를 통해 에이전트 간 협업을 가능하게 하는 새로운 모델에 구애받지 않는(model-agnostic) 프레임워크인 L2-VMAS를 제안합니다. 또한, 우리는 이중 잠재 메모리를 동적으로 합성하는 동시에 지각과 사고를 분리합니다. 더불어, 수동적인 정보 전송을 효율적이고 요청에 따른(on-demand) 메모리 접근으로 대체하는 엔트로피 기반의 능동적 트리거링(triggering)을 도입합니다. 백본(backbone), 크기, 다중 에이전트 구조에 걸친 광범위한 실험을 통해, 우리의 방법이 탁월한 확장성(scalability)으로 "스케일링 벽(scaling wall)"을 효과적으로 깨뜨리며, 토큰 사용량을 21.3-44.8% 감소시키면서 평균 정확도를 2.7-5.4% 향상시킴을 입증했습니다.