PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27220v1cs.CL

LOCKR: 확산 언어 모델에서 안정적이지만 잘못된 락인을 감지하고 수정하기 위한 은닉 상태 궤적 유도 플래너

LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models

확산 언어 모델(diffusion language models)은 반복적인 노이즈 제거(denoising)를 통해 텍스트를 생성하며, 최종 답변이 생성되기 전에 중간 궤적을 드러냅니다. 본 논문에서는 상당한 노이즈 제거 과정이 남아있음에도 답변이 조기에 잘못된 값으로 안정화되는 반복적인 추론 실패 현상인 '안정적이지만 잘못된 락인(stable-but-wrong lock-in)'을 규명합니다. 신뢰도(confidence), 엔트로피(entropy), 마진(margin), 답변 안정성과 같은 표면 수준 디코딩 신호는 올바른 락인과 잘못된 락인을 안정적으로 구분하기에 불충분합니다. 이에 본 연구는 선택적 추론 수정을 경량 테스트-타임 계획(test-time planning) 문제로 정식화하고, 은닉 상태(hidden-state) 궤적 유도 플래너인 LOCKR을 제안합니다. LOCKR은 추가 계산을 할당할 시점을 결정하고, 구조화된 타깃 수정 브랜치 세트를 확장하며, 궤적 인식 검증을 사용하여 가장 유망한 연속 생성을 선택합니다. 두 가지 확산 언어 모델과 세 가지 수학적 추론 벤치마크 전반에서, 은닉 상태 궤적은 잘못된 락인 감지 및 수정 선택 모두에서 표면 신호와 단일 은닉 스냅샷을 일관되게 능가했습니다. 자연스러운 평가 분포에서 LOCKR은 평가된 5개 설정 모두에서 2.21~5.37%p의 절대적 정확도 향상을 달성했으며, 수정률은 22%에서 41%에 달했습니다. 이러한 결과는 확산 모델의 은닉 궤적이 선택적 테스트-타임 추론 수정을 위한 실행 가능한 신호임을 입증합니다.

arXiv:2605.11750v2cs.RO

DreamAvoid: VLA 정책에서 실패를 피하기 위한 임계 단계 테스트 시간 드리밍

DreamAvoid: Critical-Phase Test-Time Dreaming to Avoid Failures in VLA Policies

비전-언어-행동(Vision-Language-Action, VLA) 모델은 세밀한 조작에서 종종 취약하며, 임계 단계 동안 사소한 행동 오류가 빠르게 회복 불가능한 실패로 확대될 수 있다. 기존 VLA 모델은 학습 시 성공적인 시연에 주로 의존하므로, 이러한 임계 단계에서의 실패에 대한 명시적 인식이 부족하다. 이를 해결하기 위해 VLA 모델이 실패를 예측하고 피할 수 있도록 하는 임계 단계 테스트 시간 드리밍(test-time dreaming) 프레임워크인 DreamAvoid를 제안한다. 또한 성공과 실패 사이의 미묘한 경계에 대한 시스템의 이해를 정교화하기 위한 자율적 경계 학습(autonomous boundary learning) 패러다임을 도입한다. 구체적으로, (1) Dream Trigger를 이용해 실행이 임계 단계에 진입했는지 판단하고, (2) Action Proposer를 통해 VLA로부터 여러 후보 행동 청크(action chunk)를 샘플링하며, (3) 혼합 데이터(성공, 실패, 경계 사례)로 공동 학습된 Dream Evaluator를 사용해 후보 행동에 대응하는 단기 미래를 "드리밍"하고 가치를 평가한 뒤 최적 행동을 선택한다. 실제 조작 과제와 시뮬레이션 벤치마크에서 광범위한 평가를 수행했으며, 결과는 DreamAvoid가 실패를 효과적으로 피해 전체 과제 성공률을 높일 수 있음을 보여준다. 네 가지 실제 과제에서 DreamAvoid는 72.5%의 성공률을 달성했으며, 이는 기본 정책의 48.8% 및 GPC-RANK의 54.4%에 비해 높다. 코드는 https://github.com/XianzheFan/DreamAvoid 에서 제공된다.