PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23478v1cs.CV

대수적 일관성만으로는 잠재 행동 모델의 시간적 구조를 보증할 수 없다

Algebraic Consistency Alone Does Not Certify Temporal Structure in Latent Action Models

잠재 행동 모델(Latent action models)은 행동 라벨이 없는 비디오의 두 프레임 간 전이(transition)를 나타내는 코드를 추론한다. 최근의 방법들은 이 코드가 덧셈적으로 합성되고 반대칭적으로 역전되도록 정규화(regularization)하며, 그 결과 발생하는 오차의 수치상 자릿수 감소를 코드가 시간적 구조를 포착했다는 무라벨 보증(label-free certificate)으로 보고한다. 본 연구에서는 이러한 결론이 타당하지 않음을 보인다. 재구성은 디코딩된 전이를 상태 피처의 차이로 유도하며, 이 경우 어떠한 쌍에 대해서도 두 항등식이 성립하므로, 평가 지표는 이를 방해 상태(nuisance state)나 좌표계 규약을 인코딩한 해와 구별할 수 없다. 5개 소스 도메인에 걸쳐, 제약 없이 학습된 대응 모델조차 학습되지 않은 기준선 앵커 대비 오차 감소율의 83-97%를 이미 달성한다. 잔차의 차이는 무엇을 학습했는지만큼이나 디코더 패밀리에 의해 좌우된다. 시간적 쌍 구조를 파괴한 후 재학습된 제약 모델조차도 각 도메인에서 실제 데이터에 대한 비제약 모델보다 더 낮은 오차를 달성한다. 다운스트림 작업에서 시간적 쌍 구조를 보존하는 것은 LIBERO-GOAL이나 LIBERO-SPATIAL에서 일관된 이점을 제공하지 못하며, 테스트된 로봇 팔 전반에서 대수적 오차가 개선될수록 코드의 평균 선형 행동 디코딩 가능성은 오히려 떨어진다. 또한 가장 직접적인 해결책으로서 파괴된 쌍에서 대수적 관계가 깨지도록 요구하는 위반-대조 목적함수(violation-contrastive objective)를 테스트했으나, 테스트된 구성에서는 학습 및 테스트 트리플 모두에서 재구성 예산 내 한계 수준의 분리만을 제공했다. 본 연구는 현재 이러한 방법들에 결여된 검증 프로토콜로 기준선 보정 지표, 파괴된 쌍에 대한 재학습, 시드-예산 분석을 제안한다.

arXiv:2606.19408v1cs.LG

FlexLAM: 잠재 행동 학습에서의 병목 상충 관계 해결

FlexLAM: Resolving the Bottleneck Trade-off in Latent Action Learning

잠재 행동(Latent actions)은 행동이 없는 비디오와 하위 의사 결정(downstream decision-making) 사이의 간결한 인터페이스를 제공하지만, 기존의 잠재 행동 모델(LAMs)은 모든 전이(transition)를 고정 용량 병목(bottleneck)을 통해 통과시킵니다. 우리는 병목 상충 관계를 식별했습니다: 과도하게 압축된 코드는 행동 정렬(action alignment)에 필요한 전이 단서를 버릴 수 있고, 반면 과도하게 느슨한 코드는 정렬 레이블이 희소하거나 좁게 분포되어 있을 때 해결해야 하는 추가적인 전이 변이를 보존합니다. FlexLAM은 중첩 드롭아웃(nested dropout)으로 학습된 가변 길이 잠재 행동으로 이 고정 용량을 대체하여, 새로운 아키텍처나 손실 없이 간결한 전이 구조를 먼저 포착하고 필요할 때만 세부 사항을 추가하는 접두 문맥 유효(prefix-valid) 코드를 생성합니다. 단일 FlexLAM은 표준적인 희소 레이블(scarce-label) 감독 하에서와 낮은 수익의 단일 작업 정렬 스트레스 테스트 하에서 평가된 모든 토큰 예산(token budget)에서 별도로 학습된 고정 용량 LAM과 대등하거나 이를 능가하며, 이는 FlexLAM이 추론 시간에 단순히 조정 가능한 것이 아니라 동일한 토큰 예산에서 더 나은 잠재 행동 인터페이스를 학습함을 나타냅니다. 동일한 모델은 재학습 없이 추론 시 토큰 예산 조정을 지원하며, FlexLAM은 Ego4D 전이 재구성을 개선합니다. 이러한 결과는 가변 길이 잠재 행동이 잠재 행동 모델, 잠재 행동 월드 모델, 비디오 사전학습 행동 인터페이스의 고정 용량 병목에 대한 아키텍처 무관의 드롭인(drop-in) 업그레이드임을 시사합니다.