Goal-Directed Design Agents: Integrating Visual Imitation with One-Step Lookahead Optimization for Generative Design
원문 초록
Engineering design problems often involve large state and action spaces along with highly sparse rewards. Since an exhaustive search of those spaces is not feasible, humans utilize relevant domain knowledge to condense the search space. Previously, deep learning agents (DLAgents) were introduced to use visual imitation learning to model design domain knowledge. This note builds on DLAgents and integrates them with one-step lookahead search to develop goal-directed agents capable of enhancing learned strategies for sequentially generating designs. Goal-directed DLAgents can employ human strategies learned from data along with optimizing an objective function. The visual imitation network from DLAgents is composed of a convolutional encoder-decoder network, acting as a rough planning step that is agnostic to feedback. Meanwhile, the lookahead search identifies the fine-tuned design action guided by an objective. These design agents are trained on an unconstrained truss design problem that is modeled as a sequential, action-based configuration design problem. The agents are then evaluated on two versions of the problem: the original version used for training and an unseen constrained version with an obstructed construction space. The goal-directed agents outperform the human designers used to train the network as well as the previous objective-agnostic versions of the agent in both scenarios. This illustrates a design agent framework that can efficiently use feedback to not only enhance learned design strategies but also adapt to unseen design problems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
효율적인 VLA를 만드는 요소는 무엇인가? 액션 헤드 설계, 스케일링, 지연시간
What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency
비전-언어-행동(VLA) 모델은 사전학습된 비전 인코더, 언어 백본, 액션 헤드를 결합하지만, 통제된 지연시간-쌍(latency-paired) 조건에서 각 구성 요소의 상대적 기여는 확립되지 않았다. 우리는 백본 계열(SigLIP2 및 Qwen2.5)과 학습 파이프라인을 고정하고, 액션 헤드 설계와 모듈 규모를 sweep하며, 각 구성을 측정된 온디바이스 지연시간과 짝짓는다. 연구는 세 가지 발견을 낳는다. 첫째, 액션 헤드 성능은 디코더 아키텍처, 손실, 또는 추론 예산보다 주로 초기화에 의해 좌우된다. 언어 백본의 마지막 트랜스포머 레이어를 헤드로 복사하는 것이 지연시간 비용 없이 단일 최대 레버이며, 모든 모듈 규모에서 도움이 되는 유일한 축이다. 정렬(alignment) 또한 다른 축들을 설명한다. flow matching과 더 무거운 디코더는 헤드가 정렬되지 않았을 때만 이득이 있고 정렬되면 역전되며, 추가 추론 패스는 측정 가능한 이득을 주지 않는다. 표현력(expressiveness)은 부족한 정렬을 대체하는 것으로 보인다. 우리는 이를 표현 전환(representation transfer)으로 해석한다. 정렬된 헤드는 지시문의 객체 명사에 계속 어텐션(attention)하고, 처음부터 행동을 재학습하기보다 가중치 공간에서 백본에 가깝게 유지된다. 정렬에 초기화를 통해서만 도달하기 때문에, 우리는 이를 입증된 원인이 아니라 측정값을 가장 잘 정리하는 설명으로 제시하고, 이를 확정할 통제 실험을 명명한다. 둘째, 용량(capacity)은 정렬 이후에만 효과가 있다. 정렬된 액션 헤드는 스케일링할 때 수익률이 가장 높은 모듈이다. 셋째, 그 수익은 오늘날 $\pi$-계열 VLA가 이미 사용하는 규모 근처에서 급격히 감소하므로, 더 키우는 것은 그 지연시간 대비 in-domain 정확도에서 거의 이득을 주지 않는다. 이를 바탕으로 EffVLA를 제안한다. EffVLA는 표준 LIBERO에서 최강 오픈소스 VLA와 맞먹는 소형 모델로, 더 낮은 지연시간으로 LIBERO-Plus 교란(perturbation) 축 대부분에서 선두이며, 레시피를 바꾸지 않고 실제 SO-ARM101 암에 전이된다.
대수적 일관성만으로는 잠재 행동 모델의 시간적 구조를 보증할 수 없다
Algebraic Consistency Alone Does Not Certify Temporal Structure in Latent Action Models
잠재 행동 모델(Latent action models)은 행동 라벨이 없는 비디오의 두 프레임 간 전이(transition)를 나타내는 코드를 추론한다. 최근의 방법들은 이 코드가 덧셈적으로 합성되고 반대칭적으로 역전되도록 정규화(regularization)하며, 그 결과 발생하는 오차의 수치상 자릿수 감소를 코드가 시간적 구조를 포착했다는 무라벨 보증(label-free certificate)으로 보고한다. 본 연구에서는 이러한 결론이 타당하지 않음을 보인다. 재구성은 디코딩된 전이를 상태 피처의 차이로 유도하며, 이 경우 어떠한 쌍에 대해서도 두 항등식이 성립하므로, 평가 지표는 이를 방해 상태(nuisance state)나 좌표계 규약을 인코딩한 해와 구별할 수 없다. 5개 소스 도메인에 걸쳐, 제약 없이 학습된 대응 모델조차 학습되지 않은 기준선 앵커 대비 오차 감소율의 83-97%를 이미 달성한다. 잔차의 차이는 무엇을 학습했는지만큼이나 디코더 패밀리에 의해 좌우된다. 시간적 쌍 구조를 파괴한 후 재학습된 제약 모델조차도 각 도메인에서 실제 데이터에 대한 비제약 모델보다 더 낮은 오차를 달성한다. 다운스트림 작업에서 시간적 쌍 구조를 보존하는 것은 LIBERO-GOAL이나 LIBERO-SPATIAL에서 일관된 이점을 제공하지 못하며, 테스트된 로봇 팔 전반에서 대수적 오차가 개선될수록 코드의 평균 선형 행동 디코딩 가능성은 오히려 떨어진다. 또한 가장 직접적인 해결책으로서 파괴된 쌍에서 대수적 관계가 깨지도록 요구하는 위반-대조 목적함수(violation-contrastive objective)를 테스트했으나, 테스트된 구성에서는 학습 및 테스트 트리플 모두에서 재구성 예산 내 한계 수준의 분리만을 제공했다. 본 연구는 현재 이러한 방법들에 결여된 검증 프로토콜로 기준선 보정 지표, 파괴된 쌍에 대한 재학습, 시드-예산 분석을 제안한다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.