arXiv:1910.00736

Boosting Image Recognition with Non-differentiable Constraints

Xuan Li, Yuchen Lu, Peng Xu, Jizong Peng, Christian Desrosiers, Xue Liu

제출 2019-10-02

원문 초록

In this paper, we study the problem of image recognition with non-differentiable constraints. A lot of real-life recognition applications require a rich output structure with deterministic constraints that are discrete or modeled by a non-differentiable function. A prime example is recognizing digit sequences, which are restricted by such rules (e.g., \textit{container code detection}, \textit{social insurance number recognition}, etc.). We investigate the usefulness of adding non-differentiable constraints in learning for the task of digit sequence recognition. Toward this goal, we synthesize six different datasets from MNIST and Cropped SVHN, with three discrete rules inspired by real-life protocols. To deal with the non-differentiability of these rules, we propose a reinforcement learning approach based on the policy gradient method. We find that incorporating this rule-based reinforcement can effectively increase the accuracy for all datasets and provide a good inductive bias which improves the model even with limited data. On one of the datasets, MNIST\_Rule2, models trained with rule-based reinforcement increase the accuracy by 4.7\% for 2000 samples and 23.6\% for 500 samples. We further test our model against synthesized adversarial examples, e.g., blocking out digits, and observe that adding our rule-based reinforcement increases the model robustness with a relatively smaller performance drop.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10934v1cs.RO공통 태그 Reinforcement Learning, Inductive Bias

액추에이터 성능 저하 상황에서의 4족 보행 강화학습을 위한 고차 형태학적 프라이어

Higher-Order Morphology Priors for Quadruped Reinforcement Learning Under Actuator Degradation

액추에이터 성능 저하는 4족 보행을 관절들이 손실된 액추에이션을 보상해야 하는 협응(coordination) 문제로 만든다. 선행 연구들은 형태학을 인식하는 그래프 정책(morphology-aware graph policy)이 신체 교란(body perturbation) 상황에서 학습과 일반화를 향상시킨다고 제안한다. 본 연구는 고차(higher-order) 기계적 구조를 명시적으로 모델링함으로써 이러한 이점을 강화할 수 있는지를 묻는다. 우리는 Unitree Go1을 다리(limb) 및 몸체(body) 수준의 랭크-2 셀(rank-2 cell)을 갖는 셀 복합체(cell complex)로 표현하고, Hodge 기반 메시지 패싱(Hodge-based message passing)을 적용한다. 저하 상황에서의 학습 하에서, 노드-엣지-면 Hodge 액터(node-edge-face Hodge actor)는 보지 못한 액추에이터 저하에 대해 가장 높은 리턴(return)을 달성하며, 더 높은 생존율과 더 낮은 속도 추적 오차(velocity-tracking error)를 보인다. 이러한 결과는 고차 형태학이 액추에이터 저하 상황에서 전신 보상(whole-body compensation)을 위한 유용한 귀납적 바이어스(inductive bias)임을 뒷받침한다.

arXiv:2607.22864v2cs.CV공통 태그 Reinforcement Learning

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

arXiv:2609.24997v4cs.CV공통 태그 Reinforcement Learning

VideoGen-Agent: 비디오 생성 에이전트 강화

VideoGen-Agent: Reinforcing Video Generation Agents

최근 비디오 생성 모델의 발전으로 고충실도이며 시간적으로 일관된 비디오 생성이 가능해졌다. 그러나 이러한 모델은 전문 지식, 특정 정체성, 물리적 일관성 또는 순서가 있는 사건을 요구하는 프롬프트를 충족하는 데 자주 어려움을 겪는다. 본 논문에서는 다중 과제 에이전트 강화학습을 통해 비디오 생성을 위한 외부 도구를 사용하도록 학습된 멀티모달 에이전트 VideoGen-Agent를 제시한다. 이 에이전트는 프롬프트와 중간 관측을 활용해 의사 결정을 이끌며, 다중 턴 상호작용을 통해 증강, 생성, 검증 도구를 조율한다. 우리는 여섯 가지 과제에 걸친 범주 균형 데이터셋으로 공유 정책을 학습한다. 교사 모델이 생성한 궤적에 대한 지도 미세 조정으로 도구 사용 행동을 확립한 뒤, 강화학습으로 이를 정제한다. 범주 인식 하이브리드 보상은 도구 호출의 유효성, 과제에 적합한 도구 사용, 생성된 비디오의 품질을 평가한다. 또한 절차적 지식, 단일 및 다중 개체 정체성 보존, 물리적 일관성, 장면 구성, 다중 샷 시간 구조를 포괄하는 600개 프롬프트의 홀드아웃 벤치마크 VABench를 도입한다. VABench에서 VideoGen-Agent는 기반 텍스트-비디오 생성기보다 19.1점 향상된 75.6점(56.5점에서 상승)을 기록한다. 생성 도구를 업그레이드하면 추가적인 에이전트 학습 없이도 점수가 86.1까지 더 오른다. 인간 평가자들은 비교의 84.3%에서 업그레이드된 구성을 가장 강력한 단독 기준선보다 선호하였다. 이러한 결과는 비디오 생성 과제 전반에 걸친 도구 사용 학습을 뒷받침하며, 학습된 에이전트가 이후 생성 도구의 발전으로부터 이익을 얻을 수 있음을 보여준다. 프로젝트 페이지: https://andyca111.github.io/VideoGen_Agent/

arXiv:2607.20345v2cs.RO공통 태그 Reinforcement Learning

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

arXiv:2608.03461v3cs.AI공통 태그 Inductive Bias

예제 기반 프로그래밍을 위한 해결기 인식 분해: 나누려면 정복하는 법을 알아야 할 때

Solver-Aware Decompositions for Programming-by-Example: When Dividing Requires Knowing How to Conquer

분해 기반 예제 기반 프로그래밍(Programming-by-Example)은 과제를 하위 과제로 나눈다. 분해기는 중간 하위 목표를 예측하고, 학습된 합성기는 각 하위 목표에 대한 프로그램을 생성한다. 실행-분해 접근법은 분해기가 정답(GT) 하위 목표를 모방하도록 학습시키며, 그에 따라 분해의 품질을 과제만의 속성으로 취급한다. 그러나 학습된 합성기는 고유한 귀납적 편향을 가지며, GT 하위 목표는 주석 작성자가 과제를 어떻게 분해했는지를 반영할 뿐 이 합성기가 무엇을 풀 수 있는지를 반영하지 않는다. 따라서 이를 모방하는 분해기는 논리적으로는 타당하지만 합성기가 풀기 어려운 하위 목표를 제안할 수 있다. 이러한 관찰에 착안하여 우리는 해결기 인식 분해(Solver-Aware Decompositions, SAD)를 제안한다. SAD는 GT 하위 목표에 대한 지도 학습을 구조적 발판으로 유지하면서, 고정된 합성기를 상대로 자기 비판적(self-critical) 정책 경사를 이용해 분해기를 온라인으로 추가 학습시킨다. 샘플링된 각 하위 목표에는 목표 프로그램에 대한 합성기의 음의 교차 엔트로피가 보상으로 주어지며, 이는 해당 합성기에게 하위 과제가 얼마나 어려운지를 나타내는 연속적 신호이다. 실험은 정확도의 역설을 보여 준다. 합성기를 고정했을 때 GT로 지도 학습된 분해기는 GT 하위 목표와 더 자주 일치하지만, 합성기가 동일한 GT 데이터로 학습되었음에도 그 하위 목표는 더 낮은 합성 정확도로 이어진다. 두 가지 리스트 처리 도메인에서 SAD는 분포 내 및 길이 일반화 상황 모두에서 GT로 지도 학습된 분해기보다 합성 및 과제 정확도를 향상시키며, 외부 벤치마크로의 제로샷 전이와 미세 조정된 언어 모델에서도 마찬가지이다. 추론 시점에 동일한 합성기와 탐색을 사용하면서 GT 하위 목표를 제공받는 오라클조차 SAD가 해결하는 과제에서 실패하며, 이러한 과제에 대한 SAD의 해 중 GT 프로그램과 일치하는 것은 2% 미만이다. 따라서 분해의 품질은 과제의 속성이 아니라 하위 목표를 실행하는 합성기에 의존한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.