본 논문에서는 0-1 정수 계획법(0-1 integer programs) 문제를 해결하기 위한 자기회귀(autoregressive) 미분 가능 방법을 소개합니다. 이진 변수의 임의의 순서를 고정한 후, 실행 가능 영역(feasible set) 내에 머무르면서 다음 비트를 예측하도록 트랜스포머(transformer)를 학습시킵니다. 제안하는 방법은 먼저 임의의 솔버가 제공한 실행 가능한 초기 해(incumbent)를 바탕으로 학습되어 트랜스포머를 실행 가능 영역 내에서 초기화할 수 있도록 합니다. 이후 실행 불가능한 해에 페널티를 부여하기 위해 라그랑주 페널티(Lagrangian penalty)를 적용하며, 완화된 목적 함수에서 검벨-소프트맥스(Gumbel-softmax) 활성화 함수를 사용하여 트랜스포머가 실행 가능 영역을 탐색하도록 추가 학습을 진행합니다. 본 연구는 이차 배낭 문제(quadratic knapsack problem)의 비볼록(non-convex) 인스턴스에 대해 제안 방식을 테스트하였으며, 최대 10,000개의 이진 변수를 갖는 조밀한(dense) 문제에서 최고 수준의 오픈소스 솔버 대비 일관된 성능 향상을 입증했습니다. 특히, 이진 변수에서 트랜스포머의 연속 가중치로의 실질적인 변수 변환을 통해 완화된 목적 함수 지형의 장벽을 넘어설 수 있게 하는 터널링 효과(tunneling effect)와 유사한 현상을 실증적으로 보여줍니다.
우리는 미분 가능하며 점의 수에 대해 선형 계산 복잡도를 갖는, 대응점(correspondence) 없이 수행하는 새로운 포인트 클라우드 정합 접근법 MMD-Reg를 제안한다. 정합을 최대 평균 불일치(Maximum Mean Discrepancy, MMD)에 기반한 비선형 최소자승 문제로 모델링하며, 이를 무작위 푸리에 특징(random Fourier features)으로 근사한다. 이렇게 얻은 목적 함수는 Levenberg-Marquardt와 같은 표준 방법으로 효율적으로 풀 수 있으며, 암시적 함수 정리(implicit function theorem)를 통해 해가 미분 가능하다. 이를 통해 MMD-Reg는 종단간(end-to-end) 학습 가능 모델 내 미분 가능한 최적화 층으로 사용될 수 있으며, 초기 정렬 불량과 부분 중첩(partial overlap) 같은 어려운 조건에서의 정합을 지원한다. 층을 세트 트랜스포머(set transformer)와 통합하고, 결과 모델을 지도 및 비지도 설정에서 학습하며, 최근 학습 기반 방법들과 성능을 비교함으로써 이러한 Neural MMD-Reg 공식화를 입증한다. 또한 독립형 MMD-Reg를 평가하여, 널리 사용되는 비학습 기반 정합 방법들과 정확도 및 확장성을 비교한다.
TurboMPC는 상태·제어 부등식 제약, 암시적 적분기, 슬랙 변수 등 로봇공학용 표현력 있는 모델 예측 제어(MPC)를 GPU에서 전부 미분 가능하게 풀기 위해 순차 2차 계획법(SQP), ADMM 내부 솔버, 암시적 미분, JAX-CUDA 공동 설계를 결합한 솔버이다. 시뮬레이션에서 기존 CPU·GPU 미분 가능 솔버 대비 최대 15배·58배 가속을 보였고, 실차 최단시간 레이싱에서는 베이지안 최적화로 MPC 파라미터를 배치 튜닝해 수동 튜닝보다 빠른 주행을 달성하며 8000 knot point 이상의 긴 계획 지평도 실시간 제어가 가능했다.
기존 접근법의 대부분은 컨테이너를 사전에 고정하거나 외부 탐색 루프를 통해 단일 컨테이너 차원만 최적화하여, 나머지 차원들을 수동 튜닝 문제로 남겨둔다. 본 논문에서는 단일 그래디언트 기반 루프 내에서 6N개의 객체 포즈 파라미터 전체와 세 컨테이너 변의 길이 전체를 공동으로 최적화하는 미분 가능한 패킹 프레임워크를 제안한다. 이 공식화는 축 정렬 경계 박스(axis-aligned bounding-box) 프록시를 통해 삼각형 메시에서 직접 계산되는 여섯 가지 물리 영감 미분 가능 손실 항을 결합한다. 적응형 압축 메커니즘은 중첩 손실이 쌍 수 기반 스케일 임계값 아래로 떨어질 때마다 주기적으로 컨테이너를 축소하여, 컨테이너 부피의 초기 대폭 감소에 이어 소폭의 반복 정제를 생성한다. 모든 쌍별 계산은 텐서 브로드캐스팅 형식으로 작성되어, 참조 루프 기반 구현 대비 3.4배에서 54배의 속도 향상을 제공한다. 파이프라인은 물리 엔진, FFT 라이브러리, 볼록 분해 없이 Python과 PyTorch로 구현된다. 여러 객체 카테고리에서, 본 방법은 N=100일 때 동일 시간 조건의 DBLF 및 시뮬레이티드 어닐링 베이스라인 대비 11~32% 더 작은 컨테이너를 생성하며, 단일 소비자용 GPU에서 인스턴스당 4분 이내로 실행된다.