PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2108.11204v4cs.AI공식 코드 · Papers with Code

복잡한 추론 작업을 위한 서브골 탐색

Subgoal Search For Complex Reasoning Tasks

인간은 한 아이디어에서 관련된 다른 아이디어로 이동하는 정신적 과정을 통해 복잡한 추론(reasoning) 작업을 해결하는 데 뛰어납니다. 이에 영감을 받아, 본 논문에서는 서브골 탐색(Subgoal Search, kSubS) 방법을 제안합니다. 이 방법의 핵심 요소는 달성 가능하면서도 해결책에 더 가까운 다양한 서브골을 생성하는 학습된 서브골 생성기입니다. 서브골을 사용하면 탐색 공간을 줄이고 효율적인 계획 수립(planning)에 적합한 고수준 탐색 그래프를 유도할 수 있습니다. 본 논문에서는 트랜스포머 기반 서브골 모듈을 고전적인 최선 우선 탐색(best-first search) 프레임워크와 결합하여 kSubS를 구현합니다. $k$단계 앞의 서브골을 생성하는 단순한 접근 방식이 두 가지 인기 퍼즐 게임인 소코반(Sokoban) 및 루빅스 큐브(Rubik's Cube), 그리고 부등식 증명 벤치마크인 INT라는 세 가지 까다로운 도메인에서 놀라울 정도로 효율적임을 보여줍니다. kSubS는 적당한 계산 예산 내에서 INT의 최고 성능(SOTA)을 포함한 강력한 결과를 달성합니다.

arXiv:2305.17010v4cs.LG공식 코드 · Papers with Code

흐름이 말해 주도록: GFlowNet으로 그래프 조합 최적화 문제 풀기

Let the Flows Tell: Solving Graph Combinatorial Optimization Problems with GFlowNets

조합 최적화(CO) 문제는 흔히 NP-hard이므로 정확 알고리즘으로는 풀기 어려워, 기계학습 방법을 적용하기에 매력적인 영역입니다. 이러한 문제의 고도로 구조화된 제약 조건은 해 공간(solution space)에서 직접 최적화하거나 샘플링하는 것을 모두 어렵게 만들 수 있습니다. 한편 GFlowNet은 복합적인 비정규화 밀도(unnormalized density)에서 순차적으로 효율적인 샘플링을 수행하는 강력한 도구로 최근 부상했으며, CO에서 이러한 해 탐색 과정을 상각(amortize)하고 다양한 후보 해를 생성할 잠재력을 지니고 있습니다. 본 논문에서는 여러 조합 문제에 대한 마르코프 결정 과정(MDP)을 설계하고, 해 공간에서 샘플링하도록 조건부 GFlowNet을 학습할 것을 제안합니다. 또한 장거리 크레딧 할당(long-range credit assignment)에 도움이 되는 효율적인 학습 기법도 개발했습니다. 합성 데이터와 실제 데이터를 사용한 다양한 CO 과제에 대한 폭넓은 실험을 통해, GFlowNet 정책이 고품질의 해를 효율적으로 찾을 수 있음을 보입니다. 구현 코드는 https://github.com/zdhNarsil/GFlowNet-CombOpt 에서 오픈소스로 공개되어 있습니다.

arXiv:2206.09012v4cs.LG공식 코드 · Papers with Code

플러그-앤-플레이 사전분포로서의 확산 모델

Diffusion models as plug-and-play priors

사전분포 $p(\mathbf{x})$와 추가 정보 $\mathbf{y}$가 주어졌을 때 $x$에 대한 보조적 미분 가능 제약 $c(\mathbf{x},\mathbf{y})$로 구성된 모델에서 고차원 데이터 $\mathbf{x}$를 추론하는 문제를 고려한다. 본 논문에서는 사전분포를 독립적으로 학습한 denoising diffusion 생성 모델로 둔다. 보조 제약은 미분 가능한 형태일 것으로 기대되지만, 다양한 출처에서 올 수 있다. 이러한 추론의 가능성은 확산 모델을 플러그-앤-플레이 모듈로 바꾸며, 조건부 생성이나 이미지 분할과 같이 모델을 새로운 도메인과 태스크에 적응시키는 다양한 잠재적 응용을 가능하게 한다. 확산 모델의 구조 덕분에, 각 단계마다 서로 다른 양의 노이즈를 더한 고정 denoising 네트워크를 통해 미분을 반복하여 근사 추론을 수행할 수 있다. 적합도 평가 시 $\mathbf{x}$의 많은 노이즈 버전을 고려하는 것은 새로운 탐색 메커니즘이며, 조합 최적화 문제를 풀기 위한 새로운 알고리즘으로 이어질 수 있다.

arXiv:2203.00813v4stat.ML공식 코드 · Papers with Code

엔트로픽 Wasserstein 중심점을 위한 가속 확률적 분산 감소 알고리즘

An Accelerated Stochastic Variance-Reduced Algorithm for Entropic Wasserstein Barycenters

엔트로픽 정규화(entropic regularization)된 Wasserstein 중심점(barycenter) 문제에서, 본 연구는 반쌍대 유한합 구조를 활용한 가속 확률적 분산 감소 쌍대(primal-dual) 알고리즘 PDASGD-BC를 제안하여 기존 결정론적 가속 그래디언트 대비 지지 크기 의존성을 $\sqrt{n}$ 만큼 개선한 $\widetilde{\mathcal{O}}_\eta(mn^2/\sqrt{\epsilon})$ 복잡도를 달성한다. DOTmark 이미지, 형상 집합(shape aggregation), 숫자 평균화 등 다양한 실험에서 이론적 복잡도와 일치하며 기존 1차(first-order) 기준선보다 낮은 연산 비용을 보였다.

arXiv:2405.01906v3cs.AI공식 코드 · Papers with Code

신경망 라우팅 솔버의 대규모 일반화를 위한 인스턴스 조건부 적응

Instance-Conditioned Adaptation for Large-scale Generalization of Neural Routing Solver

현대 지능형 교통 시스템(ITS), 특히 화물 운송 및 물류 분야에서 실시간 경로 계획은 매우 중요하다. 이 분야는 서비스 요청의 높은 불확실성으로 인한 고유한 도전 과제를 안고 있으며, 서비스 고객 수가 수백에서 수천 명까지 크게 변동할 수 있다. 기존 신경망 기반 방법들은 이러한 큰 변동 하에서 성능을 유지하는 데 어려움을 겪고 있으며, 이는 실용적 적용 가능성을 심각하게 제한한다. 이 중요한 결함을 해결하기 위해, 본 연구는 더 나은 대규모 일반화를 위해 설계된 새로운 인스턴스 조건부 적응 모델(ICAM)을 제안한다. 특히, 최소한의 계산 오버헤드로 모델 적응성을 향상시키기 위해 현재 교통 시나리오의 특정 기하학적 구조와 밀도에 따라 정책을 조정하는 단순하면서도 효율적인 인스턴스 조건부 적응 함수를 설계한다. 또한, 다양한 규모의 인스턴스에 대해 더 나은 솔루션을 생성하기 위한 강력하면서도 낮은 복잡도의 인스턴스 조건부 적응 모듈을 제안한다. 합성, 벤치마크, 실세계 인스턴스에 대한 광범위한 실험을 통해 ICAM이 널리 연구된 네 가지 대규모 경로 계획 시나리오에서 일관되게 우수한 일반화 성능을 달성함을 입증한다. 특히, 제안된 방법은 매우 빠른 추론 속도로 고품질 솔루션을 제공하여 실시간 지능형 교통 운영을 위한 확장 가능하고 효율적인 솔루션을 제공한다. 코드는 https://github.com/CIAM-Group/ICAM 에서 공개되어 있다.