PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38806v2cs.LG

전역 제약 조건 문제에서 블랙보드 지능이 자기회귀 방식을 능가할 수 있다

Blackboard Intelligence Can Surpass Autoregressive on Globally Constrained Problems

다음 토큰 예측(next-token prediction)은 대규모 언어 모델(LLM)의 눈부신 발전을 이끌어왔으나, 점차 늘어나는 연구 결과들은 복잡한 전역 제약 조건(global constraints)이 지배하는 문제에서 이러한 모델들이 어려움을 겪을 수 있음을 시사합니다. 본 연구에서는 이러한 영역에 주목하여, 이 한계 중 일부가 다음 토큰 예측 자체가 유도하는 추론 인터페이스에서 비롯되는지 질문을 던집니다. 우리는 인과적(causal)이고 좌에서 우로 진행되는 궤적에 얽매이지 않고 고정된 수정 가능한 캔버스 위에서 작업하며 후보 해 상태를 탐색하는 추론 시점(inference-time) 관점인 블랙보드 지능(blackboard intelligence)을 통해 이 문제를 연구합니다. 우리는 임의 순서 예측 인터페이스를 통해 부분적으로 채워진 해 상태에 대한 예측을 자연스럽게 제공하는 확산 언어 모델(diffusion language model)로 이 개념을 구현합니다. 우리의 핵심 관찰은 표준 마스크 기반 확산 목적함수에서 얻을 수 있는 단순한 모델 내부 수치인 평균 신뢰도(mean confidence)가 전역 일관성(global coherence)에 대한 유용한 프록시 역할을 하며 추론 시점의 탐색과 수정을 안내할 수 있다는 점입니다. 실험적으로 ZebraLogic, 간호사 근무 일정 배정(Nurse Rostering), 작업장 스케줄링(Job-Shop Scheduling, JSSP) 전반에 걸쳐 Blackboard는 파인튜닝된 LLaDA-8B-Instruct 체크포인트를 고정한 상태에서도 일관되게 추론 성능을 향상시키며 동일한 규모의 자기회귀(autoregressive) 베이스라인을 크게 능가하여 ZebraLogic-Hard에서 90.4%의 정확도, Nurse Rostering에서 76.4%의 정확한 실행 가능성(exact feasibility), JSSP에서 80.2%의 최적성(optimality)을 달성했습니다. 더 강력한 자기회귀 탐색 및 정제 기법으로도 ZebraLogic-Hard에서의 격차를 좁히지 못했으며, Blackboard는 훨씬 더 큰 규모와 강력한 테스트 시점 추론 능력을 갖춘 테스트 대상 프론티어 LLM들을 ZebraLogic-Hard 및 JSSP에서 능가했습니다. 우리는 코드베이스를 https://github.com/jwoosang1/blackboard-intelligence 에 오픈소스로 공개합니다.

arXiv:2607.09338v1cs.CL

엔드투엔드 생성 TOD에서의 비일관성 탐지를 향하여

Towards Detecting Inconsistencies in End-to-end Generated TODs

생성형 AI는 대화 시스템의 핵심 기술을 근본적으로 변화시키며, 컴포넌트 기반 방식에서 엔드투엔드 방식으로의 전환을 이끌고 있다. 그러나 대규모 언어 모델(LLM)은 여전히 비일관성을 생성할 수 있으며, 이는 특히 작업 지향 대화(TOD)에서 심각한 문제가 된다. TOD에서는 시스템 응답이 도메인 지식 베이스(예: 도시 내 식당 정보)의 정보를 엄격히 준수해야 하기 때문이다. 단 하나의 환각(예: 존재하지 않는 식당을 추천하는 것)도 심각한 작업 실패로 이어질 수 있다. 우리는 TOD를 제약 만족 문제(CSP)로 개념화하여 비일관성을 자동으로 탐지하는 방법을 연구한다. 이 접근법에서 변수는 대화 도메인을 참조하는 대화 세그먼트를 나타내고, 변수 간의 제약 조건은 턴 일관성 및 도메인 지식 준수와 같은 대화 속성을 포착한다. 우리는 대상 대화에서 변수를 먼저 식별한 후 CSP 솔버를 적용하여 유효한 해를 찾는 파이프라인을 제안한다. 대상 대화와 유효한 변수 할당을 비교함으로써 비일관성을 탐지하고 대화 일관성을 보장하기 위한 최소한의 변경 사항을 제안할 수 있다. 우리는 비일관성 탐지에서 CSP 기반 접근법의 높은 정확도를 입증하고, 연구 결과에 대한 상세한 분석을 제공한다.

arXiv:2601.09097v4cs.AI

생각보다 프로그래밍: 효율적이고 견고한 다중 제약 계획

Programming over Thinking: Efficient and Robust Multi-Constraint Planning

다중 제약 계획(Multi-constraint planning)은 잠재적으로 충돌하는 여러 제약 조건을 만족하면서 후보 계획을 식별, 평가 및 개선하는 작업이다. 기존의 대규모 언어 모델(LLM) 접근 방식은 이 영역에서 근본적인 한계를 지닌다. 긴 자연어 사고의 연쇄(chain)에 의존하는 순수 추론 패러다임은 제약 조건이 누적될수록 비일관성, 오류 누적, 과도한 비용 문제에 취약하다. 반면, 코딩 또는 솔버 기반 전략과 결합된 LLM은 유연성이 부족하여 문제별 코드를 처음부터 생성하거나 고정된 솔버에 의존함으로써 다양한 문제에 걸쳐 일반화 가능한 논리를 포착하지 못한다. 이러한 한계를 해결하기 위해, 우리는 쿼리별 추론과 범용 코드 실행을 분리하는 프레임워크인 SCOPE(Scalable COde Planning Engine)를 제안한다. 추론과 실행을 분리함으로써 SCOPE는 입력 파라미터의 최소한의 변경만으로 쿼리 간에 일관되고 결정론적이며 재사용 가능한 솔버 함수를 생성한다. SCOPE는 비용과 지연 시간을 줄이면서 최첨단 성능을 달성한다. 예를 들어, GPT-4o를 사용할 경우 TravelPlanner에서 93.1%의 성공률을 달성하며, 이는 최고 기준선(CoT) 대비 61.6% 향상된 수치이고, 추론 비용은 1.4배, 소요 시간은 약 4.67배 절감된다. 코드는 https://github.com/DerrickGXD/SCOPE에서 확인할 수 있다.

arXiv:2607.02491v1cs.AI

G-RRM: Guiding Symbolic Solvers with Recurrent Reasoning Models

순환 추론 모델(RRM)은 제약 만족 문제에서 높은 예측 정확도를 보이지만 전역적 정합성을 보장하지 못하는 한계가 있어, 본 연구는 심볼 등변 RRM(SE-RRM)의 해 제안을 백트래킹 및 SAT 솔버(Glucose 4.1, CaDiCaL 3.0.0)의 분기 힌트로 활용하는 뉴로-심볼릭 프레임워크 G-RRM을 제안한다. 9×9 스도쿠 실험에서 백트래킹은 33.3×, Glucose 4.1은 1.70× 속도 향상을 달성했으나, 힌트를 덮어쓰지 못하는 CaDiCaL 3.0.0에서는 유의미한 성능 향상이 나타나지 않아 신경망 가이던스의 효과가 탐색 공간의 규모와 솔버의 힌트 수정 능력에 달려 있음을 밝혔다.

arXiv:2606.06518v1cs.AI

DiBS: 확산 정보 기반 분기 선택

DiBS: Diffusion-Informed Branch Selection

스도쿠는 엄격한 이산 제약 하에서 전역적 구조 추론이 필요한 대표적인 제약 만족 문제이다. 기존 스도쿠 해법 연구는 주로 두 가지 지배적 접근, 즉 전통적 휴리스틱과 심층 학습 솔버에 초점을 맞춰 왔다. 그러나 이들은 두 가지 상보적 한계를 지닌다. 학습 기반 솔버는 엄격한 정확성 보장이 부족하고, 완전한 기호적 솔버는 여전히 롱테일 검색에 취약하다. 이러한 단점을 해결하기 위해, 우리는 분기 선택 검색 과정을 위해 DiBS라고 명명한 새로운 확산 모델 가이드 접근법을 제안한다. 구체적으로 DiBS는 기호적 솔버의 완전성을 유지하면서 확산 모델을 분기 순서 가이드로 사용한다. 핵심 방법은 현재 부분 할당과 경량 일관성 신호 하에서 후보 값들을 순위화하는 것이다. 또한 우리는 그것이 어떻게 작동하고 왜 작동하는지 밝히기 위해 심층 이론적 증명을 제공한다. 도전적인 Royle 17-clue Sudoku 벤치마크에 대한 실험에서 DiBS는 강력한 휴리스틱 기준선 대비 검색 비용, 특히 노드 수, 백트랙 횟수, 롱테일 백분위수에서 상당히 감소시킴을 보여준다. 또한 이러한 결과는 학습된 전역 가이드가 분기 순서 오류의 비용이 가장 큰 어려운 인스턴스에서 효과적임을 확인한다. 모든 코드는 https://github.com/shanxierdan/DiBS 에서 이용 가능하다.