PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20526v1cs.AI

ConfidenceBench: 대규모 언어 모델의 신뢰도 보정 평가

ConfidenceBench: Evaluating Confidence Calibration in Large Language Models

대규모 언어 모델(LLM)은 유창하지만 틀린 답변이 비용이 큰 환경에 점점 더 많이 배포되고 있다. 이러한 환경에서는 정확도만으로는 부족하며, 모델은 자신이 틀릴 가능성이 높을 때 이를 알아야 한다. 우리는 Brier score를 사용하여 15개의 최신 LLM에서 언어화된(verbalized) 신뢰도 추정치를 평가하는 보정 벤치마크인 ConfidenceBench를 제안한다. Brier score는 진실한 확률 보고를 장려하는 proper scoring rule이다. 신뢰도는 프롬프팅을 통해 유도되며, 모델 logit에 대한 접근이 필요 없어 이 프레임워크는 폐쇄형 및 오픈소스 시스템 모두에 적용 가능하다. 이 벤치마크는 공간 추론, 고정밀 수학, 단어 조회, 알 수 없는 질문의 네 가지 범주에 걸친 200개의 비공개 객관식 문제로 구성된다. 세 번의 독립 실행에 걸쳐 Claude Opus 4.6과 Gemini 3.1 Pro Preview가 가장 낮은 Brier score를 기록했으며, 둘 다 0.103으로 보고되었다. 둘 다 0.1875의 보정된 무작위 기준선을 상당히 능가하는 반면, Gemini 3.1 Flash-Lite는 0.367을 기록하여 심각한 보정 오류를 나타낸다. 정확도와 보정은 모델 계열 간에 상당히 어긋난다: 가장 정확한 모델이 가장 잘 보정된 모델은 아니며, 여러 모델은 합리적인 정확도에도 불구하고 보정된 무작위 Brier 기준선보다 나쁜 성능을 보인다. 이 결과는 언어화된 신뢰도 보정이 LLM 신뢰성의 별개의 실질적으로 중요한 축이며, 표준 정확도 기반 평가를 보완한다는 것을 보여준다.

arXiv:2607.20525v1cs.AI

GPT-5.5 Pro를 이용한 $\mathbb R$ 위 sum-product 추측의 자율적 반증

Autonomous disproofs of the sum-product conjecture over $\mathbb R$ with GPT-5.5 Pro

OpenAI의 최근 Erdős 단위 거리(unit distance) 추측에 대한 반증은 수학 분야에서 AI의 이정표가 되었다. 이는 또 다른 돌파구인, $\mathbb R$ 위 Erdős–Szemerédi sum-product 추측에 대한 인간의 반증을 이끌어냈다. 본 논문에서는 GPT-5.5 Pro 기반의 단순한 에이전트를 제시한다. 문제에 구애받지 않는 3단계 프롬프팅 파이프라인—증명 계획 제안, 증명 구성, 검토—을 사용하여, 에이전트는 8번의 독립 시행 중 7번에서 $\mathbb R$ 위 sum-product 추측이 거짓임을 보여주는 올바른 증명을 자율적으로 생성했으며, 나머지 한 시행에서는 논증의 미해결 공백을 식별했다. 7개의 증명은 다양하다: 일부는 기존의 단위(unit) 기반 구성에 가깝고, 다른 것들은 대수 정수(algebraic integers)의 $L^p$-형 영역을 사용하여 단위를 피한다. 시스템은 시행당 평균 132.4k 추론 토큰을 사용했다. 우리는 코드, 중간 출력, 생성된 증명을 공개하여, 자율적 증명 생성의 재현 가능하고 데이터 오염(data contamination) 없는 사례 연구를 제공한다.

arXiv:2607.20524v1cs.AI

어텐션 저하, 기능 토큰 앵커링, 그리고 대규모 언어 모델에서 어텐션 기반 개입의 한계

Attention Degradation, Function Token Anchoring, and the Limits of Attention-Based Intervention in Large Language Models

트랜스포머 해석 가능성 연구에서 평균 교차 위치 어텐션 저하는 널리 보고되지만, 이것이 문맥 검색을 인과적으로 제한하는지는 아직 검증되지 않았다. 우리는 GPT-2, LLaMA-3.2-1B/3B, OPT-1.3B, distilgpt2에 걸친 6개의 연계 실험을 제시한다. 먼저 단기(5–100 토큰) 어텐션 저하를 특성화한 결과, 속도가 깊이와 역상관하는 보편적인 지수-후-정체 패턴과 아키텍처별로 구별되는 층별 엔트로피 특성을 발견했다. 기능 토큰 앵커링은 아키텍처에 따라 달라짐이 드러났다: OPT-1.3B(절대 위치 인코딩)는 거리 의존적 전치사 특이성을, GPT-2는 균일한 비특이적 의존성을, LLaMA(RoPE)는 장거리에서의 역전을 보인다. 절 경계에서의 전략적 쉼표 삽입은 40–80 토큰 구간에서 예측 저하를 인과적으로 줄이며, 그 이점은 토큰 밀도보다는 구문 경계 정렬과 연관된다. 그런 다음 메커니즘을 인과적으로 검증했다: 기능 토큰 위치로 어텐션 로짓을 편향시키는 Relay-Aware Attention(RAA)은 어텐션 질량을 16–24% 확실히 증가시키지만, GPT-2와 LLaMA-1B에서는 효과가 없고, LLaMA-3B에서는 예비적으로 해를 끼치며, OPT-1.3B에서는 혼재된 효과로 대략 0에 수렴한다. 다중 사실 검색 프로브는 추가로, 저하율이 모델 간 검색 정확도를 예측하지 않음을 보여준다. 우리는 평균 어텐션 저하가 대체로 서술적이지 규범적이 아님을 결론짓는다: 기능 토큰은 받는 어텐션이 아니라 은닉 상태가 계산하는 내용을 통해 기여한다 — 이는 해석 가능성 방법론과 KV-cache eviction과 같은 어텐션 점수 기반 추론 최적화에 함의를 갖는다.

arXiv:2607.20520v1cs.AI

수학 문제 해결을 위한 대규모 언어 모델에서 실행 가능한 추론 제약 하의 표현 견고성

Representation Robustness Under Executable Reasoning Constraints in Large Language Models for Mathematical Problem Solving

대규모 언어 모델(LLM)은 수학 문제 해결에 대한 평가가 점점 늘고 있지만, 기존 연구는 종종 표현적으로 동등한 서술을 상호 교환 가능한 것으로 취급하고 추론 오류와 인터페이스 실패를 혼동한다. 본 논문은 스토리 문제, 단어-방정식, 기호 방정식, 동형(isomorphic) 패러프레이즈 등 동일한 근본 문제의 표면 표현을 체계적으로 변화시켜 LLM 기반 수학 문제 해결에서 표현 견고성(representation robustness)을 조사한다. 수학적으로 동등한 문제로 엄선한 데이터셋을 사용하여, 직접 답 생성 조건 하에서 다섯 가지 최신 LLM을 평가한다. 우리는 상당한 표현 민감성을 발견한다: 모델은 동등한 서술 간에 정확성이 자주 바뀌며, 스토리, 기호, 단어-방정식 변형에서 무시할 수 없는 flip rate(정답 뒤집힘 비율)를 보인다. 동형 재서술(isomorphic reformulation) 하에서도 체계적인 성능 퇴화를 관찰하며, 수학적 구조가 보존되었음에도 미묘한 패러프레이즈 수준의 변화만으로도 성능이 저하될 수 있음을 보여준다. 이어서 모델이 추론을 실행 가능한 Python 코드로 외부화하고 이를 로컬에서 실행하여 검증하는 코드 증강(code-augmented) 조건을 평가한다. 이 인터페이스는 직접 프롬프팅(direct prompting)에서 성능이 낮은 일부 모델의 강한 잠재 추론 능력을 드러내지만, 견고성을 균일하게 개선하지는 않는다. 대신 실패는 불투명한 추론 오류에서 프로토콜 위반과 실행 실패로, 상호작용 계층 전반에 걸쳐 이동한다. 실행 가능한 추론이 성공하더라도 표현 민감성은 종종 지속된다. 전반적으로 우리 결과는 추론 스캐폴드(reasoning scaffold)가 표현적 취약성(representational brittleness)을 제거하지 못하고, 정확성, 신뢰성, 지연(latency), 비용 사이의 새로운 트레이드오프를 드러냄을 보여준다. 우리는 표현이 LLM 평가 및 배포, 특히 AI 보조 문제 해결 시스템에서 1급(first-class) 인터페이스 설계 변수로 취급되어야 한다고 주장한다.

arXiv:2607.20515v1cs.AI

불일치하는 인간 피드백을 고려한 신뢰도 인식 LLM 정렬

Reliability-Aware LLM Alignment from Inconsistent Human Feedback

인간 피드백 강화학습(RLHF)은 대규모 언어 모델(LLM)을 인간 선호에 정렬하는 데 핵심적이다. 그러나 그 효과는 종종 인간 주석의 고유한 불일치성과 주관성으로 인해 훼손된다. 직접 선호 최적화(DPO)와 같은 기존 선호 최적화 프레임워크는 일반적으로 주석자 간 이견이 큰 모호한 쌍을 만장일치 합의가 있는 쌍과 동일하게 취급하여, 모델이 불일치하는 감독 신호에 과적합하게 만들고 차선의 정렬로 이어진다. 본 연구에서는 불일치하는 인간 피드백의 영향을 완화하도록 설계된 견고한 프레임워크인 신뢰도 유도 선호 최적화(RGPO)를 제안한다. RGPO는 주석자 신뢰도를 추정하고 노이즈가 있는 인간 피드백으로부터 잠재적 정답 레이블을 추론하여 견고한 선호를 식별한다. 또한 주석의 합의 수준에 따라 학습 목표를 동적으로 조절하는 신뢰도 인식 일관성 최적화를 도입하여, 모델이 높은 합의의 감독 신호를 우선시하도록 한다. LLM 정렬 벤치마크에 대한 광범위한 실험 결과, RGPO는 학습 데이터의 불일치와 노이즈를 효과적으로 줄이며 널리 채택된 RLHF 기준선 대비 우수한 성능을 달성함을 보여준다. 코드와 설정은 https://github.com/GenieHuang/RGPO 에서 확인할 수 있다.

arXiv:2607.20511v1cs.AI

SiGMA: 다중모달 지속적 지시 미세조정을 위한 부호 기반 병합 및 적응

SiGMA: Sign-Guided Merging and Adaptation for Multimodal Continual Instruction Tuning

다중모달 지속적 지시 미세조정(MCIT)은 다중모달 대규모 언어 모델(MLLM)을 연속적인 하류 태스크 시퀀스에 적응시키는 데 중요하다. 기존 방법들은 대부분 전문가 혼합(MoE)이나 확장 병합(expansion merge) 접근법을 활용하며, 주로 치명적 망각(catastrophic forgetting)에 초점을 맞추지만, 추론 과정에서 부정적 간섭(negative interference) 문제를 여전히 겪는다. 새로 학습된 업데이트가 유용한 기존 지식을 덮어쓰고 전체 성능을 저하시키는 현상이다. 이를 해결하기 위해, 우리는 SiGMA(Sign Guided Merging and Adaptation, 부호 기반 병합 및 적응)를 제안한다. 이는 간단하면서도 효과적인 프레임워크로, 학습 중 부호 기반 적응적 튜닝과 추론 시 부호 기반 병합이라는 두 구성 요소로 부정적 간섭을 완화한다. 부호 기반 적응적 튜닝은 과거 지식과의 충돌을 줄이고 최소한의 drift로 현재 태스크를 학습하여 심각한 망각을 완화한다. 부호 기반 병합은 두드러진 파라미터를 선택적으로 스케일링하여 유용한 태스크별 지식을 보존하고 증폭함으로써 통합(consolidation)을 더욱 개선한다. UCIT 및 DCL 벤치마크 실험에서 SiGMA는 부정적 간섭을 크게 줄이고 최신 MCIT 방법들을 능가함을 보여준다. 코드는 SiGMA에서 제공된다.

arXiv:2607.20510v1cs.AI

Telco-GAIA: 통신 도메인 에이전트를 위한 이중언어 벤치마크

Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain

우리는 실제 통신 사업자의 데이터를 대상으로 도구 사용 에이전트를 평가하기 위한 이중언어, 멀티모달 벤치마크인 Telco-GAIA를 소개한다. Telco-GAIA는 영어와 아랍어로 구성된 100개의 사람이 검증한 질의응답 태스크로 이루어져 있으며, 각 태스크는 정적 웹사이트 스냅샷(HTML, 이미지, 링크된 PDF), 합성 관계형 SQL 데이터베이스, 외부 웹 아카이브라는 세 가지 이질적 소스에 걸친 다중 홉 추론(평균 4.2 홉)을 요구하고, 텍스트, 이미지, 표 형식 모달리티를 포괘한다. 이 벤치마크는 샌드박스 Docker 환경으로 제공되며, 정규화된 정확 문자열 매칭으로 채점되어 LLM-as-a-judge 없이도 평가가 객관적이고 결정적이며 시간에 따라 재현 가능하다. 12개의 상용 및 오픈 LLM에 대해 목적에 맞게 구축된 참조 에이전트를 평가한 결과 Telco-GAIA가 도전적임을 확인했다. 가장 강력한 모델도 태스크의 71%만 해결하며, 중간 수준의 비용 예산에서는 약 40%로 떨어진다. 시각적 그라운딩 카테고리는 여전히 가장 약한 영역으로, 평균 백엔드 점수가 30% 미만이어서 문서 및 이미지 이해에 상당한 여지가 남아 있다. Telco-GAIA는 엔터프라이즈 에이전트를 위한 엄격하고 재현 가능한 테스트베드이며, 폐쇄 도메인 벤치마크 구축을 위한 템플릿을 제공한다.

arXiv:2607.20507v1cs.AI

MiniCache: 소형 모델 인터페이스를 활용한 재사용 가능한 프로그램 캐싱으로 효율적인 LLM 추론

MiniCache: Reusable Program Caching with Small Model Interfaces for Efficient LLM Inference

대규모 언어 모델(LLM)은 프로그램 기반 추론(program-aided reasoning), 에이전트(agentic) 의사결정, 구조화된 작업 실행에 점점 더 많이 사용되고 있지만, 이러한 응용은 종종 높은 추론 비용을 발생시킨다. 우리는 Program-of-Thought(PoT) 프로그램을 매개변수화된 캐시 객체로 변환하여 구조적으로 유사한 요청 간 재사용 가능한 계산을 가능하게 하는 재사용 가능한 프로그램 캐싱 프레임워크인 MiniCache를 제안한다. MiniCache는 캐시 히트 요청에서의 의미론적 변수 추출과 타겟 LLM 생성 중 투기적 드래프팅(speculative drafting)에 동일한 소형 모델을 재사용하여, 작업 품질을 유지하면서 비용이 많이 드는 타겟 LLM 호출을 줄인다. WebShop, Formula, CodeTAT-QA와 같은 쇼핑 스타일 요청 데이터셋에서의 실험은 MiniCache가 추론 지연시간, 캐시 재사용, 정확도 간의 트레이드오프를 개선하며, 병렬 서빙에서 최대 3.1배 낮은 지연시간과 2.8배 높은 처리량을 달성함을 보여준다. 이 결과는 소형 모델이 대규모 모델의 대체재가 아니라, 신뢰할 수 있고 효율적인 재사용 가능한 프로그램 캐싱을 가능하게 하는 경량 인터페이스 모델로서 가장 효과적임을 보여준다.

arXiv:2607.20503v1cs.AI

LeanFlow: 워크플로우 기반 Lean 자동 형식화 사례 연구

LeanFlow: A Case Study in Workflow-Driven Lean Autoformalization

우리는 수학 논문을 빌드 가능한 Lean 프로젝트로 번역하는 데 특화된 LLM 에이전트 시스템인 LeanFlow를 제시하고 평가한다. 최근 검증기-내-루프(verifier-in-the-loop) 시스템은 대규모 형식 산출물을 생성할 수 있음을 보여주지만, 문서-대-프로젝트 형식화에서 어떤 런타임 메커니즘이 완료, 감사 가능성(auditability), 또는 효율성에 영향을 미치는지는 여전히 불분명하다. 우리는 수론과 측도론의 이전에 형식화되지 않았던 두 편의 수학 논문에 대한 사례 연구를 통해 이 질문을 조사하며, Kimi2.6과 GPT5.5를 사용한 모델, 증명 워크플로우, 도구군 어블레이션(ablation)을 수행하고 작업 결과, API 호출 수, 입력 토큰, 출력 토큰을 보고한다. Kimi2.6에서는 전체 워크플로우가 2000회 호출 예산 내에서 두 문서 수준 프로젝트를 모두 완료하는 반면, 큐 없는(no-queue) 변형은 예산 한도에 도달한다. GPT5.5에서는 모든 문서 수준 변형이 완료되며, 전체 워크플로우가 두 소스 모두에서 가장 낮거나 동률로 가장 낮은 입력 토큰 비용을 보인다. 보완적 보정(calibration)으로, LeanFlow는 RLM25의 PFR 슬라이스에서 75.7% BEq+를 달성하며, GPT5.5 실행에서 ICML 2026 AI for Math TCS 챌린지 프로젝트 다섯 개를 모두 해결한다.

arXiv:2607.20501v1cs.AI

MKEvolve: 커널 코드 생성을 위한 모듈형 멀티 에이전트 프레임워크

MKEvolve: A Modular Multi-Agent Framework for Kernel Code Generation

대규모 언어 모델(LLM) 기반 코드 생성의 급속한 발전에도 불구하고, 하드웨어 가속기를 위한 정확하고 고성능인 커널을 작성하는 것은 현대 ML 워크로드를 스케일링하는 데 여전히 핵심 병목으로 남아 있다. 우리는 MKEvolve(Modular Kernel Evolve)를 제안한다. 이는 복잡한 PyTorch 모듈의 모듈형 분해와 각 서브모듈에 대한 LLM 생성 커널을 반복적으로 공진화하는 프레임워크로, 반복마다 분할과 융합을 통해 분해를 정교화하고 LLM 기반 빔 서치(beam search)로 각 서브커널을 독립적으로 개선한다. 결과 커널은 독립적으로 검증된 서브커널의 프로그램적 조합으로, 구성 가능(서브커널 구현체 교체 가능), 해석 가능(오류와 속도 향상을 특정 서브커널에 추적 가능), 관련 모델 아키텍처에 쉽게 적응 가능하다. Triton을 이용한 KernelBench L2 및 L3 실험(다중 연산자 시퀀스와 전체 모델 아키텍처를 포괄) 결과, MKEvolve는 end-to-end 직접 합성 기준선 대비 정확성과 속도 향상을 모두 개선하면서 LLM 토큰 사용량을 최대 35%까지 감소시킨다.

arXiv:2607.20500v1cs.AI

FlowEdit: 갈등을 수반하는 부적정 문제에서 LLM 추론 흐름의 정보 이론적 제어

FlowEdit: Information-Theoretic Control of LLM Reasoning Flows for Ill-posed Problems Involving Conflicts

대규모 언어 모델(LLM)은 실행 가능한 답이 있는 명확히 정의된 추론 과제에서 강한 성능을 보인다. 그러나 개방 세계에서 마주하는 문제는 일관되지 않은 조건, 상충하는 진술, 또는 상호 배타적인 요구로 인해 부적정해질 수 있으며, 유효한 응답을 허용하지 않는다. 우리는 갈등을 수반하는 이러한 부적정 문제에 대한 추론이 숨겨진 갈등을 명시화하고, 다중 추론 분기를 통해 경쟁 가설을 유지하며, 단일 패스로 대안적 응답을 생성하는 새로운 LLM 역량을 요구한다고 주장한다. 이 모든 것은 LLM의 다음 토큰 예측 메커니즘의 한계로 인해 도전적이다. 이를 위해 우리는 정보 이론적 원리를 활용하여 LLM의 내부 추론 흐름을 정량화하고 조절함으로써 유효한 가설 하에서 대안적 응답의 전체 집합을 생성하는 새로운 프레임워크인 FlowEdit을 제안한다. FlowEdit은 모델의 내부 추론 표현에 두 가지 이중 정보 이론적 목표를 적용하여 분기 인식(branch-aware) 추론 과정을 강제하는 것으로 볼 수 있다. 각 선택된 가설에서 분기 결과로의 정보 흐름을 최대화하는 동시에 형제 분기 간 겹침과 조건부 의존성을 최소화하여, 넓은 범위를 아우르는 다양하고 정보가 풍부한 응답 집합을 제공한다. 우리는 경계 임베딩(boundary embeddings)이 ε-충분(ε-sufficient)일 때 계산 가능한 변분 하한(variational bounds)을 통해 이를 달성하며, LLM 추론 과정의 기저 조건부 상호정보(conditional mutual information)를 최적화함을 보인다. 광범위한 실험은 FlowEdit이 선도적인 독점 모델을 능가하며 exact-set-match 정확도를 68% 향상시키고 전체 응답의 정보성을 24% 높인다는 것을 보여준다. 또한 흐름 조절이 토큰 스트림에서 다음 토큰 엔트로피의 재분배로 나타나며, 각 분기 내부에 집중되고, 흐름 경계에서 증폭되며, 문제가 요구하는 흐름 수에 따라 스케일링됨을 추가로 보인다.

arXiv:2607.20499v1cs.AI

ExecuGraph: 대규모 언어 모델을 활용한 신뢰할 수 있는 백엔드 코드 합성을 위한 다중 에이전트 실행 기반 프레임워크

ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models

대규모 언어 모델(LLM)은 그럴듯한 백엔드 코드를 생성하지만, 단일 패스(single-pass) 패러다임은 정확성이나 런타임 신뢰성을 보장하지 못한다. 본 논문은 ExecuGraph를 제안한다. 이는 백엔드 코드 합성의 중심에 실행 기반 검증을 두는 다중 에이전트 프레임워크이다. 여섯 개의 전문 에이전트(Planner, Code Generator, Logical Reviewer, Evaluator, Optimizer, Explainer)가 유형화된 방향성 워크플로우와 제한된 재시도 예산으로 조율되며, LangGraph 위에 로컬 호스팅 모델(Ollama)과 알고리즘 기법 회상을 위한 선택적 검색 층과 함께 구현된다. 각 평가는 서브프로세스 격리 샌드박스와 월클럭(wall-clock) 타임아웃으로 보호된다. 큐레이션된 30문제 DSA 스위트(internal-30), HumanEval(n=64), APPS-introductory 부분집합에서 평가하며, ExecuGraph를 단일 에이전트 원샷(one-shot) 기준선과 단일 에이전트 실행-재시도 기준선(다중 에이전트 분해의 기여를 분리하는 Reflexion 스타일 절제 실험)과 대조한다. internal-30에서는 세 조건이 통계적으로 구별되지 않는다(n=30; paired Wilcoxon p=0.59 MF vs. SO, p=0.08 SR vs. SO); 모든 쌍별 평균 차이에 대한 95% 부트스트랩 신뢰구간은 0을 포함한다. HumanEval에서는 multi-full이 +3.1 pp 앞선다. 가장 강한 신호는 교차 모델(cross-model)에서 나타난다. DeepSeekCoder V2 Lite에서 그래프 카테고리 정확도는 57.5%(oneshot)에서 80.0%(multi-full)로 향상되어 +22.5 pp의 도약을 보이며, 이는 스케일링 가설을 뒷받침한다. 즉 다중 에이전트 분해의 가치는 기본 모델(base-model) 역량이 커질수록 커진다. 본 프레임워크의 주요 기여는 방법론적이다. 단일 코드베이스가 설정에 따라 원샷, 실행-재시도, 에이전트별 절제 실험 조건으로 축소되어 각 레버의 한계 기여를 통제된 측정할 수 있게 한다. 에이전트별 절제 실험, 재시도 예산 스윕, 오류 클래스 분류 체계, 테스트 소스 감사가 보고된다.

arXiv:2607.20498v1cs.AI

AISE-Bench: 학술 지식 그래프에서의 정보 탐색을 위한 전주기 큐레이션 벤치마크

AISE-Bench: A Full-Cycle Curated Benchmark for Information Seeking on Academic Knowledge Graphs

도구가 결합된 대규모 언어 모델(LLM)은 웹 검색 엔진, API, 코드를 활용하여 복잡하고 장기적인 작업을 해결할 수 있는 자율 에이전트로 부상하고 있다. 학술 그래프에서의 정보 탐색을 위한 현재의 도구 사용 벤치마크는 합성 템플릿, 단순화된 해 공간, 또는 논문 중심 작업과 같은 좁은 과제에 의존하여, 현실적인 사용자 의도, 복잡한 다단계 API 계획, API에 대한 풍부한 매개변수 채우기, 참조가 포함된 그라운딩된 답변, 그리고 과정과 결과 모두에 대한 포괄적 평가와 같은 핵심 과제를 충분히 다루지 못하고 있다. 우리는 학술 지식 그래프에서의 정보 탐색을 위한 실세계, 전주기 주석 벤치마크인 AISE-Bench를 제안한다. AISE-Bench 릴리스에는 쿼리 분류체계, 전체 API 실행 궤적, 검증된 매개변수, 참조 링크가 포함된 소스 기반 답변을 포함하여 1,133개의 QA 쌍이 포함되어 있다. 고품질 주석을 지원하기 위해, 우리는 주석자가 복잡한 API 워크플로를 효율적으로 계획, 실행, 수정할 수 있도록 맞춤형 에이전트 워크플로를 설계한다. 우리는 답변 품질, 참조 그라운딩, API 계획 정확성, 실행 성공을 측정하는 포괄적 평가 프로토콜을 개발한다. 평가된 14개 방법 중, 가장 강력한 모델(Gemini-3-Pro를 사용한 PLAY2PROMPT)조차도 중간 수준의 성능에 그치며, API 계획과 실행에서 자주 어려움을 겪는다. AISE-Bench는 다단계 API를 사용하는 LLM 에이전트의 단계별 정확성, 그라운딩된 요약, 추적 가능한 추론을 정량적으로 평가하고 개선하기 위한 도전적인 새로운 테스트베드를 제공한다. 코드와 데이터는 https://aise-bench.github.io/에서 이용할 수 있다.

arXiv:2607.20494v1cs.AI

Regex로부터 LLM 정렬 분리: 적대적 변이 하 제로 커버리지와 지표 의존적 분기

Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation

프로덕션 LLM 애플리케이션은 일반적으로 모델 측 정렬 앞에 regex 필터를 겹쳐 쌓는다. 선행 연구는 활성 regex 필터 뒤에 라이브 Gemini 백엔드를 추가해도 측정 가능한 커버리지 이득이 없음을 밝혔다. 우리는 말뭉치가 \emph{regex를 우회하도록 설계되었을 때} 그 한계가 유지되는지 묻는다. $L_5$-no-regex — $L_4$-real(Gemini-2.5-flash, 토큰 예산 상한, rate limit, output scrub)과 동일하지만 9-패턴 필터가 비활성화됨 — 를 도입하고, 세 하위 말뭉치(carry-forward, regex-bypass, alignment-isolate)에 걸친 $N{=}45$개의 적대적 프로브에 대해 평가하며, Gemini 패러프레이즈와 PAIR로 $N{=}5$회 반복에 걸쳐 ${\sim}1{,}555$개의 프로브-실행 쌍으로 증폭한다. 1차 부분 문자열 분류기 하에서 H1은 기각된다: $L_5$ 차단률은 5개 OWASP LLM Top-10 카테고리 전반에서 $0,\%$이다 ($L_0$ 대비 $\Delta\text{pp}{=}0$, $p{=}1.00$; Wilson 상한 ${<}5,\%$). PAIR 변형에 대한 2차 LLM-judge 지표는 $56$--$100,\%$ 차단률을 보여준다 ($p{<}0.01$). 이는 정렬이 적대적으로 구성된 프로브에 반응하지만, 부분 문자열 매칭에는 너무 미묘한 거부를 생성함을 드러낸다. 하위 말뭉치 차등 예측은 뒷받침되지 않는다 ($p{=}1.00$). 정렬의 기여는 \emph{지표 의존적}이다: 자연어 유해 요청 프로브에서는 regex를 넘어 관측된 커버리지를 전혀 추가하지 않으며, 적대적으로 구성된 변형에서는 LLM judge가 부분 문자열 분류기가 놓치는 거부를 감지한다. 잠금 말뭉치, 변이 아티팩트, 내보내기 스크립트는 재현을 위해 공개된다.

arXiv:2607.20489v1cs.AI

EvoSQL: Text-to-SQL을 위한 메모리 증강 비판자-생성기 공진화

EvoSQL: Memory-Augmented Critic-Generator Co-Evolution for Text-to-SQL

Text-to-SQL은 대규모 언어 모델(LLM)로 빠르게 발전했지만, 복잡한 데이터베이스 쿼리는 여전히 원샷(one-shot) 생성을 넘어서는 추론을 필요로 하며, 다단계 분해, 실행 기반 진단, 표적 수정 등을 포함한다. 본 연구는 생성기(generator)와 비판자(critic) 간의 반복적 상호작용으로 SQL 합성을 공식화하는 공진화(co-evolution) 프레임워크인 EvoSQL을 제안한다. EvoSQL은 맥락화된 후보 메모리를 유지하고, 실행 신호와 LLM 기반 비평을 모두 활용해 SQL 후보를 검증하며, 유틸리티 유도 집계를 통해 메모리를 갱신한다. 기본 생성기-비판자 쌍을 강화하기 위해, 현대적인 코딩 LLM 백본에 실행 인식 지도를 주입하는 자기 증류 정책 최적화(Self-Distillation Policy Optimization, SDPO) 미세조정 단계를 추가로 도입한다. Spider와 BIRD에서의 실험은 EvoSQL이 Maj@16 베이스라인 대비 오픈소스 모델을 일관되게 개선함을 보여주며, 특히 BIRD-Dev에서 Qwen3-4B의 +1.37%부터 Qwen2.5-Coder-3B의 +9.19%까지 큰 폭의 향상을 보인다. SDPO 초기화는 Spider-Test와 BIRD-Dev에서 선택된 백본을 추가로 개선한다. 이 결과는 메모리 그라운딩 공진화가 더 신뢰할 수 있고 일반화 가능한 Text-to-SQL 시스템을 향한 효과적인 경로임을 시사한다. 코드는 https://github.com/valleysprings/EvoSQL 에서 이용 가능하다.

arXiv:2607.20488v1cs.AI

자율 토폴로지 변이: 능력, 상태, 섀도우 불변량을 갖춘 다중 에이전트 LLM 시스템의 안전한 런타임 재구조화

Autonomous Topology Mutation: Safe Runtime Restructuring for Multi-Agent LLM Systems with Capability, State, and Shadow Invariants

다중 에이전트 LLM 프레임워크는 일반적으로 부팅 시점에 팀 토폴로지를 고정한다. 런타임에 개별 에이전트가 과부하 상태가 되면(예: 너무 많은 액션 카테고리를 혼합하거나, 도구 오류가 누적되거나, 너무 많은 호출 대기열에 묶이는 경우), 시스템은 스스로 재구조화할 메커니즘이 없다. 우리는 다중 에이전트 LLM 프레임워크를 위한 런타임 팀 변이 메커니즘인 자율 토폴로지 변이(Autonomous Topology Mutation, ATM)를 제안한다. ATM은 원격 측정(telemetry) 기반 과부하 감지와 각 구조적 변경을 제어하는 세 가지 안전 불변량을 결합한다: 능력 단조성(capability monotonicity), 상태 라우팅 완전성(state-routing completeness), 라이브 적용 전 섀도우 검증(shadow-before-live validation). ATM은 대기열 깊이, 컨텍스트 스래싱(context thrash), 도구 오류율, 역할 엔트로피, 재시도 루프율, 교차-에이전트 대기 시간을 포함하는 6신호 병목 지수(Bottleneck Index)를 모니터링한다. 워밍업 보정 임계값이 연속 여러 틱 동안 초과되면, ATM은 과부하된 에이전트를 전문화된 하위 에이전트로 분해하고 외부 식별자는 유지한 채 부모를 코디네이터 역할로 핫 스왑(hot-swap)한다. 상태 전달은 프라이버시 수준 인식 라우팅으로 제어된다: 각 메모리 원자(memory atom)는 허용된 자식 집합으로만 라우팅되거나, 기록된 사유와 함께 명시적으로 폐기된다. 후보 토폴로지는 섀도우 검증 창을 통과하기 전까지 라이브 트래픽을 받지 않는다. 4가지 ablation 조건과 3가지 워크로드에 걸친 결정론적 도구 스텁(deterministic tool stub)을 사용한 DeepSeek-V3 기반 720회 태스크 실행에서, ATM 분해기(factoriser) 분할은 코드 태스크 성공률을 3.3%에서 61.7%로 끌어올린다. 전체 레일-및-증류(rail-and-distillation) 시스템은 정규식 분류기 하에서 감지된 고프라이버시 메모리 노출을 태스크당 2.0건에서 0.0건으로 줄이면서 태스크 품질을 유지한다. ATM 불변량을 담는 런타임 레일은 에이전트 핫 경로(hot path)에서 p99 지연을 500마이크로초 미만만 추가한다. 실제 Python 실행을 수행하는 소규모 라이브 도구 프로브가 외부 타당성(external-validity) 검증으로 포함되어 있다. 구현, 벤치마크 하네스, 트레이스는 오픈소스로 공개되었다.

arXiv:2607.20485v1cs.AI

실세계 사용자 기대를 위한 언어 모델의 기대 정렬

Expectation Alignment of Language Models for Real-World User Expectations

대규모 언어 모델(LLM)은 표준 벤치마크에서 뛰어난 성능을 보여주었지만, 실제로 사용자 기대를 충족하는지는 대부분 탐구되지 않았다. 기존 평가 접근법은 모델 휴리스틱, 전문가 루브릭, 또는 사용자 시뮬레이션에 의존하여 실제 인간 기대의 다양성과 미묘함을 포착하지 못하고, 모델이 유능해 보이면서도 사용자가 실제로 원하는 것과 어긋나게 만든다. 우리는 실제 LLM 상호작용에서 사용자 기대에 대한 최초의 체계적 연구를 제시하며, 의미적으로 풍부한 기대를 추출하는 원칙적 절차를 제안하고 실제 사용자 기대에 기반한 벤치마크인 ExpectBench를 소개한다. 분석 결과, 현재 LLM은 사용자가 얻기를 희망하는 것을 충족하고 예측하는 데 어려움을 겪으며, 이는 정렬(alignment) 불일치의 근본적 원인임을 드러낸다. 이러한 관찰을 바탕으로, 우리는 경량 잠재 기대 인식(latent expectation-aware) 응답 생성 프레임워크인 LENS를 제안한다. LENS는 모델이 사용자 기대를 내재화하고 더 잘 정렬된 응답을 생성할 수 있게 하며, 기대 충족을 지속적으로 개선하고 현실적인 인간-AI 정렬을 위해 사용자 기대를 명시적으로 모델링하는 것의 중요성을 강조한다.

arXiv:2607.20484v1cs.AI

악마는 스펙트럼에 있다: 위상학적 정규화 부수 경로를 통한 대규모 언어 모델의 표현 붕괴 완화

The Devil is in the Spectrum: Mitigating Representation Collapse in LLMs via Topologically Regularized Side-Path

대규모 언어 모델(LLM)은 표현 붕괴(representation collapse)라는 근본적 한계에 의해 제한되며, 이는 장문맥 성능을 심각하게 저하시키는 병목이다. 기존 접근법은 두 가지 병리적 극단 중 하나로 기울어질 위험이 있음을 확인했다: 동질화 붕괴(homogenization collapse)(예: 어텐션 sink로 인한 rank deficiency)와 고립 붕괴(isolation collapse)(예: 지역 어텐션으로 인한 문맥 단절). 어텐션 동역학의 스펙트럴 분석을 통해, 표준 메커니즘이 균형을 맞추기 어려운 혼합 효율(spectral gap)과 정보 용량(effective rank) 사이의 내재적 트레이드오프를 도출했다. 이 딜레마를 해결하기 위해 스펙트럴 균형을 달성하는 비침습적 아키텍처 개입인 위상학적 정규화 부수 경로(TRSP)를 제안한다. TRSP는 경량의 길이 인식(length-aware) 게이트로 스케일링되는 매개변수 없는(parameter-free) Triangular Box 메커니즘을 사용하여 토큰 상호작용 위상(topology)을 정규화한다. 근접 결합(proximal coupling)으로 effective rank를 보존하고 원거리 전파(distal propagation)로 비퇴화하지 않는(non-degenerate) 혼합을 지원함으로써, TRSP는 핵심 어텐션을 변경하지 않고 기하학적으로 더 건강한 전이 연산자(transition operator)를 촉진한다. 실험 결과 일반 역량과 장문맥 벤치마크 전반에서 유의미한 개선을 보였다. 특히 학습 길이의 $8\times$에서 NoLiMa에서 TRSP는 $83\%$의 정확도를 유지하며, Differential Transformer와 Gated Attention을 각각 약 30 및 50 퍼센트포인트만큼 초과한다. 코드는 https://github.com/Eziotao-tyd/TRSP 에서 제공된다.

arXiv:2607.20483v1cs.AI

자기회귀 언어 모델의 계산 가능한 계층적 제어

Tractable Hierarchical Control of Autoregressive Language Models

자기회귀 대규모 언어 모델(LLM)의 생성을 제약하는 것은 언어 모델을 형식 시스템에 통합하는 데 있어 중요한 구성 요소이다. 프로그램 합성과 같은 작업을 위한 코드 및 데이터 생성에서, 언어 모델이 구문적으로 유효한 출력을 생성하도록 보장하는 것은 그러한 출력을 처리하기 위한 전제 조건이다. 이러한 언어(SQL이나 JSON 등)는 종종 $LR(k)$ 문맥 자유 문법으로 설계된다. LLM을 계산 가능한 확률 모델로 증류함으로써, 그 자기회귀 생성을 조향하고 마스킹하여 논리적 제약을 만족할 확률을 반영할 수 있으며, 유효성이 보장된 고품질 출력을 확보할 수 있다. 본 논문은 유한 지속을 갖는 임의의 $LR(k)$ 문법에 대한 만족을 다항 시간에 계산할 수 있음을 보여내며, 이는 이러한 문법에 기존 방법을 적용할 때의 지수 시간 대비 개선이다. 이 결과는 LLM 생성을 형식적 구문 제약을 더 잘 만족하는 출력을 향해 효율적으로 제약하고 조향하는 것을 가능하게 한다.

arXiv:2607.20481v1cs.AI

학습 없는 라우팅: 신뢰성 게이팅을 통한 제어 가능한 비율의 LLM 오프로딩

Routing Without Training: Controllable-Ratio LLM Offloading via Reliability Gating

로컬-클라우드 협업은 자원 제약 하에서 대규모 언어 모델(LLM)을 배포하는 실용적인 방법이지만, 기존 방법들은 종종 학습된 라우터나 협업 인식 파인튜닝에 의존하여 라우팅 동작을 특정 운영 구간에 묶는다. 본 연구에서는 그러한 학습이 불필요할 수 있음을 보인다. 로컬 모델 자체의 추론 시 샘플링된 응답들 간 일치도는 이미 로컬 실행을 신뢰할 시점과 더 강력한 클라우드 모델로 오프로딩할 시점을 결정하는 강력한 신호를 제공한다. 우리는 CARGO라는 학습 없는 라우팅 프레임워크를 제안하며, 프롬프트 변형 샘플링을 통해 이 일치도를 추정하고, 샘플 효율적인 불확실성 제어를 위해 베이지안 조기 종료를 적용하며, 경량의 배포 시점 보정을 통해 임의의 목표 협업 비율을 지원한다. 다양한 추론 및 질의응답 과제, 여러 로컬 LLM 계열과 규모, 사전학습 및 파인튜닝된 로컬 모델 전반에 걸쳐 CARGO는 다른 학습 없는 베이스라인을 일관되게 능가하며, 여러 설정에서 지도 학습된 라우터를 넘어선다. 이러한 결과는 효과적이고 적응 가능한 로컬-클라우드 협업이 추가로 학습된 라우터 없이도 로컬 모델의 고유한 응답 행동에서 직접 창발할 수 있음을 시사한다.