megagon.ai

이 이메일 도메인이 관측된 논문 8건

arXiv:2610.09396v1cs.CL

ARCS: 구조화된 모호성 해소를 통한 정밀한 Text-to-SQL 구현

ARCS: Towards Precise Text-to-SQL via Structured Disambiguation

Text-to-SQL 시스템이 단순 시연을 넘어 실제 환경에 배포되는 단계로 나아감에 따라, 사용자 질문에 내재된 모호성이 오류의 주요 원인이 되고 있습니다. 이러한 모호성은 종종 미묘하고 도메인 또는 데이터에 특화되어 있어, 시스템 출력이 사용자의 실제 의도에서 은밀하게 벗어나도록 만들 수 있습니다. 모호성은 전통적으로 대화형 명확화(conversational clarification)를 통해 해결되어 왔으나, 이는 비효율적이고 인지적 부담이 크며 실제 사용자 워크플로와 잘 부합하지 않는 경우가 많습니다. 본 논문에서는 자유 형식 대화 대신 명시적이고 제약된 상호작용을 통해 모호성을 해결하는 새로운 패러다임인 구조화된 모호성 해소(structured disambiguation)를 제안합니다. 또한 실제 데이터베이스를 기반으로 자연스럽게 발생하는 무제약적 모호성을 다루며, 유효한 모든 모호성 지점, 해석 및 SQL 쿼리에 대한 완전한 주석을 포함하는 최초의 Text-to-SQL 벤치마크인 ARCS(Ambiguity Resolution Corpus for SQL)를 구축합니다. 실험 결과에 따르면 모호성이 존재하는 상황에서 Text-to-SQL은 여전히 난제로 남아 있으며, gpt-6-sol은 단 51%의 엔드투엔드 실행 정확도만을 달성했고 어떤 오픈소스 모델도 27%를 넘지 못했습니다.

arXiv:2610.07948v1cs.AI

신뢰도 추론 그래프: LLM 에이전트를 위한 구조화된 신뢰도 추정

Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents

중요한 영역에서 대규모 언어 모델(LLM) 에이전트를 사용할 때, 에이전트의 출력을 신뢰할지 아니면 개입할지에 대한 정보에 기반한 결정을 내리려면 에이전트의 성공 여부에 대해 잘 보정된(calibrated) 신뢰도가 필요합니다. 에이전트 궤적의 이종적이고 상호의존적인 여러 단계에 걸쳐 성공에 관한 근거가 분산되어 있기 때문에 에이전트의 신뢰도 추정은 어렵습니다. 실제 에이전트 배포에서는 추가적인 문제들도 발생합니다. 최첨단 LLM은 내부 신호에 대한 접근을 제한하는 경우가 많고, 에이전트 롤아웃 비용이 많이 들며, 학습 데이터가 없거나 빠르게 구식이 될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 특권적인 모델 접근이나 학습 데이터 없이도 단일 궤적으로부터 에이전트가 작업을 완수했을 확률을 추정하는 추론 시점 프레임워크인 신뢰도 추론 그래프(CRG, Confidence Reasoning Graphs)를 제안합니다. 실행 과정을 단일한 종합적 판단으로 압축하는 대신, CRG는 에이전트가 작업을 완수했다는 주장으로 시작하여 이를 궤적 근거에 기반한 맥락화된 하위 주장들로 분해하고, 각 말단 주장의 신뢰도를 추정한 뒤, 최종적으로 이를 전체 신뢰도 추정치로 집계합니다. 세 가지 에이전트 벤치마크, 세 가지 백본 모델, 세 가지 에이전트 프레임워크에 걸친 실험에서 CRG는 언어화 기반(verbalized), 샘플링 기반, 화이트박스 대리 기준선(baseline)보다 더 잘 보정된 신뢰도와 강력한 위험 인식 의사결정을 제공함을 보여줍니다. 또한 보정 오차만으로는 오해의 소지가 있을 수 있음을 발견했습니다. 화이트박스 대리 기준선은 잘 보정된 것처럼 보이지만 무작위에 가까운 식별 성능을 제공합니다. 절제 연구(ablation study)를 통해 CRG의 성능 향상이 단순히 그래프 구성 자체보다는 주장 수준의 신뢰도 추정 및 집계 덕분임을 확인했습니다. 마지막으로 CRG는 각 신뢰도 추정의 근거가 되는 주장과 궤적 증거를 드러내므로, 의사결정 시점에 감사가 가능하도록 지원합니다.

arXiv:2610.00092v1cs.CL

BudgetSchemaBench: Text-to-SQL의 스키마 컨텍스트를 위한 예산 탐색 진단 벤치마크

BudgetSchemaBench: A Budget-Swept Diagnostic for Schema Context in Text-to-SQL

구조화된 데이터 소스를 다루는 데이터 에이전트(agent)는 데이터베이스 스키마를 모델의 컨텍스트 윈도우(context window)에 맞춰 넣어야 합니다. 대규모 카탈로그는 여러 데이터베이스와 수천 개의 열에 걸쳐 있을 수 있으므로, 비용 제약으로 인해 컨텍스트 윈도우가 가득 차기 훨씬 전부터 테이블 커버리지와 직렬화 상세도 사이에서 선택을 내려야 할 수 있습니다. 우리는 이러한 설정을 위한 실행 기반(execution-grounded) 진단 도구인 BudgetSchemaBench를 소개합니다. 이 벤치마크의 구성은 인간이나 대규모 언어 모델(LLM)이 작성한 정답 레이블 없이, 정답(gold) SQL로부터 관련성 레이블을 기계적으로 도출합니다. 80개 데이터베이스를 통합한 카탈로그를 사용하여, 각 리트리버의 테이블 순위를 고정한 상태에서 4가지 스키마 컨텍스트 예산을 탐색하고 3가지 표현 방식을 비교합니다. 소스 네임스페이스 검사를 통해 잘못된 데이터베이스에서 올바른 결과를 얻어낸 쿼리를 제외합니다. 평가는 엔드투엔드(end-to-end) 검색, 필요한 테이블이 보장되는 frozen-gold, 그리고 해당 테이블들을 제거하는 프로브의 세 가지 조건에서 수행됩니다. 원시 직렬화를 사용하는 주요 솔버의 경우, 예산을 카탈로그의 2.5%에서 50%로 늘렸을 때 1,279개의 홀드아웃 질문에 대한 실행 정확도가 어휘 검색(lexical retrieval) 하에서는 18%p 향상되지만 밀집 검색(dense retrieval) 하에서는 3%p 향상에 그칩니다. 이는 밀집 리트리버가 가장 적은 예산에서도 이미 대부분의 필수 테이블을 찾아내기 때문입니다. 필수 테이블이 제거되었을 때 정답 예측의 94.6%가 그중 하나를 정확히 지목했는데, 이는 매개변수 지식(parametric knowledge)으로부터 부재한 스키마를 재구성한 것과 일치합니다. frozen-gold 조건의 두 주요 솔버에서는 세 가지 표현 방식 간 차이가 최대 2%p에 불과하며, 가장 넓은 대응 쌍 95% 신뢰 구간에서도 차이가 ±4%p 이내로 제한됩니다. 우리는 다른 계열의 추론 모델 하나에서도 동일한 정성적 패턴을 관찰했습니다. 검색이 커버리지에 의해 제한될 때, 실행 정확도는 테스트된 직렬화 방식보다 스키마 예산에 더 민감합니다. 본 진단 도구와 이를 구축 및 평가하는 데 사용된 코드는 공개되어 있습니다.

arXiv:2609.22599v1cs.AI

MAWILE: LLM 평가자 검사를 위한 다축 워크벤치

MAWILE: Multi-Axis Workbench for Inspecting LLM Evaluators

대규모 언어 모델(LLM) 심사자(judge)는 모델 및 에이전트 출력을 평가하는 유연하고 확장 가능한 방법을 제공하지만, 그 판정은 평가 대상 응답, 심사자 지시, 채점 루브릭(rubric)의 사소한 변화에 민감할 수 있다. 기존 시스템은 이러한 실패 모드의 중요한 부분집합을 검토하지만, 설정된 심사자를 감사(auditing)하려면 심사 도구와 그것이 평가하는 항목을 모두 시험해야 한다. 우리는 네 가지 표면—심사자 프롬프트, 심사자 루브릭, 대상 시스템 입력, 대상 시스템 출력—에 걸친 심사자 민감도를 감사하기 위한 개발자 대상 워크벤치인 MAWILE을 제안한다. 사용자가 제공한 심사자와 대표적인 평가 항목이 주어지면, MAWILE은 통제된 교란(perturbation)을 구성·검증하고, 심사자를 재실행하며, 그로 인한 민감도를 국소화(localize)한다. 각 교란은 판정이 불변(invariant)으로 유지되어야 하는지, 아니면 지정된 방향으로 변해야 하는지를 선언하여, 동일한 시스템으로 무관한 변화에 대한 견고성(robustness)과 의미 있는 변화에 대한 민감도를 모두 측정할 수 있게 한다. MAWILE은 골드 레이블(gold label) 없이 이진(binary), 서열(ordinal), 쌍별(pairwise) 심사자를 감사한다. 이 도구의 코드는 github.com/megagonlabs/mawile-judge에서 이용할 수 있다.

arXiv:2609.02129v1cs.AI

컨텍스트 윈도우를 넘어서: 데이터 중심 에이전트를 위한 지속적 발견 컨텍스트

Beyond Context Windows: Persistent Discovery Context for Data-Centric Agents

데이터 중심 에이전트는 계획이나 실행에 앞서 반복적으로 발견(discovery) 단계를 수행한다. 즉, 과제와 관련된 데이터 객체를 식별한다. 그러나 성공적인 발견 결과는 보통 재사용되지 않고 버려진다. 우리는 지속적 발견 컨텍스트(persistent discovery context)를 제안한다. 이는 이전 의도-객체 매핑을 저장하고 이를 재활용해 이후 검색(retrieval)을 보강하는 경량 메모리 층이다. 세 가지 구조화된 데이터 환경에서 지속적 발견 컨텍스트는 메타데이터만 쓰는 검색보다 검색 품질을 꾸준히 높였고, 자동 생성된 메모리에서도 효과가 유지되며, 재현 가능한 간섭(interference) 실패 양상을 드러냈다. 어휘가 희소한(lexically sparse) 도메인에서는 메모리만으로 하는 검색이 메타데이터 기반 검색보다 더 나을 수도 있다. 이 결과는 발견 결과가 데이터 중심 에이전트에게 재사용 가능한 유용한 컨텍스트 형태임을 시사한다.

arXiv:2609.00251v1cs.AI

지속적 개인화를 위한 가설 안내 자기 증류

Hypotheses-Guided Self Distillation for Continual Personalization

사람들이 일상에서 LLM 어시스턴트와 점점 더 많이 상호작용하면서, 개인의 선호에 지속적으로 적응하는 것은 효과적인 장기 상호작용을 위해 필수가 되었다. 그러나 사용자 선호는 드물게 완전히 명시되며, 대신 이질적이고 잠재적이며 노이즈가 있는 신호를 통해 나타나고, 기존 방법들은 개인화를 관리하기 위해 원시 상호작용 이력이나 비용이 큰 보상 기반 최적화에 의존한다. 우리는 HypReflect를 제안한다. 이는 다양한 사용자 신호로부터 명시적이고 불확실성을 인식하는 선호 가설을 추론하고, 새로운 증거가 쌓일 때 성찰적으로 이를 정제하며, 가설 안내 자기 증류를 통해 결과 사용자 모델을 통합하는, 지속적 개인화를 위한 신뢰할 수 있고 확장 가능한 프레임워크이다. 온라인 개인화, 다세션 상호작용, 암묵적 행동 신호의 세 가지 개인화 설정에 걸친 실험에서 HypReflect는 원시 이력 및 점진적 갱신 방법을 포함한 다양한 베이스라인을 능가함을 보여준다. 또한 보지 못한 사용자와 교차 도메인 설정에 대한 강한 일반화, 컨텍스트 예산에 걸친 안정성, 재사용 가능한 가설, 더 집중된 개인화를 추가로 입증한다. 이러한 결과는 명시적이고 수정 가능한 사용자 선호 가설을 통한 신뢰할 수 있고 확장 가능한 지속적 개인화를 향한 한 걸음을 시사한다.

arXiv:2604.03403v2cs.IR

정렬 후 적응: 비대칭 밀집 검색을 위한 라벨 효율적 어댑터 학습

Align Then Adapt: Label-Efficient Adapter Learning for Asymmetric Dense Retrieval

밀집 검색(dense retrieval) 시스템은 복잡한 지시문 형태의 쿼리와 비교적 단순하고 정적인 문서 모음 간의 비대칭성에 점점 더 직면하고 있습니다. 더 강력한 임베더가 이러한 쿼리를 더 잘 이해할 수 있지만, 대규모 말뭉치를 다시 임베딩하거나 대형 모델을 미세조정(fine-tuning)하는 것은 비실용적인 경우가 많습니다. 본 논문에서는 재인덱싱이 필요 없는 검색 적응을 위한 쿼리 측 어댑터 학습 프레임워크인 ERA(Efficient Retrieval Adapter)를 제안합니다. ERA는 먼저 라벨이 없는 말뭉치 문서를 사용하여 강력한 쿼리 임베더와 경량 문서 임베더의 임베딩 공간을 정렬한 다음, 소수의 라벨링된 쿼리-문서 쌍으로 정렬된 쿼리 표현을 적응시킵니다. 6개 도메인의 126개 MAIR 검색 태스크에 걸쳐, ERA는 지도 어댑터 학습보다 훨씬 적은 라벨을 사용하면서도 대칭 설정에서 평균 nDCG@10을 최대 8.2점, 비대칭 설정에서는 12점 이상 향상시킵니다. 이러한 결과는 검색 시스템이 백본 임베더를 업데이트하거나 문서 인덱스를 재구축하지 않고도 더 강력한 쿼리 이해 능력의 이점을 얻을 수 있음을 보여줍니다.

arXiv:2607.00828v1cs.DB

Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows

에이전트가 생성한 분석 워크플로우에서 실행은 성공하지만 사용자의 분석 의도를 잘못 구현하는 "운영화 실패(operationalization failure)"를 금융, 인사, 공공 안전 도메인 236개 의도에 걸쳐 분석한 결과, 153건의 실패가 비교 기준 오류, 역할 혼동, 프로세스 추론, 정량적 추론, 정책 기준 오류의 5가지 구조적 유형으로 반복됨을 확인했다. 이는 사용자 수준의 분석 개념과 워크플로우 생성 시스템이 접근 가능한 정보 사이의 의미론적 간극(semantic gap)을 드러내며, 미래의 에이전틱 데이터 시스템이 분석 의도를 실행 가능한 연산으로 충실히 변환하기 위해 더 풍부한 의미 표현을 필요로 함을 시사한다.