PyTorchKR Papers

최신 논문

총 1,234편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.10538v1cs.DS

닫고 정렬하기: 순환적 랭크-2 선호의 정확한 최대우도 집계

Close and Sort: Exact Maximum-Likelihood Aggregation of Cyclic Rank-Two Preferences

쌍별 확률은 순위 집계, 추천, 사람 또는 LLM 평가에서 나타나지만, 이를 최대우도 목록으로 변환하는 일은 가중 Kemeny 문제이며 일반적으로 NP-난해하다. 랭크-2 토너먼트에 대해 알려진 정확한 알고리즘은 비교의 부호만 사용하며 이 우도를 최적화하지 않는다. 우리는 반대칭 로그오즈 행렬 $W_{ij}=\log(p_{ij}/p_{ji})$가 랭크 2일 때, 유도된 선호에 순환이 포함되는 경우를 포함하여, 가중 문제를 정확하게 풀 수 있음을 보인다. $W_{ij}=\det(h_i,h_j)$로 쓰고 닫힘 벡터 $h_0=-\sum_i h_i$를 추가하면 목적함수는 닫힌 다각형의 부호 있는 면적의 두 배가 된다. 이 기하학적 구조로부터 CloseSort가 도출되며, 이는 $n+1$개의 변 벡터를 극좌표 순으로 정렬하고 $h_0$ 뒤에서 잘라, 인자가 주어졌을 때 $O(n\log n)$ 시간에 전역 최대우도 순서를 반환한다. 같은 기하학적 구조는 차순위를 식별하며 정확한 랭크 2를 넘어서는 안정성 인증도 제공한다. 닫힌 각도 순환에서 연속한 두 변의 최소 행렬식 $\delta$가 양수일 때, 이는 정확히 최선과 차선 사이의 로그우도 격차와 같다. $W=W_0+E$에 대해 $W_0$의 CloseSort 순서는 $W$에서 후회가 최대 $\sum_{i<j}|E_{ij}|$이며, 이 합이 $\delta$보다 작으면 계속 최적으로 유지되는데, 이 임계값은 최악의 경우에 대해 타이트하다. 5,120회의 행렬식-로짓 시뮬레이션에서 쌍당 관측 수를 4에서 64로 늘리면 랭크-2 투영이 경험적 플러그인 최적해를 능가하는 비율이 68.6%에서 85.7%로 상승한다. 63개 시스템과 10개 심판으로부터 추출한 3,600개의 Arena-Hard LLM 심판 프로파일에서 선도적인 랭크-2 성분은 로그오즈 에너지의 89.2%를 차지한다. 방향성 다수결 삼각형을 포함하는 프로파일에서 CloseSort는 Borda에 비해 정규화된 후회를 44% 줄이며 여덟 개 베이스라인 각각에 대해 평균 정규화 목적함수를 개선한다. 인자가 주어진 경우 18개 항목 순위에서 정확한 동적 계획법보다 8,407배 빠르다.

arXiv:2611.10414v1cs.CL

추종할 것인가, 따를 것인가? 웹 뉴스가 시장보다 뒤처질 때의 Jev 호환 멀티 에이전트 트레이딩 시스템

Track or Follow? A Jev-Compatible Multi-Agent Trading System When Web News Lags the Market

LLM 에이전트는 자신이 읽은 웹 뉴스를 바탕으로 거래하는 경우가 늘고 있지만, 상장 기업에 관한 웹 뉴스의 상당수는 그 기사가 보도하는 가격 변동 이후에, 그리고 그 변동에 대해 게재되므로, 독자는 사건을 읽는 대신 시장을 뒤따르는 것만으로도 시장과 일치할 수 있다. 우리는 웹 뉴스에 대한 LLM의 판단이 보도된 사건에 대한 시장의 반응을 추적하는지, 아니면 뒤따르는지를 묻는다. 이를 확인하기 위해 에이전트들이 시점 기준(point-in-time) 저장소만 공유하고, 호스팅되는 유형화된 의사결정 모델인 Jev의 인터페이스를 통해 유형화된 질문에 답하는 멀티 에이전트 트레이딩 시스템을 구축하였으며, 코드는 텍스트가 포지션을 움직일 수 있는 정도에 대해 증명된 한계 내에서 모든 포지션을 설정한다. 고정된 LLM의 선택지 확률로 구성한 Jev 호환 리더에 대한 해시 커밋 방식의 검증에서, 개별 기사에 대한 판단은 공시 구간의 초과 수익률을 추적하였고(주간 스피어만 상관계수 0.119), 이는 해당 LLM의 출시 이후에도 마찬가지였으며, 사건 유형은 발행사의 8-K 공시와 일치하였다(AUC 0.833). Jev 자체의 출시 이후에 게재된 뉴스에 대한 Jev의 판단 역시 시장 반응을 추적하였다(기술적 분석). 탐색적 분석은 이러한 연관성의 출처를 보여 준다. 실적 뉴스 기사의 72%가 발행사의 공시 이후에 게재되고, 기고자가 작성한 기사는 흔히 가격 변동을 보도하며, 게재 후 첫 거래부터 계산하면 연관성은 0.023으로 떨어진다. 주간 시계열에서 확증적 검증은 코드 전용 특징 대비 어떠한 순위 정보도 검출하지 못한다. 공격 상황에서 의사결정 카드는 성공한 공격의 88%를 심어 놓은 기사로 추적하였다. 우리는 웹 텍스트 리더에 대한 시장 기반 평가가 사건 시점뿐 아니라 게재 시점부터의 기준도 보고할 것을 제안한다.

arXiv:2611.10349v1cs.AI

SituRecBench: 3D 환경에서 상황 인식 추천 어시스턴트로서의 최첨단 모델 평가

SituRecBench: Evaluating Frontier Models as Situated Recommendation Assistants in 3D Environments

추천 시스템은 정적인 검색 엔진에서 물리적 환경에 기반한 대화형 어시스턴트로 전환되고 있다. 그러나 현재 연구는 공간 탐색, 시각적 근거화, 다중 턴 사회적 상호작용이 결합된 복잡성을 대체로 간과한다. 이러한 격차를 메우기 위해 본 논문은 고충실도 3D 환경에서 최첨단 비전-언어 모델(VLM)을 상황 인식 추천 어시스턴트로서 평가하는 대화형 벤치마크 SituRecBench를 소개한다. 우리는 추천을 어시스턴트가 사용자의 1인칭 시점을 공유하면서 사용자와 상호작용하는 상황 인식 지원 과정으로 재정의한다. 이 벤치마크는 슈퍼마켓과 가구점 같은 실제 쇼핑 환경을 시뮬레이션하며, 어시스턴트가 선호를 파악하고, 추천을 환경에 근거시키고, 대화를 통해 사용자를 관련 위치로 안내하도록 요구한다. 이 벤치마크는 통합된 대화형 프로토콜을 통해 대화 품질, 추천 유용성, 탐색 효과성을 평가한다. 광범위한 실험을 통해 공간적 근거화와 선호 파악에서 지속적인 어려움이 드러났으며, 전역 맥락 정보와 국소 관측을 통합하는 능력의 한계가 부각되었다. SituRecBench는 실세계의 상황 인식 어시스턴트 개발을 진전시키기 위한 엄밀한 토대를 제공한다.

arXiv:2611.03196v2cs.IR

Dhara Bench: 인도 지식 체계를 위한 증거 중심 검색 벤치마크

Dhara Bench: An Evidence-Oriented Retrieval Benchmark for Indian Knowledge Systems

Dhara Bench는 인도 지식 체계(Indian Knowledge Systems, IKS)를 위한 검색 벤치마크로, 12개 범주의 질문 325개와 15개 출처 그룹에서 가져온 60,121개의 텍스트 청크로 구성된다. 범주는 Dhara 애플리케이션에 제출된 4,500개의 질문을 바탕으로 구성되었으며, 평가 세트는 코퍼스에 정렬된 애플리케이션 질의와 전문가가 제공한 질문을 결합한 것이다. 주석은 6,847개의 서로 다른 코퍼스 청크와 관련된 7,578개의 질문-청크 관련성 링크로 이루어진다. 34개의 복합 및 다단계(multi-hop) 질문에 대해서는 401개의 결합 그룹(conjugate group)이 각 질문을 함께 뒷받침하는 대안적 구절 집합을 명시한다. 청크 식별자와 계층적 참조는 판단 결과를 원전 텍스트와 연결한다. 본 논문은 코퍼스 준비, 주석 작업, 검증을 기술하고, $k_1=0.9$, $b=0.4$로 Pyserini를 이용해 구현한 고정 BM25 기준선을 보고한다. 전체 질문에 대해 BM25는 MRR@20 0.315, Recall@10 0.182, nDCG@10 0.205를 달성한다. 그룹 주석이 있는 부분집합에서 완전 증거 점수는 CE_Recall@20 = 0.294, CE_MRR@20 = 0.141이다. 범주별 결과는 특히 운문(verse) 검색이 취약함을 보여주며, 그룹 점수는 개별 구절을 찾는 것과 그 뒷받침을 완성하는 것 사이의 격차를 드러낸다. 코퍼스와 평가 코드는 https://github.com/Avinash2236/Dhara-Bench 에서 이용할 수 있다.

arXiv:2610.31863v2cs.CL

오프라인 다국어 LLM 지원을 위한 ISO 11783 네트워크상의 기계 판독 가능 운전자 매뉴얼

Machine-Readable Operator Manuals over the ISO 11783 Network for Offline, Multilingual LLM Assistance

농업 기계가 지능적인 오프라인 지원을 제공하려면, 시스템이 기술 문서에 동적으로 접근할 수 있어야 한다. 본 논문에서는 트랙터 측 어시스턴트의 로컬 지식 베이스를 연결된 작업기의 운전자 매뉴얼과 일치시키는 과정으로 정의되는, ISO 11783 기반 CAN 버스를 통한 운전자 매뉴얼의 의미적 동기화(Semantic Synchronization)를 분석한다. Markdown, JSON, XML을 사용하여 데이터 전송 성능을 벤치마크하였으며, 다양한 오픈 웨이트 대규모 언어 모델(LLM)을 교차 언어 질의 과제에서도 평가하였다. 답변의 자동 평가는 네 명의 인간 평가자와 대조하여 검증되었다. 전체 매뉴얼은 형식과 전송 설정에 따라 31초에서 89초 만에 물리적 ISO 11783 네트워크를 통해 전송되었으며, 이는 운전자가 작업기를 처음 연결할 때 이미 기다리는 오브젝트 풀 업로드와 비슷한 수준이다. Markdown이 가장 작은 파일을 생성했으며, 대부분의 모델에서 질의응답 성능은 세 형식 간에 비슷했다. 검색 증강 생성을 사용하면 로컬에서 실행되는 모델이 영어 매뉴얼에 대한 대부분의 질문에 정확히 답했으며, 가장 큰 모델이 7B 및 8B 모델보다 우위를 보이지 않았으나, 다른 다섯 개 언어판에서는 성능이 더 낮았다. 키워드 검색은 언어 간에서 실패한 반면, 의미 기반 검색은 교차 언어 능력을 제공했다. 이 교환은 ISO 11783의 기존 요청 및 전송 메커니즘을 사용하는 새로운 파라미터 그룹만을 필요로 하므로 표준화 후보가 된다. 본 연구는 PC급 하드웨어에서 추론을 수행한 개념 증명이며, 임베디드 농업용 하드웨어에서의 배포는 향후 과제로 남아 있다.

arXiv:2610.18654v3cs.LG

Kwai Summary Attention V2 기술 보고서

Kwai Summary Attention V2 Technical Report

Kwai Summary Attention(KSA)과 같은 요약 토큰 아키텍처는 먼 문맥을 청크마다 학습 가능한 요약 토큰으로 압축하며, 하이브리드 변형은 이러한 계층을 전체 어텐션과 교차 배치하여 원문에 대한 정확한 접근을 유지한다. 이러한 하이브리드 KSA-Full 아키텍처에서 삽입된 요약 토큰은 여러 계층에 걸쳐 스트리밍 흐름 역할을 한다. 그러나 이 방식은 효과적이지만 몇 가지 병목도 낳는다. (1) 계층마다 요약 압축 청크가 동일해야 하므로, 예를 들어 계층별로 서로 다른 요약 압축 청크 윈도를 설정하는 것과 같은 유연한 KV 캐시 압축을 달성하기 어렵다. (2) 전체 어텐션 계층에서는 요약 토큰이 추가 계산 비용을 유발하는데도, 해당 계층은 이를 무시하고 여전히 제곱 복잡도의 프리필링을 수행하므로 계산 측면에서 비효율적이다. 이에 본 연구는 더 유연한 KV 캐시 메모리 압축을 달성할 뿐 아니라 전체 어텐션 계층의 계산 비용도 줄이는 KSA V2를 개발하였다. 구체적으로, 요약 토큰이 KV 메모리와 희소 인덱서라는 두 가지 역할을 수행할 수 있음을 발견하였다.

arXiv:2610.18272v2cs.CL

JevGPT: 자율 연구에서의 빠른 사고와 느린 사고

JevGPT: Thinking Fast and Slow in Autonomous Research

자율 연구 에이전트는 제한된 예산 안에서 증거를 획득하고 그에 대해 추론해야 한다. 그러나 관련 출처가 검토되지 않거나 활용되지 않은 채 남을 수 있어, 검색 범위와 연구에 실제로 반영되는 증거 사이에 간극이 생긴다. 과제는 빠른 국소 판단을 변화하는 증거 요구에 맞추고 그 결과를 연구 의사결정에 되먹이는 것이다. 본 연구는 빠른 증거 처리와 숙고적 연구 계획을 결합한 자율 연구용 이중 시스템 아키텍처인 JevGPT를 제안한다. System Two는 증거 목표를 설정하고 발견을 통합하며, System One은 근거를 찾고 관련성을 평가하며 추가 검토를 안내한다. 독립적인 출처 판단은 병렬로 실행되고, 선택된 원문 구절이 다음 연구 단계에 반영된다. 고정 코퍼스 질의응답과 문서 순위화 실험에서 JevGPT는 비슷한 수준으로 효과적인 연구 에이전트보다 빠르게 완료하고 비용이 낮으면서도 최고 수준의 과제 성능을 달성한다. 증거 분석은 연구 루프에서 더 폭넓은 출처 검토와 뒷받침 문서의 더 큰 포괄 범위를 보여 주며, 효율적인 증거 처리가 더 유능한 자율 연구로 가는 길임을 강조한다.

arXiv:2610.13277v3cs.IR

최종 임베딩을 넘어서: 토큰 수준 증거로부터 기억 검색하기

Beyond the Final Embedding: Retrieving Memories from Token-Level Evidence

메모리 증강 어시스턴트는 저장된 대화와 문서에서 증거를 검색하여 질의에 답한다. 대부분의 임베딩 기반 검색기는 관련성이 내용의 일부에 달려 있는 경우에도 질의와 기억의 단일 벡터 표현을 비교한다. 이러한 국소적 증거는 동일한 임베딩 모델이 이미 계산한 문맥적 토큰 표현을 이용하여 질의와 매칭할 수 있다. 본 방법은 희소 토큰 매칭을 사용하여 추가 학습 없이 검색 성능을 향상시킨다. 각 질의 토큰은 후보 기억 전반에서 매칭되는 소수의 토큰을 검색한다. 매칭 점수는 기억별로 집계되고 기억 전체의 유사도와 결합되어 기억의 순위를 매기는 데 사용된다. 인코더와 저장된 기억 표현을 고정한 채 지도 학습으로 선택적 저랭크 질의 어댑터를 학습할 수 있다. 본 방법은 추가 학습 없이 8개의 벤치마크와 여러 모델 계열에서 검색 성능을 향상시킨다. 질의 적응을 적용하면 Qwen3-Embedding-4B에서 평균 Recall@10과 NDCG@10의 향상 폭이 각각 13.3 및 14.3 퍼센트 포인트로 더욱 커진다. 이러한 검색 성능 향상은 장기 기억 벤치마크에서 질의응답 정확도 향상으로 이어진다.

arXiv:2609.37311v3cs.AI

ReMem: 장문 컨텍스트 추천 에이전트에서 인지와 기억의 재고찰

ReMem: Rethinking Perception and Memory in Long-Context Recommendation Agents

최근의 추천 에이전트(RecAgent)는 추천을 능동적인 사용자 측 패러다임으로 전환하는 유망한 대안을 제공하며, 여기서 생성형 에이전트는 웹 플랫폼을 자율적으로 인지하고 사용자 선호를 추론하며 결정을 실행한다. 그러나 기존 RecAgent에는 여전히 두 가지 중대한 한계가 있다. 노이즈가 많은 아이템 페이지에 기반한 취약한 아이템 인지, 그리고 긴 사용자 이력과 다단계 상호작용 궤적에 대한 비효율적인 장문 컨텍스트 추론이다. 이러한 문제를 해결하기 위해 우리는 OCR 기반 멀티모달 인지와 시간에 따라 진화하는 동적 메모리를 결합한 추천 에이전트 프레임워크 ReMem을 제안한다. ReMem은 원시 HTML을 파싱하는 대신 아이템 페이지 스크린샷을 관찰하고 OCR 도구를 사용하여 추론 백본을 위한 구조화된 텍스트 증거를 생성한다. 장기 선호 모델링을 지원하기 위해 ReMem은 백본의 컨텍스트 윈도우보다 긴 이력을 처리하면서도 제한된 크기의 텍스트 메모리를 유지하는 청크 단위 순차 갱신 전략을 추가로 도입하며, 청크 및 메모리 예산이 고정되면 갱신 호출 횟수는 이력 길이에 비례하여 선형적으로 증가한다. 이 설계는 외부 메모리 모듈에 의존하거나 표준 자기회귀 생성 과정을 방해하지 않고도 에이전트가 진화하는 사용자 선호를 보존할 수 있게 한다. 동적 메모리 갱신기를 학습시키기 위해, 우리는 추천 특화 정보와 최종 과제 지표를 결합한 보상을 사용하는 다중 메모리 GRPO 변형을 추가로 개발한다. Amazon에서 파생된 세 가지 데이터셋과 통제된 검색 후 프로토콜에서의 실험 결과, 검색, 순위화, 판단 과제 전반에서 보고된 가장 강력한 기준선 대비 평균 7.58%의 상대적 향상을 보였다.

arXiv:2609.35028v2cs.LG

VEX-Bench: LLM이 생성한 허위정보의 검증 복잡도 벤치마킹

VEX-Bench: Benchmarking Verification Complexity of LLM-Generated Misinformation

대규모 언어 모델(LLM)은 허위정보를 저렴하게 생산할 수 있게 했지만 검증 비용은 낮추지 못하여, 정보 생태계에 비대칭이 커지고 있다. 시간, 인력, 예산이 빠듯한 상황에서 언론사, 플랫폼, 팩트체커는 어떤 콘텐츠를 검증할지 우선순위를 정하기 위해 선별에 의존한다. 우리는 선별 과정에서 인지되는 LLM 생성 허위정보의 검증 복잡도를 모델과 생성 방법 전반에 걸쳐 평가하기 위한 통합 벤치마크 VEX-Bench를 제안한다. 검증 복잡도는 저널리즘과 팩트체킹 실무에서 도출한 여러 차원, 즉 검증 가능성, 해악 가능성, 출처 신뢰성 신호, 사칭 정당성, 예상 검증 노력을 포착하여 평가된다. 우리는 생성된 콘텐츠가 한정된 검증 역량을 얼마나 소모하는지를 정량화하기 위해, 유도 수율과 검증 복잡도를 결합한 통합 지표로 VEX 점수를 정의한다. 두 가지 허위정보 범주, 6개의 고위험 도메인, 60개의 실제 주제에 걸친 벤치마크를 구축하고 7개의 최첨단 LLM과 7가지 생성 방법을 평가하여 5{,}880개의 기사를 확보하였다. 확장 가능한 평가를 위해 LLM-as-judge를 사용하며, 평가자 간 신뢰도를 위한 순서형 Krippendorff $\alpha$ 등 내용 분석 방법론으로 이를 검증하고, 검증을 위한 팩트체킹 에이전트로 보완한다. 연구 결과, 모든 차원을 지배하는 단일 방법은 없으며 이는 다차원 평가의 필요성을 강조한다. LLM은 에이전트 기반 검증보다 3$\times$에서 169$\times$ 낮은 비용으로 높은 VEX의 허위정보를 생성할 수 있다. 이러한 콘텐츠는 선별 과정에서 흔히 우선순위가 높게 책정되어 부족한 검증 자원을 소모하며, 자원이 제한된 검증 시스템에서 자원 오배분의 체계적 위험을 초래한다. 코드는 \href{https://github.com/HanxunH/VEX-Bench}{GitHub 저장소}에 공개되어 있다.

arXiv:2608.00916v2cs.IR

Tevatron과 Megatron의 만남: 학계 예산으로 수행하는 전문가 병렬 LLM 리랭커 학습

Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget

대규모 밀집(dense) 및 전문가 혼합(MoE) 리랭커의 학습은 GPU 메모리와 분산 실행 효율에 제약을 받으며, 이로 인해 학계의 리랭커 연구는 대체로 밀집 모델에 머물러 왔다. Tevatron은 DeepSpeed 및 PyTorch FSDP1과 함께 Hugging Face Trainer를 통해 리랭커를 학습하는데, 이 스택은 세 가지 측면에서 막힌다. DeepSpeed ZeRO-2는 이 경로에서 알려진 그래디언트 수집 실패가 있고, FSDP1 전체 샤딩은 메모리 면에서는 안전하나 처리량이 제한되며, 둘 다 MoE 학습에 필요한 전문가 병렬화(EP)를 제공하지 않는다. 우리는 Tevatron의 데이터 처리, 평가 파이프라인, Hugging Face 체크포인트 형식을 유지하면서 Megatron-Core를 리랭커 학습 백엔드로 통합한 Tevatron 3.0을 제시한다. 전체 파라미터 밀집 8B 학습에서 Megatron은 BEIR-15 NDCG@10에서 FSDP1과 동등한 성능을 보이며, 데이터 병렬 및 재계산 설정이 동일한 조건에서 에폭 시간이 약 4% 짧고 최대 GPU 메모리는 두 배이고, 권장 구성에서는 에폭 시간이 약 22% 짧다. 또한 LoRA와 전체 파라미터 미세 조정을 모두 지원한다. 전문가 병렬화 덕분에 두 개의 노드에서 300억 파라미터 MoE 리랭커(Qwen3-30B-A3B)를 학습할 수 있다. BEIR-15에서 세 가지 1단계 검색기와 Hugging Face 및 vLLM 서빙을 사용하여 아키텍처, LoRA, 증류를 통제 연구한 결과, MoE 리랭커는 활성화 파라미터가 절반 미만이면서도 밀집 8B와 동등한 품질을 보이고 추론 처리량은 더 높다. 우리는 프레임워크와 학습된 체크포인트를 오픈소스로 공개한다.

arXiv:2605.07125v2cs.IR

지나치게 단순한 그래프 휴리스틱이 순차 추천의 지름길로 풀리는 벤치마크를 드러낸다

An Embarrassingly Simple Graph Heuristic Reveals Shortcut-Solvable Benchmarks for Sequential Recommendation

순차 추천은 순차 패턴과 의미적 아이템 정보를 결합하는 생성형 추천기로 점차 옮겨 가고 있다. 그러나 이러한 방법은 흔히 널리 쓰이는 소수의 벤치마크에서 평가되며, 이는 핵심적인 의문을 낳는다. 이 벤치마크들이 현대 생성형 추천기가 제공한다고 주장하는 고급 모델링 능력을 실제로 요구하는가? 우리는 의도적으로 단순한 그래프 휴리스틱으로 벤치마크 감사를 수행한다. 이 휴리스틱은 마지막 한두 개의 상호작용 아이템만으로 시작하여, 몇 홉 범위의 아이템 전이 그래프에서 후보를 검색하고 아이템 특징 유사도로 순위를 매긴다. 시퀀스 인코더, 생성 목적 함수, 학습을 전혀 사용하지 않음에도 이 휴리스틱은 다수의 현대 기준선과 대등하거나 더 우수하며, Amazon Review Sports와 CDs에서 최고 경쟁 기준선 대비 NDCG@10이 각각 38.10%, 44.18% 상대적으로 향상된다. 우리는 이러한 현상이 특정 휴리스틱의 산물이 아니라 지름길 해결 가능성을 반영함을 보인다. 또한 다음 아이템 예측을 예상보다 쉽게 만들 수 있는 세 가지 지름길 구조, 즉 분기가 적은 국소 전이, 특징이 매끄러운 전이, 긴 사용자 이력에 대한 제한적 의존을 식별한다. 이러한 지름길이 함께 나타날 필요는 없으며, 한두 개의 강한 신호만으로도 단순한 국소 검색이 매우 경쟁력을 가질 수 있고, 이를 약화시키면 더 정교한 모델의 이점이 더 분명해진다. 14개 데이터셋 전반에서 모델 순위는 데이터셋 특성에 따라 크게 달라지지만, 이 휴리스틱은 그중 10개에서 경쟁력을 유지한다. 우리의 결과는 표준 벤치마크에서의 높은 성능이 고급 순차적, 의미적 또는 생성적 모델링 능력을 항상 입증하지는 않음을 시사한다. 우리는 새로운 추천 모델에 대한 주장을 벤치마크로 뒷받침할 때 더 신중한 데이터셋 선택과 데이터셋 수준의 진단 분석을 수행할 것을 촉구한다.

arXiv:2604.06098v3cs.IR

JUÁ: 브라질 법률 텍스트 컬렉션을 위한 정보 검색 벤치마크

JU\'A -- A Benchmark for Information Retrieval in Brazilian Legal Text Collections

포르투갈어 법률 정보 검색은 사용 가능한 데이터셋이 문서 유형, 질의 방식, 관련성 정의 면에서 크게 다르기 때문에 체계적으로 평가하기가 여전히 어렵다. 우리는 이질적인 법률 컬렉션 전반에서 더 재현 가능하고 비교 가능한 평가를 지원하도록 설계된 브라질 법률 검색용 공개 벤치마크 JUÁ를 제시한다. 더 넓게 보면 JUÁ는 단순한 벤치마크가 아니라, 공유 프로토콜, 공통 순위 지표, 해당되는 경우 고정된 데이터 분할, 공개 리더보드를 결합한 브라질 법률 정보 검색을 위한 지속적 평가 인프라를 지향한다. 이 벤치마크는 판례 검색뿐 아니라 더 폭넓은 법령, 규제, 질문 중심 법률 검색을 포괄한다. 우리는 어휘 기반, 밀집 기반, BM25 기반 재순위화 파이프라인을 평가하며, 여기에는 JUÁ에 정렬된 지도로 미세 조정한 도메인 적응 Qwen 임베딩 모델도 포함된다. 결과는 이 벤치마크가 검색 패러다임을 구분하기에 충분히 이질적이며 데이터셋 간의 상당한 트레이드오프를 드러냄을 보여 준다. 도메인 적응은 지도가 정렬된 JUÁ-Juris 부분집합에서 가장 뚜렷한 이득을 보이는 반면, BM25는 특히 어휘적·제도적 표현 단서가 강한 환경에서 다른 컬렉션에서도 여전히 매우 경쟁력이 있다. 전반적으로 JUÁ는 공통의 벤치마크 설계 아래 여러 브라질 법률 분야에 걸쳐 법률 검색을 연구하기 위한 실용적인 평가 프레임워크를 제공한다.

arXiv:2505.17861v2cs.AI

슈퍼플랫폼은 전략적으로 AI 에이전트에 대응할 수밖에 없다

Superplatforms are Strategically Compelled to Counteract AI Agents

지난 수십 년간 슈퍼플랫폼, 즉 방대한 범위의 제3자 서비스와 애플리케이션을 하나의 통합 생태계로 묶는 디지털 기업들은 맞춤형 광고와 알고리즘 기반 콘텐츠 큐레이션을 통해 사용자 주의를 독점함으로써 부를 쌓아 왔다. 그러나 대규모 언어 모델(LLM)이 구동하는 AI 에이전트의 등장은 이러한 비즈니스 모델을 뒤흔들 위협이 되고 있다. 에이전트는 여러 플랫폼에 걸쳐 자율적으로 동작함으로써 사용자의 주의를 해방시켜 사용자 주의 기반 수익화를 우회할 수 있을 뿐만 아니라, 디지털 트래픽의 새로운 진입로가 될 수도 있다. 따라서 본 논문은 슈퍼플랫폼이 디지털 트래픽 진입로에 대한 중앙집중적 통제를 방어하기 위해 AI 에이전트를 공격해야 한다고 주장한다. 구체적으로, 우리의 게이트키핑 이론의 관점에서 사용자 주의 기반 수익화와 에이전트 주도 자율성 사이의 근본적 충돌을 분석한다. AI 에이전트가 슈퍼플랫폼을 탈중개화하고 잠재적으로 차세대 지배적 게이트키퍼가 될 수 있음을 보이며, 이로써 슈퍼플랫폼이 AI 에이전트를 선제적으로 제약하고 공격해야 할 시급한 필요성이 형성됨을 설명한다. 더 나아가 슈퍼플랫폼이 주도하는 공격을 위한 잠재 기술을 검토하며, 고유한 난제를 지닌 전혀 새롭고 탐구되지 않은 기술 영역을 다룬다. 강조해야 할 점은, 본 논문의 입장과는 별개로 슈퍼플랫폼이 AI 에이전트에 적대적 공격을 가하는 것을 옹호하지 않으며, 슈퍼플랫폼과 AI 에이전트 사이에 부상하는 긴장을 부각하기 위해 예상되는 추세를 제시한다는 것이다. 우리의 목표는 AI 에이전트 시대에 사용자 이익을 우선하고 디지털 생태계의 개방성을 보존하는 협력적 해법을 위해 인식을 높이고 비판적 논의를 촉진하는 것이다.

arXiv:2611.09472v1cs.AI

ENGRAM: 검증된 통합을 통한 에이전트 경험에서 가중치로의 전환

ENGRAM: From Agent Experience to Weights through Verified Consolidation

언어 모델 에이전트는 외부 검색과 파라미터 학습을 통해 경험을 활용한다. 저장된 경험을 모델 가중치로 통합하려면 어떤 경험으로 학습할지와 해당 외부 기록을 언제 검색 대상에서 제외할 수 있는지를 모두 결정해야 한다. 학생 모델의 숙달도에만 기반한 허용은 유용한 교사 시연을 배제할 수 있으며, 학습 직후의 제거는 모델이 여전히 필요로 하는 지침을 폐기할 수 있다. 본 논문은 학습 허용과 메모리 해제를 분리하는 프레임워크 ENGRAM을 소개한다. 시연 인식 게이트는 학생의 숙달도 또는 충분한 성공적 교사 시연에 기반하여 스킬을 허용한다. 학생은 Engram Trace Graph(ETG)의 문맥과 함께 선택된 행동 궤적으로부터 학습한다. 이후 검증 게이트는 별도로 확보한 프로브에서 에피소드 검색 없이 갱신된 모델을 검색을 사용하는 기본 모델과 비교한다. 해제를 위해서는 유효한 학습 참여와 상대 기준 및 절대 기준을 모두 충족하는 점수가 필요하며, 검증에 실패한 스킬의 기록은 계속 검색 가능한 상태로 남는다. 상호작용 및 추론 벤치마크 전반의 실험에서 가중치를 고정한 ETG 통제 모델 대비 일관된 향상을 보였고, 어블레이션은 시연 인식 허용과 선택적 어댑터 활성화를 뒷받침한다. 통제된 보류 데이터 비교에서 검증된 해제는 전체 보존 방식에 가까운 성능을 유지하면서 검색 가능한 규모를 크게 줄이고, 즉시 해제 및 예산이 동일한 무작위 해제보다 우수하다. 또한 ENGRAM은 입력 토큰 사용량과 모델 호출을 줄이면서 과제 성능도 향상시킨다. 스킬 수준 검증은 선택적 보관을 통해 검색 가능한 경험을 추가로 줄이며, 해제 기준을 충족하지 못한 스킬에 대해서는 외부 지침을 유지한다. 코드는 anonymous.4open.science/r/engram-anonymous 에서 이용할 수 있다.

arXiv:2611.09194v1cs.AI

특허 혁신의 분류와 매핑을 위한 대규모 언어 모델 합의 및 코퍼스 적응형 토픽 모델링

Large Language Model Consensus and Corpus-Adaptive Topic Modeling for Classifying and Mapping Patent Innovation

특허 분석은 트랜스포머 표현과 대규모 언어 모델(LLM)에 점점 더 의존하고 있으나, 개념적 분류, 토픽 형성, 해석을 연결하려면 모델의 역할과 각 단계에서 보존할 근거에 대한 명시적인 결정이 필요하다. 본 설계 중심 연구에서는 이러한 작업들을 연결하고 각 결정을 감사할 수 있도록 열어 두는 특허 분석 파이프라인을 제안하고 시연한다. 세 개의 LLM이 각 특허를 신규성(급진적 또는 점진적)과 혁신 유형(제품, 공정, 서비스)에 따라 개별적으로 분류한다. 급진적 라벨과 혁신 유형 라벨은 각각 두 표의 지지가 필요하며, 점진적은 신규성 라벨의 대체값으로 사용된다. 토픽은 PatentSBERTa 임베딩을 클러스터링하여 발견하며, 매개변수 범위는 코퍼스 크기에 맞게 조정된다. 특허 전용 불용어 목록은 토픽을 클래스 기반 용어 빈도-역문서 빈도(c-TF-IDF)로 표현할 때만 적용되고, 두 번째 임베딩 모델은 토픽 간 유사도, 계층적 정제, 시각화를 지원한다. 이후 LLM이 순위가 매겨진 키워드와 대표 특허를 바탕으로 각 토픽에 라벨을 부여한다. 이 파이프라인을 Lens.org에서 수집한 공공 부문 관련 특허 30,964건에 시연한다. 591건에서 29,215건에 이르는 다섯 개의 범주 코퍼스 전반에서 파이프라인은 74개의 범주별 토픽 인스턴스를 생성했으며, 매크로 평균 문서 포괄률은 98.1%, 토픽 다양성은 0.900–1.000이었고, 분류 출력의 1% 미만이 UNKNOWN을 반환했다. 모든 모델 투표와 각 토픽 라벨의 근거가 보존되므로 분석가는 출력을 감사하고 수정할 수 있다. 본 시연은 파이프라인의 실현 가능성과 추적 가능성을 입증하며, 라벨을 전문가 코딩과 대조해 검증하고 대안 파이프라인과 비교 평가하는 것을 다음 단계로 제시한다. 이 파이프라인은 기술 인텔리전스에서 LLM 지원 특허 분석을 위한 재사용 가능한 기반을 제공한다.

arXiv:2605.24297v3cs.IR

특허 임베딩 벤치마킹: 검색, 분류, 군집화에 걸친 22개 모델의 다중 과제 평가

Benchmarking Patent Embeddings: A Multi-Task Evaluation of 22 Models Across Retrieval, Classification, and Clustering

특허 임베딩을 활용하는 실무자에게는 두 가지 질문이 제기된다. (i) 하나의 미세 조정 방식이 모든 하위 응용에 충분한가? (ii) 한 특허 영역에서의 미세 조정이 다른 영역에 대한 하위 응용에도 충분한가? 보조기술 분야의 WIPO 특허 113,148건(인용 질의 46,069건)과 외부 DAPFAM 데이터셋에서, 22M부터 12B 파라미터에 이르는 22개의 사전 학습 임베딩 모델을 정보 검색, 분류, 군집화의 세 가지 과제로 평가한 결과, 통념에 의문을 제기하는 두 가지 결과를 얻었다. (i) 최적의 미세 조정 방식은 하위 과제에 따라 달라진다. 횡단면 정렬(방식 R3)은 검색 성능을 가장 크게 향상시키는 반면(nDCG@10 +7.1%), 결합 신호 방식(방식 R4)은 분류(F1 +7.1)와 군집화(V-measure +10.9)에 더 적합하다. 데이터를 맞춘 통제 실험은 학습 데이터셋 크기의 차이가 원인이 아님을 확인해 준다. (ii) 단일 영역 미세 조정은 영역 간 정보 검색을 저해한다. 한 영역에서의 미세 조정은 DAPFAM 코퍼스에서 8개 모델-방식 조합 중 5개에서 영역 간 검색 성능을 유의하게 저하시키며, 제로샷 성능이 더 강한 모델일수록 피해가 크다. 동일 계열 내 규모 확장은 일관되지만(Qwen3 0.6B->4B->8B; Llama-Nemotron 1B->8B), 계열 간 규모 확장은 불규칙하다. 12B KaLM-Gemma3는 접두사 수정 후 TAC 검색 성능에서 8위를 기록했다. 제목+초록+청구항이 어디서나 최적의 텍스트 뷰이며, 모든 모델은 도메인 내(IN)와 도메인 외(OUT) 성능 사이에 55-65%의 격차를 보이는데, 이는 BM25와 밀집 벡터의 하이브리드 융합으로도 완화되지 않는다. 코드와 평가 프레임워크는 공개되어 있다.

arXiv:2601.01930v4cs.IR

MCGI: 십억 규모 디스크 상주 벡터 검색을 위한 다양체 일관 그래프 인덱싱

MCGI: Manifold-Consistent Graph Indexing for Billion-Scale Disk-Resident Vector Search

그래프 기반 근사 최근접 이웃(ANN) 검색은 탐욕적 라우팅이 데이터의 하부 다양체에서 벗어나는 유클리드-측지 불일치로 인해 고차원 공간에서 성능 저하를 겪는 경우가 많다. 이 문제를 해결하기 위해 본 논문은 지역 내재 차원(Local Intrinsic Dimensionality, LID)을 활용하여 데이터의 내재적 기하에 따라 그래프 인덱스의 탐색 노력을 배분하는, 기하 인지형 디스크 상주 인덱싱 방법인 다양체 일관 그래프 인덱싱(Manifold-Consistent Graph Indexing, MCGI)을 제시한다. 구체적으로 MCGI는 각 질의의 탐색 과정에서 이미 계산된 거리로부터 해당 질의 주변의 LID를 추정하고 질의의 후보 리스트 크기를 한 번 조정하여, LID가 높은 영역의 질의에는 더 긴 리스트를 할당하고 LID가 낮은 영역의 질의는 더 일찍 종료하도록 한다. 이 추정에는 추가적인 디스크 읽기가 필요하지 않다. 이론적 분석은 임의의 고정된 탐색 리스트의 성공 확률이 질의의 LID에 대해 지수적으로 감소함을 보인다. 동일한 높은 재현율에서 MCGI는 동일한 표준 Vamana 인덱스 상의 DiskANN 대비 질의 처리량을 세 개의 백만 규모 벤치마크에서 최대 $1.43\times$, 십억 규모의 SIFT1B와 Deep1B에서 최대 $1.24\times$ 향상시킨다.

arXiv:2611.09274v1cs.LG

FondueQA: 멀티홉 QA에서 매개변수적 보상을 평가하기 위한 벤치마크

FondueQA: A Benchmark for Evaluating Parametric Compensation in Multi-Hop QA

대규모 언어 모델(LLM)은 매개변수적 지식, 즉 모델 가중치에 내재화된 사실과 연관성을 상기하는 능력을 바탕으로 뛰어난 성능을 보인다. 그러나 기존의 멀티홉 벤치마크에서 이 능력을 연구하는 것은 벤치마크 오염 때문에 복잡해질 수 있는데, 이들 벤치마크 다수가 현대 사전 학습 말뭉치에 포함되었을 법할 만큼 오랫동안 공개되어 왔기 때문이다. 그 결과 증거가 없는 상태에서의 정답은 일반적인 매개변수적 지식을 반영하거나 벤치마크 특정 사례의 암기를 반영할 수 있다. 검색 증거가 불완전할 때 모델이 내부 지식을 어떻게 사용하는지 연구하기 위해, 필요한 모든 멀티홉 사실이 지정된 증거 문서에 고유하게 국한되는 FondueQA를 제안한다. 이를 통해 불완전한 검색 상황에서의 매개변수적 보상을 연구하기 위한 통제된 문서 수준 증거 제거가 가능하다. 실험 평가 결과, 매개변수적 보상은 개체의 인기도와 누락된 증거의 구조적 역할 모두에 크게 의존함이 드러났다. 일반적으로 모델은 인기 있는 개체와 관련된 사실을 더 성공적으로 보상한다. FondueQA에서 우리는 연결(bridging) 증거가 정답을 담은 문서 자체보다 더 유용할 수 있음을 보인다. 또한 모델은 누락된 사실을 단독으로는 상기할 수 있으나 부분적인 증거 하에서는 이를 활용하지 못할 수 있으며, 특히 맥락에 그럴듯한 경쟁 개체가 포함된 경우 정확 일치(Exact Match)가 최대 15%p까지 감소할 수 있다.

arXiv:2611.09200v1cs.IR

DRiLL에서의 베트남 법령 조문 검색을 위한 구조 및 계보 근거

Structure and Lineage Evidence for Vietnamese Statutory Article Retrieval on DRiLL

본 논문은 조항 식별과 국소 형식, 동일 법률 지지, 인용 및 계보 근거에 대한 특징을 사용하여 DRiLL에서 베트남 법령 조문 검색을 연구한다. 다섯 개의 무작위 시드에 걸쳐, 후보, 리스트와이즈 Qwen 근거, 학습기 설정을 공유하는 선택기들은 공식 $F_2$를 71.77%에서 72.91%로 향상시키며, 서술적으로 가장 큰 향상은 두 개 조문을 묻는 질문에서 나타난다. 추가된 특징은 제안한 선택기의 전체 결정 트리 분할 이득(학습 목적 함수 감소량으로 측정)의 18.20%를 차지하며, 이는 주로 동일 법률 및 인용 근거에서 비롯된다. 사례 분석은 기본 조항과 개정 조항, 동반 조문 복구, 방해 요소 제거, 그리고 실패 사례를 보여 준다. 이러한 결과는 개별 특징의 효과를 규명하거나 LightGBM, 수작업 점수, 명시적 그래프를 요구하지 않으면서도 다른 데이터셋, 표현, 학습기에 대한 연구의 필요성을 뒷받침한다.