PyTorchKR Papers

최신 논문

총 1,220편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2603.23710cs.DB

An In-Depth Study of Filter-Agnostic Vector Search on a PostgreSQL Database System: [Experiments and Analysis]

현대의 생성형 AI(Generative Artificial Intelligence, GenAI)와 시맨틱 검색(Semantic Search) 환경에서는 벡터 임베딩(Vector Embeddings)과 구조화된 데이터 필터를 결합하여 검색하는 필터 결합 벡터 검색(Filtered Vector Search, FVS)의 중요성이 그 어느 때보다 강조되고 있습니다. 하지만 기존의 많은 연구는 HNSWLib과 같은 독립적인 벡터 검색 라이브러리 환경에서 거리 계산 횟수를 최적화하는 데만 집중해 왔으며, 이는 실제 기업용 데이터베이스 시스템이 가진 복잡한 물리적 계층과 시스템 오버헤드를 충분히 반영하지 못하는 한계가 있었습니다. 본 연구는 이러한 기존의 낙관적인 가정을 비판적으로 검토하며, 실제 운영 환경인 PostgreSQL(포스트그레스큐엘) 시스템상에서 필터에 구애받지 않는(Filter-agnostic) FVS 알고리즘의 성능 특성을 심층적으로 분석한 최초의 사례를 제시합니다. 연구진은 포스트그레스큐엘의 확장 모듈인 PGVector(피지벡터)와 ScaNN(스캔)을 활용하여 선택도(Selectivity)와 상관관계(Correlation)에 따른 포스트 필터링(Post-filtering) 및 인라인 필터링(Inline-filtering) 전략을 체계적으로 평가하였습니다. 특히 그래프 기반 방식인 HNSW(Hierarchical Navigable Small World)와 NaviX(나빅스)/ACORN(에이콘), 그리고 클러스터링 기반 방식인 ScaNN의 성능을 비교 분석한 결과, 이론적인 거리 계산 효율성보다 페이지 접근(Page Accesses)이나 버퍼 관리자(Buffer Manager) 호출과 같은 시스템 수준의 비용이 알고리즘의 실제 우열을 결정짓는 핵심 요인임을 입증하였습니다. 실험 데이터에 따르면, 동일한 알고리즘이라도 데이터베이스 시스템 내에서는 라이브러리 환경 대비 지연시간(Latency)이 최대 10배까지 증가할 수 있으며, 이는 필터 평가를 위한 튜플 액세스(Tuple Access) 비용이 전체 성능의 지배적인 변수로 작용하기 때문입니다. 이러한 결과는 단순히 거리 계산 횟수를 줄이는 것뿐만 아니라, 메타데이터 레이아웃과 데이터 액세스 패턴을 최적화하는 시스템 인지형(System-aware) 알고리즘 설계가 필수적임을 시사합니다. 또한 연구진은 64개의 하이퍼스레드를 지원하는 AMD EPYC(에픽) CPU와 대규모 데이터셋을 사용하여 다양한 워크로드 조건에서의 성능 역전 지점(Cross-over point)을 정밀하게 도출하였습니다. 그래프 기반 설계에서는 탐색 과정의 홉(Hop) 수를 줄이고 불필요한 필터 체크를 최소화하는 유도 탐색(Directed Search) 방식이 유효함을 확인하였으며, 클러스터링 기반 방식은 양자화(Quantization)를 통한 SIMD(Single Instruction, Multiple Data) 가속의 이점이 시스템 오버헤드에 의해 상쇄될 수 있다는 독특한 양상을 발견하였습니다. 결과적으로 본 논문은 워크로드의 특성과 하부 데이터베이스 아키텍처의 상호작용을 고려한 실질적인 가이드라인을 제공함으로써, 차세대 벡터 검색 시스템 구축을 위한 학술적 및 실무적 토대를 마련하였습니다.

arXiv:2603.22231cs.IR

One Model, Two Markets: Bid-Aware Generative Recommendation

최근 TIGER(Generative Retrieval with Semantic IDs)와 같은 시맨틱 ID(Semantic ID) 기반 생성형 추천 시스템은 순차적 추천 분야에서 강력한 성능을 보여주며 주류 패러다임으로 부상했습니다. 하지만 기존 모델들은 주로 사용자의 의미적 맥락을 파악하는 시맨틱 검색에만 초점을 맞추고 있어, 실제 플랫폼 운영에 필수적인 광고 수익화나 입찰가 반영과 같은 상업적 요구사항을 유연하게 처리하지 못하는 한계가 존재합니다. 이러한 배경에서 제안된 GEM-Rec(Unified Framework for Bid-Aware Generative Recommendation)은 유기적 추천과 상업적 광고를 단일 생성 시퀀스 내에서 통합하여 관리하는 혁신적인 구조를 제시합니다. ### 제어 토큰과 학습 전략을 통한 의사결정의 분리 본 연구의 핵심 방법론인 제어 토큰(Control Tokens)은 광고 노출 여부와 구체적인 아이템 선정을 분리하여 모델이 과거의 성공적인 광고 배치 패턴을 상호작용 로그로부터 직접 학습할 수 있게 합니다. 이를 통해 모델은 사용자 경험을 해치지 않는 최적의 광고 삽입 시점을 스스로 판단하며, 유기적 아이템과 유료 광고 아이템을 단일 어휘집 내에서 조화롭게 생성합니다. 이러한 접근은 복잡한 다중 모델 아키텍처 없이도 단일 모델 내부에서 시맨틱 검색의 정확성과 마켓플레이스의 제약 조건을 동시에 소화할 수 있는 강력한 기반이 됩니다. ### 입찰가 인식 디코딩을 통한 실시간 경제성 최적화 제어 토큰을 보완하는 입찰가 인식 디코딩(Bid-Aware Decoding) 메커니즘은 실시간으로 변동하는 입찰 정보를 추론 과정에 직접 주입함으로써, 모델의 재학습 없이도 고가치 아이템으로의 생성을 효과적으로 유도합니다. 특히 각 토큰 생성 단계에서 로그 확률에 입찰가 기반의 가중치를 더하는 방식은 시맨틱 관련성과 경제적 가치 사이의 최적의 균형점을 찾아내는 정교한 조향 장치 역할을 수행합니다. 이는 플랫폼이 람다(Lambda)와 같은 하이퍼파라미터를 통해 유저 만족도와 매출 증대라는 두 가지 상충하는 목표를 실시간으로 조절할 수 있게 합니다. ### 할당 단조성 보장과 시장 설계로의 기여 이론적 측면에서 본 논문은 할당 단조성(Allocative Monotonicity)을 증명하여, 다른 조건이 동일할 때 광고주가 높은 입찰가를 제시할수록 광고 노출 확률이 감소하지 않고 유지되거나 증가함을 수학적으로 보장합니다. 이러한 성질은 광고주에게 예측 가능하고 공정한 기회를 제공하는 마켓플레이스의 기본 원칙을 충실히 따르는 것입니다. 또한 GEM-Rec은 1순위 가격 경매(First-price auctions) 시스템과 같은 실제 광고 시장의 인터페이스와 긴밀하게 호환되어 실무적인 적용 가능성을 극대화하였습니다. 결과적으로 본 프레임워크는 생성형 AI 기술이 단순한 정보 제공을 넘어 실제 상업적 검색 및 추천 환경에서 강력한 시장 설계 도구로 활용될 수 있는 중요한 기술적 이정표를 제시합니다.

arXiv:2603.15726cs.CL

MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification

우리는 복잡한 장기 추론 작업을 위해 설계된 새로운 연구 에이전트(agent)인 MiroThinker-1.7을 제시합니다. 이러한 기반을 바탕으로, 보다 신뢰할 수 있는 다단계 문제 해결을 위해 에이전트를 고강도 추론 능력으로 확장한 MiroThinker-H1을 추가로 소개합니다. 특히 MiroThinker-1.7은 구조화된 계획, 문맥 기반 추론, 그리고 도구 상호작용을 강조하는 에이전트 중심의 중간 학습 단계를 통해 각 상호작용 단계의 신뢰성을 향상시킵니다. 이를 통해 복잡한 작업 전반에 걸쳐 보다 효과적인 다단계 상호작용과 지속적인 추론이 가능해집니다. 나아가 MiroThinker-H1은 지역적 및 전역적 수준 모두에서 검증 단계를 추론 과정에 직접 통합합니다. 결과적으로 추론(inference) 과정 중 중간 결정들을 평가하고 개선할 수 있으며, 최종 답변이 일관된 증거 사슬에 의해 뒷받침되도록 전체 추론 궤적을 검토할 수 있습니다. 오픈 웹 연구, 과학적 추론, 재무 분석을 아우르는 벤치마크(benchmark) 전반에서 MiroThinker-H1은 심층 연구 작업에 대해 최고 수준의 성능을 달성함과 동시에 특화된 도메인에서도 강력한 결과를 유지합니다. 마지막으로, 대폭 향상된 효율성과 함께 경쟁력 있는 연구 에이전트 기능을 제공하는 오픈소스 모델(model)로서 MiroThinker-1.7과 MiroThinker-1.7-mini를 함께 공개합니다.

arXiv:2602.18283cs.IR

HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

긴 사용자 행동 시퀀스를 모델링하는 것은 생성 추천 시스템에서 중요한 과제가 되었습니다. 기존 솔루션은 효율성을 위해 상태 용량이 제한된 선형 어텐션 메커니즘과 계산 비용이 큰 소프트맥스 어텐션 간의 딜레마에 직면해 있습니다. 이를 해결하기 위해 HyTRec라는 하이브리드 어텐션 아키텍처를 제안합니다. 이 모델은 장기적으로 안정적인 선호도를 단기적인 의도 변화와 명확히 분리하여 처리합니다. 방대한 역사적 시퀀스는 선형 어텐션 브랜치에 할당하고 최근 상호작용을 위한 소프트맥스 어텐션 브랜치를 따로 두어 산업 규모의 컨텍스트에서 정확한 검색 기능을 복원합니다. 또한, 선형 레이어에서의 빠른 관심 변화 포착 지연을 완화하기 위해 Temporal-Aware Delta Network (TADN)를 설계하여 새로운 행동 신호를 동적으로 강조하고 역사적 잡음을 효과적으로 억제합니다. 실험 결과, 본 모델은 선형 추론 속도를 유지하면서 강력한 기준 모델들을 초월하는 성능을 입증하였으며, 특히 초장기 시퀀스를 가진 사용자에 대해 Hit Rate가 8% 이상 향상되었습니다.

arXiv:2602.05014cs.AI

DeepRead: Document Structure-Aware Reasoning to Enhance Agentic Search

DeepRead는 긴 문서에서 질문 응답의 효율성을 높이기 위해 문서 구조를 인식하는 다단계 추론 에이전트를 제안합니다. 기존의 Retrieval-Augmented Generation (RAG) 시스템은 긴 문서를 평면적으로 처리하여 문서의 고유한 계층적 조직 및 담론 구조를 충분히 활용하지 못했습니다. 이를 해결하기 위해 DeepRead는 LLM(대형 언어 모델) 기반의 OCR(광학 문자 인식) 모델을 활용하여 PDF 문서를 구조화된 Markdown 형식으로 변환하고, 각 단락에 섹션 정체성과 순서를 인코딩하는 좌표 스타일의 메타데이터를 할당합니다. 이러한 구조적 표현을 바탕으로 DeepRead는 Retrieve와 ReadSection이라는 두 가지 보완적인 도구를 LLM에 통합하여, 문서 내에서 관련 단락을 효과적으로 검색하고, 지정된 섹션 및 단락 범위 내에서 연속적으로 읽을 수 있는 기능을 제공합니다. DeepRead의 혁신적인 접근 방식은 문서의 계층 구조와 순차적 선행 지식을 활용하여, 인간과 유사한 "위치 확인 후 읽기" 행동 패턴을 구현합니다. 실험 결과, DeepRead는 기존의 Search-o1 스타일 에이전틱 검색보다 문서 질문 응답에서 유의미한 성과를 보여주었으며, 검색과 읽기 도구 간의 시너지 효과도 검증되었습니다. 이러한 성과는 긴 문서와 다단계 시나리오에서 정보 검색의 비효율성을 극복하는 데 기여합니다. DeepRead의 주요 기여는 구조 인식 문서 추론 프레임워크를 통해 문서 질문 응답의 효율성을 크게 향상시킨 점입니다. 이 시스템은 다양한 벤치마크에서 일관된 성과를 달성하며, 세밀한 행동 분석을 통해 구조적 선행 지식과 에이전틱 도구 간의 상호작용을 입증합니다. 이러한 연구는 정보 검색의 새로운 가능성을 열어주며, 향후 다양한 도메인에서의 적용 가능성과 구조적 인식 능력의 발전을 위한 기초를 마련합니다.

arXiv:2601.11888cs.IR

Agentic-R: Learning to Retrieve for Agentic Search

에이전트 검색은 복잡한 질문을 해결하기 위해 다단계 추론과 필요에 따라 검색을 결합하는 강력한 패러다임으로 최근 주목받고 있다. 그러나 에이전트 검색을 위한 검색기 설계는 아직 충분히 탐구되지 않았으며, 기존의 유사성 기반 검색기는 최종 답변 생성을 위한 유용한 정보를 제공하지 못하는 경우가 많다. 본 연구에서는 에이전트 검색에 최적화된 새로운 검색기 훈련 프레임워크인 **Agentic-R**를 제안한다. 제안된 방법론은 지역 쿼리-구문 관련성과 전역 답변 정확성을 모두 고려하여 구문 유용성을 평가하는 데 중점을 둔다. 이는 다단계 에이전트 검색의 요구를 충족시키기 위해 설계되었으며, 검색 에이전트와 검색기가 양방향으로 반복적으로 최적화되는 훈련 전략을 도입하여 지속적인 성능 향상을 목표로 한다. 기존의 검색기 모델들이 고정된 질문으로 한 번만 훈련되는 것과 달리, **Agentic-R**는 에이전트로부터 진화하는 고품질 쿼리를 활용하여 지속적으로 개선된다. 본 연구는 일곱 개의 단일 홉 및 다중 홉 질문 응답(QA) 벤치마크에서 **Agentic-R**의 성능을 평가하였으며, 다양한 검색 에이전트와의 비교를 통해 우수성을 입증하였다. 실험 결과는 **Agentic-R**가 기존의 강력한 기준선을 초과하는 성능을 보여주며, 제안된 훈련 프레임워크의 효과성을 입증한다. 이 연구는 에이전트 검색 분야에서의 새로운 접근 방식을 제안하며, 검색기 설계에 대한 중요한 통찰을 제공한다. 향후 연구에서는 이 프레임워크를 더욱 발전시키고 다양한 도메인에 적용할 수 있는 가능성을 탐구할 예정이다. **Agentic-R**는 에이전트 검색의 성능을 향상시키는 데 기여할 것으로 기대되며, 다양한 응용 분야에서 활용될 수 있는 잠재력을 지니고 있다.

arXiv:2509.18095cs.IR

MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction

멀티모달 검색(multimodal retrieval)은 텍스트와 이미지가 함께 담고 있는 의미적 연관성을 정밀하게 포착해야 하므로, 표현력과 효율성을 동시에 만족시키는 임베딩 설계가 핵심 과제로 부각되어 왔습니다. 그러나 기존 방법은 쿼리와 후보를 하나의 벡터로 압축해 세밀한 정보를 놓치거나, 반대로 너무 많은 벡터를 생성해 다중 벡터 검색(multi-vector retrieval)의 비용이 과도하게 커지는 한계를 지니고 있었습니다. MetaEmbed는 이러한 양극단의 문제를 해결하기 위해, 학습 가능한 메타 토큰(Meta Tokens)을 입력 시퀀스에 추가하고 추론 시에는 이 토큰들의 마지막 층 표현만을 추출하여 압축적이면서도 표현력이 높은 다중 벡터 임베딩으로 사용하는 방식을 제안합니다. 이때 비전-언어 모델(vision-language model)은 원본 텍스트와 시각 패치를 처리하는 동시에 메타 토큰에 의미를 응축시키므로, 적은 수의 벡터만으로도 입력 전체의 문맥을 효과적으로 보존할 수 있습니다. 방법론의 핵심은 늦은 상호작용(late interaction)을 유지하면서도 그 표현 단위를 유연하게 재구성하는 데 있습니다. 쿼리와 후보는 각각 여러 개의 메타 임베딩으로 표현되고, 각 쿼리 벡터는 후보 벡터 집합과의 내적 중 최대값을 취해 누적되므로, 단일 전역 벡터가 포착하기 어려운 부분 정합을 세밀하게 반영할 수 있습니다. 여기에 매트료시카 다중 벡터 검색(Matryoshka Multi-Vector Retrieval, MMR) 학습을 결합하여, 앞부분 접두사(prefix)만으로도 동작하는 여러 해상도의 표현을 중첩적으로 학습합니다. 즉, 작은 접두사는 빠른 요약 표현으로, 더 큰 접두사는 정밀한 표현으로 활용되며, 각 그룹은 정보의 거칠기에서 세밀함으로 이어지는 계층적 구조를 공유하게 됩니다. 학습 과정에서는 각 접두사 그룹에 대해 정보잡음대조 추정(InfoNCE) 손실을 적용하고, 배치 내 음성뿐 아니라 hard negative까지 함께 포함함으로써 판별력을 강화합니다. 이러한 설계는 각 해상도의 벡터 집합이 독립적으로도 유의미한 검색기를 이루도록 만들면서, 동시에 서로 일관된 표현 계층을 형성하게 합니다. 그 결과 테스트 시점에는 검색 예산과 지연 시간 요구에 따라 사용할 벡터 수를 조절할 수 있어, 추가 학습 없이도 정확도와 효율성 사이의 균형을 세밀하게 맞출 수 있습니다. 다시 말해 MetaEmbed는 단순히 임베딩을 압축하는 데 그치지 않고, 운영 환경의 제약에 따라 검색 성능을 점진적으로 확장할 수 있는 test-time scaling을 실현합니다. 대규모 멀티모달 임베딩 벤치마크(Massive Multimodal Embedding Benchmark, MMEB)와 시각 문서 검색 벤치마크(Visual Document Retrieval Benchmark, ViDoRe)에서의 광범위한 평가는 이러한 설계가 높은 검색 성능과 우수한 확장성을 동시에 제공함을 보여주며, 특히 32B 규모 모델에서도 안정적으로 작동하는 강점을 확인시켜 줍니다.

arXiv:2512.19134cs.CL

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

QuCo-RAG는 대규모 언어 모델(LLM)의 생성 과정에서 동적으로 검색 시점을 결정하여 허위 정보를 완화하는 혁신적인 방법론이다. 기존의 접근 방식은 모델 내부 신호에 의존하였으나, 이는 LLM이 종종 잘 보정되지 않고 잘못된 출력에 대해 높은 신뢰도를 보이는 문제를 안고 있다. 본 연구에서는 이러한 한계를 극복하기 위해 주관적인 신뢰도 대신 사전 학습 데이터에서 계산된 객관적인 통계로 불확실성을 정량화하는 새로운 방법을 제안한다. QuCo-RAG의 불확실성 정량화는 두 가지 주요 단계로 구성된다. 첫 번째 단계에서는 생성 전에 긴 꼬리 지식 격차를 나타내는 저빈도 엔티티를 식별한다. 두 번째 단계에서는 생성 중에 사전 학습 데이터에서 엔티티의 동시 발생을 검증하여, 동시 발생이 0일 경우 허위 정보의 위험을 신호한다. 이러한 두 단계는 Infini-gram을 활용하여 4조 개의 토큰에 대해 밀리초 지연 쿼리를 수행함으로써 불확실성이 높은 상황에서 검색을 트리거한다. 실험 결과, QuCo-RAG는 다단계 질문 응답(QA) 벤치마크에서 OLMo-2 모델을 사용하여 최신 기준선보다 5-12 포인트의 정확도(EM) 향상을 달성하였다. 또한, 비공식 사전 학습 데이터를 가진 모델(Llama, Qwen, GPT)에서도 효과적으로 이전되어 EM을 최대 14 포인트 향상시켰다. 생물 의학 QA에서의 도메인 일반화 실험은 QuCo-RAG의 강건성을 추가로 검증하였다. QuCo-RAG는 사전 학습 코퍼스를 기반으로 한 검증을 통해 동적 검색 증강 생성의 새로운 패러다임을 제시하며, 이는 모델 비의존적인 접근 방식으로 다양한 LLM에 적용 가능하다. 이러한 연구는 허위 정보의 위험을 줄이는 데 기여하며, 향후 다양한 도메인에 적용할 수 있는 가능성을 탐색할 예정이다.

arXiv:2510.27246cs.CL

Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs

대규모 언어 모델(LLMs)의 장기 기억 및 긴 맥락 추론 능력은 대화와 같은 복잡한 상황에서 필수적인 요소로, 이를 효과적으로 평가하기 위한 기존 벤치마크의 한계가 존재합니다. 기존의 벤치마크는 내러티브 일관성이 부족하고, 좁은 도메인에 국한되며, 단순한 회상 작업만을 테스트하는 경향이 있습니다. 이러한 문제를 해결하기 위해 새로운 접근법이 필요하며, 본 연구는 이를 위한 포괄적인 솔루션을 제시합니다. 연구의 첫 번째 주요 기여는 최대 10M 토큰으로 구성된 일관되고 주제적으로 다양한 대화를 자동으로 생성하는 새로운 프레임워크를 개발한 것입니다. 이 프레임워크는 다양한 기억 능력을 평가하기 위한 질문을 포함하여, 100개의 대화와 2,000개의 검증된 질문으로 구성된 새로운 벤치마크인 BEAM을 구축합니다. BEAM은 LLM의 장기 기억 능력을 보다 정교하게 평가할 수 있는 기초 자료로 활용될 수 있습니다. 두 번째 기여는 인간의 인지에서 영감을 받은 LIGHT 프레임워크를 제안하여 LLM에 세 가지 보완적 기억 시스템을 통합한 것입니다. 이 시스템은 장기 에피소드 기억, 단기 작업 기억, 그리고 중요한 사실을 축적하기 위한 스크래치패드를 포함하여, LLM의 성능을 향상시키는 데 기여합니다. 실험 결과, LIGHT 프레임워크는 다양한 모델에서 일관되게 성능을 개선하며, 평균적으로 3.5%-12.69%의 성능 향상을 달성했습니다. 이 연구는 LLM의 장기 기억 능력을 평가하고 향상시키기 위한 새로운 방법론을 제시하며, BEAM 벤치마크와 LIGHT 프레임워크는 향후 연구에 중요한 기초 자료로 활용될 것입니다. 이러한 기여는 LLM의 실제 성능을 보다 정확하게 반영하고, 복잡한 대화 상황에서의 활용 가능성을 높이는 데 기여할 것으로 기대됩니다.

arXiv:2510.00671cs.IR

Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector

MILCO(Multilingual Connector)는 다양한 언어의 쿼리와 문서를 공유된 영어 어휘 공간으로 매핑하는 혁신적인 Learned Sparse Retrieval (LSR) 아키텍처입니다. 기존의 LSR 접근 방식은 주로 영어에 국한되어 있어, 다국어 환경에서의 정보 검색 성능에 한계를 보였습니다. MILCO는 이러한 문제를 해결하기 위해 멀티링구얼 커넥터를 도입하여, 서로 다른 언어의 표현을 효과적으로 통합합니다. MILCO의 훈련 방법론은 두 단계로 구성되어 있습니다. 첫 번째 단계인 Sparse Alignment Pretraining은 다양한 언어의 특성을 고려하여 표현의 투명성을 높이고, 두 번째 단계인 대조 학습은 의미의 붕괴를 방지하는 데 중점을 둡니다. 이러한 훈련 방식은 MILCO가 다양한 언어 간의 일관성을 유지하면서도 효과적인 검색 성능을 발휘할 수 있도록 합니다. 특히, LexEcho 헤드라는 새로운 구성 요소는 소스 언어의 뷰를 추가하여 영어 표현의 강건성을 향상시키는 역할을 합니다. 이 과정에서 특별한 [ECHO] 토큰이 활용되어, 드물게 나타나는 개체의 손실을 최소화합니다. MILCO는 BGE-M3 및 Qwen3-Embed와 같은 기존의 밀집 및 희소 검색 모델보다 우수한 성능을 보여주며, 특히 질량 기반 가지치기를 통해 문서 표현의 차원을 효과적으로 줄이면서도 성능 저하 없이 높은 정확도를 유지합니다. 실험 결과, MILCO 560M 모델은 평균 30개의 활성 차원으로 줄였을 때도 유사한 크기의 Qwen3-Embed 0.6B 모델을 초과하는 성능을 기록했습니다. 이러한 결과는 MILCO가 다국어 정보 검색의 새로운 가능성을 열어주며, 다양한 언어 간의 검색 성능을 향상시키는 데 기여할 수 있음을 보여줍니다. 향후 연구에서는 MILCO의 구조를 더욱 발전시키고, 다양한 언어와 도메인에 적용할 수 있는 가능성을 탐색할 예정입니다. MILCO는 LSR 분야에서 중요한 기여를 하며, 다국어 검색 시스템의 발전에 기여할 것으로 기대됩니다.

arXiv:2509.16621cs.IR

The Role of Vocabularies in Learning Sparse Representations for Ranking

학습된 희소 검색(Learned Sparse Retrieval, LSR) 분야에서의 최근 연구는 검색 효율성과 효과성을 높이기 위한 새로운 접근 방식을 모색하고 있다. 본 논문에서는 SPLADE 모델을 중심으로 어휘 크기와 사전 학습된 가중치가 검색 성능에 미치는 영향을 분석하였다. 연구의 핵심은 100K 크기의 출력 어휘를 가진 두 개의 BERT 모델을 구성하는 것으로, 하나는 ESPLADE(Expanded SPLADE) 사전 학습 방법으로 초기화하고, 다른 하나는 무작위로 초기화하여 비교하였다. 실제 검색 클릭 로그를 기반으로 파인튜닝을 진행한 후, 로그잇 점수 기반의 쿼리 및 문서 가지치기를 통해 효율성을 극대화하였다. 실험 결과, 가지치기가 적용된 두 모델은 BM25 기반의 32K 크기 일반 SPLADE 모델에 비해 효과적인 성능을 보였다. 특히, ESPLADE 모델은 무작위 초기화된 모델보다 더 높은 검색 효과성을 나타내면서도 유사한 비용을 유지하는 것으로 확인되었다. 이 연구는 어휘의 크기와 사전 학습된 가중치가 검색 엔진에서 쿼리와 문서의 표현 사양을 구성하는 데 중요한 역할을 한다는 점을 강조한다. 이는 자연어 처리(Natural Language Processing, NLP)에서의 어휘의 전통적인 역할과는 다른 관점에서 접근한 것이다. 이러한 발견은 LSR의 개선 가능성을 제시하며, 향후 어휘 구성의 중요성을 더욱 심도 있게 탐구할 필요성을 제기한다. 본 논문은 LSR 분야에서 어휘의 역할에 대한 새로운 통찰을 제공하며, 검색 효율성과 효과성을 높이기 위한 기초 연구로서의 기여를 한다.

arXiv:2507.21105cs.IR

AgentMaster: A Multi-Agent Conversational Framework Using A2A and MCP Protocols for Multimodal Information Retrieval and Analysis

인공지능(AI) 분야에서 **Multi-Agent Systems (MAS)**의 발전은 여러 지능형 에이전트가 협력하여 복잡한 문제를 해결하는 데 중요한 역할을 하고 있다. 그러나 현재의 MAS는 에이전트 간의 원활한 통신, 조정, 그리고 다양한 도구와 자원과의 상호작용에서 여러 도전 과제에 직면해 있다. 이러한 문제를 해결하기 위해 본 연구에서는 **AgentMaster**라는 새로운 모듈형 MAS 프레임워크를 제안한다. 이 프레임워크는 **Agent-to-Agent (A2A)** 통신 프로토콜과 **Model Context Protocol (MCP)**를 통합하여 동적 조정 및 유연한 커뮤니케이션을 가능하게 한다. AgentMaster는 사용자가 기술적 전문 지식 없이도 자연어로 시스템과 상호작용할 수 있도록 설계된 통합 대화형 인터페이스를 제공한다. 이를 통해 정보 검색, 질문 응답, 이미지 분석 등 다양한 멀티모달 쿼리에 대한 응답을 지원한다. 본 연구의 핵심 기여는 A2A와 MCP를 활용하여 에이전트 간의 효과적인 조정과 전문화된 검색 에이전트 간의 원활한 통신을 가능하게 하는 것이다. 또한, AgentMaster는 사용자 쿼리를 전문화된 워크플로우로 분해하고, 이를 통해 자동화된 쿼리 분해, 작업 할당, 동적 라우팅을 지원한다. 실험 결과, AgentMaster는 BERTScore F1에서 96.3%와 LLM-as-a-Judge G-Eval에서 87.1%의 높은 성과를 기록하였다. 이러한 결과는 에이전트 간의 강력한 자동화된 조정과 도메인 특정의 관련 응답을 입증하며, MAS의 가능성을 확장하는 데 기여한다. 본 연구는 A2A와 MCP를 통합한 MAS 프레임워크의 혁신성을 보여주며, 협력적이고 확장 가능한 대화형 AI의 발전에 중요한 기여를 할 것으로 기대된다.

arXiv:2508.21038cs.IR

On the Theoretical Limitations of Embedding-Based Retrieval

벡터 임베딩은 정보 검색 분야에서 점점 더 많은 역할을 수행하고 있으며, 최근에는 추론, 지시 따르기, 코딩 등 다양한 작업에 활용되고 있습니다. 그러나 이러한 모델이 모든 쿼리와 관련성 개념에 대해 효과적으로 작동할 수 있다는 가정은 이론적 한계에 의해 도전받고 있습니다. 본 연구는 벡터 임베딩의 이론적 한계를 현실적인 환경에서도 간단한 쿼리를 통해 확인할 수 있음을 보여줍니다. 특히, 학습 이론의 결과를 바탕으로 임베딩 차원(d)이 검색 결과로 반환될 수 있는 문서의 조합 수를 제한한다는 점을 강조합니다. 연구진은 k=2로 제한된 경우에도 이러한 이론적 한계가 유효함을 실증적으로 입증하였으며, 이를 통해 새로운 데이터셋인 LIMIT를 생성하여 최신 임베딩 모델들이 이 간단한 작업에서도 실패하는 경향을 관찰했습니다. 이러한 결과는 기존의 단일 벡터 패러다임 하에서 임베딩 모델이 직면하는 근본적인 한계를 드러내며, 향후 연구에서 이러한 한계를 극복할 수 있는 새로운 방법론 개발의 필요성을 제기합니다. 결론적으로, 이 연구는 임베딩 모델의 이론적 기초를 강화하고, 현재의 평가 방식이 이러한 한계를 간과하고 있음을 시사합니다. 따라서 정보 검색 커뮤니티는 이러한 이론적 통찰을 바탕으로 보다 포괄적이고 현실적인 평가 기준을 마련해야 할 필요성이 있습니다.

arXiv:2508.04604cs.CL

TURA: Tool-Augmented Unified Retrieval Agent for AI Search

대형 언어 모델(LLM)을 활용한 기존의 검색 엔진은 주로 정적인 웹 문서 기반의 Retrieval-Augmented Generation(RAG) 방식을 사용하지만, 실시간 정보나 동적 데이터 처리에는 한계가 있습니다. TURA는 이러한 한계를 극복하기 위해 RAG와 에이전트 기반 도구 활용을 결합한 3단계 프레임워크로, 쿼리 분해 및 정보원 검색, DAG(유향 비순환 그래프) 기반 작업 계획, 경량화된 에이전트 실행기를 포함합니다. 이를 통해 정적 콘텐츠와 실시간 API, 데이터베이스 등 동적 정보원을 통합하여 대규모 산업 환경에서 저지연으로 실시간 응답을 제공합니다. TURA는 수천만 사용자에게 안정적이고 신속한 AI 검색 서비스를 제공하는 최초의 통합 아키텍처입니다.

arXiv:2507.09068cs.CV

Infinite Video Understanding

최근 대형 언어 모델(LLM)과 멀티모달 확장 모델(MLLM)의 발전으로 영상 이해 기술이 크게 향상되었으나, 수 분에서 수 시간 이상의 긴 영상 처리에는 여전히 계산량과 메모리 한계가 존재합니다. 기존 연구들은 효율적인 아키텍처 설계(Video-XL-2)와 장기 시공간 인식을 위한 위치 인코딩 기법(HoPE, VideoRoPE++)을 제안했지만, 긴 시퀀스 내의 시간적 일관성 유지와 복잡한 사건 추적, 세밀한 정보 보존 문제는 여전히 해결 과제로 남아 있습니다. 본 논문은 무한 길이의 영상을 지속적으로 처리하고 이해하는 ‘무한 영상 이해(Infinite Video Understanding)’를 미래 연구의 핵심 목표로 제시하며, 이를 위해 스트리밍 아키텍처, 지속 메모리, 계층적·적응적 표현, 사건 중심 추론, 새로운 평가 방법론 등 다양한 혁신적 연구 방향을 제안합니다. 이러한 방향성은 멀티미디어 및 인공지능 분야 전반에 걸쳐 장기 영상 처리의 패러다임 전환을 촉진할 것으로 기대됩니다.

arXiv:2611.20976v1cs.CL

Living Context Graphs: 기업 데이터 추론을 위한 지속적 의미 학습

Living Context Graphs: Continual Semantic Learning for Enterprise Data Reasoning

기업용 AI는 분석과 보고, 데이터 기반 워크플로를 수행할 수 있다. 그러나 이 기능의 데이터 기반을 실제 서비스에 활용하는 것은 여전히 어렵다. 업무상의 의미, 관계, 평가지표 정의, 보고 관례는 데이터베이스 스키마에 없고, 문서화되지 않은 시스템과 구성원들이 공유하는 암묵지에 흩어져 있다. 본 연구는 기반 데이터 웨어하우스를 복사하거나 변환하지 않고 기존 기업 데이터를 AI가 활용할 수 있게 하는 지속 학습 문맥 층, Living Context Graph(LCG)를 소개한다. LCG는 데이터 자체에서 기본 의미와 관계를 초기화한다. 쿼리를 처리하면서 업무 문맥에 색인을 부여하는 개념 그래프를 만들고 검증된 결과에서 학습한 의미를 지속적으로 기록한다. 나중에 확인한 결과가 기존 처리 경로와 충돌하면 해당 문맥을 철회하거나 다시 근거를 확보한다. 핵심 데이터 추론 과제인 텍스트-SQL 변환을 사용해 LCG를 평가했다. BIRD 데이터베이스 세 개에서 전이 여부를 고려해 질문 499개를 나눴다. 353개로 학습 이력을 구성하고, 146개는 별도로 보관해 문맥 층 갱신에 사용하지 않았다. 초기화만으로 전체 정확도가 4.6%포인트 높아졌다. 이력에서만 학습하면 손대지 않은 전이 평가 세트에서 정확도가 22.6%포인트 높아졌다(95% 신뢰구간 [+14.4, +30.8]). 같은 이력에서 예시 다섯 개를 검색하는 방식보다 12.3%포인트 높았다. 모든 데이터베이스에서 점진적 학습의 최종 성능은 한 번에 학습한 경우와 관측된 평가 변동 범위 안에서 같았다. 그래프를 제거하면 평가 정확도는 데이터베이스당 질문 한 개 이내로만 달라졌으나, 쿼리당 비용은 2.3~3.3배, 지연 시간 중앙값은 1.8~3.4배로 늘었다. 계속 학습한 의미가 정확도를 높이는 데 기여했고, 그래프는 서비스에서 그 문맥을 효율적으로 활용하게 했다.

arXiv:2611.20837v1cs.IR

LLM의 후보 순위 결정에 필요한 그래프 근거는 무엇인가?

Evidence Diet: When Graph Evidence Helps LLMs Rank Competing Candidates

여러 후보에 그래프 근거가 있을 때, 어느 후보에 어떤 지지자 수와 경로 수를 부여하는지가 중요할까? 본 연구는 Amazon Books와 MovieTV에서 대규모 언어 모델(LLM) 순위 결정기가 협업 기반 근거를 활용하는 방식을 조사한다. 사용자 수준 근거를 서로 바꾸면 순위 성능이 떨어졌지만, 조건을 맞춰 항목을 바꾸면 영향이 작았다. 오염 없이 학습한 체크포인트를 고정한 상태에서 관련 없는 카탈로그 텍스트를 추가하면, 순위의 99.9%가 여전히 유효했으나 Hit@1은 44.77%에서 38.70%로 떨어졌다. 동일하게 맞춘 세 시드 모두에서, 개수 기반 프롬프트와 경로 기반 프롬프트의 NDCG@5 차이는 경로 기반 학습보다 개수 기반 학습 뒤에 더 컸다. 차수를 맞추면 목표 후보의 경로는 보존하면서 더 많은 경쟁 후보에 그래프 근거를 부여할 수 있다. 차수를 맞춘 전체 개발 후보군에서 이력에 후보별 그래프 기록을 추가하자 NDCG@5는 Books에서 2.28포인트, MovieTV에서 2.54포인트 개선됐다. 목표 후보와 경쟁 후보가 모두 근거를 가진 경우, 경로 기반 및 개수 기반 순위 결정기는 개수 정보를 유지할 때 성능이 높았다. 이 개발 쿼리에서는 개수를 텍스트로 제시하는 것보다 이력 점수에 수치로 더하는 편이 나았다. 개수로 학습한 순위 결정기에서 개수 쌍을 그대로 유지한 채 근거가 있는 후보들 사이에서 바꾸면, 근거의 유무와 토큰 길이는 같았지만 NDCG@5가 Books 쿼리 141개에서 4.06포인트, MovieTV 쿼리 104개에서 3.26포인트 낮아졌다. 목표 후보와 경쟁 후보 모두에 근거가 있는, 이전에 사용하지 않은 Books 사용자 274명에서 모델을 고정하고 평가했다. 개수 쌍을 올바른 후보에 배정하면 쌍별 정확도가 6.07%포인트 개선됐다(95% 신뢰구간 [4.18, 8.00]).

arXiv:2611.19900v1cs.CL

출처를 밝히거나 응답을 유보하기: 공개 자료가 부족한 아프리카 기업 웹에서의 근거 기반 검색 평가

Attribute or Abstain: Evaluating Evidence-Grounded Retrieval on the Low-Resource African Business Web

기업을 조사하는 검색 증강 시스템은 정보를 얼마나 많이 찾는지로 평가받는다. 그러나 공개 자료가 부족한 시장에서는 근거 없이 확신하는 답변이 응답을 유보하는 것보다 더 큰 비용을 초래한다. 본 연구는 아프리카 6개 시장에서 영어, 프랑스어, 포르투갈어로 작성한 기업 조사 쿼리 150개로 구성된 벤치마크 AfriBizClaims를 제시한다. 정상적으로 작동하는 시스템이라면 답변을 유보해야 하는 가상의 기업에 관한 쿼리도 포함한다. AI 심사 모델은 시스템의 주장마다 인용 페이지가 그 주장을 뒷받침하는지 판정한다. 다른 계열의 두 번째 AI 심사 모델과 사람 주석자 두 명의 판단으로 이를 교차 확인한다. 응답 유보는 답변 가능 여부의 레이블과 비교해 채점한다. 같은 언어 모델을 사용해 통합 말뭉치의 BM25 검색, 표준 웹 검색 증강 생성, 멀티스텝 에이전트 파이프라인 Konexium V1을 비교했다. 두 가지 단순 기준선은 출처를 잘 제시했다. 평가한 주장 중 98%를 인용 페이지가 뒷받침했으며, 가상 기업에 대해서는 모든 필드의 답변을 유보했다. 질문 대상이 아닌 기업에 관한 주장을 오류로 간주하면 에이전트 파이프라인의 쿼리별 정밀도는 68%였으며, 이름이 명시된 기업에 관한 질문에 한 번도 정확히 답하지 못했다. 다른 기업으로 대체한 사례에는 가상의 기업명 24개 중 5개도 포함됐다. 반복 실행에서 결과의 안정성은 가장 낮았고 비용은 가장 높았다. 이 파이프라인에서는 쿼리와 근거 사이에 단계가 늘어도 답변이 근거에 더 충실해지지 않았다. 쿼리, 시스템 출력, 레이블, 짧은 근거 발췌문은 공개할 예정이다.

arXiv:2611.19849v1cs.CL

NoLBERT-Calls: 미래 정보 없이 실적 발표 통화 읽기

NoLBERT-Calls: Reading Earnings Calls Without Hindsight

언어 모델은 이제 실적 발표 통화에서 경영진이 한 말을 정량화하는 표준 도구다. 하지만 이 분석에 쓰이는 인코더는 대개 백테스트 기간과 같은 연도의 텍스트로 사전학습됐다. 테스트 기간을 따로 떼어 두어도 미래 정보가 특징에 이미 반영돼 있으므로 이를 제거할 수 없다. 본 연구는 1976년부터 1995년까지 발행된 텍스트만으로 사전학습한 인코더 NoLBERT를 실적 발표 통화에 적응시킨다. 이때 2023년 12월 31일 이후 자료는 사용하지 않는다. 통화 자체가 학습 신호를 제공한다. 애널리스트의 질문 뒤에는 항상 경영진의 답변이 나오며, 모델은 같은 통화에서 나온 다른 답변들 사이에서 해당 답변을 찾도록 학습한다. 2025년 1월부터 2026년 10월까지 미국의 실적 발표 통화 전체(20,323건, 질문 254,575개)에서 평가했으며, 모델링에 관한 결정은 모두 2024년 통화로 내렸다. 적응시킨 NoLBERT-Calls-2023은 질문의 78.0%에서 실제 답변을 1순위로 골랐다(95% 구간 77.8~78.2%, 무작위 선택 8.0%). 적응 전 정확도는 26.3%였다. 실적 발표 통화에 적응시킨 ChronoBERT보다 1.0%포인트, 같은 방식으로 적응시킨 FinBERT보다 3.4%포인트 높았다. 성능이 가장 좋은 기성 검색기와 BM25보다 각각 18.7%포인트와 19.8%포인트 높았다. 2013~2026년의 연도별 시험에서는 미래 정보를 미리 본 데 따른 성능 이점이 나타나지 않았다. 2012년까지의 자료에만 적응시킨 모델과 비교했을 때, 공개한 모델은 학습에 사용한 연도에서 처음 보는 연도보다 더 나은 성능을 보이지 않았다. 데이터 시점을 제한하면 계산 비용이 든다. 동일한 150분 학습 절차에서 NoLBERT의 적응 성능은 인코더 네 종 중 가장 낮았다. 최종적인 성능 우위는 약 13 GPU시간을 들인 더 긴 단계별 적응 절차에서 나왔다.

arXiv:2611.19770v1cs.LG

획득 비용이 큰 대상 임베딩에서의 정확한 희소 할당: 실현값을 고정한 최적성 인증과 실증 감사

Exact Sparse Assignment with Costly Target Embeddings: Fixed-Realization Certificates and an Empirical Audit

임베딩 기반 일대일 연결은 컴퓨터 비전과 데이터 통합에서 흔히 쓰인다. 탐지 결과를 추적 궤적에 연결하거나 서로 다른 데이터베이스의 레코드를 연결하는 것이 그 예다. 이 파이프라인은 흔히 간선 점수를 저비용 항과 신경망 임베딩 내적의 합으로 정하고, 일부 항목을 미할당 상태로 둘 수 있는 희소 할당 문제를 푼다. 대상 임베딩을 얻는 비용이 크면 일부를 선별적으로 획득하고, 현재 할당의 최적성을 인증한 시점에 중단할 수 있다. 본 연구는 노름이 1인 임베딩의 최적성 인증을 제시한다. 모든 재할당에서 알 수 없는 부분을 지지 함수로 제한하고, 두 번째 희소 할당으로 가능한 최대 강건 이득을 구한다. 현재 배정된 상대를 중심으로 삼는 공유 경계는 어떤 고정 중심 삼각부등식 경계보다도 적어도 그만큼 엄밀하다. 신경망 특징이 배치 구성에 따라 달라질 수 있을 때 무엇을 인증하는지도 명확히 한다. 인증 대상은 이미 획득한 행의 실제 값과 나머지 행을 단위 공 안의 값으로 채울 수 있는 모든 경우다. 다른 배치로 순전파를 다시 실행한 결과는 다른 문제다. 별도로 배치를 구성해 만든 캐시와 대조하면 다른 성질을 검사하게 된다. 첫 파일럿에서 이 방식은 목적 함수가 $2.49\times10^{-6}$만큼 어긋난 것처럼 보이는 허위 실패를 만들었다. 가중치를 고정한 인코더 두 종과 공개 텍스트 개체 매칭 벤치마크 네 개로 교정한 절차를 감사했으며, 이미지 데이터는 사용하지 않았다. 인증 시뮬레이션 96건과 온라인 선별 실행 시간 측정 120건에서 모두 해당 실행의 실현값에 대해 정확했다. 가장 큰 목적 함수 차이는 $6.82\times10^{-13}$이었다. 그룹 크기가 8일 때 공유 인증은 간선 후보에 등장하는 대상 중 평균 60%를 획득했다. 평균 중심은 74%, 최소 포함 공(MEB) 중심은 69%, 원점 중심은 60%였다. 공유 인증은 평균 중심과 MEB 중심보다 앞섰지만 원점 중심과 같았다. 절감 효과는 대상을 7%만 획득한 한 벤치마크에 집중됐다. 미리 정한 실행 시간 가설과 달리 선별 실행은 회당 0.510초 더 느렸다(데이터셋 군집 기준 95% 구간 [+0.248, +0.772]). 균일한 마이크로배치로 다시 인코딩했을 때 최적해가 유지된 것은 인코더와 데이터셋 조합 8개 중 5개뿐이었다. 온라인 실행은 120건 중 45건에서 점수가 거의 같은 후보를 두고 미리 전부 인코딩한 캐시와 결과가 달랐다.