PyTorchKR Papers

최신 논문

총 2,732편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12318v1cs.LG

연산자의 연쇄를 통한 인컨텍스트 연산자 학습 활용

Harness In-Context Operator Learning with Chain of Operators

신경망 연산자(Neural Operator)는 함수 공간 간의 매핑을 근사화하지만, 다른 연산자에 대해 일반화가 잘 이루어지지 않는 경우가 많으며 일반적으로 미세조정이나 재학습이 필요합니다. 인컨텍스트 연산자 네트워크(In-Context Operator Networks, ICON)는 모델에 수치적 컨텍스트를 프롬프트로 제공하여 이 문제를 해결합니다. 이를 통해 모델은 프롬프트에서 특정 연산자를 학습하고 미세조정 없이 다른 연산자에 적응할 수 있습니다. 그러나 ICON은 여전히 분포 외(Out-of-Distribution, OOD) 연산자 작업으로 일반화하지 못할 수 있습니다. 대규모 언어 모델(LLM)의 활용(harness) 기술 성공에 영감을 받아, 우리는 파라미터를 업데이트하지 않고 동결된 ICON을 OOD 연산자 작업에 활용하는 프레임워크인 연산자의 연쇄(Chain of Operators, CHOP)를 소개합니다. 구체적으로, CHOP는 명시적인 기본 변환과 동결된 ICON으로 구성된 연산자의 연쇄를 구성합니다. 스칼라 보존 법칙과 평균장 제어 문제에 대한 실험 결과, CHOP는 직접 ICON 평가에 비해 상대적 추론 오차를 줄이는 것으로 나타났으며, 연쇄 내의 각 연산자는 해석 가능하고 닫힌 형식(closed form)을 유지합니다. 하나의 편미분 방정식(PDE) 계열에 대해 구성된 연쇄는 다른 계열로도 추가로 일반화되며, 이는 활용 시스템 전반에 걸쳐 공유된 메커니즘을 시사합니다.

arXiv:2606.11961v1cs.LG

범주형 사전분포 고착: 구조화된 데이터에서 문맥 내 학습이 실패하는 이유

Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

대규모 언어 모델(LLM)은 매개변수 갱신 없이 새로운 분포에 적응하기 위해 문맥 내 학습(ICL)에 의존하며, 구조화된 데이터를 위한 조건부 생성기로 점점 더 많이 사용되고 있다. 우리는 분포 불일치 상황에서 구조화된 생성에 대한 ICL의 한계를 조사하고, 고카디널리티 표 형식 데이터를 통제된 테스트 사례로 사용하여, 사전학습으로부터 상속된 토큰 분포에 대한 모델의 사전분포를 ICL이 갱신하지 못하는 구조적 실패 양상을 밝혀내며 이를 범주형 사전분포 고착(categorical prior lock-in)이라 부른다. 70억 매개변수 규모의 공개 가중치 모델 두 개에 걸쳐, ICL은 추가 예시로 수치적 충실도는 개선하지만 범주형 분포에서는 급격한 상한을 보이며 희귀 클래스를 전혀 재현하지 못한다. 매개변수 효율적 미세조정(LoRA)은 이러한 한계를 극복하지만 측정 가능한 암기 위험을 유입하고, 경우에 따라 구조화된 출력 생성을 불안정화하여 적응성과 프라이버시 사이의 근본적 트레이드오프를 부각한다.

arXiv:2606.11473v1cs.LG

CRUMB: 분포 매칭된 컨텍스트 배칭을 통한 효율적인 사전 적합 네트워크 추론

CRUMB: Efficient Prior Fitted Network Inference via Distributionally Matched Context Batching

사전 적합 네트워크(PFNs)는 문맥 내 학습(in-context learning)을 수행하는 유망한 테이블형 파운데이션 모델의 일종으로, 전체 레이블이 지정된 학습 데이터셋을 컨텍스트로 제공하고 단일 순전파(forward pass)로 테스트 쿼리에 대한 예측을 생성합니다. 그러나 많은 PFN 아키텍처에서 이차적으로 확장되는 셀프 어텐션(self-attention) 메커니즘은 매우 큰 학습 데이터셋에 대한 추론을 불가능하게 만듭니다. 우리는 CRUMB (Clustered Retrieval Using Minimised-MMD Batching)을 제안합니다. 이는 (i) 테스트 쿼리를 클러스터링하고, (ii) 최대 평균 불일치(MMD)를 탐욕적으로 최소화하여 각 클러스터에 대해 분포 매칭된 작은 학습 서브셋을 선택하며, (iii) 각 축소된 컨텍스트 배치에서 정확한 PFN 추론을 실행하는 3단계 추론 래퍼입니다. CRUMB은 아키텍처 무관(architecture-agnostic)이며 재학습이 필요하지 않습니다. 51개 데이터셋의 TabArena 벤치마크에서 세 가지 PFN 아키텍처(TabPFNv2, TabICLv1, TabICLv2)에 걸쳐 평가한 결과, CRUMB이 유사한 최첨단(SOTA) 컨텍스트 선택 전략보다 우수함을 보여줍니다. 또한 CRUMB이 공변량 드리프트(covariate drift)에 강건함을 보여주는데, 이는 MMD 최소화 단계가 학습 컨텍스트 분포를 현재 테스트 배치 분포와 일치하도록 자연스럽게 정렬하는 데 도움을 주기 때문입니다.

arXiv:2606.11275v1cs.LG

RoVE: 상대 위치 의존적 값 경로를 위한 회전형 값 임베딩 어텐션

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

회전형 위치 임베딩(RoPE)은 어텐션 점수를 위치에 상대적으로 만들지만, 값 경로(value pathway)는 위치를 인식하지 못하게 둡니다. 즉, 값 토큰이 전달하는 메시지는 쿼리로부터의 거리에 관계없이 동일합니다. 본 논문에서는 RoVE를 제안합니다. RoVE는 키(key)와 동시에 값을 회전시켜 위치에 민감하게 만드는 매개변수가 없는 수정 방식이며, RoPE 어텐션을 어텐션 합성곱(attentive convolution)으로 변환함을 보여줍니다. 이 새로운 관점은 컴퓨터 비전, 로봇공학, 현대 대규모 언어 모델(LLM) 아키텍처에 걸쳐 동일한 연산에 대한 여러 독립적인 정형화를 통합합니다. 학습된 124M 및 354M GPT-2 모델은 퓨샷 문맥 내 학습(ICL), 분포 외 퍼플렉서티, 긴 문맥 검색에서 RoPE 대비 일관된 경험적 이득을 보여주었으며, 특히 장거리 집계가 필요한 작업에서 가장 명확한 개선 효과를 나타냈습니다.

arXiv:2606.12316v1cs.CV

슬롯, 전이, 루프: ARC를 위한 조합 가능한 월드 모델 학습

Slots, Transitions, Loops: Learning Composable World Models for ARC

ARC는 문맥 내 규칙 유도를 테스트합니다: 몇 가지 입력-출력 데모(demonstrations)가 주어지면, 모델은 숨겨진 규칙을 추론하고 이를 새로운 쿼리(query)에 적용해야 합니다. 많은 접근 방식이 언어, 코드 또는 기호 프로그램(symbolic programs)을 통해 ARC 규칙을 표현하지만, ARC 자체는 시각-기호적(visual-symbolic)입니다: 규칙은 객체, 색상, 모양 및 공간 관계에 대한 그리드 전이(grid transitions)로 나타납니다. 우리는 이러한 규칙을 구조화된 상태(structured states)에 대한 조합 가능한 전이(composable transitions)로 학습하는 객체 중심(object-centric) 월드 모델링 아키텍처인 Loop-OWM을 소개합니다. 이는 색상 프로토타입 슬롯(color-prototype slots), 데모 조건(demonstration-conditioned) 작업 요약(task summaries), 그리고 밀도 전파(dense propagation)와 슬롯 조건(slot-conditioned) 보정(correction)을 갖는 루프 전이 모델(looped transition model)을 결합합니다. ARC-1과 ARC-2 모두에서 Loop-OWM은 유사하거나 더 적은 파라미터(parameters)로 비루프(non-looped) 및 루프(looped) 기준선(baselines)을 능가합니다. 이러한 결과는 ARC 규칙이 언어 설명(language descriptions)이나 탐색된 프로그램(searched programs)으로뿐만 아니라 시각-기호적(visual-symbolic) 월드 상태(world states)에 대한 전이(transitions)로도 학습될 수 있음을 시사합니다.

arXiv:2606.12195v1cs.CV

InternVideo3: 멀티모달 맥락적 추론으로 파운데이션 모델 에이전트화

InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning

최근 파운데이션 모델의 발전은 다단계 추론과 도구 사용을 수반하는 에이전트적 행동으로 전환하고 있다. 그러나 오픈소스 연구는 대체로 텍스트 중심 설정에 집중하여, 장기 지평 멀티모달 과제는 충분히 탐구되지 않은 상태로 남아 있다. 이 격차는 지속적인 시간적 이해와 반복적 상호작용을 요구하는 비디오 과제에서 분명히 드러난다. 본 논문은 Multimodal Contextual Reasoning(MCR)을 통해 이러한 역량을 강화하는 프레임워크인 InternVideo3를 제시한다. MCR은 관찰, 지시, 추론, 도구 행동, 메모리를 포함하는 공유되고 진화하는 컨텍스트 위에서 이해를 폐루프(closed-loop) 과정으로 다룬다. 이는 장영상 이해를 증거 축적과 검증으로 규정한다. 효율성을 확보하기 위해, KV-cache 상태를 압축하면서도 전체 토큰 스트림을 유지하는 토큰 보존 재매개변수화인 Multimodal Multi-head Latent Attention(M^2LA)을 도입한다. 단계적 학습에는 지속적 사전학습, 단기에서 장기로 이어지는 지도 미세조정, 규칙 기반 강화학습, 온-정책 지식 증류가 포함된다. 실험 결과 InternVideo3는 Video-MME, MLVU, EgoSchema 등 벤치마크에서 강력한 성능을 달성한다. 또한 검색 도구를 갖춘 비디오 에이전트로 모델을 구현하여, 견고한 증거 그라운딩 행동을 입증한다. 결과는 효율적인 컨텍스트 처리와 폐루프 추론이 오픈 멀티모달 모델을 장기 지평의 시각적 그라운딩 에이전시로 적응시키는 데 핵심적임을 시사한다.

arXiv:2606.11853v1cs.CV

동적 멀티모달 문맥 내 학습을 위한 태스크 인식 구조화 메모리

Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning

멀티모달 대규모 언어 모델(MLLM)은 빠른 태스크 적응을 위해 문맥 내 학습(ICL)에 의존하지만, 유한한 컨텍스트 윈도우와 긴 멀티모달 시퀀스에서 증가하는 키-값(KV) 캐시 비용으로 인해 확장성이 심각하게 제한된다. 기존의 메모리 압축 방식은 일반적으로 경직된 토큰 제거 또는 샘플 의존적 중요도 추정에 의존하며, 이는 바이어스를 유발하고 의미 구조—특히 시각적 표현에서—를 훼손하며, 새로운 쿼리에 적응하지 못하는 정적인 메모리를 생성한다. 우리는 이러한 한계를 태스크 인식적, 구조 보존적, 동적 접근 가능한 메모리 구성을 통해 해결하는 학습 불필요(training-free) 프레임워크인 TASM(Task-Aware Structured Memory)을 제안한다. TASM은 태스크 벡터 기반 압축을 활용하여 샘플별 신호를 데모 전반에 걸친 공유 관련성을 포착하는 태스크 수준 방향으로 대체한다. 기저 다양체(manifold)를 보존하기 위해, 이분 그래프 매칭을 통한 의미론적 토큰 병합을 적용하여 파괴적인 가지치기 없이 토큰을 집약한다. 마지막으로, TASM은 메모리를 소형 핵심 메모리(Core Memory)와 잠재 뱅크(Latent Bank)로 구성된 계층 구조로 조직화하여 쿼리 적응형 동적 검색을 가능하게 한다. 평가 결과, TASM은 높은 압축률에서도 높은 성능을 유지하며 효율성과 적응성 간의 균형을 효과적으로 달성함을 확인하였다.

arXiv:2606.04351v2cs.CV

Frames2LoRA: 비전-언어 모델을 위한 파라메트릭 비디오 내재화

Frames2LoRA: Parametric Video Internalization for Vision-Language Models

비전-언어 모델에서 비디오를 처리하는 것은 비용이 많이 든다. 각 프레임은 수백 개의 토큰을 차지하며, 추론 비용은 프레임 수와 반복되는 쿼리마다 함께 증가한다. 우리는 파라메트릭 비디오 내재화를 위한 방법인 Frames2LoRA를 제안한다. 퍼시버(perceiver) 하이퍼네트워크는 동결된 VLM이 비디오를 인코딩할 때 층별로 생성되는 중간 표현을 읽고, 단일 순전파로 저랭크 적응(Low-Rank Adaptation, LoRA) 어댑터를 생성한다. 반복적인 그래디언트 업데이트가 필요한 표준 LoRA 미세조정과 달리, Frames2LoRA는 비디오로부터 이러한 가중치를 직접 예측한다. 비디오 요약 및 캡셔닝을 위해 SmolVLM2 500M 및 2.2B에 대해 학습된 Frames2LoRA는 동일한 동결 VLM이 어댑터만으로 쿼리에 응답할 수 있게 하며, 쿼리 시점에는 컨텍스트에 시각 토큰이 전혀 필요하지 않다. Frames2LoRA는 두 모델 규모 모두에서 5개 캡셔닝 벤치마크 전반에 걸쳐 직접 비디오 인-컨텍스트 추론과 통계적으로 열등하지 않으며 동등하고, 8개 비디오 질의응답 벤치마크-규모 조합 중 7개에서도 마찬가지이다. 384px 해상도의 12프레임으로만 학습했음에도 1,024프레임 및 1024px까지 안정적으로 유지되며, 이 범위에서 직접 비디오 인-컨텍스트 추론은 종종 성능이 저하되는 경우가 많다. 이 전체 스윕에 걸쳐 응답 시점의 시각 토큰 부하를 최대 1,500배 줄이고 쿼리 TTFT를 6–80배 단축하면서도 비디오에 충실한 출력을 유지한다. 또한 겹치지 않는 비디오 구간에 대해 독립적으로 생성된 어댑터가 랭크 공간에서 결합될 수 있음을 발견했으며, 이는 분할된 장시간 비디오 내재화로 나아갈 수 있는 경로를 시사한다.

arXiv:2606.12058v1stat.ML

어텐션에서의 상전이: 카피 헤드 창발에 대한 베이지안 이론

Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence

어텐션은 트랜스포머에서 문맥 내 학습(in-context learning)을 기반으로 하는 핵심 메커니즘이며, 어텐션 패턴은 학습 도중 급격하게 창발하는 것으로 경험적으로 관찰되었습니다. 우리는 어텐션에서의 특징 학습(feature learning)에 대한 베이지안 이론을 제시하고, 이어서 귀납 헤드(induction head)의 첫 번째 층에 있는 카피 서브회로(copy subcircuit)가 어떻게 학습되는지 집중적으로 살펴보기 위해 카피 작업(copy task)에서 학습된 단일 층 소프트맥스 어텐션 네트워크를 분석합니다. 우리는 어텐션 행렬에 대한 닫힌 형식의 사후 분포(closed-form posterior)를 도출하고 이를 저차원 순서 매개변수 공간으로 축소합니다. 이러한 축소는 학습 데이터 양에 따른 상전이(phase transition)를 드러내며, 우리는 이를 베이지안 샘플링과 Adam을 사용한 표준 학습을 통해 검증합니다. 우리는 이 결과를 선형 어텐션(linear attention)과 대조해 본 결과, 소프트맥스 어텐션은 1차 상전이(first-order phase transition)를 나타내는 반면, 선형 어텐션에서는 초기 2차 상전이(second-order phase transition) 이후 구조화된 어텐션 패턴으로 향하는 부드럽고 연속적인 진화(crossover)가 뒤따르는 것을 발견했습니다. 우리의 연구는 대규모 언어 모델(LLM) 학습에서 관찰된 것과 유사한 카피 서브회로의 급격한 창발에 대한 제일원리(first-principles) 이론적 설명을 제공합니다.

arXiv:2606.11897v1cs.CL

Notes2Skills: 실험 노트북에서 확실성 인식 과학적 에이전트 스킬로

Notes2Skills: From Lab Notebooks to Certainty-Aware Scientific Agent Skills

과학적 발견 워크플로우(scientific discovery workflows)는 일반적으로 연구자가 관찰 결과를 기록하고, 불확실한 결과를 해석하며, 후속 실험을 계획하는 실험 노트(lab notes)를 포함하고 이에 크게 의존합니다. 이러한 유익한 실험 노트는 출판물에 전시된 다듬어진 최종 결과가 아닌, 발전하는 과학적 추론과 저자의 불확실성을 보존하므로, AI가 더 포괄적이고 깊은 수준에서 과학적 탐험(scientific exploration)에 참여할 수 있는 귀중한 기회를 제공합니다. 그러나 과학적 텍스트에 대한 대부분의 기존 연구는 논문, 프로토콜, 또는 구조화된 데이터베이스에 초점을 맞추고 있어, 과학용 AI 에이전트(AI agents for science)의 입력으로서 비공식 실험실 노트는 충분히 탐구되지 않았습니다. 이러한 격차가 중요한 이유는 실험 노트가 동일한 문단 내에서 검증된 관찰 결과, 잠정적인 판단, 그리고 가능한 다음 실험 단계를 혼재하는 경우가 많기 때문입니다. 이러한 신호들이 혼동될 경우, AI 에이전트는 불확실한 과학적 판단을 확정된 결론이나 실행 가능한 행동으로 오인할 수 있습니다. 이를 위해, 저자의 확실성을 보존하면서 실험 노트북을 과학적 AI 에이전트를 위한 검증 가능한 스킬로 변환하는 2단계 프레임워크인 Notes2Skills를 제안합니다. 7가지 조건과 3번의 습식 실험(wet-lab) 세션에 걸쳐, Notes2Skills는 불확실한 노트를 확고한 지침으로 오인하지도 않고 확고한 노트를 버리지도 않는 유일한 구성입니다. 우리는 확실성 보존이 실험 노트북과 신뢰할 수 있는 에이전트 스킬 사이의 누락된 요소임을 보여주며, 이는 더 안전한 AI 공동 과학자 시스템으로 가는 길을 엽니다.

arXiv:2606.11643v1cs.CL

다중 형식 학습을 통한 언어 모델의 형식 간 견고성 향상

Improving Cross-Format Robustness in Language Models with Multi-Format Training

대규모 언어 모델은 종종 답변 형식에 민감합니다: 한 형식에서는 올바르게 해결된 질문이 의미적으로 동등한 다른 형식에서는 실패할 수 있습니다. 이러한 격차를 연구하기 위해, 우리는 형식 간 견고성을 모델이 형식 전반에 걸쳐 동일한 근본적인 질문에 얼마나 일관되게 답변하는지로 정의합니다. 그 후 우리는 무작위 또는 타겟팅된 선택을 사용하여 학습 항목의 일부만을 여러 동등한 형식으로 확장하는 FormatMix와 전체 형식 학습을 비교합니다. GLM4와 Llama-3.1에 걸쳐, 다중 형식 지도는 과제 성능과 형식 간 견고성을 모두 일관되게 향상시키는 반면, 객관식 질문(MCQ) 전용 지도만으로는 거의 이득이 없으며 견고성을 오히려 저하시킬 수도 있습니다. 또한 우리는 학습 세트의 약 30%만을 다중 형식으로 확장해도 전체 형식 학습의 이득 대부분을 회복할 수 있음을 발견했으며, 이 효과는 우리가 연구한 모델 계열과 크기 전반에 걸쳐 나타납니다. 이러한 결과는 추가적인 지도 그 자체보다는 형식의 다양성이 견고성의 핵심 요인임을 시사합니다. 즉, 가벼운 다중 형식 증강은 기본 모델을 변경하지 않고도 LLM이 답변 형식에 덜 민감하게 만드는 실용적인 방법입니다.

arXiv:2606.11609v1cs.CL

입장 탐지(Stance Detection)를 위한 적응형 워커 할당(Adaptive Worker Allocation) 기반 멀티 에이전트 추론(Multi-Agent Reasoning)

Multi-Agent Reasoning with Adaptive Worker Allocation for Stance Detection

입장 탐지(stance detection)는 저자의 특정 대상에 대한 입장을 식별하는 작업으로, 입장이 암시적, 간접적이거나 수사적으로 표현된 단문 텍스트(short-form texts)에서 수행되는 경우가 많습니다. 대규모 언어 모델(LLM)이 이 작업에서 뛰어난 성능을 보이지만, 여러 가지 해석이 가능한 상황에서는 단일 패스 프롬프팅(single-pass prompting)이 취약할 수 있습니다. 다수결 투표(majority voting)나 자기 일관성(self-consistency)과 같은 기존 집계 전략은 레이블을 결합하여 견고성(robustness)을 높이지만, 상충하는 해석을 해결하는 데 필요한 중간 추론 과정은 무시합니다. 본 연구에서는 입장 탐지를 위해 집계 방식을 레이블 수준 투표에서 추론 수준 종합(reasoning-level synthesis)으로 전환하는, 적응형 워커 할당(adaptive worker allocation) 기반 멀티 에이전트 추론 프레임워크를 제안합니다. 해당 프레임워크는 매니저-워커(Manager-Worker) 아키텍처를 채택하여, 매니저(Manager)가 입력의 복잡도에 따라 가변적인 수의 워커(Worker) 에이전트를 적응적으로 할당합니다. 각 워커는 서로 다른 관점에서 입력을 분석하여 입장 레이블(stance label)을 생성하지 않고 추론 전용 설명만을 산출하며, 매니저는 이러한 설명들을 종합하여 최종 예측을 수행합니다. Llama, Mistral, Gemini 모델을 사용하여 SemEval-2016, P-Stance, COVID-19 Stance 데이터셋에서 제안된 프레임워크를 평가했습니다. 결과에 따르면, 해당 프레임워크는 암시적이고 문맥 의존적인 입장 사례에서 가장 큰 성능 향상을 보여주었으며, COVID-19에서 86.07 Macro-F1, SemEval-2016에서 82.90의 점수를 달성했습니다. 또한 P-Stance와 같이 입장이 더 명시적인 데이터셋에서도 경쟁력 있는 성능을 유지했습니다. 이러한 결과는 표면적 단서(surface cues)만으로는 입장을 신뢰할 수 있게 추론하기 어려운 경우에 적응형 추론 수준 집계가 가장 효과적임을 시사합니다.

arXiv:2606.11470v1cs.CL

LLM 추론의 주기율표: 추론 패러다임, 방법론 및 실패 양상에 대한 구조화된 조사

The Periodic Table of LLM Reasoning: A Structured Survey of Reasoning Paradigms, Methods, and Failure Modes

대규모 언어 모델(LLM)은 자연어 처리(NLP) 작업 전반에서 강력한 성능을 달성했으나, 신뢰할 수 있는 추론은 여전히 해결되지 않은 과제로 남아 있습니다. 현대 LLM은 구조화된 추론, 다단계 문제 해결, 문맥 이해에서 진전을 보이지만, 추론 행동은 종종 일관성이 없으며 프롬프트 전략, 작업 설계, 모델 규모에 민감합니다. 본 조사는 arXiv, Semantic Scholar, Google Scholar, Papers with Code, ACL Anthology의 300편 이상의 최신 논문을 체계적으로 분석하여 LLM에서 추론 능력이 어떻게 발현하는지 그리고 어디에서 실패하는지 조사합니다. 우리는 세 가지 주요 기여를 합니다. 첫째, 사고의 연쇄(Chain-of-Thought) 추론, 멀티-홉(multi-hop) 추론, 수학적 추론, 상식적 추론, 시각 및 시간적 추론, 코드 및 알고리즘적 추론, 검색 증강(retrieval-augmented) 추론, 도구 증강 및 에이전트(agentic) 추론, 강화학습 기반 추론을 포괄하는 LLM 추론 연구의 구조화된 분류 체계를 소개합니다. 둘째, 프롬프트 방법, 모델 아키텍처, 학습 목표, 보상 모델링, 평가 벤치마크를 포함하여 이러한 패러다임 전반의 방법론적 동향을 분석합니다. 셋째, 추론 환각, 취약한 다단계 추론, 약한 인과적 추상화, 낮은 도메인 간 일반화와 같은 반복되는 한계와 실패 양상을 종합합니다. 급격히 확장되는 문헌을 정리함으로써, 본 조사는 LLM 추론의 현재 능력과 한계에 대한 통합된 관점을 제공합니다. 또한 메타 추론, 자가 진화 추론 프레임워크, 멀티모달 추론, 사회적 그라운딩(socially grounded) 추론을 포함한 신흥 연구 방향을 식별합니다. 전반적으로, 이 작업은 향후 언어 모델에서 더 견고하고, 해석 가능하며, 일반화 가능한 추론 시스템을 개발하기 위한 참고 자료가 되는 것을 목표로 합니다.

arXiv:2606.11204v1cs.CL

안전 데이터 추출을 위한 대규모 언어 모델 벤치마킹

Benchmarking Large Language Models for Safety Data Extraction

안전 데이터 시트(SDS)에서 구조화된 정보를 정확하게 추출하는 것은 이질적인 문서 형식과 전통적인 규칙 기반 방법의 한계로 인해 산업 안전 분야에서 여전히 어려운 과제입니다. 본 연구는 자동화된 SDS 데이터 추출을 위해 텍스트 기반 및 멀티모달 처리 파이프라인을 비교하며 최첨단 대규모 언어 모델(LLM)을 벤치마킹합니다. 우리는 제로샷, 퓨샷, 사고의 연쇄의 세 가지 프롬프팅 전략에 걸쳐 Gemini 1.5 Pro, GPT-4o, Claude 3.7 Sonnet, Llama 3.1-70B 네 가지 모델을 체계적으로 평가했습니다. 평가 프레임워크는 50,000개 이상의 추출된 데이터 필드에 대해 정확도, 지연 시간 및 비용을 측정했습니다. 결과에 따르면 텍스트 기반 추출은 모든 지표에서 멀티모달 처리보다 일관되게 더 우수한 성능을 보였습니다. 사고의 연쇄 프롬프트와 결합된 Gemini 1.5 Pro는 가장 높은 정확도(84%)를 달성하여 GPT-4o(81%)와 Claude 3.7 Sonnet(79%)를 능가했습니다. 그러나 신뢰할 수 있는 실제 환경 배포에 일반적으로 필요한 90% 정확도 임계값을 넘은 모델은 없었습니다. 이러한 발견은 범용 LLM이 감독 없는 산업용 사용에는 아직 충분히 강건하지 않음을 나타내지만, 성능은 작업 특화 미세조정을 통해 강력한 잠재력을 시사합니다. 향후 연구는 안전에 결정적인 신뢰성을 보장하기 위해 도메인 적응 학습, 모델 보정 및 인간-루프 검증의 통합에 초점을 맞춰야 합니다.

arXiv:2606.11198v1cs.CL

구조적 어텐션 세금: 검색 형식이 콘텐츠와 무관하게 문맥 내 학습을 어떻게 탈취하는가

The Structural Attention Tax: How Retrieval Format Hijacks In-Context Learning Independent of Content

검색-증강 생성(RAG) 시스템에서 검색된 콘텐츠의 형식이 의미와 무관하게 어텐션 분포를 왜곡하는 '구조적 어텐션 세금' 현상을 정의하고, 어텐션을 의미적 요소와 구조적 요소로 분해하여 형식에 의한 어텐션 포획을 줄이는 완화 전략을 제안합니다.

arXiv:2605.04221v2cs.CL

프라이버시 민감 임상 정보 추출을 위한 자기 프롬프팅 소형 언어 모델

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

치과 경과 기록에서의 임상 개체명 인식(named entity recognition)은 문서화가 매우 비구조적이고 도메인 특화적이며 종종 프라이버시에 민감하기 때문에 어렵습니다. 우리는 치과 기록에서 여러 임상 개체를 추출하기 위해 소형 언어 모델이 개체별 프롬프트를 자체 생성, 검증, 정제 및 평가할 수 있게 하는 로컬 배포 가능한 프레임워크를 개발했습니다. 1,200개의 주석이 달린 기록을 사용하여 다중 프롬프트 앙상블 추론(multi-prompt ensemble inference)으로 후보 오픈 가중치 모델을 평가했으며, QLoRA 기반 지도 미세조정(supervised fine-tuning)과 직접 선호 최적화(direct preference optimization)를 사용하여 선택된 모델을 추가로 적응시켰습니다. 모델 성능은 크게 달라졌으며, 이는 일반적인 벤치마크에 의존하기보다는 작업별 평가의 필요성을 강조합니다. Qwen2.5-14B-Instruct가 가장 강력한 기준선 성능을 달성했습니다. DPO 후, Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct는 각각 0.864/0.837과 0.806/0.797의 마이크로/매크로 F1 점수를 달성했습니다. 이러한 발견은 자동화된 프롬프트 최적화와 경량의 선호 기반 사후 학습(post-training)을 결합하면 로컬 배포된 소형 언어 모델을 사용한 확장 가능한 임상 정보 추출을 지원할 수 있음을 시사합니다.

arXiv:2606.12387v1cs.DB

TAHOE: 경험 기반 자동화된 힌트 최적화를 통한 Text-to-SQL

TAHOE: Text-to-SQL with Automated Hint Optimization from Experience

TAHOE는 Text-to-SQL의 실제 배포 문제를 해결하기 위해 컴파일러 및 실행 피드백에서 학습된 힌트를 저장하는 Hint Bank를 구축하여 프롬프트 최적화를 동적으로 수행합니다. Spider 2.0-Snow 벤치마크에서 모델 파라미터 업데이트 없이 GPT-5.5의 정답률을 크게 향상시키고 Snowflake 문법 통과율을 100% 달성했습니다.

arXiv:2606.06814v1stat.ML

저차원 부분 공간의 관점에서 본 문맥 내 학습에 대한 학습 태스크 다양성의 효과

The Effect of Training Task Diversity on In-Context Learning through the Lens of Low-Dimensional Subspaces

트랜스포머의 문맥 내 학습(ICL)을 수행하는 창발적 능력은 그 기저 메커니즘을 이해하기 위한 광범위한 연구를 촉발했습니다. 기존 연구들은 종종 학습 태스크 다양성이 ICL의 학습 역학(dynamics)과 일반화 능력을 어떻게 형성하는지 연구합니다. 여기서 학습 태스크 다양성은 ICL 학습 태스크 벡터의 수 또는 태스크 벡터가 추출되는 함수 클래스의 수로 정의됩니다. 두 정의 모두 많은 흥미로운 현상을 밝혀냈지만, 후자의 정의에 따른 많은 관찰 결과들은 이론적으로 아직 설명되지 않았습니다. 본 논문은 이러한 현상들이 학습 데이터의 속성으로부터 입증 가능하게 발생하는 최소한의 분석 모델을 제시합니다. 학습 태스크 벡터를 저계수(low-rank) 가우시안 혼합으로 모델링함으로써, 우리는 공분산 행렬을 매개변수화하는 부분 공간(subspace) 간의 겹치지 않는 열의 수로 정의되는 학습 태스크 다양성이 선형 어텐션(linear attention)을 사용하는 ICL의 일반화와 최적화 궤적(trajectory)을 어떻게 향상시키는지 보여줍니다. 특히, 우리 모델은 (i) 태스크 다양성으로 학습하면 ICL 플래토(plateau)가 단축되는 이유와 (ii) ICL이 분포 외(out-of-distribution) 일반화를 달성하는 것처럼 보이는 이유를 설명할 수 있음을 보여줍니다. 마지막으로, 우리의 결과가 비선형 트랜스포머와 비선형 함수 클래스로 어떻게 확장되는지 경험적으로 실증하여 결론을 맺습니다. 전반적으로, 우리의 연구는 기존 관찰 결과를 통합할 수 있는 분석이 용이한 프레임워크를 제시합니다.

arXiv:2606.07479v1cs.CL

다중어 표현 분류를 위한 지도 학습 대 데모 기반 문맥 내 학습

Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

터키어 관용적 경동사 구조(LVCs)는 완전히 문자적 동사-목적어 조합과 동일한 표면 형식을 공유하면서도 단일의 부분적으로 관용적인 술어로 기능하는 경우가 많아 다중어 표현 처리에 있어 어려운 과제입니다. 우리는 터키어 LVC 탐지를 이진 분류 작업(문자적 의미 vs 관용적 의미)으로 구성하고, LVC 긍정 예제와 함께 일치하는 부정 예제(도메인 외 무작위 문장 및 도메인 내 문자적 통제군(NLVC))를 포함하는 수동으로 생성된 통제 세트(N=147)에서 평가를 수행했습니다. 우리는 지도 학습 터키어 인코더 기준선(BERTurk with a classifier head)과 서로 다른 계열의 3가지 인스트럭션 튜닝된 대규모 언어 모델(LLM)을 제로샷, 원샷, 퓨샷 프롬프팅 조건 하에서 비교하고, 데모가 오류 프로필을 어떻게 변화시키는지 분석했습니다. 제로샷에서는 LLM이 부정 예제에 대해서는 우수한 성능을 보이지만 LVC 재현율(recall)은 매우 낮게 나타났습니다. 원샷 프롬프팅은 LVC 탐지를 급격히 향상시키지만 강력한 모델 특정 편향을 유발할 수 있어, 모델이 LVC를 과대 예측하거나 과소 예측하는 결과로 이어질 수 있습니다. 더 풍부한 퓨샷 프롬프트는 보정(calibration)을 개선하고 GPT-OSS-20B 및 Qwen 2.5-14B에 대해 견고한 전반적인 성능을 산출했습니다. 전반적으로, 결과는 터키어 메타언어적 분류에서 상당한 프롬프트 민감도를 강조합니다. 지도 학습 기준선은 여전히 경쟁력을 유지하는 반면, 프롬프트가 적용된 LLM은 신중하게 구성된 데모를 통해 LVC에서 기준선과 대등하거나 이를 능가할 수 있습니다.

arXiv:2606.07402v1cs.CL

M$^3$Exam: 현실적인 사용자-에이전트 상호작용을 위한 멀티모달 메모리 벤치마킹

M$^3$Exam: Benchmarking Multimodal Memory for Realistic User-Agent Interactions

언어 에이전트는 축적되는 멀티모달 정보를 기반으로 점점 더 널리 배포되고 있으나, 기존 벤치마크들은 희소한 시각 정보와 단순한 내용을 담은 인간-인간 형태를 가정하여, 실제 멀티모달 파일 상호작용에 대한 추론이나 숨겨진 사용자 정보의 해석을 평가하지 못합니다. 따라서 우리는 현실적인 사용자-에이전트 상호작용을 기반으로 구축된 쿼리 중심의 멀티모달 대화형 메모리 벤치마크인 M$^3$Exam을 소개하며, 이는 모달 간 그라운딩과 암묵적 정보 추론을 아우르는 다차원 평가를 포함합니다. MLLM과 메모리 시스템에 대한 벤치마킹 결과, 모달 간 그라운딩, 세션 간 추론, 그리고 축적되는 멀티모달 컨텍스트의 효율성 비용에서 지속적인 격차가 드러났습니다. 또한 우리는 쿼리 모달리티 바이어스를 감지하고 필요에 따라서만 원본 시각 소스를 소비하는 멀티모달 메모리 방법인 M$^3$Proctor를 제안하며, 이는 인덱스 구축 시간과 검색된 토큰을 70% 이상 줄이면서 정확도를 13% 향상시킵니다.