PyTorchKR Papers

최신 논문

총 2,732편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12204v1cs.LG

Forgetful Attention: 인증된 선택과 정확한 언러닝을 갖춘 학습 가능한 서포트 벡터 메모리

Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning

어텐션은 컨텍스트에 대한 온라인 학습기로 볼 수 있지만, 기존 테스트 시점 메모리는 토큰을 제거해도 출력이 변하지 않음을 보증하거나 그 영향을 완전히 삭제할 수 없다. 우리는 고정된 박스 매개변수 C를 갖는 one-class SVM의 서포트 계수를 가중치로 사용하는 마진 메모리인 서포트 벡터 어텐션(SV-Attention)을 제안한다. 액티브 세트(active-set) 분할은 예비 토큰에 정확히 0 가중치를 부여하여 출력 보존 축출(eviction)을 인증하며, 가역적 증분 솔버는 동일한 C 하에서 해당 토큰 없이 재학습했을 때 생성되는 상태를 복원하기 위해 토큰을 삭제한다. fp64 실험에서 감소(decrement)와 재적합(refit)은 최적해가 유일할 때마다 동일한 분할을 복원하며, 결정 함수는 중앙 편차 약 10^-9(학습된 키에서는 10^-13)로 일치한다; 10^-2 최악의 경우는 ill-conditioned 중복에 국한되며 모든 영역에서 계수 감쇠 이하로 유지된다. 정확한 경로는 사용자 정의 역전파에서 유지된 KKT 역행렬을 재사용한다. 학습은 별도의 안정화된 배치 근사를 사용하며 정확한 삭제 인증서를 제공하지 않는다; 3.22M 매개변수 모델에서 초당 9,125 토큰에 도달하며 MPS 소프트맥스 기준 대비 35.8배 느리다. 동일한 예산에서 인증된 선택은 희귀 항목 재현율 0.86 대 0.32에 도달하며, 실제 MIMIC-IV 스트림에서 성능 저하 시간(deterioration hours) 0.80 대 0.05를 유지한다. 또한 실제 문장 임베딩에 대해 수술적 망각(surgical forgetting), 정확한 편집(exact editing), 환자 기록 삭제, 망각 가능한(forgettable) 검색 메모리를 시연한다. enwik8에서 하이브리드는 7개 시드에 걸친 동일 상태 슬라이딩 윈도우 트랜스포머의 2.383 대 2.178 BPC를 달성한다(8.6% 쌍체(paired) 개선, p=0.001); 3시드 TinyStories 결과는 방향적으로 긍정적이나 유의하지 않다(p=0.057).

arXiv:2607.11970v1cs.LG

MU-MISO 시스템에서 직접 파일럿-빔포머 설계를 위한 자기 진화형 문맥 내 학습

Self-Evolving In-Context Learning for Direct Pilot-to-Beamformer Design in MU-MISO Systems

우리는 다중 사용자 다중 입력 단일 출력(MU-MISO) 시스템에서 파일럿 기반 빔포밍의 성능을 향상시키기 위한 개선된 문맥 내 학습(ICL) 프레임워크를 개발한다. 제안된 방식은 ICL-트랜스포머 백본을 파일럿 인코더-디코더 네트워크(EDN) 및 빔포머 EDN과 통합한다. 우리 ICL 네트워크의 중요한 특징은 모델별 컨텍스트 데이터셋 구성을 통해 재학습 없이 여러 채널 모델을 처리할 수 있다는 점이다. 수렴과 견고성을 개선하기 위해, 우리는 세 가지 핵심 혁신을 도입한다: (a) 감독 LMMSE 라벨 모방에서 비지도 합속도(sum-rate) 최대화로 매끄럽게 전환하는 커리큘럼 학습(CL) 전략, (b) CL 기반 학습 동안 모든 채널 모델에 대한 컨텍스트 데이터셋을 동적으로 확장하고 정제하는 자기 진화 메커니즘, 그리고 (c) 여러 불일치를 일반 ICL 프레임워크에 통합하고 명시적 채널 보정을 우회하는 불일치 인식(mismatch-aware) 확장. 절제 연구는 문맥 내 아키텍처와 개선된 학습 전략의 효과를 검증한다. 다양한 통신 환경에 대한 시뮬레이션 결과는 제안된 방식이 그래디언트 기반 매개변수 업데이트 없이 보이는 채널 모델과 보이지 않은 채널 모델 모두에 빠르게 적응할 수 있으며, 지능적 컨텍스트 구성을 통해 불일치 문제를 완화할 수 있음을 보여준다. 또한 우리 방식은 WMMSE 벤치마크와 최근 트랜스포머 기반 방법을 포함한 파일럿 기반 설정에서 기존 빔포밍 방식들을 일관되게 능가한다.

arXiv:2607.11875v2cs.LG

귀납적 추론 태스크에서 트랜스포머의 불변 학습 동역학

Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks

우리는 트랜스포머 언어 모델에서 귀납적 추론 능력의 출현을 설명하는 이론적 프레임워크를 제시한다. 트랜스포머 학습 동역학에 관한 기존 연구들이 대부분 특정 태스크에 국한되어 있었던 반면, 우리는 문맥 내 n-gram 및 다중 홉 추론(multi-hop reasoning)을 포함하여 문헌에서 알려진 여러 합성 태스크를 통합하는 일반화된 귀납적 태스크 클래스를 연구한다. 이 클래스에서, 우리는 어텐션 모델의 학습 동역학이 해석 가능성이 높은 저차원 불변 다양체(invariant manifold)에 국한될 수 있음을 이론적으로 증명한다. 이 다양체 위에서, 학습 동역학은 수백만 개의 파라미터가 아닌 소수의 해석 가능한 좌표로 포착되며, 이를 통해 이론적·실험적 분석이 모두 더 다루기 쉬워진다. 이 프레임워크를 활용하여, 우리는 데이터 통계가 문맥 내 학습(in-context learning)과 가중치 내 학습(in-weights learning) 간의 경쟁을 어떻게 지배하는지 규명하고, 다중 해가 가능한 경우 무작위 초기화가 어떻게 '승리' 회로(circuit)를 결정하는지 연구하며, 다양체와 연관된 좌표 프레임이 학습된 모델에서 어떤 회로가 학습되었는지를 자동으로 탐지하는 데 활용될 수 있음을 보인다. 회로 형성을 저차원 동역학적 현상으로 다룸으로써, 우리는 트랜스포머가 어떻게 학습하는지에 대한 예측적 이론을 향한 한 걸음을 내딛는다.

arXiv:2607.12896v1cs.CV

UniMedSeg: 다중 패러다임 2D/3D 의료 이미지 분할을 위한 통합 문맥 내 학습

UniMedSeg: Unified In-Context Learning for Multi-Paradigm 2D/3D Medical Image Segmentation

의료 이미지 분할 기반 모델은 다양한 임상 시나리오에 일반화될 것으로 기대되지만, 기존 범용 방법은 여전히 프롬프트 패러다임과 공간 차원에 의해 분절되어 있다. 시각적 문맥 내 학습, 대화형 분할, 언어 안내 분할은 일반적으로 패러다임별 모델이 처리하며, 2D 및 3D 이미지도 별도로 모델링된다. 이러한 분리는 이질적인 어노테이션과 데이터가 단일 확장 가능한 모델에 공동으로 흡수되는 것을 막고, 패러다임 간 지식 전이를 제한한다. 이 병목을 해결하기 위해, 시각적 예시, 기하학적 상호작용, 언어 지시, 2D/3D 이미지를 공유 시퀀스 공간에 매핑하여 프롬프트 또는 차원별 분기 없이 통합 문맥 내 인터페이스를 통해 이질적인 의료 감독을 공동 학습할 수 있게 하는 트랜스포머 중심의 범용 분할 프레임워크인 UniMedSeg를 제안한다. 시각적 컨텍스트로 인한 장시퀀스 메모리 병목을 극복하기 위해, 어텐션 복잡도를 선형으로 줄이면서 하드웨어 친화적 계산과 집중된 컨텍스트-대상 상호작용을 유지하는 Decoupled Split Attention을 도입한다. 27개 공개 데이터셋에서 큐레이션한 대규모 말뭉치로 광범위하게 학습 및 평가한 결과, UniMedSeg는 과제별 미세조정 없이 시각적 문맥 내, 대화형, 언어 안내 분할 전반에서 최첨단 성능을 달성하며, 다양한 홀드아웃 과제에서 강한 일반화를 입증한다. 코드와 모델 가중치는 https://github.com/Lii1228/UniMedSeg 에서 공개 제공된다.

arXiv:2511.11132v4cs.CV

사후 인식에서 선견지명으로: 지식 기반 시각적 질의응답을 위한 자기 격려형 사후 지식 증류

From Hindsight to Foresight: Self-Encouraged Hindsight Distillation for Knowledge-based Visual Question Answering

지식 기반 시각적 질의응답(KBVQA)은 교차 모달 이해를 넘어서는 외부 지식 통합을 필요로 한다. 기존 KBVQA 방법은 문맥 내 학습(ICL)을 통해 다중모달 대규모 언어 모델(MLLM)의 암묵적 지식을 활용하거나, 검색-증강 생성(RAG)을 통해 명시적 지식을 활용한다. 그러나 이들의 추론 과정은 명시적인 다단계 궤적 없이 암묵적으로 남아 있다. 이 공백을 해소하기 위해, 우리는 MLLM 내부의 추론 능력을 이끌어내기 위해 특권 정보를 갖춘 Hindsight Teacher가 Foresight Student를 가르치도록 구성하는 Self-Encouraged Hindsight Distillation Reasoning(HinD) 프레임워크를 제안한다. 먼저, 추론 목표를 특권 정보로 MLLM에 프롬프트하여 추론 과정을 완료함으로써 Hindsight Teacher를 구성하고, HinD-Zero 학습 데이터를 얻는다. 그다음, 정답을 모르는 Foresight Student는 Hindsight로부터 golden trajectory를 두 가지 방식으로 학습한다: (1) Hindsight Distillation Fine-Tuning을 통해 HinD-Zero를 순차적 단계와 이산적 사실 생성을 위한 모듈화된 사고의 연쇄(Chain-of-Thought) Generator 및 Knowledge Generator로 자기 증류(self-distill)하는 미세조정; (2) Knowledge Encouragement Preference Optimization을 통해 MLLM 내부의 자신감은 부족하지만 관련 있는 지식은 장려하고, 과도하게 자신 있지만 관련 없는 지식은 억제한다. OK-VQA와 A-OKVQA에서의 실험은 HinD의 효과를 검증하며, 7–8B MLLM을 사용한 HinD가 상용 모델 API나 검색된 지식 없이도 우수한 성능을 달성함을 보여준다.

arXiv:2607.06233v2cs.AI

TOFFEE 시연: 대규모 데이터 에이전트 궤적 합성을 위한 학습 기반 시스템

Demonstrating TOFFEE: A Learned System for Synthesizing Data Agent Trajectories at Scale

TOFFEE는 이질적인 엔터프라이즈 환경에서 데이터 에이전트의 일반화 한계를 극복하기 위해, 몬테 카를로 트리 탐색(MCTS)과 적응형 모델 선택, 태스크 간 접두 컨텍스트 재사용을 결합하여 고품질 데이터 에이전트 궤적을 대규모로 합성하는 시스템이다. TOFFEE로 합성한 궤적으로 파인튜닝한 모델(TOFFEE-27B)은 KramaBench와 DSBench에서 OpenAI o3 같은 프론티어 추론 모델을 능가하며, 지도 파인튜닝(SFT) 및 문맥 내 학습(ICL) 데모 두 가지 용도로 활용 가능함을 실증한다.

arXiv:2607.11881v1cs.CL

대규모 언어 모델의 메타인지: 기초, 발전, 그리고 기회

Metacognition in LLMs: Foundations, Progress, and Opportunities

메타인지는 효과적인 학습, 문제 해결, 의사결정, 소통 등에 있어 핵심적인 지능의 구성 요소다. 최근 몇 년간 메타인지는 유능하고 투명한 AI 시스템의 근간으로 점점 더 주목받고 있다. 그러나 대규모 언어 모델(LLM)이 다양한 실세계 과제에서 상당한 발전을 이루었음에도 불구하고, LLM이 효과적인 메타인지 능력을 언제, 어떻게, 어느 정도까지 발휘하거나 갖출 수 있는지, 또한 그러한 능력이 AI 시스템의 근본적인 역량, 신뢰성, 지능을 향상시키는 데 어떻게 활용될 수 있는지는 아직 명확하지 않다. 본 논문은 LLM의 메타인지에 관한 현재 지식 상태를 최초로 포괄적으로 개관함으로써 이 간극을 해소한다. 우리는 이 신흥 분야의 전반적인 연구 지형을 분석하고 분류하며, LLM의 메타인지 능력을 측정·평가하는 방법 및 벤치마크, LLM에서 메타인지를 유도·개선·적용하는 기법, 그리고 진행 중인 연구의 발견과 시사점을 포함한 최근의 기술적 발전을 요약한다. 또한 응용 사례, 미해결 문제와 도전 과제, 향후 연구의 유망한 방향도 논의한다. 본 논문의 목적은 이 주제에 대한 상세하고 최신의 리뷰를 제공하고 의미 있는 연구와 논의를 촉진하는 것이다. 정리된 논문 목록은 https://github.com/yale-nlp/LLM-Metacognition 에서 확인할 수 있다.

arXiv:2607.11703v1cs.CL

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

arXiv:2607.11614v1cs.CL

연상 순환 메모리를 통한 LLM 컨텍스트 확장

Extending LLM Context via Associative Recurrent Memory

대규모 언어 모델(LLM)의 컨텍스트 길이를 확장하는 것은 많은 실세계 애플리케이션에서 매우 중요하지만, 표준 트랜스포머는 이차적 연산량과 선형적 메모리 스케일링이라는 제약에서 벗어나지 못하고 있다. 본 연구에서는 LLM의 장문 컨텍스트 처리, 고정 메모리 스케일링, 높은 효율성을 실용적으로 실현하기 위한 방법으로 ARMT(Associative Recurrent Memory Transformer)를 탐구한다. 본 논문의 주요 기여는 세 가지다. 첫째, 현실적인 워크로드 평가를 위해 협소 도메인 미세조정 시나리오에 초점을 맞춘 두 가지 도메인 특화 장문 컨텍스트 데이터셋을 구축하였다. 둘째, 지속적 사전학습, 합성 장문 컨텍스트 데이터 생성, 커리큘럼 학습, 연상 메모리의 선택적 모델 레이어 통합을 결합한 ARMT 기반 컨텍스트 확장을 위한 포괄적인 학습 레시피를 제안한다. 셋째, ARMT로 강화된 모델이 (i) 컨텍스트 한계 내 기준선 대비 성능 저하 없이 원래 컨텍스트 한계를 훨씬 초과하는 입력을 처리하고, (ii) 분포 외 컨텍스트 길이에 더 효과적으로 일반화하며, (iii) 원래 컨텍스트 윈도우 내에서 기준선 성능을 유지하면서 FLOPs를 30% 절감함을 보여주는 광범위한 실험 연구를 제시한다.

arXiv:2607.11564v1cs.CL

PaperRouter-Agent: 개인화된 계층적 논문 라우팅을 위한 내용 기반 LLM 에이전트

PaperRouter-Agent: A Content-Grounded LLM Agent for Personalized Hierarchical Paper Routing

연구자들은 문헌 관리 도구에서 수집한 논문을 개인 폴더 계층 구조로 정리하고, 새로운 논문이 들어올 때마다 적절한 폴더로 라우팅한다. 이 작업은 표준 계층적 텍스트 분류(classification)와 다르다. 사용자의 폴더 계층 구조는 고정된 공유 분류 체계가 아니라, 폴더 의미가 주제 기반, 약칭, 발표 장소 기반, 또는 프로세스 지향적일 수 있는 사적이고 진화하는 개인 분류 체계(folksonomy)이며, 그 의미는 이미 저장된 논문들에 의해 정의되는 경우가 많다. 우리는 이 설정을 개인화된 계층적 논문 라우팅(PHPR, personalized hierarchical paper routing)으로 공식화한다: 사용자별 학습(training) 없이 사용자 고유 계층 구조의 폴더에 입력 논문을 할당하는 것이다. 우리는 폴더 이름만이 아니라 폴더 내 구성원 논문에 라우팅 결정을 근거하는 학습 불필요 LLM 에이전트(agent)인 PaperRouter-Agent를 제안한다. 이 에이전트는 먼저 후보 계층 구조를 좁히고, 폴더별 증거를 검색하며, 구성원 논문을 검사하여 적합성을 검증하고, 과거 사용자 거절 이력으로부터 유사도 게이팅 피드백을 반영한다. 실제 개인 문헌 라이브러리에 대한 형성적 연구에서 PaperRouter-Agent는 전체 Recall@1을 0.39에서 0.61로, Recall@3을 0.57에서 0.83으로 향상시켰으며, 발표 장소나 연도 등 메타데이터로 정의된 조직적 폴더에서 가장 큰 성능 향상을 보였다(Recall@1 0.09에서 0.50). 단일 시도 방법이 이러한 폴더에서 무력화되는 반면, 공개 LaMP-2 벤치마크(benchmark)에서는 동일한 접근법이 단일 시도 기준선(baseline) 대비 정확도를 44.5%에서 51.5%로 향상시켰으며(매크로-F1 +9.0), 실용적 사용에 적합한 낮은 비용을 유지하였다.

arXiv:2607.11414v1cs.CL

자신 있게 틀리다: LLM 내부 상태로부터 금융 질의응답의 환각 탐지

Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States

금융 애플리케이션에서 대규모 언어 모델(LLM)은 자신 있게 틀릴 때 가장 심각한 실패를 초래한다. 불확실성이 드러난 답변은 검토를 유도하는 반면, 자신감 있는 오류는 경고 없이 하위 의사결정을 조용히 저하시킨다. 본 연구에서는 이러한 자신 있는 오답, 즉 확신에 찬 환각(confident hallucination)을 모델의 내부 활성화(internal activations)로부터 얼마나 신뢰성 있게 탐지할 수 있는지, 그리고 해당 활성화가 관측 가능한 출력 이상의 정보를 담고 있는지를 탐구한다. 우리는 잔류 스트림(residual stream)에 선형 프로브(linear probes)를 학습시키고, 실제 공시 문서 기반으로 구축된 두 가지 기존 질의응답(QA) 벤치마크인 FinQA와 TAT-QA에서 이를 평가한다. 행동적 신뢰도(behavioral confidence)는 동일 질문에 대해 8회 재샘플링된 답변 간의 일치도로 측정하며, 프로브의 효과는 토큰 로그-확률 및 모델 자체의 True/False 자기 평가와 같은 기준선(baseline) 방법과 비교한다. 실험 결과, 8회 재샘플링 결과가 모두 일치하는 확신 있는 답변 중 FinQA에서 15~23%가 오답임을 확인했다. 이 경우 프로브는 환각 탐지에서 기준선 방법에 비해 유의미한 우위를 보였으며, Qwen3-8B, Llama-3.1-8B, Gemma-2-9B 전반에 걸쳐 0.68~0.77 AUROC를 기록한 반면 최상의 기준선은 0.55~0.63에 그쳤다. 본 결과는 프로빙(probing)이 고위험 금융 애플리케이션에서 LLM 답변을 인간 검토 및 품질 관리 절차로 라우팅하기 위한 비용 효율적인 트리아지(triage) 메커니즘이 될 수 있음을 시사한다.

arXiv:2607.11267v1cs.IR

인간 피드백을 통한 대규모 언어 모델 향상: 자기 개선을 향한 여정

Enhancing LLMs through human feedback: a journey towards self-improvement

빠르게 진화하는 정보 검색 시스템 환경에서 사용자 피드백을 통해 적응하고 개선하는 능력은 매우 중요하다. 본 연구는 보조 피드백 검색-증강 생성(RAG) 시스템을 전략적으로 통합하여 주 RAG 시스템의 성능을 개선하는 새로운 방법론을 제안한다. 인간이 생성한 피드백을 체계적으로 활용함으로써, 응답의 정확성, 관련성, 전반적인 품질을 향상시키고 시스템이 자기 개선을 향해 나아가도록 한다. 이 방법론의 핵심은 인간 참여 루프(human-in-the-loop) 구현으로, 사용자 피드백이 지속적으로 수집·분류되어 추론 워크플로에 통합됨으로써 시스템이 반복적으로 학습하고 발전할 수 있게 한다. 이 접근법의 효과를 검증하기 위해, 본 연구는 일반 도메인 및 커스텀 도메인 지식에 초점을 맞춘 세 가지 다양한 벤치마크 데이터셋을 대상으로 엄격한 테스트를 수행하며, LLM-as-a-judge 평가 전략을 활용한다. 이 포괄적인 프레임워크는 RAG 시스템에서 피드백 기반 개선의 혁신적 잠재력을 부각시킬 뿐만 아니라, 적응형 정보 검색 기술의 미래 연구를 위한 선례를 제시하며, 사용자 참여를 통한 자율적 개선 및 최적화를 향한 여정에서 중요한 진전을 이룬다.

arXiv:2607.11207v1cs.CL

ProgramTab: 프로그래밍 패러다임을 통한 LLM의 테이블 추론 향상

ProgramTab: Boosting Table Reasoning of LLMs via Programmatic Paradigm

대규모 언어 모델(LLM)을 활용한 테이블 기반 추론은 자연어 질문과 구조화된 테이블 데이터를 기반으로 추론을 수행하는 작업으로, 최근 广범위한 주목을 받고 있다. 그러나 여러 문제들이 이 작업의 실용화를 여전히 제약하고 있다. 기존 접근법들은 긴 텍스트 모델링의 어려움과 LLM의 입력 길이 제한으로 인해 대형 테이블을 처리할 때 성능이 크게 저하되는 문제를 겪었다. text-to-SQL 방식은 테이블에서 핵심 정보를 효율적으로 추출하고 더 작은 하위 테이블을 생성하는 데 활용되어 왔다. 그러나 테이블 데이터, 특히 웹 테이블은 필요한 구조와 일관성이 부족한 경우가 많아 SQL 쿼리를 통한 수학적 논리 연산 수행에 적합하지 않다. 본 논문에서는 LLM이 문맥 내 학습(in-context learning)을 활용하여 Python 코드로 테이블 데이터 전처리를 수행하고, 행 및 열 추출과 SQL 생성을 통해 중요 내용을 추출하도록 유도하는 ProgramTab 프레임워크를 제안한다. 테이블 추론 데이터셋에 대한 실험 결과, ProgramTab 프레임워크는 테이블 기반 추론 작업을 효과적으로 처리하며 모든 LLM 기반 베이스라인을 능가하는 성능을 보였다.

arXiv:2607.11053v1cs.CL

격률 위반은 자기 책임: 인식론적 비대칭 하에서 화용적 협력성에 어려움을 겪는 LLM

Flout at Your Own Risk: LLMs Struggle with Pragmatic Cooperativity Under Epistemic Asymmetry

풍성한 협력은 추론에 통합할 맥락적 단서를 포함한 협력적 의사소통에 의존한다. 협력적·에이전트 파이프라인에서 대규모 언어 모델(LLM)의 사용이 증가함에 따라, 특히 협력자와 동일한 정보에 접근하지 못할 수 있는 시나리오에서 LLM이 이러한 화용적 역량을 어느 정도 발휘하는지에 대한 의문이 제기된다. 본 논문에서는 부분 정보 조건하의 다자간 협력 과제에서 LLM의 화용적 추론 역량에 대한 새로운 연구를 수행한다. 우리는 객관적 과제 성공을 그라이스의 협력 원리(Grice's cooperative principle)와 명시적으로 연결하는 협력적 인식론적 비대칭(collaborative epistemic asymmetry) 개념을 형식화하고, 프롬프팅 및 사후 학습 전략을 포함하여 화자와 청자 모두로서 협력적으로 행동하는 다양한 LLM의 능력을 실증적으로 평가한다. 우리의 결과는 LLM이 협력적 환경에서 특정 화용적 역량을 발휘하며 이를 프롬프팅과 사후 학습을 통해 이끌어낼 수 있음을 보여주지만, 불완전한 정보 하의 화용적 의사소통에서는 여전히 어려움에 직면하며, 특정 실패 양상은 인식되지 못한 채 넘어가는 그라이스의 격률(Grice's maxims) 위반과 상관관계가 있음을 보여준다.

arXiv:2607.10245v1cs.CL

PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합

PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models

감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.

arXiv:2607.09921v1cs.CL

언어 모델을 활용한 글로벌 합병 차익거래 예측

Global Merger-Arbitrage Forecasting with Language Models

우리는 합병 차익거래(merger arbitrage)를 위한 언어 모델 예측 시스템을 제안한다. 합병 차익거래는 발표된 M&A 거래의 결과를 예측하는 것이 과제인, 특수하고 높은 위험이 수반되는 금융 환경이다. LLM을 활용한 판단적 예측(judgmental forecasting)에 관한 기존 연구들이 광범위한 혼합 주제 벤치마크와 뉴스 단편 같은 짧은 컨텍스트에 집중해온 것과 달리, 우리는 수백 페이지에 달하는 기술 문서에 대한 긴 컨텍스트 추론이 요구되는 환경을 연구한다. 우리 시스템은 전문가가 설계한 컨텍스트 엔지니어링과, 과거 거래에서 도출된 사후 지식 기반 추론 트레이스(hindsight-guided reasoning traces)를 활용한 파인튜닝을 결합한다. 발표된 거래가 주어지면, 시스템은 상호 배타적인 세 가지 결과—발표된 조건으로 종결, 상위 입찰, 거래 종료—에 대한 확률 분포를 출력한다. 42개국에 걸쳐 400개 이상의 대형 거래로 구성된 표본 외(out-of-sample) 데이터셋에서, 우리의 파인튜닝 모델은 평가한 모든 방법 중 최고 성능을 달성하여 클래스 균형 브라이어 점수(class-balanced Brier score)를 0.151로 낮췄다. 이는 보정된 시장 내재 확률보다 24%, XGBoost보다 19%, 프론티어 언어 모델보다 25~42% 낮은 수치이다. 이러한 결과와 절제 연구(ablation studies)를 통해, LLM 기반 예측이 특화된 긴 컨텍스트 금융 워크플로에서 성공할 수 있으며, 사후 지식 기반 지도학습과 전문가 설계 컨텍스트가 핵심적인 역할을 함을 보여준다.

arXiv:2606.28186v2cs.CL

LLM 추론 트레이스의 인지적 에피소드가 해석 가능한 인간 문항 난이도 예측을 가능하게 한다

Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction

인간 문항 난이도 예측은 공정성과 효과적인 검사 구성을 뒷받침하는 신뢰할 수 있는 추정을 제공한다는 점에서 교육 평가의 핵심이다. 기존 방법은 종종 비용이 큰 인간 보정 또는 문항 수준의 텍스트 표현에 의존하며, 문항을 어렵게 만드는 인지 과정에 대한 제한적인 증거만을 제공한다. 우리는 난이도를 문항 텍스트의 속성일 뿐만 아니라, 문항이 유발하는 문제 해결 부담의 관측 가능한 결과로도 볼 수 있어야 한다고 주장한다. 대규모 추론 모델(LRM)은 추론 트레이스를 통해 확장 가능한 과정 증거를 제공하지만, 해석 가능한 모델링을 지원하려면 이러한 증거가 구조화되어야 한다. 이를 위해 우리는 LRM 추론 트레이스를 인지적으로 정당화된 에피소드 시퀀스로 매핑하는 프레임워크인 Epi2Diff(Episode to Difficulty)를 제안한다. 이러한 에피소드는 트레이스 세그먼트를 기능적 문제 해결 상태로 묶어, 추론 규모, 노력 배분, 상태 전이를 통해 난이도를 모델링할 수 있게 한다. Epi2Diff는 간결한 에피소드 동역학 특징을 추출하고 이를 의미적 문항 표현과 결합하여 인간 난이도를 예측한다. 네 가지 실제 인간 난이도 데이터셋에서의 실험 결과, Epi2Diff는 미세조정된 소규모 언어 모델, LLM 문맥 내 학습(ICL), 지도 LLM 적응을 포함한 강력한 베이스라인을 일관되게 능가했다. SAT에서 파생된 분류 벤치마크에서 Epi2Diff는 지도 LLM 미세조정 베이스라인 대비 평균 8.1%의 상대적 향상을 달성했다. 추가 분석에 따르면, 더 어려운 문항은 단순히 더 긴 응답을 유발하는 것이 아니라, 더 많은 노력이 들고 반복적이며 구현 중심적인 에피소드 동역학을 유발한다. 이러한 결과는 LRM 추론 트레이스의 인지적 에피소드가 인간 문항 난이도에 대한 예측 가능하고 해석 가능한 과정 표현을 제공하며, 추론 모델을 활용한 교육 측정에 대한 새로운 관점을 제시함을 보여준다.

arXiv:2604.07643v1cs.HC

Narrix: 스토리 작성을 위한 예시에서의 내러티브 전략 리믹싱

Narrix: Remixing Narrative Strategies from Examples for Story Writing

숙련된 스토리텔러는 이야기를 국소적인 내러티브 전략과 이러한 전략이 상위 수준의 아크를 형성하는 방식으로 분해한다. 이러한 분해는 작가들이 타인의 작품에서 패턴을 인식하고 그 패턴을 새로운 이야기를 전달하는 데 적용하는 데 도움을 준다. 그러나 초보자들은 이러한 전략을 식별하거나 효과적으로 재사용하는 데 어려움을 겪는다. 본 논문에서는 초보 작가들이 예시 이야기에서 내러티브 전략을 인식하고 이를 자신의 글쓰기에 재활용할 수 있도록 돕는 새로운 글쓰기 도구인 Narrix를 제안한다. Narrix는 예시 이야기의 전략을 분석하고, 색상으로 구분된 어휘적 단서와 설명으로 이를 강조하며, 감정적 전환과 전환점을 통한 탐험을 위해 인터랙티브 스토리 아크 위에 배치한다. 그런 다음 작가들은 전략을 다차원 트랙에 드래그하고 블록 범위 편집을 적용하여 지정된 전략에 의해 제어되는 생성을 통해 초안을 수정하거나 이어서 작성한다. 피험자 내 연구(N=12)를 통해 Narrix는 기준선 채팅 기반 글쓰기 인터페이스에 비해 참가자들의 내러티브 전략 기억, 자신감, 창의적 적용을 향상시키는 것으로 나타났다.

arXiv:2601.07372v2cs.CL

확장 가능한 검색을 통한 조건부 메모리: 대규모 언어 모델의 새로운 희소성 축

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

전문가 혼합(MoE)이 조건부 연산을 통해 용량을 확장하는 반면, 트랜스포머는 지식 검색을 위한 기본 프리미티브가 없어 연산을 통해 비효율적으로 검색을 시뮬레이션해야 합니다. 이를 해결하기 위해, 우리는 보완적인 희소성 축으로서 조건부 메모리를 도입합니다. 이는 O(1) 검색을 위해 고전적인 N-gram 임베딩을 현대화한 모듈인 Engram을 통해 구현됩니다. 희소성 할당 문제를 공식화함으로써, 신경망 연산(MoE)과 정적 메모리(Engram) 간의 트레이드오프를 최적화하는 U자형 스케일링 법칙을 발견합니다. 이 법칙에 따라 Engram을 270억 매개변수까지 확장하여, 동일 매개변수 및 동일 FLOPs의 MoE 기준선 대비 우수한 성능을 달성합니다. 특히, 메모리 모듈이 지식 검색에 기여할 것으로 예상되었으나(예: MMLU +3.4; CMMLU +4.0), 일반 추론(예: BBH +5.0; ARC-Challenge +3.7) 및 코드/수학 영역(HumanEval +3.0; MATH +2.4)에서 더욱 큰 성능 향상이 관찰되었습니다. 메커니즘 분석을 통해 Engram이 백본의 초기 레이어를 정적 재구성 부담에서 해방시켜 복잡한 추론을 위해 네트워크를 효과적으로 심화시키는 것이 밝혀졌습니다. 또한, 로컬 의존성을 검색에 위임함으로써 글로벌 컨텍스트를 위한 어텐션 용량을 확보하여 장문 컨텍스트 검색 성능을 크게 향상시킵니다(예: Multi-Query NIAH: 84.2 → 97.0). 마지막으로, Engram은 인프라 인식 효율성을 확립합니다: 결정론적 주소 지정 방식을 통해 호스트 메모리에서의 런타임 프리페칭이 가능하며 무시할 수 있는 수준의 오버헤드만 발생합니다. 우리는 조건부 메모리를 차세대 희소 모델을 위한 필수적인 모델링 프리미티브로 전망합니다.

arXiv:2607.11732v1cs.CV

GFR-SAM: 교차 이미지 프롬프팅을 통한 학습 없는 참조 기반 위장 객체 분할

GFR-SAM: Training-Free Referring Camouflaged Object Segmentation via Cross-Image Prompting

참조 기반 위장 객체 검출(Ref-COD)은 참조 단서에 따라 숨겨진 대상을 분할하는 작업이다. 지도 학습 방법은 어노테이션 비용이 크고, 희소 포인트 프롬프팅 기반의 학습 불필요 접근법은 위치 추정 오류에 민감하다는 한계가 있다. 이를 극복하기 위해 우리는 강건한 3단계 학습 없는 프레임워크인 GFR-SAM을 제안한다. GFR-SAM은 취약한 포인트 매칭 패러다임에서 벗어나 "생성-필터링-정제(Generate-Filter-Refine)" 파이프라인으로 전환한다. 첫째, 컨텍스트 내 예시 기반 분할(In-Context Exemplar-guided Segmentation)을 도입하여 SAM3에 교차 이미지 추론 능력을 부여하고, 전체적인 시각적 예시를 통해 후보 마스크를 생성함으로써 SAM3 본래의 이미지 내부 제약을 우회한다. 둘째, 영역-전역 대조 필터링(Region-Global Contrastive Filtering) 모듈이 DINOv3 기반 프로토타입 정렬을 통해 후보를 순위화하여 배경 방해 요소를 효과적으로 억제한다. 마지막으로, 기하학적-의미론적 정제(Geometric-Semantic Refinement) 모듈이 경계 상자와 텍스트 프롬프트를 결합하여 세밀한 경계를 복원하고 인스턴스 재현율을 향상시킨다. R2C7K 벤치마크에서 GFR-SAM은 기존 학습 불필요 방법 대비 가중 F-척도($F_β^w$)에서 8.7% 높은 성능을 달성하며, 지도 학습 기반 최신 방법들과도 경쟁력 있는 성능을 보인다. 본 연구는 교차 이미지 컨텍스트 내 프롬프팅을 위한 SAM3의 잠재 능력을 활성화할 가능성을 제시하며, 과제별 미세조정 없이 범용 기반 모델과 특화된 레이블 집약적 인식 과제 간의 간극을 효과적으로 메우는 강건한 학습 없는 패러다임을 확립한다.