PyTorchKR Papers

최신 논문

총 2,732편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00125v1cs.CV

분해, 비교, 결정: 멀티모달 LLM은 암묵적 퓨샷 학습자다

Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners

추가 학습 없이 기성 멀티모달 대규모 언어 모델(MLLM)을 강력한 퓨샷(few-shot) 분류기로 전환하는 DeCoDe 기법을 제안하며, 퓨샷 분류를 쿼리-서포트 이미지 간 이진 쌍별 비교로 분해하고 긍정 응답에 해당하는 로짓을 유사도 점수로 활용한다. 12개 데이터셋(표준 6개 + 신규 6개) 평가에서 현재 최첨단 퓨샷 방법들을 크게 능가하며, 클래스 레이블 익명화 환경과 새로운 도메인에서도 강건한 성능을 보인다.

arXiv:2607.01224v1cs.AI

AutoMem: Automated Learning of Memory as a Cognitive Skill

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.

arXiv:2607.00211v1cs.AI

Constructing Epistemic AI Literacy: Detecting Epistemic Aims and Processes in Student-AI Co-Programming

Epistemic thinking plays a central role in students' learning processes when applying generative artificial intelligence (GenAI), particularly in programming contexts where learners must construct queries, evaluate and validate AI-generated outputs, and regulate problem-solving strategies. This study introduces the conceptual framework of Epistemic AI Literacy (EAIL), reframing AI literacy as a process-oriented epistemic phenomenon that emerges through dynamic human-AI interactions across different domains. Drawing on the AIR (epistemic aims, ideals and reliable epistemic processes) framework, this study examines how epistemic aims and epistemic processes are enacted in GenAI-supported co-programming activities and explores scalable approaches for operationalizing these constructs in interaction data. Using a large dialogue dataset of human-AI co-programming, this study identifies observable dimensions of epistemic aims (i.e., mastery-oriented aims) and epistemic processes (i.e., outsourcing, explanation seeking, verification seeking, prompt monitoring, and epistemic justification). The results reveal a prevalent lack of EAIL, with 78.8% of student-GenAI interactions relying on non-mastery-oriented aims and less reliable epistemic strategies like outsourcing and verification-seeking. Conversely, only 11.1% of interactions showed high epistemic engagement, where mastery-oriented aims were coupled with advanced epistemic strategies like epistemic justification in a more reliable epistemic process.

arXiv:2607.00049v1cs.SE

Prompting GPT-5 on Scrum Certification Questions: An Empirical Accuracy Study

GPT-5를 대상으로 993개의 PSM(Professional Scrum Master) 인증 시험 스타일 문제에 제로샷(zero-shot), 사고의 연쇄(Chain-of-Thought), 출처 인용 방식의 세 가지 프롬프트 기법을 적용한 결과, 모든 기법이 85% 이상의 정확도를 달성했으며 출처 인용 방식이 89.1%로 가장 우수한 성능을 보였다. 오류는 주로 Scrum Guide와의 불일치, 범위 외 콘텐츠, 구버전 해석에 집중되었으며, 구조화된 프롬프트가 이러한 오류를 줄이는 데 효과적임을 실증적으로 확인하였다.

arXiv:2607.00008v1cs.IR

SchemaRAG: Dynamic Large Schema Reduction for LLM-driven Structured Information Extraction

Extracting structured data from unstructured text using large language models (LLMs) becomes challenging when target schemas are large and complex. In such cases, including the full schema in the prompt increases cost and latency, risks lost-in-the-middle performance degradation, and can exceed context length limits. We propose SchemaRAG, a retrieval-augmented generation (RAG) framework that dynamically prunes the output schema space for schema-conditioned information extraction tasks by leveraging schema metadata and few-shot examples when available. We evaluate SchemaRAG on real-world healthcare and e-commerce datasets. Our results show that SchemaRAG can achieve up to an 8.8% increase in micro-F1, a 47% reduction in latency, and a 48% reduction in token costs, demonstrating its practicality for large-schema extraction.

arXiv:2603.12056v3cs.AI

XSkill: Continual Learning from Experience and Skills in Multimodal Agents

Multimodal agents can now tackle complex reasoning tasks with diverse tools, yet they still suffer from inefficient tool use and inflexible orchestration in open-ended settings. A central challenge is enabling such agents to continually improve without parameter updates by learning from past trajectories. We identify two complementary forms of reusable knowledge essential for this goal: experiences, providing concise action-level guidance for tool selection and decision making, and skills, providing structured task-level guidance for planning and tool use. To this end, we propose XSkill, a dual-stream framework for continual learning from experience and skills in multimodal agents. XSkill grounds both knowledge extraction and retrieval in visual observations. During accumulation, XSkill distills and consolidates experiences and skills from multi-path rollouts via visually grounded summarization and cross-rollout critique. During inference, it retrieves and adapts this knowledge to the current visual context and feeds usage history back into accumulation to form a continual learning loop. Evaluated on five benchmarks across diverse domains with four backbone models, XSkill consistently and substantially outperforms both tool-only and learning-based baselines. Further analysis reveals that the two knowledge streams play complementary roles in influencing the reasoning behaviors of agents and show superior zero-shot generalization.

arXiv:2606.31718v1cs.CL

대규모 언어 모델을 활용한 교차 언어 관계 추출: 루마니아어에 대한 제로샷, 퓨샷 및 미세조정 평가

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

LLM 기반 번역 파이프라인으로 SemEval-2010 Task 8 벤치마크를 루마니아어로 번역하고, Gemma 4 31B를 제로샷·퓨샷·QLoRA 미세조정 설정으로 평가한 교차 언어 관계 추출(RE) 연구다. QLoRA 미세조정이 매크로 F1-Score를 22pp 이상 향상시키는 반면, 50~250배 작은 인코더 기준 모델들이 QLoRA Gemma에 1~4pp 이내로 근접해, 컴퓨팅 자원이 제한된 환경에서 31B 모델 사용의 실익이 크지 않음을 보인다.

arXiv:2606.30973v1cs.CL

명제적 비대칭에서 지각적 비대칭으로: 비대칭적 부분 정보 대화에 대한 Frictive Policy Optimization의 확장

From Propositional to Perceptual Asymmetry: Extending Frictive Policy Optimization to Asymmetric Partial Information Dialogue

Frictive Policy Optimization(FPO)을 공유 지각 맥락을 가정하는 명제적 비대칭에서 참여자들이 서로 다른 부분 정보를 보유하는 지각적 비대칭(perceptual asymmetry) 설정으로 확장하여, HCRC MapTask 코퍼스 분석과 LLM 프로빙을 통해 마찰 범함수가 각 참여자의 정보 지평 내에서 관점별로 평가될 때만 유효하며 전지적 접근보다 단일 정보 관점이 우수함을 실증적으로 보인다.

arXiv:2604.22027v2cs.CL

Shared Lexical Task Representations Explain Behavioral Variability In LLMs

대규모 언어 모델(LLM)의 프롬프트 민감성을 설명하기 위해, 어텐션 헤드의 출력을 어휘 공간에 투영했을 때 태스크 자체를 어휘적으로 기술하는 특수한 헤드(lexical task heads)를 발견하였다. 이 헤드들은 인스트럭션 기반 및 퓨샷 예시 기반 프롬프트 방식에 걸쳐 공유되며, 이 헤드의 활성화 강도 차이가 프롬프트 간 성능 변동을 설명하고 실패 사례는 경쟁 태스크 표현이 목표 신호를 희석시키는 것에 기인함을 인과 실험으로 입증하였다.

arXiv:2606.31639v1cs.CR

A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems

대규모 언어 모델(LLM)이 검색-증강 생성(RAG), 에이전트, 공급망 등 전체 애플리케이션 스택에 통합됨에 따라 발생하는 보안 취약점을 데이터 수집부터 배포·유지보수까지 8단계 라이프사이클 관점으로 체계화한 서베이 논문으로, 프롬프트 인젝션·포이즈닝·탈옥(jailbreak)·프라이버시 침해 등 공격 유형을 기밀성·무결성·가용성·안전성·에이전시 제어 등 보안 목표에 매핑하고 심층 방어(defense-in-depth) 아키텍처 및 미해결 연구 과제를 제시한다.

arXiv:2606.31564v1cs.AI

ACE: Pluggable Adaptive Context Elasticizer across Agents

에이전트(agent) 기반 LLM의 컨텍스트 윈도우 한계를 해결하기 위해, ACE(Adaptive Context Elasticizer)는 원본 메시지와 압축 요약을 손실 없이 유지하는 메시지 관리 레이어와, 매 결정 단계마다 각 이력 메시지를 raw·abstract·drop 중 하나로 탄력적으로 재구성하는 컨텍스트 오케스트레이션 레이어를 분리하는 플러그인 모듈을 제안한다. 추가 학습이나 아키텍처 수정 없이 ReAct, DeepAgent, WebThinker, MiroFlow 등 네 가지 에이전트 프레임워크에 적용한 실험에서 기존의 단순 절단(truncation) 및 요약(summarization) 기법을 일관되게 능가하는 성능 향상을 보였다.

arXiv:2606.31543v1cs.AI

Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2

ARC-AGI-2 추상 추론 벤치마크에서 텍스트·이미지·코드 채널을 독립적 탐색 연산자로 활용해 다양한 후보를 생성하고, 단일 긴 컨텍스트 프롬프트 안에서 모든 추론 트레이스를 통합 비교하는 전체론적 판별 방법을 제안한다. 이 접근법은 다수결 투표와 달리 다수 답이 오답인 경우에도 소수 정답 가설을 안정적으로 복원하며, ARC Prize 검증 리더보드에서 72.9%를 달성해 GPT-5.2 Pro(54.2%)와 Gemini 3 Pro(54.0%)를 18.7%p 초과했다.

arXiv:2606.31495v1cs.AI

Surprise as a Signal for Plasticity and Metacognition

We study a single idea across two settings: that a prediction-error signal, computed by a small predictor over the latent space of a frozen encoder, can serve both as a gate on plasticity and as a substrate for metacognition. In the first system, a non-parametric episodic memory writes a new concept only when this surprise is high, and a periodic offline replay phase consolidates recent traces into a slow linear readout. On a continual stream of 1000 ImageNet classes with a frozen DINOv2 or I-JEPA backbone, the consolidation phase recovers 17.7 points of retention on the oldest classes for DINOv2 and 51.3 points for I-JEPA (single-seed runs), and an ablation shows that replaying only a recent window is worse than no replay at all. In few-shot evaluation the same memory reaches 91.6% on 5-way 1-shot mini-ImageNet, above a task-specific baseline, while a harder 500-way regime exposes the true difficulty. In the second system, the same surprise signal, computed in a shared text-image space, modulates the behaviour of a vision-language model: it answers assertively when a concept is known, hedges when it is partially familiar, and refuses to identify the object and asks for an explanation when it is novel, learning the concept from a single user utterance. The external detector separates known from novel concepts at an AUROC of 0.966 (95% CI +/-0.024), far above the model's own verbalised confidence (0.618), while its token-level confidence sits below chance under greedy decoding; after a sleep phase that empties the fast store, the system recalls 99.2% of fifty taught facts from the consolidated store while a base model recovers none. We report both systems as proof-of-concept, with explicit limitations, and position the second against recent episodic-memory and personalised-VLM work.

arXiv:2606.31121v1cs.AI

The Past Is Prologue: A Plug-in Controller for Selective Updates in Sequentially Evolving LLM Memory

Sequentially evolving LLM memory enables agents to reuse past experience, but existing systems usually deploy each locally generated memory update without checking whether it improves future behavior. As a result, updates that help the current task may overwrite useful knowledge, introduce over-specific rules, or bias the final memory toward recent examples. We propose Janus, a plug-in memory controller that decides whether to accept a candidate memory update or retain the previous memory. To make this decision efficient, Janus uses a Memory Momentum Trigger to identify suspicious deviations in the memory-update trajectory, and compares old and new memories on a compact hybrid evaluation set of coverage, boundary, and fresh tasks instead of replaying the full history. Janus is method-agnostic and wraps existing updaters without changing their update rules. Across six datasets, two backbone LLMs, and two memory updaters, Janus improves average accuracy by +2.7 to +4.6 points over the corresponding base updaters.

arXiv:2606.29256v1stat.ML

Generalization Analysis of Transformers in Distribution Regression

Transformer 아키텍처의 성공적인 기법들(프롬프트 튜닝, 파라미터 효율적 파인튜닝, 효율적 스케일링)을 뒷받침하는 수학적 이론이 부족하다는 문제를 해결하기 위해, 분포 회귀(distribution regression) 관점에서 어텐션 연산자(attention operator)를 수학적으로 정식화한 새로운 Transformer 학습 프레임워크를 제안한다. 이를 통해 Transformer가 정보 손실 없이 분포를 함수 표현으로 압축할 수 있음을 증명하고, CNN 및 완전연결망보다 복잡한 구조의 함수를 학습하는 우월한 능력과 함께 일반화 경계(generalization bound)를 도출한다.

arXiv:2602.14872v3cs.LG

RLVR 학습 역학에서의 암묵적 커리큘럼 출현에 관하여

On the Emergence of Implicit Curriculum in RLVR Learning Dynamics

검증 가능한 보상을 활용한 강화학습(RLVR)은 최근 대규모 추론 모델의 획기적 발전을 이끄는 핵심 동력이었다. 그러나 최종 결과에만 기반한 보상이 어떻게 장기 추론의 장벽을 극복하는 데 기여하는지는 여전히 미스터리로 남아 있다. 이를 이해하기 위해, 우리는 합성 추론 과제에서 트랜스포머에 대한 RLVR 학습 역학 이론을 개발한다. 우리의 이론은 난이도가 혼합된 학습이 자연스럽게 암묵적 커리큘럼을 유도함을 보인다. 즉, 명시적인 스케줄 없이도 쉬운 문제가 먼저 학습 가능해지고 어려운 문제의 학습 경계를 형성함으로써, 최적화 과정에서 쉬운 것에서 어려운 것으로의 학습 진행이 만들어진다. 이 커리큘럼의 효과는 난이도 스펙트럼의 평활성(smoothness)에 의해 결정된다. 스펙트럼이 평활할 경우, 학습 역학은 잘 작동하는 릴레이 체제(relay regime)에 진입하며, 이 체제에서는 쉬운 문제에 대한 지속적인 그래디언트 신호가 약간 더 어려운 문제를 다룰 수 있게 하여 학습을 역량의 경계에서 유지시킨다. 스펙트럼에 급격한 불연속이 존재할 경우, 학습은 진전이 재개되기 전 장기간의 정체 구간을 갖는 그로킹(grokking) 유형의 위상 전이를 겪는다. 기술적 기여로서, 우리의 분석은 유한군에서의 푸리에 해석(Fourier analysis on finite groups) 기법을 개발하고 우리의 설정에 적용한다. 우리는 통제된 합성 실험과 실제 모델 RLVR 실행을 통해 예측된 메커니즘을 실험적으로 검증한다.

arXiv:2606.30452v1cs.LG

표 형식 기업 데이터와 공개 벤치마크 간의 차이 탐구

Exploring Differences Between Tabular Enterprise Data and Public Benchmarks

공개 표 형식(tabular) 벤치마크와 실제 기업 데이터 간의 통계적 특성 차이를 분석한 연구로, EGI-Bench(557개 기업 과제)와 OS-Tabular 등 276개 공개 벤치마크를 비교한 결과 기업 데이터는 문자열 피처 비중이 높고, 피처 반복성이 강하며, 클래스 불균형과 공변량 드리프트가 심한 것으로 나타났다. TabPFN, TabICL 등 공개 벤치마크에서 우수한 성능을 보이는 최신 모델들이 기업 데이터에서는 비튜닝 Random Forest에도 뒤처지는 반면, 문자열을 기본 지원하는 ConTextTab은 기업 데이터에서 강세를 보여, 기업급 특성을 반영한 새로운 벤치마크 구축이 필요함을 강조한다.

arXiv:2606.30336v1cs.LG

FlexTab: 다양한 표 형식 태스크에서 문맥 내 학습을 위한 유연한 인코더-디코더 아키텍처

FlexTab: A Flexible Encoder-Decoder Architecture for In-Context Learning Across Diverse Tabular Tasks

FlexTab은 표 형식 데이터의 문맥 내 학습(ICL)을 위해 단일 태스크 무관 인코더와 태스크별 디코더를 결합한 유연한 인코더-디코더 아키텍처로, 기존 모델의 타겟 의존적 표현 문제를 해결하여 target-agnostic 행 임베딩을 생성한다. 분류, 회귀, 이상 탐지, 클러스터링, 엔티티 매칭 등 여섯 가지 태스크에서 최첨단 또는 경쟁력 있는 성능을 달성하며, 단일 공유 인코더가 다양한 표 형식 예측 문제의 범용 백본으로 기능할 수 있음을 입증한다.

arXiv:2606.30258v1cs.LG

KnowsTFM: 지식 기반 소규모 테이블형 파운데이션 모델 미세조정

KnowsTFM: Knowledge-Informed Fine-Tuning of Small Tabular Foundation Models

지식 그래프(knowledge graph)에서 도출한 구조적 어텐션 사전(attention prior)과 파라미터 효율적 저랭크 업데이트를 결합해 소규모 TabPFN·TabICL 스타일 테이블형 파운데이션 모델을 파인튜닝하는 KnowsTFM을 제안한다. 특수 도메인(생의학 등) 환경에서는 도메인 구조 지식 주입이 유의미한 성능 향상을 가져오지만, 일반 도메인에서는 효과가 미미하며 지속적 파인튜닝 시 사전학습 지식 붕괴(collapse) 위험이 존재함을 실증적으로 보인다.

arXiv:2606.29971v1cs.LG

NeuReasoner: 추론 유도 경계의 이론 기반 매핑

NeuReasoner: Theory-grounded Mapping of Reasoning Elicitation Boundaries

대규모 언어 모델(LLM)의 추론 능력은 대부분 기반 모델에 잠재되어 있으며, 사후 학습(post-training)은 이를 도입하기보다 주로 증폭시킨다는 연구 결과가 축적되고 있다. 그러나 이러한 근거는 주로 수학 및 코딩 벤치마크에서 도출된 것으로, 해당 주장의 경계 조건, 즉 어떤 인지 과제가 유도(elicitation)를 통해 복원 가능하고 어디서 복원에 실패하는지는 아직 충분히 탐구되지 않았다. 이를 규명하기 위해 우리는 이론 기반 유도 도구인 NeuReasoner를 제안한다. 각 단계에서 오케스트레이터는 기능 특정성(functional specificity)에서 영감을 받은 Neuro Lens와 추론의 에로테틱 이론(Erotetic Theory of Reasoning)에서 도출한 Cognitive Lens를 결합하고, 외부 도구 없이 단일 모델의 내부 모듈화를 통해 두 출력을 통합한다. 우리는 NeuReasoner를 인지심리학의 행동 과제 모음인 CogBench와 표준 수학 및 코딩 벤치마크에서 평가하며, 기본 추론(vanilla inference) 대비 성능 향상과 모델의 사후 학습된 사고 모드(thinking mode)에 얼마나 근접하는지를 측정한다. 충분한 규모에서 NeuReasoner는 산술 추론, 코드 생성, 베이즈 추론, 보상 학습에서 사고 모드 기준선과 동등하거나 이를 초과하며, 이러한 성능 향상은 NeuReasoner의 결정당 호출 예산에 맞춘 자기 일관성(self-consistency) 및 반복 정제(iterative-refinement) 기준선에 대해서도 유지된다. NeuReasoner를 활용함으로써 명확한 경계를 발견할 수 있었다: 불확실성 하의 위험 감수 및 의사 결정은 유도만으로는 복원이 여전히 어렵고, 모델 규모는 유도와 양방향으로 상호작용하여 일부 인지 특성에서는 유도의 이점을 확대하고 다른 특성에서는 소멸시킨다. 전반적으로, NeuReasoner를 모듈식·해석 가능한 이론 기반 유도 도구로 활용하여, 기존 주장이 의존해온 수학 및 코딩 벤치마크를 넘어 추론 유도가 성공하고 실패하는 지점을 실증적으로 매핑한다.