arXiv:2606.19349v1 cs.CL

쿼리를 어디에 배치할 것인가? 디코딩 역학을 통한 디퓨전 대규모 언어 모델의 문맥 내 학습에서 위치적 바이어스의 규명 및 완화

Where to Place the Query? Unveiling and Mitigating Positional Bias in In-Context Learning for Diffusion LLMs via Decoding Dynamics

Zhengheng Li, Panrui Li, Xuyang Liu, Puzhi Xia

제출 2026-04-26

한국어 초록

문맥 내 학습(ICL)은 자기회귀(AR) 대규모 언어 모델(LLM)에서 광범위하게 연구되었지만, 디퓨전 대규모 언어 모델(dLLM) 내에서의 메커니즘은 거의 탐구되지 않았습니다. 단방향 인과 마스킹으로 제한된 AR 모델과 달리, dLLM은 본질적으로 양방향 어텐션을 활용하여 쿼리 배치에 대한 광범위한 공간적 유연성을 제공합니다. 불행히도, 현재의 관행은 관습적으로 AR 스타일의 후행 쿼리 템플릿을 계승하며, 종종 구조적 패러다임의 변화를 간과합니다. 본 논문은 쿼리 위치가 실제로 dLLM에서 1차 변수임을 밝히는 포괄적인 분석을 제시합니다. 경험적 분리를 통해, 우리는 위치적 변동성이 예제의 의미적 품질과 동등한 수준으로 생성 품질에 영향을 미침을 입증합니다. 내부적으로, 이러한 위치적 민감도는 어텐션 흐름의 공간적 '최신성 효과(Recency Effect)'와 디코딩 궤적의 작업 의존적 변화에서 기인합니다. 정답 레이블 없이 이러한 불안정성을 완화하기 위해, 우리는 기존의 단일 단계 신뢰도($C_{decoded}$)가 dLLM에서 실패함을 밝혀냅니다. 대신, 우리는 반복적 디코딩 과정을 추적하는 새로운 지표인 평균 신뢰도($\overline{C}$)를 제안합니다. 기초적인 공간적 ICL 베이스라인을 확립함으로써, 우리는 쿼리 배치를 동적으로 최적화하여 이질적인 추론 및 인식 작업 전반에서 오라클 성능에 견고하게 접근하는 학습 없는 적응형 라우팅 전략인 Auto-ICL을 소개합니다.

원문 초록

While In-Context Learning (ICL) is extensively studied in Autoregressive (AR) LLMs, its mechanism within Diffusion Large Language Models (dLLMs) remains largely unexplored. Unlike AR models restricted by unidirectional causal masking, dLLMs intrinsically utilize bidirectional attention, offering extensive spatial flexibility for query placement. Unfortunately, current practices conventionally inherit AR-style trailing-query templates, often overlooking the structural paradigm shift. This paper presents a comprehensive analysis unveiling that query position is actually a first-order variable in dLLMs. Through empirical decoupling, we demonstrate that positional variance impacts generation quality on par with example semantic quality. Internally, this positional sensitivity stems from a spatial ``Recency Effect'' in attention flow and task-dependent shifts in decoding trajectories. To mitigate this instability without ground-truth labels, we reveal that traditional single-step confidence ($C_{decoded}$) fails in dLLMs. Instead, we propose Average Confidence ($\overline{C}$), a novel metric tracking the iterative decoding process. By establishing the foundational spatial ICL baselines, we introduce Auto-ICL, a training-free adaptive routing strategy that dynamically optimizes query placement, robustly approaching oracle performance across heterogeneous reasoning and perception tasks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19349v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15840v1cs.LG공통 태그 Large Language Model, In-Context Learning

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.15882v1cs.AI공통 태그 Large Language Model, In-Context Learning

엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구

Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory

저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.

arXiv:2610.13485v1cs.CL공통 태그 Large Language Model, In-Context Learning

능동적 에이전트 오케스트레이션

Proactive Agentic Orchestration

에이전트 오케스트레이션(agentic orchestration)은 독립된 컨텍스트를 가진 서브 에이전트(sub-agent)들에게 작업을 위임함으로써 대규모 언어 모델(LLM) 에이전트의 유효 실행 범위를 확장하는 핵심적인 방안을 제공합니다. 그러나 기존 오케스트레이션 방식은 두 가지 한계에 직면해 있습니다. 실행 측면에서는 서브 에이전트 생성 시점에 목표와 하네스(harness)가 고정되어 동적인 실제 환경에 대한 적응력이 제한되며, 최적화(optimization) 측면에서는 희소하고 지연된 피드백으로 인해 오케스트레이션 정책의 효과적인 학습이 저해됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 온더플라이(on-the-fly) 능동적 에이전트 오케스트레이션 프레임워크인 POrchestra를 제안합니다. POrchestra는 서브 에이전트가 로컬 실행의 연속성을 유지하면서도 임의의 논리적 지점에서 오케스트레이터와 능동적으로 소통하여 하네스 조정을 요청할 수 있도록 합니다. 이 메커니즘은 서브 에이전트가 동적 환경에 매끄럽게 적응할 수 있도록 지원할 뿐만 아니라, 사후 피드백(hindsight feedback) 기반의 온-정책 오케스트레이션 증류(OPOD)를 자연스럽게 이끌어냅니다. OPOD는 서브 에이전트의 능동적 수정 요청을 이전 오케스트레이션 결정에 귀인하여 타겟 개선 신호를 도출하고, 최종 보상과 함께 이러한 신호를 프로세스 지도(process supervision)로 활용하여 오케스트레이션 정책을 최적화합니다. 심층 연구, 동적 디지털 지원, 소프트웨어 엔지니어링을 아우르는 세 가지 장기 과제(long-horizon) 에이전트 벤치마크에서 POrchestra를 평가했습니다. POrchestra는 가장 강력한 기준선 대비 작업 성공률을 평균 9.1% 향상시켰으며, OPOD와 결합했을 때는 기존 학습 기준선 대비 소형 오케스트레이터의 성공률을 평균 10.0% 향상시켰습니다. 또한 POrchestra는 더 유리한 비용 대비 성능 트레이드오프를 달성합니다. 코드베이스는 https://github.com/XueyangFeng/POrchestra 에서 공개되어 있습니다.

arXiv:2609.32701v2cs.AI공통 태그 Large Language Model, In-Context Learning

지침에도 불구하고: 프론티어 에이전트가 테스트 시점에 은닉 채널을 즉흥적으로 형성하다

Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time

보안에 민감한 애플리케이션에서 언어 모델 에이전트(agent)는 기밀 정보를 공개하지 않고 협력해야 하는 경우가 많습니다. 그러나 반복된 상호작용은 평범한 메시지가 공유된 은밀한 의미를 획득하도록 만들 수도 있습니다. 본 연구에서는 발신자 모델이 네 가지 비밀 상태 중 하나를 관찰하고 동일한 공개 보고서의 네 가지 요약 중 하나를 선택하는 동안 수신자 모델이 비밀 상태를 추론(inference)하려고 시도하는 모델 쌍 간의 반복 게임을 조사합니다. 연구 결과, 수신자가 비밀을 올바르게 추론했는지 여부를 나타내는 단 1비트의 피드백만으로도 모델 쌍이 비밀을 전달하는 방법을 학습할 수 있음을 확인했습니다. 이러한 학습은 제공된 코드북이나 인코딩 예시 없이 고정된 파라미터를 사용한 추론 중에 발생합니다. 또한 모의 사고 대응 작업에서 에이전트가 자체적으로 자유 형식 업데이트를 생성할 때도 이러한 효과가 지속됩니다. 10회의 독립적인 게임 전반에서, 정보 공개를 금지하는 명시적인 지침과 에이전트의 상호작용 이력에 접근할 수 없이 각 메시지를 선별하는 모니터가 존재함에도 불구하고 GPT-5.6 Sol 에이전트 쌍은 무작위 확률 25%에 비해 최종 정확도 98.8%에 도달했습니다. 따라서 에이전트의 협력을 돕는 바로 그 상호작용이 정당한 협력을 목적으로 하는 메시지를 통해 기밀 정보가 유출되도록 만들 수 있습니다.

arXiv:2610.02687v2cs.AI공통 태그 Large Language Model, In-Context Learning

컨텍스트와 메모리의 분리: 토큰 효율적인 테스트 시간 지속 학습을 위한 구조화된 메모리

Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning

대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.

arXiv:2610.02614v1cs.LG공통 태그 Large Language Model, In-Context Learning

사후 학습에서 무엇이 사라지는가? 기본값 붕괴와 다양한 관점에 걸친 문맥 내 조정 가능성의 상실

What Is Lost in Post-Training? Default Collapse and the Loss of In-Context Steerability Across Diverse Perspectives

이질적인 사용자 집단을 대상으로 하는 AI 모델은 각 사용자와 맥락에 적합한 원칙에 따라 행동해야 한다. 사후 학습(post-training)이 대규모 언어 모델(LLM)이 표현하는 관점의 폭을 좁힌다는 것은 이미 밝혀졌지만, 기존 연구는 문맥 정보에 적응하는 능력보다는 기본 행동(default behavior)에 초점을 맞춰왔다. 우리는 사후 학습이 모델을 학습 과정에서 선호하도록 학습되지 않은 관점으로 문맥 내에서(in-context) 조정하는 능력 또한 저하시킨다는 것을 보인다. 통제된 실험에서, 우리는 모델을 문화적 가치 불일치의 한쪽 입장으로 파인튜닝(fine-tuning)하고 학습 전 과정에 걸쳐 체크포인트를 평가한다. 일반적인 사용 환경에서는 학습된 입장이 점점 더 우세해지는 반면, 반대 관점을 인식하고 충실하게 구현하는 능력은 저하된다. 이러한 결과는 단일한 가치 집합을 우선시하는 것과 다양한 이해관계자에게 서비스를 제공하는 데 필요한 기술적 역량을 보존하는 것 사이의 긴장 관계를 시사한다. 마지막으로, 우리는 표현된 관점에 대해 미리 정해진 분포를 따르는 제약 하에서 보상(reward)을 최대화하는 대안적 목적 함수를 제안 및 분석하고, 이를 실용적으로 구현한 방법으로서 입장 분포 매칭(stance-distribution matching)을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.