arXiv:2406.11474

How Far Can In-Context Alignment Go? Exploring the State of In-Context Alignment

Heyan Huang, Yinghao Li, Huashan Sun, Yu Bai, Yang Gao

제출 2024-06-17

원문 초록

Recent studies have demonstrated that In-Context Learning (ICL), through the use of specific demonstrations, can align Large Language Models (LLMs) with human preferences known as In-Context Alignment (ICA), indicating that models can comprehend human instructions without requiring parameter adjustments. However, the exploration of the mechanism and applicability of ICA remains limited. In this paper, we begin by dividing the context text used in ICA into three categories: format, system prompt, and example. Through ablation experiments, we investigate the effectiveness of each part in enabling ICA to function effectively. We then examine how variants in these parts impact the model's alignment performance. Our findings indicate that the example part is crucial for enhancing the model's alignment capabilities, with changes in examples significantly affecting alignment performance. We also conduct a comprehensive evaluation of ICA's zero-shot capabilities in various alignment tasks. The results indicate that compared to parameter fine-tuning methods, ICA demonstrates superior performance in knowledge-based tasks and tool-use tasks. However, it still exhibits certain limitations in areas such as multi-turn dialogues and instruction following.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.32701v2cs.AI공통 태그 Instruction Following, In-Context Learning

지침에도 불구하고: 프론티어 에이전트가 테스트 시점에 은닉 채널을 즉흥적으로 형성하다

Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time

보안에 민감한 애플리케이션에서 언어 모델 에이전트(agent)는 기밀 정보를 공개하지 않고 협력해야 하는 경우가 많습니다. 그러나 반복된 상호작용은 평범한 메시지가 공유된 은밀한 의미를 획득하도록 만들 수도 있습니다. 본 연구에서는 발신자 모델이 네 가지 비밀 상태 중 하나를 관찰하고 동일한 공개 보고서의 네 가지 요약 중 하나를 선택하는 동안 수신자 모델이 비밀 상태를 추론(inference)하려고 시도하는 모델 쌍 간의 반복 게임을 조사합니다. 연구 결과, 수신자가 비밀을 올바르게 추론했는지 여부를 나타내는 단 1비트의 피드백만으로도 모델 쌍이 비밀을 전달하는 방법을 학습할 수 있음을 확인했습니다. 이러한 학습은 제공된 코드북이나 인코딩 예시 없이 고정된 파라미터를 사용한 추론 중에 발생합니다. 또한 모의 사고 대응 작업에서 에이전트가 자체적으로 자유 형식 업데이트를 생성할 때도 이러한 효과가 지속됩니다. 10회의 독립적인 게임 전반에서, 정보 공개를 금지하는 명시적인 지침과 에이전트의 상호작용 이력에 접근할 수 없이 각 메시지를 선별하는 모니터가 존재함에도 불구하고 GPT-5.6 Sol 에이전트 쌍은 무작위 확률 25%에 비해 최종 정확도 98.8%에 도달했습니다. 따라서 에이전트의 협력을 돕는 바로 그 상호작용이 정당한 협력을 목적으로 하는 메시지를 통해 기밀 정보가 유출되도록 만들 수 있습니다.

arXiv:2609.35308v2cs.CL공통 태그 Instruction Following, In-Context Learning

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

arXiv:2609.27763v1cs.AI공통 태그 Instruction Following, In-Context Learning

역정렬 퓨샷 대화 노출을 통한 대규모 추론 모델(LRM)의 정렬

Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure

대규모 추론 모델(LRM)은 명시적인 사고의 연쇄(CoT) 추론과 넓은 컨텍스트 윈도우(context window)에 의존하여 복잡한 작업에서 강력한 성능을 달성하지만, 이러한 특징은 새로운 공격 표면(attack surface)도 유발합니다. 본 논문에서는 명시적인 CoT 추론 궤적이 포함된 역정렬(counter-aligned) 퓨샷(few-shot) 대화를 앞에 추가함으로써 LRM의 추론 과정을 체계적으로 유도할 수 있음을 보이며, 이는 유해한 질의에 대한 안전하지 않은 생성과 무해한 질의에 대한 부당한 거부로 이어집니다. 우리는 이를 유연한 대화형 인터페이스만을 통해 작동하고 모델의 파라미터 및 그래디언트에 대한 접근이 필요 없는 SRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)로 공식화합니다. 핵심 통찰은 SRCF가 표현 드리프트(representation drift)를 유발하는 적대적 일반화 문제를 악용하여 무해한 입력과 유해한 입력의 표현을 유사한 방향으로 이동시킨다는 점입니다. 이러한 관찰을 바탕으로, 정렬된 타깃을 강제하면서 역정렬 대화형 컨텍스트에 모델을 노출하는 사후 학습(post-training) 방어 기법인 ARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)를 제안합니다. ARCF는 기존 사후 학습 방법과 호환되며 유용성(utility) 저하 없이 안전성(safety)과 유용함(helpfulness)을 일관되게 향상합니다.

arXiv:2607.09885v3cs.CL공통 태그 Instruction Following, In-Context Learning

Index SLM 기술 보고서

Index SLM Technical Report

본 논문에서는 Bilibili에서 개발한 오픈 소형 언어 모델(SLM) 시리즈인 Index-1.9B를 소개한다. 이 시리즈는 네 가지 모델로 구성된다: Index-1.9B-Base는 2.8조 개의 주로 중국어 및 영어 토큰으로 사전학습된, 임베딩을 제외한 19억 개의 파라미터를 가진 기반 모델이며; Index-1.9B-Pure는 동일한 레시피로 학습되었으나 코퍼스에서 모든 인스트럭션 유사 데이터를 엄격히 필터링한 대조 변형 모델이며; Index-1.9B-Chat은 지도 미세조정과 직접 선호 최적화를 통해 기반 모델로부터 정렬된 모델이며; Index-1.9B-Character는 퓨샷 롤플레잉 커스터마이제이션을 위해 검색-증강 생성(RAG)으로 채팅 모델을 보강한 모델이다. 사전학습에는 Warmup-Stable-Decay 학습률 스케줄이 사용되며, 감쇠 단계에서 선별된 데이터의 비중을 대폭 높이는 방식과 함께, 높은 학습률 하에서 학습을 안정화하는 Norm-Head 출력 층을 채택한다. 시험, 추론, 수학, 코드를 포함하는 표준 벤치마크 모음에서 Index-1.9B-Base는 평균 점수 64.92를 달성하여, 자신보다 수 배 큰 오픈 모델들과 경쟁하거나 이를 능가한다. 또한 모델 깊이, 학습률 크기와 스케줄링, 학습률 감쇠와 데이터 품질 간의 상호작용, 사전학습 중 인스트럭션 데이터 포함 효과에 관한 통제 실험을 추가로 보고하며, 일정 학습률 단계 중반에 발생한 벤치마크 성능의 원인 불명 급등 현상도 기록한다. 모든 모델과 평가 코드는 https://github.com/bilibili/Index-1.9B에서 공개된다.

arXiv:2607.23991v1cs.CL공통 태그 Instruction Following, In-Context Learning

SyRuP: 보상 유도 예측을 통한 LLM 디코딩에서의 시스템 프롬프트 준수 향상

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

대규모 언어 모델(LLM)은 역할, 스타일, 형식, 안전성 요구사항을 명시하는 시스템 프롬프트를 통해 점점 더 많이 제어되고 있다. 그러나 모델은 문맥 내 학습(ICL)을 통해서만 이러한 프롬프트를 암묵적으로 따르며, 이는 복잡하거나 구성적(compositional) 프롬프트에는 불충분할 수 있다. 기존 접근법은 종종 모델 튜닝이나 응답 수준 재순위화를 요구하여, 경량 추론 시점 제어의 실용성을 제한한다. 우리는 기본 LM을 고정한 채 시스템 프롬프트 준수를 개선하는 디코딩 시점 프레임워크인 SyRuP를 제안한다. SyRuP는 시스템 프롬프트 조건 선호 쌍으로부터 크로스 어텐션 보상 헤드를 학습하며, 시스템 프롬프트를 별도의 메모리로 취급하여 토큰 수준 준수 점수를 생성한다. 추론 시 SyRuP는 학습된 보상 신호와 시스템에 의해 유도된 로짓 변화를 포착하는 선택적 대조(contrastive) 신호를 기본 로짓과 결합하여 기본 LM의 top-k 후보를 재순위화한다. 시스템 프롬프트 준수 벤치마크에 대한 실험에서 SyRuP는 적당한 추론 오버헤드로 프롬프팅 및 디코딩 시점 베이스라인을 일관되게 능가한다. 이러한 결과는 명시적 토큰 수준 안내가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘임을 시사한다.

arXiv:2607.21596v1cs.AI공통 태그 Instruction Following, In-Context Learning

FlowEvo: 워크플로우와 실행 가능한 스킬의 공진화를 통한 자기 진화 에이전트

FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills

대규모 언어 모델(LLM) 에이전트는 추론, 도구 사용, 코드 실행을 결합하는 추론 시점 워크플로우를 구성함으로써 점점 더 복잡한 과제를 해결하고 있다. 이러한 워크플로우는 유연한 문제 해결을 가능하게 하지만, 실행 중 발견되는 유용한 절차는 종종 일시적이다. 즉, 현재 과제를 해결하는 데는 도움이 되지만 미래 과제에 체계적으로 이익이 될 수 있는 형태로 보존되지 않는다. 본 논문은 성공적인 트레이스를 재사용 가능한 스킬 레코드로 컴파일하는 학습 없는(training-free) 프레임워크인 FlowEvo를 제시한다. 각 레코드는 호출 가능한 아티팩트와 보조 구조화된 가이던스를 쌍으로 묶으며, 승인(admission) 시 가능한 경우 인터페이스, 재현(replay), 안전성 검사를 적용한다. 이러한 스킬 레코드는 추론 시점에 스킬 뱅크에 지속적으로 저장된다. FlowEvo는 세 가지 결합된 메커니즘을 중심으로 구성된다: (1) 워크플로우-투-스킬 컴파일레이션으로, 성공적인 트레이스에서 재사용 가능한 실행 가능 아티팩트를 추출한다; (2) 스킬-투-워크플로우 피드백으로, 축적된 스킬을 검색하여 직접 실행 또는 구조화된 컨텍스트 주입을 통해 미래 문제 해결을 지원한다; (3) 스킬 큐레이션으로, 하류(downstream) 유틸리티를 모니터링하고 부정적 전이(negative transfer)를 유발하는 스킬을 억제한다. 이러한 워크플로우-스킬-워크플로우 피드백 루프를 통해 FlowEvo는 모델 파라미터를 업데이트하지 않고도 에이전트가 시간에 따라 과제 해결 능력을 축적하고 정제할 수 있게 한다. 대화형 환경(ALFWorld)과 코드/수학 생성(HumanEval, GSM8K)에 걸친 벤치마크에서의 실험은 FlowEvo가 우리의 구현 설정 하에서 평가된 기준선 중 최상의 정확도-비용 트레이드오프를 달성함을 보여준다. ALFWorld에서 FlowEvo는 82.8%의 성공률을 달성하여 가장 강력한 기준선보다 23.6퍼센트포인트 높으며, 에피소드당 평균 토큰 사용량은 가장 효율적인 기준선의 절반 미만이다. 통제된 ablation은 각 메커니즘이 전체 결과에 기여함을 확인한다. 코드는 https://github.com/DEFENSE-SEU/FlowEvo 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.