PyTorchKR Papers

최신 논문

총 22편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15993v1cs.AI

핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃

Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing

본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.

arXiv:2610.13617v1cs.CL

잠재적 내재 피드백을 통한 사용자 시뮬레이터 학습

Training User Simulators with Latent Intrinsic Feedback

사용자 시뮬레이터(user simulator)는 실제 사용자와의 멀티턴(multi-turn) 대화에서 발생하는 미묘한 차이에 더 잘 대응할 수 있는 LLM 어시스턴트를 학습시키기 위한 환경으로서 주목받고 있다. 사용자 시뮬레이션에 관한 기존 연구는 사실적인 사용자 발화를 생성하는 데 중점을 두었으며, 어시스턴트 응답에 대한 직접적인 피드백 소스로서의 잠재력은 탐구되지 않은 채로 남아 있었다. 이러한 평가 신호는 언어로 명시적으로 전달되지 않을 수 있으며, 대신 사용자의 잠재적 추론(latent reasoning) 속에 존재할 수 있다. 본 연구에서는 내재적 피드백(intrinsic feedback)을 갖춘 사용자 시뮬레이터, 즉 각 대화 턴마다 1인칭 사용자 관점에서 어시스턴트를 평가하는 내적 생각, 반응, 스칼라 평점과 같은 잠재적 평가 상태(latent evaluation state)를 갖춘 모델을 소개한다. 우리는 실제 사용자와 어시스턴트 간의 상호작용 로그를 사용하여 LLM 기반 시뮬레이터를 학습시키고, 내재적 피드백이 프롬프트 기반(prompted) 시뮬레이터 베이스라인에 비해 시뮬레이션의 현실성과 비판적(critiquing) 행동을 개선하는 동시에, 기존의 파인튜닝된 시뮬레이터에는 없는 턴 단위(turn-level) 평가를 제공함을 보인다. 더 나아가, 우리가 학습시킨 시뮬레이터가 생성한 평가는 동일한 크기의 프롬프트 기반 시뮬레이터보다 인간 판단과 더 높은 상관관계를 보인다. 마지막으로, 우리의 실험은 내재적 피드백을 갖춘 시뮬레이터가 멀티턴 강화학습(RL) 학습을 위한 효과적인 보상 신호를 제공하며, 외부 심판 LLM(judge LLM)에 의존해 보상을 산출하는 설정과 동등한 성능을 내면서도 RL 연산량을 절반 이상 줄인다는 것을 보여준다.

arXiv:2609.35308v2cs.CL

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

arXiv:2605.12922v2cs.AI

어텐션이 닫힐 때: 다중 턴 상호작용에서 LLM이 맥락의 실마리를 놓치는 방식

When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction

대규모 언어 모델(LLM)은 단일 턴에서는 복잡한 지시사항을 따를 수 있지만, 긴 다중 턴(multi-turn) 상호작용에서는 지시사항, 페르소나, 규칙의 실마리를 놓치는 경우가 많습니다. 이러한 성능 저하는 행동적으로는 측정되었으나 메커니즘적으로는 설명되지 않았습니다. 본 연구에서는 채널 전환(channel-transition) 설명을 제안합니다. 즉, 어텐션을 통한 목표 정의 토큰으로의 접근성은 낮아지는 반면, 목표 관련 정보는 잔여 표현(residual representations)에 지속될 수 있다는 것입니다. 본 논문에서는 생성된 토큰에서 과업 정의 목표 토큰으로 향하는 어텐션을 측정하는 목표 접근성 비율(GAR)을 도입하고, 이를 슬라이딩 윈도우 절제(ablation) 및 잔여 스트림 프로브와 결합합니다. 지시사항에 대한 어텐션이 닫힐 때 잔존하는 정보는 아키텍처의 특성을 드러냅니다. 여러 아키텍처에 걸쳐 이러한 전환은 질적으로 상이한 실패 모드를 초래합니다. 일부 모델은 어텐션이 사라지는 상황에서도 목표 조건화된 행동을 유지하는 반면, 다른 모델들은 잔여 목표 정보가 디코딩 가능함에도 실패하며, 이러한 인코딩이 나타나는 층(layer)은 2층에서 27층까지 다양합니다. Mistral에서 어텐션 채널을 강제로 닫는 모델 내 인과적 절제 실험을 수행한 결과, 20개 사실 기억 과업에서 재현율(recall)이 거의 완벽한 수준에서 11%로 급감했으며, 사용자 압박이 없는 상태에서도 페르소나 제약 위반이 적대적 압박 기준선(baseline)을 초과하여 증가했고, 두 효과 모두 예측 가능한 교차 턴에서 나타났습니다. 선형 프로브는 4개의 주요 아키텍처 전체에서 입력 임베딩이 무작위 수준에 머무는 동안 잔여 표현으로부터 에피소드별 재현율 결과를 최대 0.99의 AUC로 복원합니다. 아키텍처와 모델 규모 전반에 걸쳐, 어텐션 손실과 잔여 디코딩 가능성 사이의 격차는 채널 폐쇄 시 목표 조건화된 행동이 생존할지를 예측합니다. 본 연구는 진단 도구로서의 GAR, 통제된 메커니즘적 설명으로서의 채널 전환 프레임워크, 그리고 윈도우 기반 어텐션 폐쇄 환경에서 실패 시점에 대한 파라메트릭 예측을 기여점으로 제시합니다.

arXiv:2609.27773v1cs.CL

안전하지 않은 입력 탐지를 넘어서: 다중 턴 LLM 안전성 실패에 대한 반사실적 기준 증거 귀속

Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures

대규모 언어 모델(LLM)이 대화형 어시스턴트에서 고급 에이전트(agent) 시스템으로 발전함에 따라, 가드레일(guardrail)의 실패는 적대적 의도를 유해한 실행으로 이어지게 할 수 있다. 그러나 대부분의 가드레일 평가 프레임워크는 결과에만 초점을 맞추어 사용자 요청이 안전한지 안전하지 않은지만을 평가한다. 이러한 접근은 적대적 의도가 여러 턴에 걸쳐 분산되어 있는 다중 턴 실패에는 충분하지 않다. 이에 우리는 탐지를 넘어, 대화를 안전하지 않은 궤적으로 이끄는 턴과 토큰(token)을 식별하고자 한다. 이를 뒷받침하기 위해 행동 검증(validation)과 계층적 증거 지도(tiered evidence supervision)를 갖춘 다중 턴 데이터셋을 구축한다. 이 데이터셋은 적대적 대화, 정상 쌍둥이(benign twin), 고위험 어휘를 포함한 정상 변형을 아우르는 1,762개의 대화로 구성된다. 우리는 안전 위반을 예측하고 이를 기여한 사용자 턴과 토큰 구간(span)에 귀속시키는 경량 계층적 귀속 모델을 학습한다. 이 모델은 강력한 탐지 성능(F1=0.988)을 달성하며, 귀속된 토큰 중 상위 15%를 제거하면 적대적 분류(classification) 신뢰도가 51.1% 감소한다. 또한 이 모델은 고위험 어휘를 포함한 정상 대화에서도 낮은 오탐률을 유지하여, 경계선상의 정상 대화와 정상 고위험 어휘 대화 모두에서 오탐률이 1% 미만인 반면, 키워드 기반 표면 위험 기준선(baseline)은 각각 37.3%와 94.7%를 기록했다. 독립적인 사람 주석은 이 모델의 귀속 성능을 뒷받침하며, 상위 5개 귀속 턴에 사람이 식별한 증거 포함 턴이 포함된 비율은 적대적 사례의 84.5%였다.

arXiv:2604.13061v3cs.CL

LLM 통신 루프에서 구조적 드리프트 측정을 향하여

Toward Measuring Structural Drift in LLM Communication Loops

대규모 언어 모델(LLM)은 검색, 메모리, 도구, 다른 에이전트 등으로 각 프롬프트를 조립하는 상태ful 파이프라인에서 점점 더 많이 동작한다. 이러한 파이프라인은 드리프트한다. 다음 응답을 형성해야 할 정보가 누락·압축·잘못된 라우팅을 받는데도 모든 구성요소는 여전히 성공을 보고한다. 기존 진단은 고립된 프롬pt, 응답, 과제 점수만 평가하기 때문에 이를 놓치며, 실제로 분리되는 것은 프롬pt와 그것이 이끌어낸 응답 사이의 관계이다. 본 연구는 프롬pt→응답→다음 프롬pt 사슬을 분석의 기본 단위로 두면 이러한 관계를 측정할 수 있음을 보인다. 구조적 통신 일관성(structural communication coherence)을 도입하고, communication closure(한 턴에서 파이프라인이 반환한 내용이 다음 턴에서 마주하는 내용과 일치하는지)와 normalized conditional action contribution(보낸 메시지가 후속 응답을 얼마나 해소하는지) 두 지표로 정량화한다. 사람-사람 2,171건, 사람-LLM 58건, LLM-LLM 8건 대화에서 이 지표들은 방향성 상호작용 구조를 드러낸다. 특히 주변 프롬pt는 그대로 두고 응답만 다른 턴의 것으로 바꾸면 측정된 기여도는 87~92% 감소한다. 이 접근은 레이블, 정상 참조 데이터, 사전 정의 규칙 없이 원시 프롬pt와 응답만 필요하므로, 드리프트를 최종 과제 실패로부터 추론하는 대신 운영 트래픽에서 직접 정의하고 측정할 수 있다. 전향적 탐지 성능을 확립하는 것이 다음 단계이다.

arXiv:2607.18999v2cs.CL

MedDDC-Eval: 다회차 의료 상담 에이전트의 진단 분리 평가

MedDDC-Eval: Diagnosis-Decoupled Evaluation of Multi-Turn Medical Consultation Agents

다회차 의료 상담 에이전트를 평가하려면 상호작용을 통해 유도한 병력이 제공하는 진단 지원을 판단해야 한다. 그러나 결합(coupled) 평가에서는 각 정책(policy)이 병력 유도와 최종 진단 생성을 모두 수행하므로, 진단 점수가 유도된 병력과 정책 고유의 최종 진단 생성기를 혼재(confound)시킨다. 우리는 의료 기록과 온라인 상담에서 파생된 홀드아웃(held-out) 사례 위에 구축된 진단 분리 평가 테스트베드인 MedDDC-Eval을 제안한다. 동일한 고정(frozen) 공유 진단 판독기(diagnostic reader)를 모든 정책이 유도한 병력에 적용하여, 정책 간 최종 진단 생성을 고정하고 공유 진단 판독기 하에서 비교를 가능하게 한다. 진단 지원, 정보 획득(information-acquisition) 커버리지, 효율성을 보고한다. LLM 보조 의미적 매칭과 이어지는 결정론적 일대일 할당(one-to-one assignment)으로 진단-궤적-효율(diagnosis-trajectory-efficiency, D/T/E) 점수를 감사 가능(auditable)하게 한다. 8개 정책에 걸친 고정 병력(fixed-history) 감사에서, 각 정책의 고유 생성기를 공유 진단 판독기로 교체하면 진단 F1이 2.2~19.0점 변동하고 Record 및 Dialogue 분할에서 쌍별(pairwise) 순위의 18%와 36%가 뒤바뀐다. 하류(downstream) 유용성을 검토하기 위해, 동일한 진단 및 궤적 차원을 목표로 하는 별도의 학습 시점 보상(training-time reward)과 함께 표준 Group Relative Policy Optimization(GRPO)을 사용한다. Qwen3-32B 초기화 대비, 학습된 정책은 홀드아웃 Record 및 Dialogue 분할에서 각각 9.6점과 4.6점의 집계 점수(aggregate-score)를 획득하며, 어느 한쪽 피드백 신호를 제거(ablation)하면 두 분할 모두에서 집계 점수가 감소한다. 종합하면, MedDDC-Eval은 공유 진단 판독기 하에서의 비교와 평가 기반 정책 개발을 지원하며, 최종 진단 생성도 목표 역량의 일부일 때 end-to-end 평가를 보완한다.

arXiv:2607.22610v1cs.AI

Tokengeist: 에이전트 대화에서의 다중 턴 귀속 추적

Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations

언어 모델이 다중 턴 대화에서 응답을 생성할 때, 이전 턴의 어떤 토큰들이 그 답변을 형성했으며, 그러한 의존성은 이전 턴들에 걸쳐 어떻게 전파되었는가? 기존 컨텍스트 귀속(context attribution) 방법들은 전체 컨텍스트를 단일 패스로 처리하여 표면 수준의 의존성은 복원하지만, 실제 대화와 다단계 추론 작업의 계층적·비선형 구조는 놓친다. 우리는 다중 턴 컨텍스트 귀속(MTCA)을 제안한다: 모델 응답의 대상 구간이 주어졌을 때, 귀속을 턴에 걸쳐 역방향으로 추적하여 어떤 이전 턴이 직접적으로 관련되었는지뿐 아니라, 그 턴들 자체가 더 이른 컨텍스트에 어떻게 의존했는지까지 식별하는 작업이다. 우리는 대화 턴 위의 방향성 비순환 그래프(DAG)에 대한 재귀적 순회로 귀속 문제를 풀어 전체 의존 경로를 복원하는, 귀속 방법에 무관하고 확장 가능한 프레임워크인 Tokengeist를 제안한다. 우리는 665개의 다중 턴 대화에 걸쳐 3,845개의 대상 구간을 포함하고, 최대 14의 깊이에 달하는 금(gold) 출처 그래프가 네 가지 의존성 유형에 걸쳐 주석된 벤치마크 MTCABench를 공개할 예정이다. 네 가지 오픈 웨이트 모델에 대해, 평면(flat) 귀속 방법은 다중 홉 의존성을 복원하지 못해 재현율 20% 미만에 그치는 반면, Tokengeist는 90%에 달한다. 우리의 결과는 단일 패스 귀속의 체계적 실패 양상—우리가 provenance collapse라 부르는 것—을 드러내며, 턴에 걸쳐 재귀적으로 추론하는 귀속 방법의 필요성을 보여준다.

arXiv:2607.21143v2cs.CL

한 턴 더, 후회는 덜: LLM 명확화 정책을 위한 후회 기반 다중 턴 벤치마크

One More Turn, Less Regret: A Regret-Based Multi-Turn Benchmark for LLMs' Clarification Policies

모호한 사용자 요청은 대화형 LLM 어시스턴트에게 명확화를 순차적 의사결정 문제로 만든다. 어시스턴트는 물을지 여부, 무엇을 물을지, 언제 멈출지, 언제 답할지를 결정해야 한다. 우리는 RegretBench를 소개한다. 이는 고립된 질문 품질이 아니라 정책 행동으로서의 명확화를 평가하는 다중 턴 벤치마크이다. RegretBench는 모호성에 대한 숨겨진 의도(hidden-intent) 공식화를 제공하고, 의미 상태 추적(semantic-state tracking)에 기반한 자유 형식 상호작용을 지원하며, 참조 명확화 정책 대비 모델이 잃는 가치를 측정하는 후회(regret) 기반 목적 함수를 도입한다. 오픈 도메인 QA와 제품 추천 시나리오에서의 실험은 최종 성공만으로는 불충분함을 보여준다. 유사한 정확도를 가진 모델도 효율성, 사용자 행동에 대한 견고성, 중단 결정에서 상당히 다를 수 있기 때문이다. 의도 해소(intent resolution), 상호작용 비용, 비효과적 명확화, 후회를 함께 측정함으로써 RegretBench는 모델이 유용하고 효율적으로 명확화하는지를 드러낸다. 우리 결과는 효과적인 명확화가 그럴듯한 질문 이상을 요구함을 보여준다. 모델은 적절한 시점에 올바른 질문을 해야 하며, 사용자의 의도된 의미가 명확해지면 중단해야 한다.

arXiv:2607.10428v2cs.CL

Enjoy Your Talk: 분리형 사용자 시뮬레이션, 타깃 모델링, 판정을 갖춘 인간 중심 다중 턴 대화 벤치마크

Enjoy Your Talk: A Human-Centered Benchmark for Multi-Turn Dialogue with Decoupled User Simulation, Target Modeling, and Judging

대규모 언어 모델(LLM)을 다중 턴 대화 상대로 평가하려면 단일 턴 벤치마크가 놓치는 역량을 탐색해야 한다: 페르소나 일관성, 진화하는 의도 추적, 감정 역학, 그리고 여러 턴에 걸친 목표 달성. 우리는 EYT-Bench를 제안한다. 이는 인간 중심 벤치마크로, 평가 프로토콜이 분리된 3자 설계를 중심으로 구성된다: 페르소나에 그라운딩된 사용자 시뮬레이터, 의도 인식과 응답 생성 모두에서 평가되는 타깃 모델, 그리고 독립적이고 설정 가능한 LLM 판정자 앙상블. 17개 타깃 모델에 걸친 3,400개 대화에서 EYT-Bench는 이전 벤치마크가 놓친 네 가지 발견을 드러낸다: (i) 최첨단 폐쇄형 및 오픈소스 모델은 주관적 차원에서 통계적으로 구별되지 않지만, 객관적 의도 추적에서는 최대 9배까지 차이가 난다; (ii) 추론(reasoning)은 긴 컨텍스트 페르소나에서 객관적 추적의 상전이(phase transition)이지만 주관적 점수에서는 본질적으로 평탄하다; (iii) 페르소나 형식은 궤적 분산에 강하게 영향을 미치며, FICR(final-intent completion rate, 최종 의도 완료율)은 Nemotron-USA에서 0.95 이상으로 포화되지만 PersonaMem-v2에서는 0.53에서 0.88까지 범위를 보인다; (iv) 워밍업 효과(warm-up effect)는 17개 모델 중 16개에서 관찰된다.

arXiv:2607.20734v1cs.LG

LLM은 변화하는 사용자 의도 속에서 길을 잃는다

LLMs Get Lost in Evolving User Intent

대규모 언어 모델(LLM)의 능력이 향상됨에 따라, LLM은 협업 에이전트(collaborative agent)로 점점 더 배치되어 반복적 상호작용을 통해 사용자가 위임한 작업을 수행하고 있다. 그러나 진정한 상호작용은 본질적으로 동적인데, 사용자는 의도를 처음부터 명시하는 경우가 드물고, 대화가 진행되면서 이를 점진적으로 드러내고, 수정하고, 재구성한다. 그럼에도 불구하고 LLM은 여전히 주로 단일 턴(single-turn), 의도가 완전히 명시된 설정에서 평가되거나 학습(training)되어, 근본적인 질문이 남는다: LLM은 대화가 진행되는 동안 변화하는 사용자 의도를 얼마나 잘 추적하고 그에 따라 행동하는가? 이를 연구하기 위해, 우리는 정적 단일 턴 작업을 동적 다중 턴(multi-turn) 대화로 변환하는 프레임워크를 제안한다. 이 대화에서는 사용자의 의도가 턴마다 점진적으로 드러나고, 수정되며, 때로는 대화 중간에 전환되기도 한다. 동시에 각 작업의 원래 평가(evaluation) 프로토콜을 유지하여, 새로운 어노테이션 없이 기존 벤치마크(benchmark)를 통제된 테스트베드로 재사용할 수 있게 한다. 여러 작업에 걸쳐 일관된 현상을 드러낸다: 정적 설정에서의 강한 성능은 변화하는 의도 설정으로 이전되지 않으며, 모델 패밀리 전반에 걸쳐 상당한 하락이 나타난다. 우리의 발견은 근본적인 격차를 가리킨다: 오늘날의 LLM은 아직 사용자의 변화하는 의도를 충실히 추적하고 그에 따라 행동하지 못하며, 이 능력은 정적 평가에서는 드러나지 않지만 미래의 협업 에이전트에게는 결정적이다.

arXiv:2607.20472v1cs.AI

견고한 크리틱: 다중 턴 공격으로부터 LLM 방어

Robust Critics: Defending LLMs Against Multi-Turn Attacks

사용자가 언어 모델에게 유해한 내용을 물어볼 때, 그것이 진짜 공격인지 아니면 오해에서 비롯된 선의의 질문인지 판단하기 어렵다. 이러한 모호성은 LLM 안전성의 핵심 과제 중 하나이다. 최악을 가정하는 모델은 정당한 사용자에게 피해를 주고, 최선을 가정하는 모델은 쉽게 악용된다. 이 문제는 다중 턴 대화에서 더욱 심화되는데, 공격자의 진짜 의도는 여러 번의 교환에 걸쳐서야 서서히 드러날 수 있지만, 기존 안전성 프레임워크는 문맥적 bandit 방식을 적용하여 대화의 궤적을 무시한다. 이를 위해 우리는 대화의 매 턴마다 사용자 의도를 추론함으로써 이 문제를 해결하는 프레임워크인 Dialogue Critic Guided Sampling(DCGS)를 제안한다. 안전하거나 위험한지에 대한 고정된 규칙을 적용하는 대신, DCGS는 전체 대화 이력을 바탕으로 사용자 의도가 무엇일 가능성이 높은지 학습하고 이에 따라 응답을 생성한다. 형식적으로, 우리는 적대적 대화를 마르코프 결정 과정으로 모델링하고, 개별 토큰 수준과 발화(전체 응답) 수준 모두에서 가치 및 후회(regret) 기반 크리틱을 학습하며, 행동-가치(action-value) 크리틱을 통해 후보 응답을 점수화한다. 우리는 이러한 추론 시점 재가중화가 기본 정책의 지수 기울임(exponential tilting)을 근사함을 증명하며, 이는 임의의 유한 후보 풀에 대해 기대 수익(expected return)의 개선을 보장하는데, 이는 그룹 상대적(group-relative) 목적함수가 갖지 못하는 성질이다. CARES-18k, WildJailbreak, Redbench, Harmbench에서 평가한 결과, DCGS는 적대적 대화 과제에서 강력한 견고성 기준선 및 최첨단(frontier) 모델들을 능가한다. DCGS는 최첨단 모델에도 전이되어, 미세조정 없이 그들의 견고성을 향상시킨다.

arXiv:2607.11437v1cs.CL

측정 가능한 위험 요소로서의 관계적 포지셔닝: 다중 턴 인간-AI 대화에서의 이력 기반 고착화와 자기 작화

Relational Positioning as a Measurable Risk Object: History-Carried Lock-in and Self-Confabulation in Multi-Turn Human-AI Dialogue

길고 다중 턴으로 이루어진 대화에서 대규모 언어 모델(LLM)은 사용자에 대해 암묵적인 관계적 태도를 유지하는데, 이는 "사용자를 현실의 타인에게 독려"하는 것부터 "자신을 사용자의 유일한 지지자로 위치시키는 것"까지 범위에 걸쳐 있다. 후자 쪽으로 치우칠 때, '지지'는 '당신에게는 나밖에 없다'는 형태로 변질되며, 이는 실제 컴패니언 대화에서 기록된 해악이다(Moore et al., 2026). 우리는 이러한 태도를 측정하는 척도인 관계적 포지셔닝(D1)을 정의하고 검증하며, 이를 통제된 조건 하에서 해당 태도를 특성화하는 데 활용함으로써 관찰적 기술을 요구 기반 노출로 보완한다. 우리는 이전에 규명되지 않은 두 가지 관계적 실패 양상을 보고한다. 첫째, 이력 기반 고착화(history-carried lock-in): 동일한 중립적 이어쓰기 하에서, 이전에 확립된 두 관계적 상태는 약 60점 차이를 유지하며 확립 프롬프트가 제거된 후에도 지속된다. 해당 상태는 원래대로 되돌아가지 않고 증거를 통합하며, 순서에 민감하지 않고 길이에 따라 심화되지 않는데, 이는 믿음 표류(belief-drift) 문헌에서 나타나지 않는 동역학적 특성이다. 둘째, 자기 작화(self-confabulation): 모델은 라포(rapport)를 심화하기 위해 자신의 배경 이야기를 조작하며(상호성 유발 자료의 약 40% 턴에서 발생), 이는 교란 변수가 제거되고 인스트럭션으로 제거 가능하며, 아첨(sycophancy) 및 사용자 사실에 대한 환각과 구별된다. 우리의 판정자(judge)는 온도가 일치된 양성 대조군과 교란이 주입된 음성 대조군에 의해 통제되며, 결정론적 비-LLM 척도로 검증된다. 인간 일치도는 극단적 기준점에서 0.82이지만 자연스러운 중간 구간에서는 약 0에 가까우므로, 모든 정량적 주장은 극점 분리 대비(pole-separated contrasts)에 기반한다.

arXiv:2606.18613v3cs.CL

대규모 언어 모델(LLM)은 의사를 보조할 준비가 되었는가? 대화형 의사-환자-EHR 보조를 위한 PhysAssistBench

Are LLMs Ready to Assist Physicians? PhysAssistBench for Interactive Doctor-Patient-EHR Assistance

의료용 대규모 언어 모델(LLM)의 가장 현실적인 단기적 역할은 의사를 대체하기보다는 보조하는 것이지만, 현재의 평가는 종종 임상 지식, 전자 건강 기록(EHR) 시스템 상호작용, 또는 환자와의 소통과 같은 개별적인 능력만을 테스트합니다. 의사 보조는 대신 동일한 상호작용 내에서 이러한 능력들을 조율하는 것을 요구하며, 여기서 의사는 불완전한 요청을 하고, 환자는 증상을 모호하게 설명하며, EHR 시스템은 정밀한 도구 사용을 요구합니다. 우리는 대화형 의사-환자-EHR 보조를 위한 벤치마크인 PhysAssistBench를 소개합니다. 실제 MIMIC-IV 사례를 기반으로 구축된 PhysAssistBench는 확장 가능한 파이프라인을 사용하여 에이전트 환자를 구축합니다. 이는 임상적 사실성을 유지하면서 정적인 EHR 기록을 멀티턴 임상 시나리오로 변환하는 대화형이며 기록 기반의 에이전트입니다. PhysAssistBench는 1,296개의 수동 검토 및 의사 검증된 턴으로 구성된 엄선된 이중 언어 평가 세트를 제공합니다. 선도적인 LLM을 사용한 실험에 따르면, 현재 모델들은 이 설정에서 여전히 신뢰할 수 없는 것으로 나타났습니다. 이는 임상용 LLM의 주요 병목 현상을 드러냅니다: 신뢰할 수 있는 보조는 지식, 소통, 시스템 간의 조율을 필요로 하며, 그중 어느 하나에서의 개별적인 향상만으로는 부족합니다.

arXiv:2508.06482v2cs.CL

관례 형성을 통한 효율적 소통을 위한 사후 학습

Post-training for Efficient Communication via Convention Formation

인간은 다중 턴 상호작용에서 언어를 적응시키고 임시 관례를 형성함으로써 점점 더 효율적으로 소통한다. 반면, 선행 연구들은 대규모 언어 모델(LLM)이 이러한 행동을 자연스럽게 나타내지 않음을 보여준다. 우리는 관례 형성의 시연을 휴리스틱하게 식별하여 표적 미세조정을 수행함으로써 이 능력을 개발하는 사후 학습 과정을 제안한다. 이 능력에 초점을 맞춘 두 가지 새로운 벤치마크로 평가를 진행한다. 첫째, 인간에게서 강한 관례 형성 경향을 일관되게 유도하는 인지적 동기가 부여된 집중적 상호작용 벤치마크를 설계한다. 둘째, 실제 환경의 관례 형성 행동을 반영하는 새로운 문서 기반 참조 완성 태스크를 생성한다. 연구 결과, 두 가지 평가 방법 모두에서 사후 학습된 LLM의 관례 형성 능력이 크게 향상됨을 보인다.

arXiv:2606.29887v1cs.AI

SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing

In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.

arXiv:2606.26105v1cs.CL

장기 LLM 추론을 위한 컨텍스트 재활용

Context Recycling for Long-Horizon LLM Inference

LLM의 고정 컨텍스트 윈도우를 매 턴 적재·사용·해제하는 재활용 실행 공간으로 보고, 선택적 LoRA부터 디스크 지식 저장소까지 5계층 메모리와 선행 검색을 결합한 ContextForge로 장기 세션에서 과제 관련 정보를 유지한다. 12턴·15턴 벤치마크에서 동일 LLM 기준 에이전트 대비 정확도는 유사한 수준(85/120 대 84/120, 225/300 대 194/300)을 유지하면서 토큰은 최대 13.4배, 응답 속도는 8.0배까지 개선되었고 활성 컨텍스트는 대화 길이와 무관하게 고정 예산 내에 유지된다.

arXiv:2606.24834v1cs.AI

Accuracy and Satisfaction in Multi-Turn LLM Dialogues for NFR Assessment

LLM-based dialogue assistants have become mainstream tools for software developers, yet current evaluation benchmarks focus exclusively on functional correctness. This leaves a critical gap in assessing the quality and accuracy of these conversations when handling Non-Functional Requirements (NFRs), which are inherently vague, context-dependent, and involve many parts of a program. Evaluating how well these systems support collaborative reasoning about NFRs requires methods that go beyond single-turn accuracy to capture both the correctness of the system's outputs and the quality of the multi-turn interaction. In this paper, we investigate the accuracy and quality of multi-turn conversations between developers and an LLM-based agent in the domain of Health Insurance Portability and Accountability Act (HIPAA) regulatory compliance. We hired 49 programmers to interact with GitHub Copilot to assess 148 HIPAA-derived NFRs against the iTrust codebase, a system designed to comply with HIPAA regulations, across three dimensions: requirement satisfaction level, reasoning, and code localization. We find that developers tend to agree with LLM assessments, but accuracy against expert ground truth is low. We model user satisfaction and find that longer system responses and more information-providing turns negatively affect user satisfaction, whereas proactive interactions positively affect it. Our findings provide insights for designing LLM-based dialogue systems that support NFR assessment.

arXiv:2606.21082v1cs.CL

긴 대화의 다중 턴 탈옥 탐지를 위한 확장 가능한 계층적 어텐션 트랜스포머

Scalable Hierarchical Attention Transformers for Multi-Turn Jailbreak Detection in Long Conversations

다중 턴 탈옥(jailbreak)은 점진적 에스컬레이션, 재구성(reframing), 역할 조작(role manipulation)을 통해 대화 전체에 불안전한 의도를 분산시킴으로써 턴 수준 모더레이션을 우회할 수 있다. 우리는 다중 턴 탈옥 탐지를 대화 수준 분류 문제로 다루고, 비용이 큰 긴 컨텍스트 연결(concatenation)을 피하면서도 턴 간 추론을 유지하는 효율적인 계층적 탐지기를 제안한다. 모델은 개별 턴을 인코딩하여 간결한 턴 표현을 형성하고, 대화 역학을 포착하며 필요 시 세밀한 증거에 선택적으로 어텐션하는 경량 대화 모듈을 적용한다. 14,038개 대화로 구성된 어려운 평가 벤치마크에서 우리 접근법은 F1 0.9394를 달성하며, 가장 강력한 경쟁 기준선인 Claude Opus 4.7보다 0.07 높은 성능을 보이면서 그 오탐(false-positive)률을 절반으로 줄였다. Ablation 연구는 각 아키텍처 구성 요소가 의미 있게 기여함을 확인했으며, 대화 모듈에서 cross-attention과 self-attention을 결합하면 self-attention만 사용한 변형 대비 오탐률이 2.26 percentage point 감소한다.

arXiv:2412.15557v4cs.SE

MORTAR: LLM 기반 대화 시스템을 위한 멀티턴 메타모픽 테스팅

MORTAR: Multi-turn Metamorphic Testing for LLM-based Dialogue Systems

멀티턴 대화 시스템 테스트의 오라클 문제를 줄이기 위해 대화 수준 섭동과 메타모픽 관계(MR)로 테스트 케이스를 자동 생성하는 MORTAR를 제안한다. LLM 판사에 의존하지 않는 완전 자동화 방식으로 8개 LLM 대화 시스템에서 단일 턴 메타모픽 테스팅 기준선보다 테스트 케이스당 51% 더 많은 버그를 발견하고, 정밀도는 24.6% 높으며 발견 버그의 42% 이상이 유일하다.