A$^2$Safe: 안전하고 효과적인 시각적 질의응답을 위한 반사실적 증거 정렬 적응형 에이전트 협업
A$^2$Safe: Counterfactual Evidence-Aligned Adaptive Agent Collaboration for Safe and Effective Visual Question Answering
한국어 초록
멀티모달 대규모 언어 모델(MLLM)을 활용한 시각적 질의응답(VQA)은 안전하고 효과적인 응답을 생성할 뿐만 아니라, 위험을 결정하는 멀티모달 증거에 안전성 결정을 그라운딩(grounding)하는 것을 요구합니다. 최근의 안전성 정렬(safety-alignment) 방법들은 거부 행동과 맥락적 위험 인식을 개선하지만, 특히 개별적으로는 무해한 이미지와 질문 콘텐츠 간의 상호작용에서 위험이 발생하는 경우 올바른 안전성 결과가 여전히 피상적인 텍스트 또는 시각적 상관관계에 의존할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 안전하고 효과적인 VQA를 위한 반사실적 증거 정렬 적응형 에이전트 협업 프레임워크인 A$^2$Safe를 제안합니다. A$^2$Safe는 근거 기반 안전 증거 보드(Grounded Safety Evidence Board)를 통해 국소화된 시각적 관측, 텍스트 의도, 교차 모달 위험 관계를 구성하여 안전성 결정의 근거를 명시적으로 만듭니다. 반사실적 안전 증거 정렬은 안전과 무관한 변화에 대해서는 불변성을 강제하는 한편, 위험에 결정적인 증거가 최소한으로 변경될 때는 적절한 안전 상태 및 응답 모드 전환을 요구합니다. 그 결과로 도출된 증거 상태는 적응형 협업을 더욱 지원하여, 그라운딩된 증거가 충분할 때는 직접 답변을 가능하게 하고 증거가 위험하거나 불확실하거나 상충할 때는 정책 비판(policy critique) 및 응답 수정을 호출합니다. 상호 보완적인 안전 필수(safety-critical) 및 일반 VQA 프로토콜 하에서, A$^2$Safe는 95.72의 SIUO 안전 점수를 달성하고 MOSSBench에서의 무해한 거부율을 14.67%로 낮추며, 27.8%의 토큰 오버헤드로 78.34의 평균 일반 VQA 점수를 유지합니다. 이러한 결과는 안전하고 효과적인 멀티모달 질의응답을 위한 반사실적 증거 정렬 적응형 협업을 뒷받침합니다.
원문 초록
Visual Question Answering (VQA) with Multimodal Large Language Models (MLLMs) requires not only producing safe and effective responses, but also grounding safety decisions in the multimodal evidence that determines risk. Recent safety-alignment methods improve refusal behavior and contextual risk awareness, yet correct safety outcomes may still rely on superficial textual or visual correlations, particularly when risk emerges from interactions between individually benign image and question content. To address this issue, we propose A$^2$Safe, a counterfactual evidence-aligned adaptive agent collaboration framework for safe and effective VQA. A$^2$Safe organizes localized visual observations, textual intent, and cross-modal risk relations through a Grounded Safety Evidence Board, making the basis of safety decisions explicit. Counterfactual safety evidence alignment enforces invariance to safety-irrelevant changes while requiring appropriate safety-state and response-mode transitions when risk-critical evidence is minimally altered. The resulting evidence state further supports adaptive collaboration, enabling direct answering when grounded evidence is sufficient and invoking policy critique and response revision when evidence is risky, uncertain, or conflicting. Under complementary safety-critical and general VQA protocols, A$^2$Safe achieves a 95.72 SIUO safety score, reduces the benign refusal rate on MOSSBench to 14.67%, and maintains an average general VQA score of 78.34 with 27.8% token overhead. These results support counterfactual evidence-aligned adaptive collaboration for safe and effective multimodal question answering.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24098v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?
Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.
월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)
How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling
월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.
장기 실행 에이전트의 GHOST: 턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험
A GHOST in Long-Horizon Agents: Governance Hazard from Overlooked Safety Constraints across Turns
장기 실행 에이전트(long-horizon agent)는 복잡한 문제 해결에서 인간을 보조하는 데 점점 더 중요한 역할을 하고 있습니다. 그러나 이러한 확장된 상호작용 이력은 지금까지 충분히 탐구되지 않은 실행 안전성(execution-safety) 문제를 유발합니다. 정상적인 상호작용 환경에서도 에이전트는 여러 턴(turn) 이전에 명시된 안전 제약 조건을 위반하는 행동을 실행할 수 있습니다. 본 연구에서는 비가역적인 피해를 초래할 수 있는 이러한 실패 모드를 '턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험(GHOST, Governance Hazard from Overlooked Safety Constraints across Turns)'이라고 명명합니다. 실험 결과 GHOST 사건은 개별적인 예외 사례가 아님을 확인했습니다. 정상적인 상호작용 조건에서도 정확히 발생하는 이 실패 모드는 GPT-5.5에서 11.5%의 발생률을 나타냈습니다. 나아가 본 논문에서는 이론적으로 각 안전한 접두 문맥(safe prefix)에 따른 잔여 조건부 위반 위험이 발산하는(non-summable) 수열로 아래로 유계되는 경우, 실행이 거의 확실하게(almost surely) 위험 영역에 진입함을 증명합니다. 이러한 이론적 통찰을 바탕으로, 과거 의미론적 안전 제약 조건 복원과 실행 전 감사를 결합한 2개 층의 방어 메커니즘인 STAR-Guard를 제안합니다. STAR-Guard는 적용 가능한 안전 제약 조건을 복원하여 안전하지 않은 제안을 줄이는 동시에, 결정론적 감사 층을 통해 잔여 위반 사항이 환경(environment)에 도달하지 못하도록 방지합니다. 이러한 2개 층 설계에 힘입어, GPT-5.5 설정에서의 실험에서 GHOST 사건이 전혀 발생하지 않음을 관찰했습니다.
DNAlign: 대규모 언어 모델을 위한 동적 영공간 기반 안전 정렬
DNAlign: Dynamic Null-Space Safe Alignment for LLMs
대규모 언어 모델(LLM)의 안전하고 신뢰할 수 있는 배포를 보장하는 것은 여전히 근본적인 과제로 남아 있습니다. 기존의 안전성 정렬(safety alignment) 방식들은 높은 계산 비용을 초래하거나 모델의 핵심 지식을 의도치 않게 훼손하여 무해한 작업에서의 유창성과 사실적 정확도를 저하시킵니다. 이는 안전성과 유용성(utility) 사이의 지속적인 트레이드오프를 보여줍니다. 본 논문에서는 제어 이론적 최적화와 영공간 투영(null-space projection)을 통합한 경량 정렬 프레임워크인 DNAlign을 제안합니다. 제안된 프레임워크는 LLM을 동적 시스템으로 취급하여, 생성이 안전한 방향으로 유도되도록 제어 가능한 섭동(perturbation)을 도입합니다. 핵심 구성 요소인 투영 모듈은 이러한 섭동을 중립 은닉 상태에서 파생된 유해성 관련 부분공간으로 제한함으로써, 일반적인 지식과 응답 품질을 보존합니다. 인간 선호도 데이터로 학습된 가치 함수는 인간의 안전성 선호도에 부합하도록 제어 신호를 적응적으로 최적화합니다. 다양한 LLM 백본에 걸친 광범위한 평가는 본 프레임워크가 유창성, 일관성, 사실적 유용성을 유지하면서 유해한 출력을 일관되게 감소시킴을 입증합니다. 또한 생성 다양성을 희생하지 않으면서 이전 정렬 베이스라인 대비 우수한 종합적 성능을 달성합니다. 이러한 결과는 제안된 프레임워크가 안전한 LLM 정렬을 위한 효과적이고 실질적으로 배포 가능한 솔루션을 제공함을 보여줍니다. 코드는 https://anonymous.4open.science/r/DNAlign 에서 이용할 수 있습니다.
빈도는 민감도가 아니다: 희소 MoE 대규모 언어 모델에서 안전성에 민감한 전문가 식별
Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.
보고 말하지만 사용하지 못함: 멀티모달 대규모 언어 모델에서 보고 가능한 공간적 사실로부터 사용 가능한 상태로의 전환
Seeing, Saying, but Not Using: From Reportable Spatial Facts to Usable States in Multimodal Large Language Models
공간적 사실을 올바르게 보고하는 멀티모달 대규모 언어 모델(MLLM)이 후속 추론에서 해당 사실을 반드시 사용하는 것은 아닙니다. 이러한 차이를 연구하기 위해, 공간 상태의 구축 및 활용을 평가하는 23,196개의 입력으로 구성된 벤치마크인 \textsc{SpaceConflict}를 소개합니다. 통합된 지지/모순/알 수 없음(Supported/Contradictory/Unknown) 판별 인터페이스 하에서, 이는 국소적 사실 결합(L1), 관계적 합성(L2), 교차 관측 일관성(L3), 변환 하에서의 상태 판별(L4)을 다룹니다. 동일한 세계에 대해 직접 상태 질의, 전체 변환 질의, 명시적 초기 상태 질의를 제시함으로써 가용성-활용 격차(availability-utilization gap)를 밝혀냈습니다. 모델은 시각적 증거로부터 초기 상태를 복원하지만, 해당 상태가 변환을 이끌어야 할 때는 실패합니다. Qwen3.5-9B의 경우, 초기 상태를 올바르게 복원한 100개 시퀀스 중 50개가 전체 변환에 실패하며, 상태를 명시적으로 제공하면 이 50개 모두가 해결됩니다. 이러한 격차는 스케일이 커짐에 따라 좁혀지지만 완전히 사라지지는 않습니다. 따라서 우리는 과업 관련 공간 상태와 그 변환 궤적을 감독하고 문맥 전반에 걸쳐 공유된 사실을 정렬하는 운영 상태 지도(Operational State Supervision, OSS)를 제안합니다. OSS는 상태를 체계화하고 사용하는 데 의존하는 수준인 L3 및 L4의 일치 판별에 대한 쌍별 정확도(paired accuracy)를 가장 크게 향상시킵니다. 따라서 멀티모달 공간 추론을 평가하려면 모델이 공간적 사실을 보고 진술할 수 있는지뿐만 아니라, 그 사실이 후속 계산에서 사용 가능한 상태가 되는지까지 물어야 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.