arXiv:2402.13851

VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models

Jiawei Liang, Siyuan Liang, Man Luo, Aishan Liu, Dongchen Han, Ee-Chien Chang, Xiaochun Cao

제출 2024-02-21

원문 초록

Autoregressive Visual Language Models (VLMs) showcase impressive few-shot learning capabilities in a multimodal context. Recently, multimodal instruction tuning has been proposed to further enhance instruction-following abilities. However, we uncover the potential threat posed by backdoor attacks on autoregressive VLMs during instruction tuning. Adversaries can implant a backdoor by injecting poisoned samples with triggers embedded in instructions or images, enabling malicious manipulation of the victim model's predictions with predefined triggers. Nevertheless, the frozen visual encoder in autoregressive VLMs imposes constraints on the learning of conventional image triggers. Additionally, adversaries may encounter restrictions in accessing the parameters and architectures of the victim model. To address these challenges, we propose a multimodal instruction backdoor attack, namely VL-Trojan. Our approach facilitates image trigger learning through an isolating and clustering strategy and enhance black-box-attack efficacy via an iterative character-level text trigger generation method. Our attack successfully induces target outputs during inference, significantly surpassing baselines (+62.52\%) in ASR. Moreover, it demonstrates robustness across various model scales and few-shot in-context reasoning scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27763v1cs.AI공통 태그 Few-Shot Learning, Instruction Following

역정렬 퓨샷 대화 노출을 통한 대규모 추론 모델(LRM)의 정렬

Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure

대규모 추론 모델(LRM)은 명시적인 사고의 연쇄(CoT) 추론과 넓은 컨텍스트 윈도우(context window)에 의존하여 복잡한 작업에서 강력한 성능을 달성하지만, 이러한 특징은 새로운 공격 표면(attack surface)도 유발합니다. 본 논문에서는 명시적인 CoT 추론 궤적이 포함된 역정렬(counter-aligned) 퓨샷(few-shot) 대화를 앞에 추가함으로써 LRM의 추론 과정을 체계적으로 유도할 수 있음을 보이며, 이는 유해한 질의에 대한 안전하지 않은 생성과 무해한 질의에 대한 부당한 거부로 이어집니다. 우리는 이를 유연한 대화형 인터페이스만을 통해 작동하고 모델의 파라미터 및 그래디언트에 대한 접근이 필요 없는 SRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)로 공식화합니다. 핵심 통찰은 SRCF가 표현 드리프트(representation drift)를 유발하는 적대적 일반화 문제를 악용하여 무해한 입력과 유해한 입력의 표현을 유사한 방향으로 이동시킨다는 점입니다. 이러한 관찰을 바탕으로, 정렬된 타깃을 강제하면서 역정렬 대화형 컨텍스트에 모델을 노출하는 사후 학습(post-training) 방어 기법인 ARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)를 제안합니다. ARCF는 기존 사후 학습 방법과 호환되며 유용성(utility) 저하 없이 안전성(safety)과 유용함(helpfulness)을 일관되게 향상합니다.

arXiv:2607.15330v2cs.RO공통 태그 Few-Shot Learning, Instruction Following

Xiaomi-Robotics-1: 10만 시간 이상의 실세계 궤적으로 비전-언어-액션 모델 스케일링

Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories

우리는 Xiaomi-Robotics-1을 제시한다. 이는 (1) 다양한 언어 지시를 따라 보지 못한 환경에서 즉시(out-of-the-box) 광범위한 이동 조작(mobile manipulation) 작업을 수행할 수 있고, (2) 최소한의 미세조정 데이터로 새로운 하류(downstream) 작업에 효율적으로 적응할 수 있는 기초 비전-언어-액션(VLA) 모델이다. 우리는 사전학습과 사후 학습으로 구성된 2단계 학습 레시피를 제안한다. 사전학습 동안 UMI 장치를 통해 수집된 10만 시간 이상의 실세계 조작 궤적으로 학습하여 모델에 폭넓고 일반화 가능한 액션 생성 능력을 부여한다. 핵심적으로, 장면 상태 전환을 설명하는 자연어로 궤적 클립에 주석을 달아 액션 학습을 위한 풍부하고 정확한 조건화(conditioning)를 제공하는 확장 가능한 자동 라벨링 파이프라인을 개발했다. 사후 학습 동안에는 이러한 능력을 로봇 embodiment 및 인간이 로봇에 프롬프트할 때 자연스럽게 사용하는 명령형 지시와 정렬(alignment)하는 것을 목표로 한다. 광범위한 실험은 강한 스케일링(scaling) 특성을 보여준다. Xiaomi-Robotics-1은 사전학습 동안 데이터 규모와 모델 크기가 증가함에 따라 일관되게 개선된다. 이러한 스케일링 특성은 사후 학습으로 직접 전이되며, 더 강력한 사전학습 모델이 보지 못한 환경에서 더 나은 즉시(out-of-the-box) 실로봇 성능을 제공한다. 또한 Xiaomi-Robotics-1은 복잡하고 정교한(dexterous) 작업에 높은 데이터 효율로 효율적으로 미세조정할 수 있는 강력한 로봇 기초 정책(foundation policy) 역할을 한다. 여러 시뮬레이션 벤치마크에서 Xiaomi-Robotics-1은 최신(state-of-the-art) 방법들을 능가한다. 특히 RoboCasa365에서 57.4%의 성공률로 새로운 최고 성능(state-of-the-art)을 수립하여 이전 최고 기록 46.6%를 넘어선다. 또한 RoboDojo에서 평균 20.07점을 달성하여 이전 최고 성능(13.07)을 크게 능가한다. 코드와 모델 체크포인트가 공개될 예정이다. 프로젝트 페이지: https://robotics.xiaomi.com/xiaomi-robotics-1.html

arXiv:2607.08639v2cs.RO공통 태그 Few-Shot Learning, Instruction Following

일반화 가능한 로봇 제어를 위한 네이티브 비디오-액션 사전학습

Native Video-Action Pretraining for Generalizable Robot Control

비디오-액션 모델의 등장은 로봇 제어에 유망한 경로를 제시한다. 그러나 우리는 디지털 콘텐츠 제작을 위해 설계된 비디오 생성 모델을 물리적 환경에 재활용하는 것은 본질적으로 부적합하다고 주장한다. 이 격차를 해소하기 위해, 우리는 구현체(embodiment)를 위해 처음부터 구축된 비디오-액션 파운데이션 모델인 LingBot-VA 2.0을 제시한다. 네 가지 핵심 설계 원칙이 LingBot-VA로부터의 발전을 보여준다. (1) 전통적인 재구성 중심의 VAE에서 벗어나, 우리는 시각적 표현을 의미론과 행동 모두에 정렬하는 시맨틱 시각-액션 토크나이저를 도입하여 후속 정책 학습에서 인스트럭션 팔로잉과 행동 정밀도를 향상시킨다. (2) 시간적 역학의 엄격한 인과적 특성을 감안하여, 인과적 사전학습 패러다임을 채택하고 처음부터 학습함으로써 양방향 아키텍처를 적응시킬 때 빈번히 발생하는 파국적 망각(catastrophic forgetting)을 방지한다. (3) 고주파 추론의 요구를 충족하기 위해, 우리 모델은 희소 전문가 혼합(MoE) 백본을 활용하여 효율성을 손상시키지 않으면서 모델 용량을 확장한다. (4) 실시간 폐루프 제어는 향상된 비동기 추론 방식을 통해 실현되며, 이는 액션 실행과 병렬로 미래 잠재 표현을 예측하는 동시에 학습된 순방향 역학을 통해 최신 관측에 기반하여 각 롤아웃을 재그라운딩한다. 실제 환경 배포를 통해 LingBot-VA 2.0이 복잡한 조작 작업 전반에서 퓨샷 일반화를 달성함으로써 강건한 파운데이션 모델임이 입증된다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2607.24743v4cs.CV공통 태그 Instruction Following

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

arXiv:2609.27710v3cs.CV공통 태그 Few-Shot Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.