교란된 Jailbreak 프롬프트의 기하학적 구성
Geometric Configurations of Perturbed Jailbreak Prompts
한국어 초록
실패한 jailbreak 프롬프트를 성공적인 것으로 바꾸는 교란(perturbation) 기법은 지속적으로 진화하고 있으며, 이는 LLM 안전성(safety)에 대한 주요 보안 위협을 구성한다. 본 논문에서는 Qwen-2.5-1.5B/-3B/-7B-Instruct 및 Llama-3.2-1B/-3B/-3.1-8B-Instruct 계열의 소형 가중치 모델에서, 이러한 문자열 수준(string-level) 교란 jailbreak 입력의 내부 표현(internal representation)을 조사한다. 두 가지 표현 공간을 선택한다: 마지막 층-마지막 토큰 임베딩 공간과 상위 50개 다음 토큰 확률 공간. 전자의 공간은 철자와 형식에 따라 프롬프트를 분리하는 반면, 후자의 공간은 사실상 일차원(one-dimensional)이지만 클러스터링하기에는 더 복잡해 보인다. 거부(refusal)가 지배적인 답변 집합 내에서 두 공간 모두에서 행동적(behavioral) 초평면(hyperplane)을 찾지 못한다. 1.5B Qwen 모델에서는 다음 토큰 "Sure"만, 1B Llama 모델에서는 "," 및 "ĊĊ" 토큰 모두가 순응(compliant) 라벨이 붙은 답변과 유의미한 연관성을 보인다.
원문 초록
Perturbation techniques that turn unsuccessful jailbreak prompts into successful ones are continuously evolving, constituting a major security threat to LLM safety. In this paper, we investigate the internal representations of such string-level perturbed jailbreak inputs in the small weight models of the Qwen-2.5-1.5B/-3B/-7B-Instruct and Llama-3.2-1B/-3B/-3.1-8B-Instruct families. We select two representation spaces: the last-layer-last-token embedding space and the top-50 next-token probability space. The former space separates prompts based on their spelling and format, while the latter space is effectively one-dimensional but appears more complex to cluster. Within our refusal-dominated answer set we find no behavioral hyperplane in either space. Only the next token "Sure" in the 1.5B Qwen model, and both tokens "," and "ĊĊ" in the 1$ Llama model, display a significant association with a compliant-labeled answer.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.20581v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SoftGene: 해석 가능한 유전자 세트 주석을 위한 단백질 언어 모델 강화 소프트 프롬프팅
SoftGene: Protein Language Model-Enhanced Soft Prompting for Interpretable Gene Set Annotation
유전자 세트 분석(gene set analysis)은 기능 유전체학(functional genomics)의 초석이지만, 여전히 노동 집약적이며 수작업 큐레이션 및 전문가의 생물학적 해석에 크게 의존하고 있습니다. 대규모 언어 모델(LLM)이 유전체 추론 및 주석을 위한 강력한 도구로 부상했으나, 기존 접근 방식의 대부분은 기호적 유전자 이름에 의존하며 도메인 특화 생물학적 구조, 특히 분자 활성, 상호작용 및 다운스트림 유전자 기능을 지배하는 단백질 서열 정보를 포착하지 못합니다. 본 연구에서는 유전자 세트의 계층적 구조를 활용하는 LLM 기반 유전자 세트 주석을 위한 새로운 프레임워크인 SoftGene을 제안합니다. 첫째, 단백질 언어 모델(protein language model)인 ESM을 기반으로 구축된 계층적 어텐션(hierarchical attention) 기반 인코더를 사용하여 단백질 수준의 아미노산 서열 정보로 각 유전자 세트를 표현합니다. 둘째, 유전자 세트 임베딩(embedding)에서 파생된 소프트 프롬프트(soft prompt)와 LLM이 생성한 보조 컨텍스트를 포함하는 하드 프롬프트(hard prompt)를 결합하는 하이브리드 프롬프팅 기법을 구성하고, 그 결과로 생성된 프롬프트를 주석 생성을 위해 로컬 LLM에 입력합니다. Gene Ontology(GO)와 Molecular Signatures Database(MSigDB)라는 두 가지 벤치마크 데이터셋에서 프레임워크를 평가합니다. 실험 결과는 단백질 서열 표현을 텍스트 컨텍스트와 통합함으로써 전반적인 유전자 세트 주석 성능이 향상됨을 보여주며, 도메인별 분석을 통해 단백질 임베딩의 기여도가 생물학적 도메인에 따라 달라진다는 점을 밝혀냅니다.
MoPrO-SD: 입장 탐지를 위한 모듈형 프롬프트 최적화
MoPrO-SD: Modular Prompt Optimization for Stance Detection
입장 탐지(stance detection)는 암묵적인 의견, 반어법, 맥락 의존적인 입장 표현으로 인해 대규모 언어 모델(LLM)에 여전히 어려운 과제로 남아 있습니다. 자동 프롬프트 최적화는 모델 가중치를 업데이트하지 않고도 미세조정의 대안을 제공하지만, 기존의 구조화된 접근 방식들은 입장 레이블의 의미론과 클래스별 모호성에 맞추어 특별히 설계되지 않았습니다. 본 연구에서는 프롬프트를 기능적 의미 모듈로 분해하고 LLM 기반 피드백을 사용하여 순차적으로 정제하는 입장 특화 프롬프트 최적화 프레임워크인 MoPrO-SD를 소개합니다. 저자들은 입장 레이블 정제를 위해 클래스 조건부 오류를 활용하는 세 가지 정제 전략인 지시문 전용 최적화(I), 추론을 포함한 지시문(I+R), 예시별 추론을 포함한 지시문(I+R+E)을 연구합니다. 또한 백신 입장 탐지를 위해 사람이 직접 주석을 단 새로운 벤치마크인 VaccineStance를 소개합니다. 4개 데이터셋과 5개 공개 가중치 LLM에 걸친 실험 결과, MoPrO-SD는 많은 환경에서 사람이 작성한 기본(Base) 프롬프트보다 성능을 향상시키는 것으로 나타났습니다. SemEval-2016에서 클래스 조건부 피드백은 5개 백본 중 4개에서 풀링된(pooled) 피드백보다 더 높은 평균 Macro-F1을 달성했습니다. 추론 기반 전략인 I+R과 I+R+E는 모두 강력한 성능을 달성했으며, 모델 및 데이터셋에 따라 상대적인 효과는 달랐으나 최근의 프롬프트 최적화 기법들과 비교하여 경쟁력을 유지했습니다. MoPrO-SD 코드와 VaccineStance 데이터셋은 GitHub에서 이용할 수 있습니다.
X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅
X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems
개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.
프롬프트 옵티마이저는 제한된 예산을 어떻게 사용해야 하는가? 노이즈 적응형 평가를 적용한 BudgetAPO
How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation
자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 대규모 언어 모델(LLM)의 가중치를 업데이트하지 않고 적응시키기 위해 널리 사용되어 왔으며 유망한 결과를 보여주었습니다. 그러나 GEPA 및 OPRO와 같은 기존 방식은 대상 모델에 대해 수백에서 수천 번의 호출을 가정하므로, 유료 및 속도 제한이 있는 API 환경에서는 현실적인 수준을 훨씬 뛰어넘습니다. 제한된 예산 하에서 기존 방식은 두 가지 방식으로 실패합니다. 다단계 파이프라인은 예산을 모두 소진하여 시드 프롬프트를 변경 없이 그대로 반환할 수 있으며, 단일 단계 방식은 각 태스크의 노이즈와 무관하게 고정된 크기의 미니배치에서 후보를 비교합니다. 이에 대한 해결책으로, 본 연구에서는 제한된 예산 환경을 위한 단일 단계 옵티마이저인 BudgetAPO를 제안합니다. BudgetAPO는 (1) 짧은 탐색(probe)으로 측정된 각 태스크의 노이즈에 맞춰 평가 슬라이스 크기를 조정하는 노이즈 적응형 규칙, (2) 모든 수락/거절 결정을 대응 비교(paired comparison)로 변환하는 고정 슬라이스, (3) 추론 전략과 출력 형식을 함께 다시 작성하는 성찰적(reflective) 연산자를 포함합니다. 7개 벤치마크와 5개 대상 모델에 걸친 광범위한 실험 결과는 BudgetAPO가 모든 대상 모델에서 1위를 차지하고 홈 보정(Holm-corrected) 대응 검정 하에서 모든 기준선(baseline)을 능가함을 보여줍니다. 또한 250회 호출 시 시드를 그대로 반환하는 비율이 GEPA의 86%에 비해 13%에 불과했습니다. GPT-OSS-20B에서는 GEPA가 본 방법의 100회 호출 점수와 일치하기 위해 5배 더 많은 호출을 필요로 합니다.
Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.
올빼미를 넘어서: 잠재의식적 학습은 학습된 능력과 백도어를 전이할 수 있다
Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors
잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.