PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11270v3cs.LG

언어 모델 증류에서 잠재적 행동 전이 비율 정량화

Quantifying Subliminal Behavioral Transfer Ratios in Language Model Distillation

Distillation of a language model intended to transfer benign behavior to a student model may also transfer undesirable characteristics, if they are present in the teacher model, a phenomenon known as subliminal learning. While qualitative evidence supports the existence of this effect, its magnitude has not been systematically characterized. This study quantifies subliminal behavioral transfer ratios by steering two teacher models (Llama-2-7B-Chat and Qwen2.5-7B-Instruct) at varying steering strengths and distilling student models using only benign data. Evaluation on 100 JailbreakBench prompts with GPT-4.1, serving as the evaluator, indicates that transfer is robust but exhibits distinct scaling behaviors. Llama-2 demonstrates a sharp threshold ($\tau = {0.25,0.32} \ \text{beyond} \ \alpha = -0.15$), whereas Qwen2.5 displays continuous and higher levels of transfer ($\tau$ up to $0.61$).

arXiv:2607.13162v3cs.CL

모델이 무엇을 표현하고, 억제하며, 저항하는가: 페르소나 벡터를 이용한 가중치 공개 LLM 감사

What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors

언어 모델이 하거나 하지 않을 행동은 대부분 사후 학습에서 정해지지만, 어떤 행동을 표현하고, 숨기며, 저항하는지는 프롬프트만으로는 드러나지 않는다. 활성화 공간에서의 행동 방향인 페르소나 벡터(persona vectors)는 이러한 조직을 탐색할 수 있지만, 선행 연구는 소수의 특성만 다룬다. 본 연구는 이 규모에서 페르소나 벡터를 체계적으로 최초 적용하여, 행동적으로 구별되는 네 도메인에 걸친 53개 특성 목록을 작성하고, 두 가중치 공개 모델의 모든 특성을 자연(기준선에서 표현됨), 조향 가능한 잠재이지만 증폭 가능, 또는 다루기 어려움(표준 추출에 저항)으로 분류한다. 두 모델 모두 기본적으로 도움이 되고 과제 지향적인 행동을 한다. 아홉 가지 에이전트적(agentic) 특성은 모두 자연적이며, 기본 임상의(clinician) 행동은 17개 특성 중 16개에서 전문심리사의 독립적인 바람직성 판단과 일치한다. 조향(steering)은 이러한 기본값이 배제하는 특성—과장, 환각, 아첨—에서 가장 큰 이득을 낸다. 동일한 비대칭은 171개 일반-특성 쌍 전반에 걸쳐 성립한다. 두 조향 가능 특성은 구성(composition)을 붕괴시킬 수 있지만, 기본값을 포함하는 쌍은 그렇지 않다. "evil"과 같은 특성에서 표준 추출이 실패하는 경우, 파인튜닝된 변형에서 전이된 벡터가 여전히 이를 회복하며, 잔여 거부는 모델의 사고의 연쇄(Chain-of-Thought) 내부에 나타난다. 페르소나 벡터는 제어 수단의 집합이라기보다 행동 조직을 탐색하는 프로브로서 가장 유익하다.

arXiv:2607.14242v1cs.CL

Concept Chaining을 통한 암시적 추론 스티어링

Implicit Reasoning Steering via Concept Chaining

대규모 언어 모델(LLM)은 종종 신뢰할 만하게 추론하는 것처럼 보이지만, 많은 질문에서 반복 샘플링을 하면 정답과 오답이 모두 나와 최종 결정이 형성되는 방식에 근본적인 취약성이 있음을 드러낸다. 우리는 이러한 취약성이 암시적 추론 스티어링(implicit reasoning steering)을 통해 악용될 수 있는지 연구한다. 즉, 명시적 지시, 트리거, 또는 직접적인 답 단서 없이 자연어 텍스트를 사용하여 모델을 지정된 답으로 바이어스(bias)시키는 것이다. 우리의 접근법인 Concept Chaining은 하나 또는 두 개의 중간 개념을 통해 질문 개체를 목표 선택지에 연결하는 짧은 연결 문단을 생성한다. 그런 다음 이러한 연결 문단으로 피해 모델(victim model)의 사전학습(pre-training)을 이어가고, 원래의 객관식 질문에서 답 선호가 바뀌는지 평가한다. 결과는 간접적이고 자연스러워 보이는 텍스트가 직접적인 의역(paraphrase)보다 훨씬 덜 추론 가능하면서도 모델 예측을 체계적으로 유도할 수 있음을 보여준다. 이는 추론의 취약성이 단순한 평가 아티팩트(evaluation artifact)에 그치지 않음을 시사한다. 즉, 잠재 바이어스(latent bias)가 평범해 보이는 텍스트에 의해 증폭되어 모델의 결정을 은밀하게 바꿀 수 있는 실질적인 경로를 만든다.

arXiv:2607.14246v1cs.AI

조향 예산: 예시가 노브를 능가한다

The Steering Budget: Examples beat Knobs

생성 모델은 노브—프롬프트, guidance scale, 속성 태그—로 조향된다. 노브를 아무리 세게 돌려도 어느 지점을 넘기면, 관심 있는 속성은 더 이상 움직이지 않는다. 우리는 그 상한이 모델의 결함이 아니라, 모델이 학습되기 전 학습 데이터에 의해 정해지는 예산이라는 것을 발견한다. 속성의 이동 가능 범위는 두 부분으로 나뉜다—노브가 도달할 수 있는 부분, 그리고 예시—더 원하는 것의 구체적 사례—만이 도달할 수 있는 두 번째이며 상당한 부분. 그 두 번째 부분은 보통 훨씬 크지만 항상 그런 것은 아니며, 동일한 예산이 이를 미리 알려준다. 그 두 번째 부분에 도달하려면 다른 접근이 필요하다. 노브를 돌리는 대신, 학습에 추가하는 것이 아니라 모델이 이미 학습한 것으로 구성된 예시를 모델에 보여준다. 학습 데이터에 대한 저비용 감사로 예산을 측정할 수 있으며, 우리는 예산 전체에 도달하는 예시 집합을 구축하는 방법을 제시한다. 이는 노브가 할 수 없는 두 가지를 제공한다. 도달 범위(Reach): 노브가 도달하는 부분뿐만 아니라 예산 전체에 걸쳐 속성을 이동시킨다. 표현력(Expressiveness): 말로 표현할 수 없는 것을 포함하여, 예시로만 지정할 수 있는 목표를 향해 조향한다. 우리는 이를 소수의 반증 가능한 주장으로 정식화하고, 이미지 생성과 결정 구조 생성이라는 두 무관한 도메인에서 이를 검증하며—노브로 충분한 경우와 예시만이 필요한 경우를 표시한다.

arXiv:2602.03160v2cs.AI

VALUEFLOW: 대규모 언어 모델에서의 다원주의적이고 제어 가능한 가치 기반 정렬

VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models

대규모 언어 모델(LLM)을 다양한 인간 가치 스펙트럼과 정렬(alignment)하는 것은 여전히 중요한 과제입니다. 선호 기반 방법은 종종 더 깊은 동기 원칙을 포착하지 못합니다. 가치 기반 접근법은 더 원칙적인 경로를 제시하지만, 세 가지 한계가 여전히 존재합니다. 추출은 종종 계층적 구조를 무시하며, 평가는 존재 여부는 감지하지만 보정된 강도는 파악하지 못하고, 제어된 강도 수준에서의 LLM의 제어 가능성(steerability)은 아직 충분히 이해되지 못했습니다. 이러한 한계를 해결하기 위해, 우리는 보정된 강도 제어를 통해 추출, 평가, 제어를 아우르는 최초의 통합 프레임워크인 VALUEFLOW를 소개합니다. 이 프레임워크는 세 가지 구성 요소를 통합합니다: (i) HIVES, 이론 내부 및 이론 간 가치 구조를 포착하는 계층적 가치 임베딩(embedding) 공간; (ii) Value Intensity DataBase (VIDB), 순위 기반 집계에서 도출된 강도 추정치를 포함하는 가치 레이블 텍스트의 대규모 리소스; (iii) VIDB 패널에 대해 모델 출력의 순위를 매겨 일관된 강도 점수를 생성하는 앵커 기반 평가기(evaluator). VALUEFLOW를 사용하여 우리는 10개 모델과 4가지 가치 이론에 걸쳐 포괄적인 대규모 연구를 수행했으며, 그 결과 제어 가능성(steerability)의 비대칭성과 다중 가치 제어를 위한 구성 법칙을 확인했습니다. 본 논문은 가치 강도를 평가하고 제어하기 위한 확장 가능한 인프라를 구축하여 LLM의 다원주의적 정렬을 고도화합니다.