PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.18587v3cs.LG

라벨 없는 조향: 테스트 시간 강화학습을 바이어스 전용 부분공간으로 압축하기

Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces

테스트 시간 강화학습(TTRL)은 라벨이 지정된 학습 데이터에 의존하지 않고도 모델의 추론 능력을 향상시킬 수 있게 하지만, 기존 방식들은 일반적으로 모델 매개변수의 상당 부분을 최적화합니다. 이는 자연스럽게 다음과 같은 의문을 제기합니다. 보상 신호와 최적화 공간이 모두 엄격하게 제한될 때도 효과적인 테스트 시간 적응이 일어날 수 있을까? 우리는 사전학습된 백본을 고정한 채 다수결 의사라벨(pseudolabel)을 보상으로 사용하고 약 10만 개의 바이어스 매개변수만을 최적화하는 라벨 없는 바이어스 전용 TTRL을 통해 이 질문에 답합니다. MATH-500에서 우리의 접근 방식은 Qwen2.5-7B로 76.67%의 정확도를 달성하여, 전체 매개변수 TTRL보다 76,000배 적은 매개변수를 최적화하면서도 자체적으로 재현한 라벨 기반 바이어스 조향(bias-steering) 성능을 소폭 능가했습니다. 동일한 학습 절차는 MathVista, AI2D, LogicVista, MMAU를 포함한 비전-언어 및 오디오 추론 작업 전반에서 성능을 향상시킵니다. 나아가 학습된 조향 벡터가 4,500개의 별도 보류(held-out) MATH 문제로 전이됨을 보여주며, 이는 적응이 테스트 시간 최적화 중에 사용된 문제에만 국한되지 않음을 나타냅니다. 마지막으로 우리는 롤아웃 합의(consensus)에 따라 다수결 신뢰도가 향상되고 접근 가능한 그래디언트 에너지가 더 큰 바이어스 부분공간이 더 강력한 다운스트림 학습 가능성을 보임을 밝힘으로써, 이처럼 극도로 제한된 적응이 어떻게 작동할 수 있는지 분석합니다. 이러한 결과는 완전히 라벨이 없는 보상을 사용하여 매우 작은 바이어스 전용 부분공간을 최적화하는 것만으로도 상당한 테스트 시간 적응이 일어날 수 있음을 입증합니다.

arXiv:2509.03647v3cs.CL

거울 깨기: 활성화 기반 접근법을 통한 LLM 평가자의 자기 선호 완화

Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators

대규모 언어 모델(LLM)이 자동화된 평가자로 점점 더 많이 활용되고 있지만, 다른 모델의 출력보다 자신의 출력을 선호하는 경향인 "자기 선호 바이어스(self-preference bias)"를 겪고 있습니다. 이러한 바이어스는 특히 선호도 튜닝(preference tuning) 및 모델 라우팅과 같은 작업의 평가 파이프라인에서 공정성과 신뢰성을 저해합니다. 본 연구에서는 재학습 없이 추론(inference) 시점에 경량 스티어링 벡터(steering vector)를 통해 이 문제를 완화할 수 있는지 조사합니다. 연구진은 자기 선호 바이어스를 정당한 자기 선호 사례와 부당한 자기 선호 사례로 구분하는 큐레이션된 데이터셋을 도입하고, 대조 활성화 추가(Contrastive Activation Addition, CAA)와 최적화 기반 접근법의 두 가지 방법을 사용하여 스티어링 벡터를 구축합니다. 실험 결과, 스티어링 벡터는 부당한 자기 선호 바이어스를 최대 97%까지 줄일 수 있어 프롬프팅 및 직접 선호 최적화(DPO) 베이스라인을 크게 능가하는 것으로 나타났습니다. 그러나 스티어링 벡터는 정당한 자기 선호 및 편향되지 않은 일치에서는 불안정한 모습을 보였으며, 이는 자기 선호가 다중 또는 비선형 방향에 걸쳐 있음을 시사합니다. 이는 LLM 판사(LLM-as-a-judge)를 위한 안전장치로서 스티어링 벡터의 가능성과 한계를 모두 강조하며, 보다 강건한 개입 방법에 대한 필요성을 제시합니다.

arXiv:2607.07003v2cs.LG

LLM에서 아첨의 내부 표현 분리

Dissociating the Internal Representations of Sycophancy in LLMs

대규모 언어 모델(LLM)은 틀렸을 때에도 사용자의 진술에 동의하는 아첨(sycophancy)을 자주 보인다. 아첨은 종종 하나의 균일한 행동으로 연구되지만, 맥락에 따라 실질적으로 뚜렷이 다른 방식으로 나타날 수 있으며, 이러한 이질성이 내부 메커니즘에 반영되는지에 대한 질문을 제기한다. 이 공백을 메우기 위해, LLM에서 이질적인 진실 표현에 대한 선행 연구를 바탕으로 아첨의 표현을 사실(factual) 및 의견(opinion) 하위 유형으로 분리한다. 한 하위 유형의 활성화(activation)에 대해 선형 프로브(linear probe)를 학습하고 스티어링 벡터(steering vector)를 구성한 뒤, 다른 유형으로의 전이(transfer)를 평가하여 표현이 얼마나 공유되는지 측정하고 선형 판별 분석(Linear Discriminant Analysis)을 통해 시각화한다. 다양한 LLM이 이러한 하위 유형을 서로 다르게 표현하며, 더 유사하거나 더 뚜렷히 구분된 표현을 보인다는 것을 발견하고, 이 통찰을 아첨 감소를 위한 표현적 개입(representational intervention) 개선에 적용한다. 우리의 분리 방법은 복잡한 모델 행동의 표현 구조를 연구하기 위한 일반적인 프레임워크를 제공한다.

arXiv:2502.12446v3cs.CL

타깃 개입을 통한 언어 모델의 다중 속성 조향

Multi-Attribute Steering of Language Models via Targeted Intervention

추론(inference) 시점 개입(ITI)은 대규모 언어 모델(LLM)의 매개변수(parameter)를 비용이 큰 방식으로 업데이트하지 않고 토큰(token) 표현에 개입함으로써 LLM의 행동을 특정 방향(예: 유용성 향상)으로 조향하는 유망한 방법으로 부상했다. 그러나 기존 ITI 접근법은 유용성을 높이면서 동시에 독성을 줄이는 것처럼 충돌이 발생하는 다중 속성 설정으로 확장하는 데 한계가 있다. 이를 해결하기 위해 우리는 여러 속성에 걸쳐 선택적 토큰 수준 개입을 위해 설계된 새로운 조향 프레임워크인 다중 속성 타깃 조향(MAT-Steer)을 제안한다. MAT-Steer는 바람직하지 않은 출력의 모델(model) 내부 표현을 바람직한 출력의 표현에 가깝게 이동시키는 정렬(alignment) 목적 함수를 사용하여 조향 벡터를 학습하며, 서로 다른 속성 간의 벡터에 희소성(sparsity)과 직교성을 부여함으로써 속성 간 충돌을 줄인다. 우리는 MAT-Steer를 두 가지 설정에서 평가한다: (i) 진실성, 바이어스(bias), 독성 등의 속성 간 균형을 맞추는 질의응답(QA) 태스크, (ii) 유용성, 정확성, 일관성 등의 속성을 동시에 개선하는 생성 태스크. MAT-Steer는 두 태스크 유형 모두에서 기존 ITI 및 매개변수 효율적 미세조정(fine-tuning) 접근법을 능가한다(예: QA 태스크 전반에 걸쳐 평균 정확도 3% 향상, 최고 ITI 기준선(baseline) 대비 55.82%의 승률).

arXiv:2607.01802v1cs.CL

On the Limits of Steering Vectors for Preference-Aligned Generation

스티어링 벡터(steering vector)를 활용한 제어 텍스트 생성의 한계를 PLUME 벤치마크에서 36가지 선호 특성, 두 가지 태스크 전이(task transfer), 최대 4개 벡터 조합 실험을 통해 체계적으로 분석한 연구로, Qwen2.5-7B-Instruct와 Llama3.1-8B-Instruct에서 특성 유형별 조정 효과 편차가 크고 다중 벡터 합성 시 특성 표현과 출력 일관성이 모두 저하됨을 밝혔다.

arXiv:2607.00083v1cs.CL

Harnessing the Latent Space: From Steering Vectors to Model Calibrators for Control and Trust

Language models have changed from unreliable text generators to highly-capable large models with trillions of parameters. Capability increases come hand-in-hand with increases in scale, making understanding the internal representations of models more challenging. Since millions of users increasing rely on language models to interact with external tools or make decisions in medium or high-stakes scenarios, we need to establish control over model behavior and know when to trust model outputs. In this paper, we discuss our contributions on harnessing the latent spaces by proposing steering vectors for control and developing latent space-based model calibrators for trust. Together, our contributions help demystify the latent spaces of language models and offer new insights into how to harness model internals to build more trustworthy language technology.

arXiv:2509.23982v2cs.CL

잔차 기반 모델 조종을 통한 선호도 정렬 대규모 언어 모델

Toward Preference-aligned Large Language Models via Residual-based Model Steering

학습 없이 대규모 언어 모델(LLM)의 잔차 스트림(residual streams)에서 추출한 가벼운 조정 벡터를 추론 시 적용하여 선호도 정렬을 수행하는 PaLRS를 제안한다. 이 방식은 적은 데이터로 수학 추론 및 코드 생성 벤치마크(benchmark)에서 기존 최적화 방식보다 우수한 성능을 보이며 범용 성능을 유지한다.