PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03801v1cs.LG

작은 몸집으로 큰 성과를: 검증 가능한 다지선다형 과제를 위한 소형 언어 모델(TLM)의 분류 헤드 미세조정

Punching Above Their Weight: Classification-Head Fine-Tuning of Tiny Language Models (TLMs) for Verifiable Multiple-Choice Tasks

3B 파라미터 미만의 소형 언어 모델(TLM)을 다지선다형 과제에 적용할 때, LoRA 기반 판별적 분류 헤드(classification head) 파인튜닝이 레이블 생성 방식 대비 0.6B·1.7B 규모에서 일관되게 +2~3% 높은 정확도를 기록했다. Qwen3-0.6B와 Qwen3-1.7B는 이 방식으로 HellaSwag, WinoGrande, PIQA에서 SOTA를 달성했으며, 자신보다 100배 이상 큰 GPT-3(175B) 및 PaLM(540B)과 경쟁력 있는 성능을 보였다.

arXiv:2607.03763v1cs.LG

FedACT: 데이터 이질성 하에서 강건한 트랜스포머 학습을 위한 연합 적응형 좌표 신뢰 변조

FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity

이질적인 클라이언트 데이터 환경에서 연합학습(Federated Learning)의 AdamW 학습 시 발생하는 좌표별 신뢰 불일치(coordinate trust mismatch) 문제를 해결하기 위해, 전역 보정된 적응형 방향을 토대로 좌표별 신뢰 점수에 따라 업데이트 크기를 재분배하는 FedACT를 제안한다. 비전 트랜스포머, CNN, LLM 사전학습 및 파인튜닝 실험에서 FedACT는 기존 연합 적응형 최적화 기준선 대비 일관된 성능 향상을 보이며, 특히 데이터 이질성이 강한 트랜스포머 모델에서 가장 큰 개선 효과를 나타냈다.

arXiv:2607.03695v1cs.LG

LLM 에이전트의 소셜 네트워크

Social Networks of LLM Agents

LLM 에이전트 집단에서 제한된 어텐션으로 인해 노출 그래프와 실제 영향력 그래프가 분리된다는 점을 포착하는 SNLA 프레임워크를 제안하며, 어텐션 폭이 좁을수록 유효 표본 크기가 집단 크기와 무관하게 유계로 유지되어 군집행동(herding)이 발생함을 이론적으로 증명한다. 또한 에이전트 간 노출을 균등화하는 분산형 가격 책정 프로토콜이 군집행동을 제거하고 대중의 지혜(wisdom-of-crowds) 행동을 회복시킴을 세 가지 다중 에이전트 LLM 벤치마크 실험으로 검증한다.

arXiv:2607.03574v1cs.LG

프로그램이 아닌 평가자를 미분하라: 뉴로-심볼릭 학습을 위한 효율적인 런타임 표현

Differentiate the Evaluator, Not the Program: An Efficient Runtime Representation for Neuro-Symbolic Learning

AI 시스템은 심볼릭 구조와 적합된 연속 매개변수 모두에 의해 가치가 결정되는 실행 가능한 과학적 모델을 점점 더 많이 제안하고 있다. 이로 인해 매개변수 보정(calibration)이 프로그램-매개변수 공동 탐색(co-search)의 병목이 된다: 외부 루프는 수천 개의 후보 프로그램을 생성할 수 있지만, 각 프로그램은 평가되기 전에 내부 그래디언트 기반 최적화를 거쳐야 한다. 각 후보를 별도의 미분 가능한 그래프로 컴파일하면 개별 모델은 빨라지지만 탐색을 유연하게 유지하는 program-as-data 속성을 희생하게 되고, 인터프리터 기반 접근 방식은 프로그램을 런타임 데이터로 보존하지만 수치 연산을 압도하는 인터프리터 오버헤드를 감수해야 한다. 우리는 각 후보를 별도의 그래프로 컴파일하지 않고 실행 가능한 프로그램을 미분하는 런타임 표현인 Native Differentiable Virtual Machine (NDVM)을 제시한다. NDVM은 심볼릭 구조와 미분 가능한 수치 상태를 분리한다: 태그, 심볼, 환경, 제어는 네이티브 런타임 데이터로 유지되고, 수치 페이로드는 실현된 실행 추적(execution trace)을 따라 정확한 역방향 모드(reverse-mode) 그래디언트가 기록된 밀집 배치 버퍼에 저장되어, 하나의 평가자 워크(evaluator walk)가 대규모 매개변수 벡터 집합에 걸쳐 상각(amortized)된다. 실제 미분 가능한 셀프 호스팅 Scheme 인터프리터의 고정 비용 모델이 이 설계의 동기를 제공한다. 우리는 참조 백엔드와의 순전파 및 그래디언트 동등성, 레인당 약 60배의 배치 상각, 선형에 가까운 멀티코어 스케일링, 두 개의 독립적인 프론트엔드를 갖춘 네이티브 런타임으로 NDVM을 구현한다. 대규모 언어 모델(LLM)이 제안한 프로그램에 대한 고정 예산 공동 탐색에서, NDVM은 실제 경과 시간(wall-clock time) 기준으로 약 24배 더 빠르게 고품질 솔루션에 도달하며, 이는 런타임 미분이 과학적 발견 워크플로우를 위한 실용적인 시스템 기반이 될 수 있음을 시사한다.

arXiv:2607.03572v1cs.LG

표현 동치류에 대한 교사 감독

Teacher Supervision over Representation Equivalence Classes

지식 증류(knowledge distillation)에서 교사 모델의 은닉 표현은 직교 및 등방 스케일링 동치류(equivalence class)까지만 식별 가능하므로 절대 좌표 매칭은 비적합 문제(ill-posed)임을 기하학적으로 규명하고, 역량(capability)은 표현이 아닌 출력 함수(로짓)라는 군 불변량(class invariant)에 의존함을 보인다. Qwen2.5와 Llama-3.1 실험에서 은닉 표현 복원(CKA ≈ 0.99)은 역량을 회복하지 못한 반면, 로짓 매칭은 역량을 완전히 복원하여 이론적 예측을 검증한다.

arXiv:2607.03522v1cs.LG

Co-Adaptive Multi-Task LoRA: 전이 인식, 레이블 불필요 도메인 참여 제어

Co-Adaptive Multi-Task LoRA: Transfer-Aware, Label-Free Control of Domain Participation

멀티태스크 LoRA 파인튜닝에서 도메인 간 긍정적 전이와 부정적 간섭을 제어하기 위해, CoDA는 레이블 없이 순전파만으로 도메인별 역량 신호와 도메인 간 친화도를 추정하고 엔트로피 정규화 이차 프로그램으로 각 도메인의 참여 비율을 동적으로 조정한다. 5개 이질적 도메인 실험에서 균등 혼합, 학습된 혼합, 그래디언트 서전 최적화 등 기존 방법 대비 절반의 데이터로 평균 성능을 향상시키고 도메인 간 그래디언트 충돌을 줄였다.

arXiv:2607.03453v1cs.LG

Best-of-Better-$N$: 문맥 내 학습을 통한 사전 정렬 응답 생성

Best-of-Better-$N$: Generating Pre-Aligned Responses with In-Context Learning

참조 LLM의 샘플링 분포가 고보상 영역을 충분히 커버하지 못해 Best-of-N 같은 추론 시점 정렬(inference-time alignment) 방법이 실패하는 문제를 해결하기 위해, BoBN(Best-of-Better-N)은 입력 쿼리와 관련된 고보상 예시를 검색하고 참조 LLM이 이를 대상 태스크의 형식에 맞게 재작성(restyling)한 뒤 문맥 내 학습(ICL)으로 샘플링 분포를 이동시키는 프레임워크를 제안한다. 안전성 정렬 및 수학적 추론 벤치마크 실험에서 BoBN은 파인튜닝 없이 여러 참조 LLM의 응답 품질을 향상시켜 고정된 샘플 수 N에서 더 높은 성능을 달성하거나 동일 성능에 필요한 N을 줄이는 것을 증명 가능한 이론적 근거와 함께 실증적으로 보였다.

arXiv:2607.03441v1cs.LG

지금이 바로 그때: LLM 에이전트를 위한 에이전틱 테스트 타임 트레이닝

No Time Like the Present: Agentic Test-Time Training for LLM Agents

LLM 에이전트가 긴 에피소드에서 실패한 행동을 반복하며 드리프트(drift)되는 문제를 해결하기 위해, aTTT(Agentic Test-Time Training)는 이전 업데이트에서 반복된 n-gram에 해당하는 토큰의 손실을 낮추는 토큰 수준 재가중치 방법을 도입한다. vLLM의 런타임 LoRA API를 활용한 병렬 서빙 시스템으로 오버헤드를 1.9배로 제한하면서, ALFWorld에서 최대 5.0포인트, SWE-bench Lite에서 4.9포인트의 성공률 향상을 달성했다.

arXiv:2607.03426v1cs.LG

LLM의 순차적 정보 수집을 위한 베이즈 실험 설계의 분할상환

Amortising Bayesian Experimental Design for Sequential Information Gathering in LLMs

베이즈 실험 설계(BED)를 LLM의 파인튜닝에 통합하는 ASIG(Amortised Sequential Information Gathering) 프레임워크를 제안하며, 기대 정보 이득(EIG)을 보상 신호로 활용한 다중 턴 GRPO를 통해 순차적 정보 수집 능력을 학습시킨다. 20 Questions 태스크에서 7B 기본 모델 대비 성공률을 두 배 이상 높이고 추론 비용을 25배 이상 절감했으며, 학습에 사용하지 않은 의료 진단 벤치마크 MediQ에서도 성능 향상이 확인되어 학습된 전략의 분포 외 전이 가능성을 보여준다.

arXiv:2607.03329v1cs.LG

Statistically Meaningful Geometry (SMG) Beyond the Euclidean Paradigm, with Application to Generative AI

과매개변수화된 대규모 트랜스포머에서 기존 균일 수렴 경계와 경험적 위험 최소화가 붕괴되어 환각과 치명적 망각이 유발되는 문제를 해결하기 위해, 결정론적 모델을 무한 차원 Orlicz 통계 다양체로 끌어올리는 정보 기하학적 프레임워크인 통계적으로 의미 있는 기하학(SMG, Statistically Meaningful Geometry)을 제안한다. Ehresmann 연결 1-형식을 통해 통계적으로 무의미한 수직 게이지 방향(SID)을 필터링하고 학습 궤적을 유효한 수평 분포(SVDχ)로 제한함으로써, 분포 외 예측 분산의 기하학적 상한을 수학적으로 증명하고 치명적 망각의 완전한 비점근적 제거를 달성한다.

arXiv:2607.03248v1cs.LG

노이즈가 있는 선호도를 가진 대규모 언어 모델의 비편향 정렬

Unbiased Alignment for Large Language Models with Noisy Preferences

실제 선호도 데이터셋에 만연한 노이즈로 인해 RLHF와 DPO 기반 정렬(alignment)이 편향될 수 있다는 문제를 해결하기 위해, 노이즈 분포를 수학적으로 역변환하는 비편향 보상 모델(URM) 손실과 비편향 직접 선호 최적화(UDPO) 손실을 제안한다. 이론적으로 노이즈 허용성 및 분류 보정성을 증명하였으며, HH, TL;DR, UFB 등 다양한 데이터셋 실험에서 최신 베이스라인 대비 우수한 성능을 달성했다.

arXiv:2607.03089v1cs.LG

STELLA: 온디바이스 인간 행동 인식을 위한 효율적인 센서-LLM 변환

STELLA: Efficient Sensor-to-LLM Translation for On-Device Human Activity Recognition

STELLA는 엣지 디바이스에서의 인간 행동 인식(HAR)을 위해 대규모 언어 모델(LLM) 적응 부담을 센서 토큰화로 전환하는 프레임워크로, 경량 계층적 토크나이저가 다채널 관성 센서 윈도우를 16개의 잠재 토큰으로 압축해 동결된 GPT-2에 입력한다. 7개 공개 데이터셋 8개 벤치마크에서 기존 방법 대비 최대 11.83% F1 향상을 달성했으며, 온디바이스 개인화로 추가 21.91% F1 향상을 이루면서도 실시간 추론과 사용자 데이터 프라이버시를 유지한다.

arXiv:2607.03065v1cs.LG

탐험, 정제, 모델 병합을 위한 스펙트럴 리와이어링

Spectral Rewiring for Exploration, Purification, and Model Merging

강화학습 사후학습(RL post-training)의 추론 효과적 성분이 기반 모델의 스펙트럴 공간에 집중되어 있다는 관찰을 바탕으로, SAR(Subspace-Aligned Rewiring)은 전체 파라미터 업데이트를 기반 모델의 SVD 부분공간에 사영하여 전체 파라미터의 약 0.58%만으로 사후학습 성능의 99% 이상을 보존하는 간결한 추론 핵심을 추출한다. 이 방법은 학습 없이(training-free) 적용 가능하며, 수학적 추론의 탐험(exploration) 개선, 혼합 도메인 학습에서의 간섭 제거, 전문가 모델 병합 시 단일 도메인 전문가 모델을 능가하는 교차 도메인 일반화를 동시에 달성한다.

arXiv:2607.03057v1cs.LG

LACE-SVD: LLM 압축을 위한 누적 오차 보정이 포함된 손실 인식 SVD

LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression

기존 SVD 기반 LLM 압축 방법의 두 가지 한계—층별 손실 민감도를 무시한 랭크 예산 할당과 잔차 스트림을 통한 누적 오차 전파—를 해결하기 위해, LACE-SVD는 보정 음의 로그 가능도(negative-log-likelihood)를 기반으로 층별 최적 압축 비율을 결정하고 전파 인식(propagation-aware) 보정을 통해 누적 오차를 억제하는 프레임워크를 제안한다. 0.6의 높은 압축 비율에서 LLaMA-7B의 WikiText-2 PPL을 Dobi-SVD의 46.18 대비 32.57로 크게 개선하였다.

arXiv:2607.03050v1cs.LG

OmniFocus: 옴니모달 대규모 언어 모델을 위한 쿼리 기반 모달리티 균형 토큰 압축

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

옴니모달 대규모 언어 모델(OmniLLM)은 오디오와 비디오를 동시에 처리하는 능력으로 폭넓은 주목을 받고 있지만, 오디오-비주얼 입력에서 대규모 토큰 시퀀스를 생성하여 상당한 추론 비용을 초래한다. 기존의 오디오-비주얼 토큰 압축 방법들은 단일 모달리티 가이던스에 의존하는 경우가 많아, 오디오-비주얼 입력에서 쿼리 관련 증거의 시간적 지역성을 간과하고, 두 모달리티가 시간적으로 정렬된 정보 밀도 분포를 공유한다는 암묵적인 가정을 한다. 우리는 OmniLLM을 위한 학습 없는 쿼리 기반 토큰 압축 방법인 OmniFocus를 제안한다. 이 방법은 비디오와 오디오에 대해 독립적인 중요도 추정을 수행하여 모달리티 대칭적인 압축 설계를 가능하게 하며, 오디오-비주얼 정렬을 유지하면서 모달리티별 핵심 증거를 보존함으로써 단일 모달리티 기반 압축에서 발생할 수 있는 모달리티 바이어스 문제를 완화한다. 네 가지 오디오-비주얼 벤치마크에 걸친 Qwen2.5-Omni 모델 패밀리 실험 결과, OmniFocus는 낮은 토큰 유지 비율에서도 강력한 압축 성능을 유지하며, 25% 토큰 유지 시 여러 주요 벤치마크 점수에서 기존 기준선을 능가한다. DailyOmni에서 Qwen2.5-Omni-7B을 25% 토큰 유지로 적용할 경우, OmniFocus는 59.40의 정확도를 유지하면서 전체 토큰 기준선 대비 최대 1.38배의 프리필 속도 향상을 달성하며, 실용적으로 우수한 정확도-효율성 트레이드오프를 보여준다.

arXiv:2607.03007v1cs.LG

기본으로 돌아가기: SMILES-그래프 변환을 통한 LLM의 분자 이해 향상

Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

분자 대규모 언어 모델(LLM)의 최근 발전은 분자 이해 및 생성 태스크에서 강력한 성능을 이끌어냈지만, 이러한 성과는 종종 신뢰할 수 있는 구조적 그라운딩 없이 달성된다. 특히, 기존 접근법들은 구조가 기능을 결정한다는 화학 원리와 상충한다. 다운스트림 태스크에서의 성공에도 불구하고, 현재의 분자 LLM은 기본적인 구조 인식에서 낮은 성능을 보이며, 이는 정규 SMILES에서 분자 그래프를 포착하는 데 실패하고 있음을 시사한다. 이를 해결하기 위해, 우리는 SMILES-그래프 변환을 통해 구조적 이해를 강화하는 구조 우선(structure-first) 프레임워크인 MolBasic을 제안한다. MolBasic은 다단계 구조 인식 벤치마크를 중심으로 구축되며, 양방향 SMILES-그래프 변환이 순차적 표현과 위상적 표현을 정렬하는 핵심 태스크로 기능한다. 이 기반 위에서, 우리는 표준화된 사고의 연쇄(Chain-of-Thought, CoT)를 활용한 점진적 학습 방식을 적용하여 모델이 구조 습득에서 고차원적 분자 추론으로 나아가도록 유도한다. 실험 결과, MolBasic은 구조적 이해를 크게 향상시키고 속성 예측 및 목적 최적화를 포함한 다운스트림 태스크에서도 견고한 성능 향상을 달성함으로써, 우리의 구조 우선 패러다임을 뒷받침한다.

arXiv:2607.02944v1cs.LG

부작용 인식 약물 재설계를 위한 선례 기반 공동 과학자 시스템

A Precedent-Guided Co-Scientist for Side-Effect-Aware Drug Redesign

우리는 지정된 부작용을 완화하는 동시에 치료 기능을 보존하기 위해 모화합물(parent compound)을 수정하는, 부작용 인식 약물 재설계를 위한 선례 기반 공동 과학자 시스템인 PRECEDE를 제안한다. 단독적인 분자 생성 대신, PRECEDE는 재설계를 약물-부작용 연관성, 생의학 지식 그래프, 안전성 기반 최적화의 선례에 대한 증거 기반 추론으로 정의하며, 명시적 정책과 인간 검토 체크포인트를 갖춘 대규모 언어 모델(LLM) 오케스트레이터가 이를 조율한다. 우리는 PRECEDE를 가설이 감사 가능하고, 반증 가능하며, 기존 약리학의 범위 내에 한정되는 인간 감독 AI-for-science 워크플로우로 위치시킨다.

arXiv:2607.02893v1cs.LG

가변 비트폭 양자화: "더 크지만 더 작은" 언어 모델을 위한 그룹별 정밀도 학습

Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models

저비트 양자화는 언어 모델을 압축하지만 정밀도를 단일 전역 하이퍼파라미터로 취급한다: 모든 가중치가 동일한 비트폭을 사용한다. 우리는 가변 비트폭 양자화(VBQ)를 제안한다. 이는 학습 시간 방법으로, 연속된 64개의 가중치로 구성된 각 그룹이 Gumbel-Softmax 완화를 통해 {1,2,4,8} 비트 중 자신의 해상도를 학습하며, 정밀도 로짓에 명확하고 태스크 정렬된 신호를 제공하는 교번 최적화로 공동 학습된다. VBQ는 층 간뿐만 아니라 개별 프로젝션 타입 내에서도 층별 방법으로는 표현할 수 없는, 일관되고 강하게 이질적인 할당을 발견한다: 그룹의 69%가 1비트로 수렴하고, LM 헤드는 평균 1.09비트인 반면, 첫 번째 MLP 블록은 ~2.5비트를 유지한다. 이 패턴은 고정된 레시피로 동결하여 추가 탐색 없이 재사용할 수 있을 만큼 안정적이다. 이 레시피는 "더 크지만 더 작은" 체제를 만들어낸다: 평균 1.82비트의 131M 모델이 TinyStories에서 퍼플렉서티(perplexity) 4.2를 달성하여, 3.8배 적은 저장 공간으로 55M FP16 모델(PPL 4.4)을 능가하며, FineWeb-Edu에서 1.46B 모델이 ~3.7배 적은 저장 공간과 2.5배 많은 매개변수로 593M FP16 기준 모델에 필적한다. 바이트당 품질 측면에서 VBQ는 FP16보다 3.9~8.4배 더 효율적이다. 이 레시피는 패킹된 저비트 저장소에 직접 매핑되어 추론도 가속한다: 커스텀 퓨즈드 역양자화-곱셈 커널을 사용하면, 메모리 대역폭에 병목된 자기회귀 디코딩이 동일한 출력에서 더 빠르며, 속도 향상은 규모에 따라 증가한다(131M에서 동등, 1.0B에서 1.9배, Apple silicon에서 9B에서 4.7배). 분포 분석(KL 발산 및 argmax-flip rate)은 놀라운 메커니즘을 밝혀낸다: 더 깊은 층이 초기 층에서 주입된 양자화 오류를 점진적으로 자가 치유한다. 이 성과는 처음부터 학습하는 학습 시간 현상이며, 1.5B 매개변수를 넘어 경제적으로 탐색을 확장하는 것은 여전히 미해결 과제이다. VBQ는 정밀도를 학습 가능한 비균일 자원으로 재정의하고, 고정된 비트 예산을 불균등하게 사용하는 것이 균등하게 사용하는 것보다 낫다는 것을 보여준다.

arXiv:2607.02869v1cs.LG

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

검증 가능한 보상을 활용한 강화학습(RLVR)은 언어 모델의 수학적 추론 능력을 향상시키는 유망한 패러다임으로 부상하였다. 그러나 대부분의 RLVR 연구는 최종 답변에만 보상을 부여하는 결과 기반 보상 방식을 채택하고 있어, 단계별 과정 감독(process rewards)의 영향은 특히 희소한 피드백 환경에서 자기 교정 능력이 부족한 소형 모델에 대해 충분히 탐구되지 않은 상태다. 본 연구에서는 GSM8K 데이터셋에서 Group Relative Policy Optimization(GRPO)으로 파인튜닝된 Qwen2.5-0.5B에 다섯 가지 보상 조건을 적용하여 체계적으로 비교한다: 강화학습 미적용 기준선, 과정 보상만 적용, 결과 보상만 적용, 그리고 세 가지 하이브리드 가중치($λ\in \{0.9, 0.5, 0.1\}$ 과정 보상 가중치). 과정 보상만 적용한 감독 방식은 테스트 정확도 63.73%를 달성한 반면, 결과 보상만 적용한 방식은 53.75%에 그쳐 약 10퍼센트포인트의 차이를 보였으며, 동시에 단계 유효성이 높고 정답 사고의 연쇄 길이와의 편차가 낮은 추론 경로를 생성하였다. 하이브리드 보상은 일반적으로 과정 보상 가중치와 양의 상관관계를 보였으나, 한 가지 주목할 만한 이례적 현상이 관찰되었다: 낮은 과정 보상/높은 결과 보상 구성($λ=0.1$)이 순수 결과 보상 감독보다 낮은 성능을 보여, 상충하는 최적화 신호가 발생함을 시사한다. GPT-4o를 판별 모델로 활용한 오류 분석에 따르면 실패 양상 분포에서 뚜렷한 차이가 나타났다: 과정 보상 모델은 구조적으로 비일관적이지만 산술적으로 근거 있는 추론 경로를 생성하는 반면, 결과 보상 모델은 간결하지만 도출 오류가 발생하기 쉬운 사고 연쇄를 생성한다. 본 연구 결과는 보상 세분성이 RLVR의 1차적 설계 결정 사항임을 입증하며, 과정 수준의 감독이 소형 언어 모델에서 정확도와 추론 경로 충실도 모두를 실질적으로 향상시킴을 보여준다.

arXiv:2607.02781v1cs.LG

라그랑주 보상 증강을 통한 안전한 추론 시간 정렬

Safe Inference-Time Alignment via Lagrangian Reward Augmentation

추론 시간 정렬(inference-time alignment)은 보조 보상 신호를 사용하여 디코딩 중에 동결된 언어 모델을 조정함으로써, 반복적인 가중치 업데이트 비용을 피한다. 그러나 기존의 추론 시간 정렬 방법들은 일반적으로 단일 스칼라 점수를 최적화하기 때문에, 명시적인 안전성 제약 조건은 무시되거나 수동으로 조정된 패널티를 통해 인코딩되어야 한다. 우리는 안전성 제약 조건 하에서의 일반적인 추론 시간 정렬 프레임워크인 Lagrangian Reward Augmentation(LARA)을 제안한다. 보상 모델과 비용 모델을 포함한 KL-정규화된 제약 목적 함수에서 출발하여, LARA는 제약 조건을 쌍대화(dualize)하고 최적화 문제를 음이 아닌 쌍대 변수에 대한 1차원 볼록 문제로 축소한다. 소규모 캘리브레이션 세트에서 추정된 이 쌍대 변수는 기존의 추론 시간 정렬 방법 내에서 드롭인(drop-in) 채점 신호로 사용할 수 있는 증강된 보상을 정의한다. Best-of-N 재순위화(reranking)와 같은 시퀀스 수준 샘플링 방법의 경우, 캘리브레이션된 쌍대 변수는 기대 비용 제약 문제의 해에 해당한다. 토큰 수준 보상 유도 디코딩 방법의 경우, 동일한 구성이 정확한 제약 정책 보장이 아닌 원칙적인 쌍대 캘리브레이션 휴리스틱을 산출한다. 우리는 시퀀스 수준 및 토큰 수준 추론 시간 정렬 방법 모두에서 LARA를 평가하고, LARA가 유용성-무해성(helpfulness-harmlessness) 트레이드오프를 개선함을 발견하였으며, Best-of-N이 추론 시간 방법 중 최고의 성능을 달성하여 파인튜닝 기반 직접 정렬 베이스라인에 근접함을 확인하였다.