PyTorchKR Papers

최신 논문

총 47편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2511.11132v4cs.CV

사후 인식에서 선견지명으로: 지식 기반 시각적 질의응답을 위한 자기 격려형 사후 지식 증류

From Hindsight to Foresight: Self-Encouraged Hindsight Distillation for Knowledge-based Visual Question Answering

지식 기반 시각적 질의응답(KBVQA)은 교차 모달 이해를 넘어서는 외부 지식 통합을 필요로 한다. 기존 KBVQA 방법은 문맥 내 학습(ICL)을 통해 다중모달 대규모 언어 모델(MLLM)의 암묵적 지식을 활용하거나, 검색-증강 생성(RAG)을 통해 명시적 지식을 활용한다. 그러나 이들의 추론 과정은 명시적인 다단계 궤적 없이 암묵적으로 남아 있다. 이 공백을 해소하기 위해, 우리는 MLLM 내부의 추론 능력을 이끌어내기 위해 특권 정보를 갖춘 Hindsight Teacher가 Foresight Student를 가르치도록 구성하는 Self-Encouraged Hindsight Distillation Reasoning(HinD) 프레임워크를 제안한다. 먼저, 추론 목표를 특권 정보로 MLLM에 프롬프트하여 추론 과정을 완료함으로써 Hindsight Teacher를 구성하고, HinD-Zero 학습 데이터를 얻는다. 그다음, 정답을 모르는 Foresight Student는 Hindsight로부터 golden trajectory를 두 가지 방식으로 학습한다: (1) Hindsight Distillation Fine-Tuning을 통해 HinD-Zero를 순차적 단계와 이산적 사실 생성을 위한 모듈화된 사고의 연쇄(Chain-of-Thought) Generator 및 Knowledge Generator로 자기 증류(self-distill)하는 미세조정; (2) Knowledge Encouragement Preference Optimization을 통해 MLLM 내부의 자신감은 부족하지만 관련 있는 지식은 장려하고, 과도하게 자신 있지만 관련 없는 지식은 억제한다. OK-VQA와 A-OKVQA에서의 실험은 HinD의 효과를 검증하며, 7–8B MLLM을 사용한 HinD가 상용 모델 API나 검색된 지식 없이도 우수한 성능을 달성함을 보여준다.

arXiv:2607.11948v1cs.AI

주권 기업 언어 모델을 위한 온톨로지 증폭 증류와 맥락성 감사: 메커니즘 검증과 부정적 결과를 결합한 방법 연구

Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study

데이터 거주 규정 하에서 운영되는 규제 대상 금융 기관은 기관 경계 내에서 실행할 수 있는 테넌트 소유 언어 모델이 필요하다. 본 논문은 두 개의 관련 FAOS 연구를 하나의 메커니즘-통제 논문으로 결합한다. 먼저, 온톨로지 증폭 증류의 저검정력 메커니즘 검증 연구를 보고한다. Qwen3.6-27B 학생 모델은 프론티어 교사 모델 궤적에 대한 지도 미세조정과 온톨로지 기반 직접 선호 최적화(DPO)를 통해 Foundation AgenticOS 온톨로지에 적응되며, 47개의 합성 영어 교차 도메인 선호 쌍을 사용해 단일 Apple M5 Max에서 로컬로 학습된다. 40개의 홀드아웃 베트남어 금융 도메인 과제에서 증류된 학생 모델은 40개 중 36개 과제를 그라운딩한다(그라운딩 비율 0.90; 0.50 하한이 적용된 지표에서 평균 온톨로지 용어 커버리지 r_onto = 0.95). 이는 40개 중 36개를 그라운딩하는 GPT-5 프론티어 기준선과 동등하다. 그러나 이 결과는 동등성을 확립하기에 검정력이 부족하다. 쌍차 95% 신뢰구간은 ±4 과제에 걸쳐 있으며, 해당 실행은 학생이 프론티어를 초과해야 한다는 사전 등록된 증폭 예측을 검증하거나 보여주지 않는다. 둘째, 본 논문은 기업 에이전트 라우팅을 위한 맥락성 감사 방법을 통합한다. 별도의 부정적 결과 파일럿에서, 수정된 표준 Contextuality-by-Default 정도는 로컬 Qwen 실행과 명시적으로 라벨링된 Gemma 복제 검증 모두의 Phase 1.3 모든 그룹에서 0이며, 유용한 신호는 잔존 잔차 맥락성이 아니라 직접 영향과 구성 개념 결합이다. 두 연구를 함께 보면, 온톨로지 기반 모델 구축 메커니즘과 겉보기 불일치가 프롬프트 표준화, 다중 에이전트 합성, 또는 인간 검토를 트리거해야 하는 시점을 판단하는 거버넌스 진단을 짝지어 준다. 이 증거는 배포 가능성, 안전성, 우월성, 통계적 동등성, 또는 맥락성 양성 라우팅 규칙 중 어느 것도 뒷받침하지 않는다.

arXiv:2604.20140v2cs.AI

HiPO: 대규모 언어 모델의 적응적 추론을 위한 계층적 선호 최적화

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

직접 선호 최적화(DPO)는 대규모 언어 모델(LLM)을 인간의 선호에 정렬하기 위한 효과적인 프레임워크이지만, 복잡한 추론 작업에서 어려움을 겪는다. DPO는 선호 응답이 비선호 응답보다 전체적으로 생성될 가능도를 최적화하며, 추론 작업에서 전형적인 다단계 풀이의 부분 구간에 피드백을 제공할 세밀함이 부족하다. 기존 방법들은 안정적인 선호 학습(예: KTO, RSO 같은 DPO 변형)이나 구조화된 추론(예: ReMA의 멀티 에이전트 강화학습(RL) 프레임워크, Tree of Thoughts) 중 하나에는 뛰어나지만, 이 두 가지 상호보완적인 강점을 결합하는 데는 실패한다. 우리는 HiPO(Hierarchical Preference Optimization)를 제안한다. 이는 DPO의 확장으로, 응답을 추론 구간(질의 명확화 및 맥락, 추론 단계, 답변)으로 분리하고 각 구간의 DPO 손실의 가중합으로 전체 손실을 계산한다. 우리의 접근 방식은 구간별 학습을 가능하게 하면서 DPO의 연산 효율성과 학습 안정성을 유지한다. Math Stack Exchange 선호 데이터셋을 사용하여 HiPO와 DPO로 파인튜닝된 여러 7B LLM에 대해, HiPO로 학습된 모델이 다양한 일반적인 수학 벤치마크에서 다른 모델들을 능가하고, GPT-4.1로 측정한 구성력, 논리적 흐름, 일관성에서도 더 우수함을 입증한다.

arXiv:2607.05752v1cs.CL

대규모 언어 모델은 언제 검색해야 하는가? 검색 라우팅을 위한 반사실적 지도학습

When Should LLMs Search? Counterfactual Supervision for Search Routing

대규모 언어 모델(LLM)이 검색 도구를 항상 사용하는 것이 아니라 실제로 필요한 경우에만 사용하도록 인스턴스 수준의 검색 라우팅(search routing) 문제를 공식화하고, 검색 없는 실행과 강제 검색 실행의 반사실적(counterfactual) 결과를 비교해 오라클 레이블을 구성한 뒤 지도 파인튜닝과 선호도 최적화(preference optimization)로 정책을 학습시켰다. 그 결과 Gemma E2B와 Qwen3.5-4B 모두에서 라우팅 macro-F1이 약 0.71에서 0.82~0.84 수준으로 크게 향상되었다.

arXiv:2504.05294v3cs.CL

진실인가, 조작인가? 인과적 귀인을 활용한 설명의 보상 해킹 완화

Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations

사고의 연쇄(Chain-of-Thought) 설명은 대규모 언어 모델(LLM)의 의사결정 과정을 검토하고 모델 출력의 신뢰성을 평가하는 데 널리 활용되며, LLM과 인간 간의 효과적인 협업에 있어 중요한 역할을 한다. 본 연구에서는 정렬(alignment) 단계의 핵심 과정인 선호도 최적화(preference optimization)가 의도치 않게 이러한 설명의 충실도를 저하시킬 수 있음을 보인다. 이는 정렬을 이끄는 보상 모델(RM)이 응답의 기대 품질과 설명의 적절성(예: 바이어스 최소화 또는 안전성 기준 준수)을 동시에 최적화해야 하는 잠재적 충돌을 야기하기 때문이다. 보상 모델은 모델의 내부 의사결정 과정과 생성된 설명 간의 일관성을 평가하는 메커니즘을 갖추고 있지 않다. 결과적으로 LLM은 높은 점수를 받는 최종 응답을 생성하면서도 자신의 추론을 정확히 반영하기보다 보상을 극대화하도록 설계된 설명을 제공하는 "보상 해킹(reward hacking)"에 빠질 수 있다. 이 문제를 해결하기 위해, 우리는 예측에 대한 인과적 귀인(causal attribution)을 보상 모델의 입력에 추가하여 생성된 자기 설명과 모델의 의사결정 과정 간의 불일치를 보상 모델이 감지할 수 있도록 하는 방법을 제안한다. 통제된 실험 환경에서 이 접근법이 LLM의 오해를 유발하는 설명 생성 경향을 줄이는 데 효과적임을 입증한다.

arXiv:2607.05441v1cs.IR

PORTS: 대규모 언어 모델을 활용한 도구 선택을 위한 선호도 최적화 검색기

PORTS: Preference-Optimized Retrievers for Tool Selection with Large Language Models

대규모 언어 모델(LLM)에 외부 도구를 통합하는 방식은 복잡한 작업을 수행하기 위한 유망한 패러다임으로 부상하고 있다. LLM이 대규모 도구 컬렉션을 효과적으로 관리하는 데 여전히 어려움을 겪고 있어, 연구자들은 입력 길이 및 지연 시간 제약을 해결하기 위해 가장 관련성 높은 옵션을 사전 선택하는 검색 기반 방법을 탐색하기 시작했다. 그러나 기존 검색기는 별도의 학습 과정으로 인해 도구 호출 LLM과의 정렬이 맞지 않는 경우가 많다. 본 논문에서는 도구 선택을 위한 검색기 학습에 적용하는 새로운 오즈비 선호도 최적화 방법인 PORTS를 제안한다. 동결된 LLM의 퍼플렉시티(perplexity) 기반 선호도 신호를 활용하여, 우리의 접근 방식은 선택 확률과 다운스트림 성능 간의 상관관계를 최적화하는 동시에 문서 문자열 간의 대조적 의미론적 손실(loss)을 공동으로 적용함으로써 유용한 도구를 찾도록 검색기를 파인튜닝한다. PORTS의 범용성과 도구 선택 정확도를 크게 향상시키는 능력은 6개의 데이터셋, 2개의 인코더 모델, 다양한 사전 지식을 갖춘 3개의 LLM에 대한 광범위한 실험을 통해 입증된다. 낮은 계산 비용으로, 우리의 정렬 과정은 새로운 쿼리와 도구로의 일반화를 용이하게 하여, 진화하는 도구셋을 갖춘 실용적인 응용에 유용함을 증명한다.

arXiv:2512.15765v3cs.LG

순차적 선호 최적화를 통한 LLM 정렬을 위한 Shapley 기반 데이터 가치 평가

Shapley-based Data Valuation for LLM Alignment via Sequential Preference Optimization

DPO, IPO 등 Direct Alignment Algorithm(DAA)을 활용한 LLM 정렬 시 여러 선호 데이터셋의 기여도를 Shapley 값으로 평가하려면 지수적 수의 파인튜닝이 필요한 문제를 해결하기 위해, 순차적 선호 최적화(Sequential Preference Optimization)를 도입하여 로그-정책 비율 공간에서의 가법적 합성 구조를 활용해 필요한 파인튜닝 횟수를 데이터 소스 수에 대해 선형으로 줄였다. 이를 통해 실제 선호 데이터셋에 대한 Shapley 값을 효율적으로 계산하고 각 소스가 모델 정렬에 미치는 영향을 정량적으로 규명했다.

arXiv:2603.10494v2cs.CL

노이즈가 있는 클레임 검증으로부터의 커버리지 제어 선호 마이닝을 통한 증거 기반 생성

Coverage-Controlled Preference Mining from Noisy Claim Verification for Evidence-Grounded Generation

증거 기반 생성(evidence-grounded generation)은 제공된 증거에 의해 뒷받침되어야 하는 클레임을 포함한 요약을 생성하지만, 클레임 수준의 검증기는 노이즈가 있는 피드백을 제공하며 단순히 적게 말하는 모델에 보상을 줄 수 있다. 우리는 이 문제를 임상 Brief Hospital Course 요약에서 연구하며, 여기서 출력물은 환자별 EHR 증거에 기반해야 한다. 우리는 노이즈가 있는 클레임 검증을 커버리지 제어 요약 수준 선호도로 변환하는 선호 마이닝 프레임워크인 VERI-DPO를 소개한다. 각 증거 윈도우 프롬프트에 대해 VERI-DPO는 여러 후보 요약을 샘플링하고, 이를 클레임으로 분해하며, 각 클레임을 환자 증거에 대해 검증하고, 선택된 요약이 비교 가능한 검증 가능 콘텐츠를 유지하면서 더 나은 집계 검증기 추정 지지도를 가질 때만 선호 쌍을 형성한다. 이후 표준 직접 선호 최적화(Direct Preference Optimization)가 이러한 쌍을 단일 샘플 정책으로 증류하여 추론 시 리랭킹을 방지한다. 환자 비중복 MIMIC-III-Ext-VeriFact-BHC 테스트 데이터에서 VERI-DPO는 마이닝 검증기 하에서 Not Supported 비율을 10.7%에서 1.9%로, 별도로 프롬프트된 GPT-4o 판정기 하에서 11.6%에서 6.4%로 줄인다. 두 명의 도메인 연구자에 의한 100번의 블라인드 쌍별 평가에서, VERI-DPO는 사실적 충실도에 대해 기반 모델보다 56회 대 18회로 선호되었다. 1,000명의 환자를 대상으로 모델 적응 없이 진행된 고정 제로샷(zero-shot) MIMIC-IV-Ext-BHC 전이 테스트에서 VERI-DPO는 채점된 클레임 수를 거의 변경하지 않으면서 Not Supported 비율을 낮춘다. 다중 시드 절제 실험은 검증기 가이드 쌍 구성이 성능 향상을 이끌며, 커버리지 및 퇴화 방지 제어가 겉보기 사실성 향상이 더 짧거나 덜 확인 가능한 출력물에서 비롯되는 것을 방지함을 보여준다.

arXiv:2607.03770v1cs.CV

소수 선호 최적화를 통한 자기 개선 확산 분류기

Self-Improving Diffusion Classifiers with Minority Preference Optimization

선행 연구들은 확산 분류기(diffusion classifier)가 강건한 제로샷 분류 성능을 달성함을 보여주었다. 그러나 그 효과는 사전학습 데이터 분포에 강하게 의존한다. 즉, 데이터 다양체의 다수(majority) 고밀도 영역에서는 잘 동작하지만, 소수(minority) 저밀도 영역에서는 정확도가 현저히 낮다. 소수 샘플링에 관한 기존 연구들은 소수와 유사한 이미지를 더 많이 생성하는 데 초점을 맞추었으나, 소수 샘플링이 생성 이외에 근본적으로 가능하게 하는 것은 충분히 탐구되지 않았다. 본 논문에서는 생성에서의 소수 샘플링과 확산 분류기의 인식 능력 사이의 직접적인 관계를 밝힌다. 구체적으로, 소수 샘플링을 강화하면 데이터 다양체에서 과소 표현된 영역의 커버리지가 넓어지고 이를 통해 확산 기반 인식이 향상됨을 보인다. 이 연결 관계를 활용하기 위해, 소수 선호 보상(minority preference reward)을 사용하여 사전학습된 확산 모델을 파인튜닝하는 MiPO(Self-Improving Diffusion Classifiers with Minority Preference Optimization)를 제안한다. MiPO는 임의의 캡션 데이터만을 사용하여 후보 샘플을 생성하고, 소수 영역을 더 잘 커버하는 샘플에 보상을 부여하며, 추가적인 이미지 데이터, 외부 파운데이션 모델, 또는 외부 보상 모델 없이 LoRA와 Group Relative Policy Optimization으로 모델을 최적화한다. 이를 통해 안정적이고 프롬프트 적응적인 소수 샘플링이 가능해지며, 저밀도 생성 커버리지가 향상된 제로샷 확산 분류로 이어진다. 요약하면, 본 논문은 확산 분류기의 인식이 다수 영역에 바이어스되어 있음을 보이고, 이 바이어스가 소수 선호 최적화를 통해 완화될 수 있음을 입증하며, 다섯 개의 표준 데이터셋에서 MiPO를 평가한다.

arXiv:2607.01392v1cs.CL

Multi-Objective Exploration and Preference Optimization via Mutual Information

다양한 인간 가치와의 정렬을 위해 온라인 다목적 최적화 시 발생하는 탐색 불확실성 문제를 해결하고자, 상호정보량(mutual information) 최대화를 통해 생성 응답과 선호 벡터 간의 정렬 및 구별 가능한 탐색을 동시에 촉진하는 정보이론적 프레임워크 MI-EPO를 제안한다. 안전성 정렬 및 유용한 어시스턴트 태스크 실험에서 MI-EPO는 기존 MO-ODPO 대비 응답과 선호 벡터 간 정렬을 크게 향상시키고 다목적 간 안정적인 트레이드오프를 달성하였다.

arXiv:2601.02813v3cs.AI

HAL: Inducing Human-likeness in LLMs with Alignment

HAL은 대화형 인간다움(human-likeness)을 정렬 목표로 삼기 어려운 문제를 해결하기 위해, 튜링 테스트 대화 데이터에서 추출한 16가지 대화 특성(HL16Q)을 로지스틱 회귀로 결합한 해석 가능한 스칼라 보상 신호를 설계하고, 이를 DPO 기반 정렬에 활용하는 프레임워크다. Chatbot Arena 방식의 대규모 인간 평가에서 HAL로 정렬된 모델은 다른 벤치마크 성능을 유지하면서도 더 인간답게 인식되는 것으로 나타났다.

arXiv:2512.23426v2cs.CV

단계별 대조적 정책 쌍 감독을 통한 직접 확산 점수 선호 최적화

Direct Diffusion Score Preference Optimization via Stepwise Contrastive Policy-Pair Supervision

확산 모델(diffusion model)은 텍스트-이미지 합성과 같은 생성 과제에서 인상적인 성과를 거두었지만, 세밀한 사용자 의도와의 완전한 정렬 및 일관된 미적 품질 유지에 어려움을 겪는 경우가 많다. Diffusion Direct Preference Optimization(직접 선호 최적화)과 같은 기존의 선호도 기반 학습 방법은 이러한 문제를 해결하는 데 도움이 되지만, 최종 샘플에서 도출된 순방향 프로세스 $q(\boldsymbol{x}_{t-1}\!\mid\!\boldsymbol{x}_t,\boldsymbol{x}_0)$로부터 감독 타겟을 얻기 때문에 각 단계에서 모델의 실제 역방향 디노이징 전이와 직접적으로 정렬되지 않는다. 본 연구에서는 Direct Diffusion Score Preference Optimization(DDSPO)을 제안하며, 이는 최종 샘플로부터의 순방향 프로세스 근사에 의존하는 대신 대조적 정책 쌍(contrastive policy pair)을 통해 역방향 디노이징 전이에 직접 단계별 선호도 감독을 정의한다. 우리는 대조적 정책 쌍의 두 가지 실용적인 구현 방식을 제안한다: 선호도 데이터를 기반으로 승리 모델과 패배 모델을 별도로 학습하는 방식과, 원본 프롬프트 및 의미론적으로 저하된 변형에 컨디셔닝된 사전학습된 참조 모델을 사용하여 추가 학습 없이 대조적 정책 쌍을 유도하는 방식으로, 보상 모델링이나 수동 어노테이션이 필요하지 않다. 실험 결과, 대조적 정책 쌍 감독이 텍스트-이미지 정렬 및 미적 품질 과제 전반에 걸쳐 순방향 프로세스 기반 감독보다 더 효과적임을 보인다. 구현 코드는 https://dohyun-as.github.io/DDSPO 에서 확인할 수 있다.

arXiv:2607.00622v1cs.CV

보는 법 배우기: 교차 정책 최적화를 통한 능동적 비디오 이상 이해

Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization

비디오 이상 이해(VAU)에서 정적 샘플링이 의미론적으로 구별되는 이벤트를 판별하지 못하는 관측 에일리어싱 문제를 해결하기 위해, Anom-π는 역추적·시간적 확장·세밀한 샘플링 등의 시간적 원자 연산자를 활용한 폐쇄 루프 능동적 순차 의사결정 프레임워크를 제안한다. 궤적 수준의 정책 정렬을 위해 설계된 Interactive Direct Preference Optimization(iDPO)과 Active Evidence Inquiry(AEI) 유틸리티를 통해 단 20억 파라미터로 복잡한 시나리오에서 최신 대규모 VAU 모델을 크게 능가하는 성능을 달성했다.

arXiv:2606.32032v1cs.CL

메타인지 피드백을 활용한 강화학습으로 LLM의 신뢰할 수 있는 불확실성 표현 유도

Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs

대규모 언어 모델(LLM)이 내부 불확실성을 잘못 표현하는 문제를 해결하기 위해, 모델의 자기 성능 판단 품질을 기반으로 강화학습 보상을 조정하는 메타인지 피드백 강화학습(RLMF)과 메타인지 데이터 선택 기법을 제안한다. 제안된 프레임워크는 충실한 보정(faithful calibration) 과제에서 표준 강화학습 대비 최대 63% 성능 향상을 달성하며, 수치적·언어적 불확실성 표현 모두에서 최첨단 성능을 보인다.

arXiv:2606.30887v1cs.CL

인간 정렬 정신 건강 지원을 위한 치료적 평가자 및 다중 에이전트 시스템 학습

Training Therapeutic Judges and Multi-Agent Systems for Human-Aligned Mental Health Support

TheraJudge는 인간 주석 데이터 기반 선호도 최적화로 학습된 오픈소스 치료적 평가자로, 안전성·공감·관련성 등 7가지 심리적 차원에서 임상의 평가와 ICC 0.87–0.95의 높은 일치도를 달성한다. 이 평가 신호를 Critic·Coach·Therapist 역할의 다중 에이전트(multi-agent) 시스템인 TheraAgent에 적용하면 블라인드 인간 평가에서 치료 응답 품질이 평균 +0.43점 향상되고, 저품질 응답의 94%가 회복되어 단순한 생성 능력 강화보다 인간 정렬 평가에 기반한 행동이 정신 건강 대규모 언어 모델(LLM) 정렬에 핵심임을 보여준다.

arXiv:2606.28249v1eess.AS

HPRO: 감정 텍스트 음성 변환을 위한 선호 추출 기반 계층적 점진적 보상 최적화

HPRO: Hierarchical Progressive Reward Optimization via Preference Extraction for Emotional Text-to-Speech

LLM 기반 감성 TTS에서 지도 미세조정의 평균화 문제를 해결하기 위해, HPRO는 HD-Emo 코덱을 미분 가능한 보상 모델로 도입하여 콘텐츠와 스타일 선호 토큰을 구조적으로 분리함으로써 정보 충돌을 해소하고, 프레임·단어·문장 수준의 계층적 보상을 점진적으로 적용해 규모 격차 문제를 극복한다. 실험 결과, HPRO는 언어적 명료성을 유지하면서 감정 표현력을 크게 향상시키는 것으로 나타났다.

arXiv:2606.25524v2cs.AI

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

수학 추론에서 정답 확률(token-wise potential)이 통계적으로 급락하는 cliff token을 적응형 z-검정으로 식별하고, deterministic·uncertain·sampled-off 유형으로 분류한다. 7개 모델·3개 벤치마크(GSM1K, MATH500, AIME 2025)에서 첫 cliff token 제거 후 재샘플링 시 pass@64가 1.0까지 회복되며, cliff 위치 단일 토큰 선호 최적화(Cliff-DPO)는 uncertain·sampled-off cliff에서 최대 +6.6p 정확도 향상을 보인다.

arXiv:2512.03704v3cs.CL

상태 관성 극복: 변화하는 맥락을 위한 최소 침습적 시간적 정렬

Overcoming State Inertia: Minimally Invasive Temporal Alignment for Evolving Contexts

장문맥 대화에서 변화하는 의도에 적응하지 못하고 이력에 과도하게 머무는 상태 관성(state inertia) 문제를, 갈등 인식 최적화와 구조적 시간적 어텐션 바이어스를 결합한 DZ-TiDPO로 최소 침습적으로 해결한다. Multi-Session Chat과 IC-Bench 실험에서 턴 간 갈등을 해결하면서 구조적 일관성을 유지했으며, 7B급 모델이 문맥 정렬 부담을 크게 늘리지 않고 시간적 정렬을 효율적으로 내재화할 수 있음을 보였다.

arXiv:2606.26899v1cs.AI

메트릭 순서 시퀀스 학습과 하이브리드 정책 선호 최적화를 적용한 확산 트랜스포머 기반 생성형 검색

Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

세밀한 패턴을 표현하는 시드 집합에서 목표 속성을 만족하면서 동일 패턴을 유지하는 아이템을 찾는 패턴 보존 속성 검색을 연속 생성형 검색으로 풀기 위해 MO-DiT+HPPO를 제안한다. 메트릭 순서 연속 사전학습, 꼬리 중심 미세조정, 하이브리드 정책 선호 최적화(HPPO)와 파레토 쌍 필터로 쿼리 임베딩을 생성하며, 네 가지 속성 도메인에서 8개 분할 셀 중 7개에서 교집합 메트릭이 유의미하게 향상된다.

arXiv:2606.21089v1cs.AI

반복적 사후 학습은 자기 개선이 아니다: 지속적 DPO 파이프라인에서의 과학적 기억상실 진단

Repeated post-training is not Self-improving: Diagnosing Scientific Amnesia in Continual DPO Pipelines

산업용 LLM 팀은 종종 관련 선호 데이터(preference-data) 캠페인의 연속 시퀀스에 대해 베이스 모델을 반복적으로 DPO 학습하여 행동 업데이트를 배포한다. 이 체제에서 지배적인 실패 양상은 항상 고전적인 파국적 망각(catastrophic forgetting)은 아니다. 파이프라인은 이전에 학습한 행동을 보존하면서도, 다음 캠페인을 학습하는 방법에 대한 재사용 가능한 방법론적 지식을 축적하지 못할 수 있다. 우리는 이 실패 양상을 과학적 기억상실(scientific amnesia)이라 부른다. 본 논문은 실무자의 그 직관을 측정 가능한 산업적 문제로 전환한다. 우리는 다음을 기여한다: (i) 기억상실을 위한 진단 스위트, (ii) Qwen2.5-7B-Instruct 실행에 걸쳐 FSDP-sharded DPO 체크포인트를 연결하는 Program 기반 파이프라인, (iii) 30캠페인 HumanEval 서브도메인 벤치마크, (iv) 다섯 가지 전략 제안자(strategy proposer)에 대한 비교 진단 연구: 무작위 메모리(random memory), 규칙 기반 스케줄링(rule-based scheduling), 검색 전용 메모리(retrieval-only memory), 웜스타트 베이지안 최적화(warm-start Bayesian optimization), 그리고 메타과학적 메모리 및 추론 후보인 MSCL. 단일 시드(single-seed) 5조건 × 3단계 실제 LM 체인에서, MSCL을 포함한 5개 후보 중 4개는 단계 수준 최고 pass@1에서 저하되며, 의도적으로 보수적인 규칙 기반 스케줄만 개선된다. 후속 파일럿은 이 발견을 뒤집기보다는 한정한다. 이질적(heterogeneous) 체인에서는 MSCL만이 완료된 후보 중 개선을 보였고, 소규모 다중 시드 동질(homogeneous) 스윕에서는 검색 전용(retrieval-only)이 최고의 평균 Delta를 갖으며 후보 간 쌍별(pairwise) 격차는 통계적으로 구별되지 않는다. 따라서 기여는 MSCL이 문제를 해결한다는 주장이 아닌 진단적 것이다. 과학적 기억상실은 프로덕션 유사 지속적 DPO 파이프라인에서 관찰 가능하며, 개입에 관한 결론은 체인 체제, 평가자 설계, 시드 커버리지에 크게 좌우된다.