PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.18350v5cs.CL

어댑터 병합이 잠재 추론 흔적을 재활성화한다: 메커니즘 분석

Adapter Merging Reactivates Latent Reasoning Traces: A Mechanism Analysis

2단계 파이프라인(도메인 적응 후 지시 정렬)을 통해 파인튜닝된 대규모 언어 모델(LLM)은 어댑터 병합 후 사소하지 않은 간섭을 보일 수 있으며, 여기에는 엄격한 디코딩 하에서 명시적 추론 흔적의 재출현이 포함된다. 우리는 의료 LLM 설정에서 추론 흔적 누출과 지시 따르기(instruction-following) 행동에 대한 경량의 재현 가능한 측정을 사용하여 이 현상을 연구한다. 마커 기반 프록시를 넘어, 마커 금지·답변 전용 평가를 도입하고 표면 마커에 의존하지 않는 정확도 기반 방향을 정의한다. 이 방향을 따른 rank-1 로짓(logit) 공간 개입은 결정 분포를 조절하며, 충분히 큰 개입 강도에서 무작위 방향 대조군을 넘어 객관식 정확도를 개선한다. 또한 도메인 어댑터와 지시 어댑터가 부분적으로 정렬되지 않은 업데이트 방향을 유도한다는 층(layer)별 기하학적 증거를 제공하고, 누출을 줄이고/또는 토이 설정에서 정확도를 개선할 수 있는 개념 증명 수준의 기하학 인식 병합을 제시한다. 우리 결과는 추론 흔적 누출의 경계 조건을 규명하고, 더 안전한 어댑터 병합을 위한 실용적 진단 및 개입 방법을 제공한다.

arXiv:2607.20425v1cs.CL

무엇이 좋은가? LLM 추론 trace에서 문학적 품질의 암묵적 이론 추출 및 검증

What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces

"좋은" 글쓰기를 무엇이 만드는지는 문학 연구와 계산언어학에서 지속적인 질문으로 남아 있다. 우리는 추론 기능이 활성화된 LLM이 문학적 품질을 어떻게 평가하는지에 대한 2개 연구 조사를 제시한다. 연구 1에서, 우리는 정典 문학부터 익명 포럼 게시글까지 6개 품질 등급에 걸친 30개의 실제 텍스트로 구성된 벤치마크를 만들고, 모델의 추론 trace에서 품질에 대한 모델의 암묵적 이론을 추출한다. 5회의 DeepSeek 반복 실험에서, 모델은 평균 등급 분류 정확도 79.3%를 달성한다. trace는 일관된 진술된 이론을 드러낸다: 모델은 정확성보다 의도성을 더 중시하며, 기교, 깊이, 독특한 voice를 우선시한다. 스타일이 일치하지만 알아볼 수 없는 passage를 사용한 친숙도 실험은 출처 인식이 점수를 부풀릴 수 있음을 시사하지만, 정典 원본과 연구자가 작성한 pastiche 간의 실질적 품질 차이에 의해 교란된다. 연구 2에서, 우리는 5개의 정典 산문 passage에 대한 체계적 품질 저하를 통해 이 이론을 탐색한다. 우리는 6가지 조작—어휘 단순화, 리듬 평탄화, imagery 제거, voice 일반화, 구조 단순화, 복합 저하—을 적용하고 각 버전을 재평가한다. 어휘 단순화는 가장 작은 품질 손실(0.41 +/- 0.46점)을 유발하며, 구조(2.78) 또는 voice(2.34) 손실보다 훨씬 낮다. 복합 저하는 치명적(-5.64)이지만 부가적(subadditive)이 아니다. Qwen QwQ와의 탐색적 비교는 동일한 광범위한 정성적 패턴을 보여준다. 종합하면, 이 연구들은 LLM의 글쓰기 품질 판단이 전체론적(holistic)이고 작가 특이적(author-specific)이며, 어휘적 특성보다 구조적 특성에 더 민감함을 시사하며, 자동화된 글쓰기 피드백과 계산 미학(computational aesthetics)에 함의를 갖는다.

arXiv:2606.28186v2cs.CL

LLM 추론 트레이스의 인지적 에피소드가 해석 가능한 인간 문항 난이도 예측을 가능하게 한다

Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction

인간 문항 난이도 예측은 공정성과 효과적인 검사 구성을 뒷받침하는 신뢰할 수 있는 추정을 제공한다는 점에서 교육 평가의 핵심이다. 기존 방법은 종종 비용이 큰 인간 보정 또는 문항 수준의 텍스트 표현에 의존하며, 문항을 어렵게 만드는 인지 과정에 대한 제한적인 증거만을 제공한다. 우리는 난이도를 문항 텍스트의 속성일 뿐만 아니라, 문항이 유발하는 문제 해결 부담의 관측 가능한 결과로도 볼 수 있어야 한다고 주장한다. 대규모 추론 모델(LRM)은 추론 트레이스를 통해 확장 가능한 과정 증거를 제공하지만, 해석 가능한 모델링을 지원하려면 이러한 증거가 구조화되어야 한다. 이를 위해 우리는 LRM 추론 트레이스를 인지적으로 정당화된 에피소드 시퀀스로 매핑하는 프레임워크인 Epi2Diff(Episode to Difficulty)를 제안한다. 이러한 에피소드는 트레이스 세그먼트를 기능적 문제 해결 상태로 묶어, 추론 규모, 노력 배분, 상태 전이를 통해 난이도를 모델링할 수 있게 한다. Epi2Diff는 간결한 에피소드 동역학 특징을 추출하고 이를 의미적 문항 표현과 결합하여 인간 난이도를 예측한다. 네 가지 실제 인간 난이도 데이터셋에서의 실험 결과, Epi2Diff는 미세조정된 소규모 언어 모델, LLM 문맥 내 학습(ICL), 지도 LLM 적응을 포함한 강력한 베이스라인을 일관되게 능가했다. SAT에서 파생된 분류 벤치마크에서 Epi2Diff는 지도 LLM 미세조정 베이스라인 대비 평균 8.1%의 상대적 향상을 달성했다. 추가 분석에 따르면, 더 어려운 문항은 단순히 더 긴 응답을 유발하는 것이 아니라, 더 많은 노력이 들고 반복적이며 구현 중심적인 에피소드 동역학을 유발한다. 이러한 결과는 LRM 추론 트레이스의 인지적 에피소드가 인간 문항 난이도에 대한 예측 가능하고 해석 가능한 과정 표현을 제공하며, 추론 모델을 활용한 교육 측정에 대한 새로운 관점을 제시함을 보여준다.

arXiv:2606.29067v1cs.CL

ThinkProbe: 정확도를 넘어서 -- 비생성적 사고 그래프를 통한 개방형 LLM 추론 트레이스의 구조적 프로파일링

ThinkProbe: Beyond Accuracy -- Structural Profiling of Open-Ended LLM Reasoning Traces via Non-Generative Thought Graphs

우리는 대규모 언어 모델(LLM) 추론 트레이스의 구조 분석을 위한 프레임워크인 ThinkProbe를 제시한다. ThinkProbe는 각 트레이스를 사고 그래프(Thought Graph)—순환을 포함하는 유향 그래프로, 8가지 노드 유형과 6가지 에지 유형으로 구성됨—로 변환하고, 규칙 기반 분절과 판별적 의미 연결을 결합한 완전 비생성적 파이프라인을 통해 19개 지표로 이루어진 5차원 인지 프로파일(5D-CP: 폭, 깊이, 구조, 메타인지, 효율성)을 도출한다. 200개의 개방형 질문과 10개의 인지 영역에 걸쳐 7개의 네이티브 추론 모델로부터 수집한 4,200개의 트레이스에 ThinkProbe를 적용한 결과, 추론 구조가 안정적인 모델 수준의 속성임이 드러났다. 5개 인지 차원 중 4개에서 모델 간 분산이 영역 간 분산을 최대 4배까지 초과하였으며, 구조(Structure) 차원은 질문 영역에 대한 실질적인 민감도를 보여, 정확도 기반 평가로는 드러나지 않는 질적으로 구별되는 인지 프로파일을 노출하였다.

arXiv:2606.18089v1cs.LG

추론 Trace에서 재사용 가능한 모듈로: 언어 모델 추론의 조합 일반화 이해

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

지도 미세조정(SFT)과 강화학습(RL)을 결합하는 사후 학습 파이프라인은 대규모 언어 모델(LLM)을 견고한 추론 모델로 변환하는 핵심 방법으로 등장했다. 우리는 이러한 결합된 성공이 조합 일반화(compositional generalization)에 의해 주도된다고 주장하며, 이를 계층적 잠재 선택 모델을 통해 형식화한다. 이 프레임워크에서 추론 trace는 재사용 가능한 원자 모듈에 대응하는 이산 잠재 선택 변수들의 연쇄에 의해 생성되며, 여기에는 기술(skill, 국소 연산)과 라우팅 메커니즘(중간 정보가 어떻게 선택·재사용·조합되는지)이 모두 포함된다. 이 모델 내에서 우리는 SFT와 RL이 비대칭적이고 상보적인 역할을 한다는 것을 이론적으로 보인다: SFT는 조합 trace에서 원시 모듈 재료를 제공하고, RL은 해당 trace를 분해하여 잠재 원자 모듈을 식별하고 조합 일반화를 가능하게 한다. 이 이론을 검증하기 위해 통제 실험을 설계한다. 결과는 RL이 SFT가 제공한 복합 trace에서 원자 모듈을 추출하고 이를 재조합하여 새로운 구성을 해결할 수 있음을 보여준다. 더 나아가, 고립된 원자 모듈에 대한 학습보다 복합 trace에 대한 학습이 더 강한 일반화를 산출함을 발견한다. 마지막으로 SFT와 RL 데이터의 관계를 조사하고, SFT가 조합 trace를 통해 모든 원자 모듈의 커버리지를 보장하는 한편 RL은 SFT 지원 범위 밖의 새로운 조합에 초점을 맞춰 탐험을 유도하는 효과적인 프로토콜을 식별한다.

arXiv:2606.17803v1cs.LG

경량 경험 기반 잠재 기억을 통한 지속적 자기 개선

Continual Self-Improvement with Lightweight Experiential Latent Memories

대규모 언어 모델(LLM)은 추론 시간 연산을 확장하여 강력한 추론 성능을 달성하지만, 근본적으로 상태가 없어(stateless) 이 과정에서 생성된 풍부한 자가 생성 추론 흔적을 버립니다. 우리는 모델이 외부 감독이나 미래 데이터에 대한 접근 없이, 이러한 경험으로부터 온라인으로 학습하여 일시적인 연산(추론 흔적)을 지속적이고 재사용 가능한 지식으로 변환할 수 있는지 조사합니다. 우리는 원시 추론 흔적에 대한 문맥 내 학습(ICL)이 일반화에 실패함을 보여주며, 이는 토큰 수준 재사용의 근본적인 한계를 반영합니다. 즉, 개별 흔적은 정제(예: 자기 성찰) 후에도 전이에 필요한 추상화가 부족합니다. 대조적으로, 비지도 강화학습에 대한 최근 연구에서 영감을 받아, 우리는 자가 생성 테스트 시간 신호(다수결 투표)를 보상으로 사용하는 경량의 인스턴스별 학습이 상당한 이득을 가져옴을 발견했습니다. 이는 종종 전체 데이터셋 오프라인 학습을 능가하여, 원시 흔적에서 학습된 잠재 표현으로의 전환을 유도합니다. 이 통찰을 바탕으로, 우리는 마주친 문제에 소비된 추론 시간 연산을 기본 추론 구조를 포착하는 압축된 모듈식 잠재 기억으로 증류하는 온라인 방법을 제안합니다. 이 기억들은 미래의 입력을 위해 저장 및 검색되며, 모듈식 설계를 통해 재앙적 망각을 방지하면서 지속적인 개선을 가능하게 합니다. 중요하게도, 우리의 방법은 매우 효율적이며, 모델 파라미터의 약 0.001%에 불과한 극도로 가벼운 소프트 프롬프트 기억으로 파라미터화되고 단 몇 번의 그래디언트 스텝으로만 학습되지만, 전체 파라미터 업데이트 및 오프라인 학습과 경쟁하는 성능을 달성합니다. 도전적인 수학적 추론 벤치마크 전반에서, 우리의 접근 방식은 제로샷 및 원시 데이터 ICL 기준선을 상당히 능가하며, 데이터셋 간에 효과적으로 전이됩니다.