PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10625v1cs.CR

한 루프에서는 안전하고 다른 루프에서는 위험하다: 루프형 언어 모델의 순환 깊이 전반에 걸친 안전성 정렬

Safe at One Loop, Risky at Another: Aligning Safety Across Recurrent Depths in Looped Language Models

루프형 언어 모델(Looped Language Model, LoopLM)은 순환 단계 전반에서 공유 매개변수를 반복적으로 사용하여 모델 역량을 확장하는 매개변수 효율적인 접근법을 제공합니다. 각 순환 깊이(recurrent depth)를 독립적으로 판독할 수 있기 때문에, 단일 LoopLM은 추론 깊이에 걸쳐 더 넓은 출력 공간을 드러내며, 이는 순환 연산 전반에서 안전성이 유지되는지에 대한 중요한 질문을 제기합니다. 이전 평가에서는 더 깊은 순환이 유해한 쿼리에 대한 안전성을 향상시킬 수 있음을 시사하지만, 탈옥(jailbreak) 공격에 대한 강건성은 여전히 불분명합니다. 이에 따라 본 연구에서는 서로 다른 순환 깊이를 겨냥한 탈옥 공격 하에서 LoopLM에 대한 포괄적인 안전성 평가를 수행합니다. 연구 결과, 더 깊은 추론 깊이에서 공격 성공률이 증가할 수 있으며, 동일한 쿼리가 깊이에 따라 서로 다른 안전성 동작을 유발할 수 있고, 특정 깊이를 대상으로 구성된 공격이 다른 깊이로 전이될 수 있음을 확인했습니다. 더욱이 지도 미세조정(SFT)과 선호도 정렬(preference alignment)만으로는 이러한 안전성 격차를 해소하지 못하며, 이는 LoopLM에 맞게 설계된 정렬 기법의 필요성을 시사합니다. 본 연구는 공유된 순환 계층에 대한 경량 깊이별 제어, 선택적 상태 브리징(state bridging), 순환 깊이 전반에 걸친 공동 안전성 감독을 결합한 SafeBridge를 제안합니다. 다양한 모델 규모, 다수의 공격 방식, 안전성 벤치마크 전반에 걸쳐 SafeBridge는 동일 깊이 및 교차 깊이 공격 모두에서 공격 성공률을 대폭 감소시킵니다. 또한 기존 바닐라 모델 대비 전반적인 유용성을 개선하는 동시에 유사한 수준의 과도한 거부(over-refusal) 동작을 유지합니다. 본 결과는 LoopLM의 안전성을 단일 순환 깊이만으로 추론할 수 없음을 보여주며, 순환 연산 전반에 걸친 안전성 정렬의 필요성을 강조합니다. 본 논문의 코드와 모델 체크포인트는 게재 승인 시 공개될 예정입니다.

arXiv:2610.10623v1cs.LG

순환적 자기 개선: 루프 언어 모델을 위한 동적 크로스-루프 온-정책 증류

Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models

루프 언어 모델(LoopLM)은 순환 계산 단계 전반에 걸쳐 공유 매개변수(parameter)를 재사용함으로써 추론을 스케일링하는 매개변수 효율적인 접근 방식을 제공합니다. 이러한 유망성에도 불구하고, LoopLM의 효과적인 사후 학습(post-training)은 여전히 어렵습니다. 기존 접근 방식들은 루프 전반으로 확장하기에 희소하거나 비용이 많이 드는 보상(reward) 기반 감독을 제공하거나, 외부 교사 또는 특권 정보에 의존하여 교사의 가용성이 제한되거나 교사-학생 간 문맥 불일치를 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 LoopLM 내의 추가적인 순환 계산을 자체 감독의 원천으로 활용하는 크로스-루프 온-정책(on-policy) 지식 증류(distillation) 프레임워크인 LoopOPD를 소개합니다. LoopOPD는 동결된 최종 루프 정책을 학생 생성 롤아웃에 대한 중간 루프 학생의 계산 특권 교사로 활용하여, 외부 교사나 특권 정보 없이도 조밀한 감독을 제공합니다. 더 나아가 공유 모델 매개변수가 업데이트됨에 따라 최종 루프 교사를 지속적으로 갱신하여 순환적 자기 개선을 가능하게 하는 Dynamic LoopOPD(D-LoopOPD)를 제안합니다. 본 논문에서는 증류 업데이트가 루프 깊이 전반에 걸쳐 어떻게 전파되는지 특성화하고, 단일 업데이트가 두 루프 깊이 모두에서 동시적인 국소 개선을 도출하는 충분조건을 유도합니다. Ouro-Thinking 모델을 대상으로 한 실험에 따르면 LoopOPD는 수학적 추론을 향상시키며, D-LoopOPD는 동적 교사 업데이트를 통해 추가적인 성능 향상을 달성합니다. 수학 데이터로만 학습(training)되었음에도 불구하고, 결과 모델은 일반 추론 및 코드 생성 벤치마크에서도 향상된 성능을 보여 순환 계산이 LoopLM의 효과적인 감독 원천으로 기능할 수 있음을 입증합니다. 코드와 모델 체크포인트는 논문 채택 시 공개될 예정입니다.

arXiv:2610.02741v1cs.AI

루프형 언어 모델의 사고의 연쇄 모니터링 가능성에 대한 연구

On the Chain-of-Thought Monitorability of Looped Language Models

사고의 연쇄(Chain-of-Thought, CoT) 모니터링은 바람직하지 않은 모델 행동을 탐지하는 유망한 접근 방식을 제공합니다. 루프형 언어 모델(Looped language models, LoopLM)은 공유된 트랜스포머 층을 반복적으로 적용하여 모델 크기를 늘리지 않고도 유효 계산 깊이를 늘리고 추가적인 잠재 연산을 가능하게 합니다. 그러나 루프형 아키텍처가 CoT 모니터링 가능성에 미치는 영향은 아직 거의 연구되지 않았습니다. 본 연구에서는 LoopLM의 CoT 모니터링 가능성에 대한 최초의 체계적인 평가를 제공합니다. 우리는 상호 보완적인 두 가지 설정을 연구합니다: (1) 추가적인 순환 연산의 효과를 분리하기 위해 동일한 LoopLM 계열 내에서 루프 깊이를 변화시키는 설정, 그리고 (2) LoopLM이 모니터링하기 더 어려운지 연구하기 위해 매개변수 크기, 트랜스포머 층 수 또는 유효 깊이를 일치시킨 비루프형(non-looped) 언어 모델과 LoopLM을 비교하는 설정입니다. MonitorBench의 8개 작업과 표준 및 스트레스 테스트 설정 전반에 걸쳐, 특정 논리/과학/공학 \texttt{Cue Answer} 작업의 스트레스 테스트 하에서 CoT 모니터링 가능성이 작업에 따라 감소하는 것을 관찰한 반면, 다른 작업들에서는 더 약하거나 질적으로 다른 경향을 보였습니다. 우리의 진단에 따르면 이러한 감소는 작업 난이도, 검증 통과율 또는 생성된 토큰 길이로 완전히 설명되지 않으며, 정성적 예시는 더 깊은 루프 모델이 제공된 단서를 명시적으로 사용하거나 귀인하는 방식의 변화를 추가로 시사합니다. 교차 모델 비교 결과, 크기나 깊이가 일치하는 비루프형 언어 모델보다 LoopLM이 체계적으로 모니터링 가능성이 낮다는 증거는 발견되지 않았습니다. 종합적으로, 우리의 결과는 스트레스 테스트 하의 일부 작업에서 더 깊은 루프 깊이가 CoT 모니터링 가능성을 감소시킬 수 있지만, 루프형 트랜스포머 아키텍처 자체만으로 모니터링 가능성이 필연적으로 낮아지는 것은 아님을 시사합니다.

arXiv:2606.24898v1cs.LG

Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

루프형 언어 모델에서 루프마다 교차 엔트로피를 적용해도 readout이 노출하는 상태 변수만 지도되며, RMSNorm·LayerNorm 같은 스케일 불변 readout은 hidden-state scale을 즉시 손실에서 숨겨 pre-norm 잔차 반복 경로에서 norm이 수천~수만까지 drift하는 readout blind spot을 일으킨다. 스케일을 손실에 보이게 하거나 반복 경로에서 제거하는 보완과 함께 dense supervision을 쓰면 초기 종료(exit) 사용성을 유지한 채 매칭된 추론 깊이에서 perplexity가 낮아진다.