PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.12843v3cs.LG

ReForge: 앵커 정규화 회귀를 통한 병합 모델 개선

ReForge: Refining Merged Models with Anchor-Regularized Regression

모델(model) 병합은 공동 재학습 없이 여러 태스크별 전문가 모델을 단일 모델로 결합하는 것을 목표로 하며, 데이터 접근 권한이나 연산 예산이 제한적인 상황에서 멀티태스크 학습의 실용적인 대안을 제공합니다. 기존의 모델 병합 방식들은 추가적인 성능 향상을 위해 강력한 병합 모델을 사전 확률(prior)로 활용하는 경우가 드뭅니다. 이러한 한계를 해결하기 위해, 우리는 앵커 중심의 사전 확률을 갖는 베이즈 선형 회귀로 모듈별 개선을 수식화하는 이중 레벨 최적화(bilevel optimization) 프레임워크인 ReForge를 제안합니다. 내부 레벨은 레이블이 지정되지 않은 보정 활성화(calibration activation)로부터 닫힌 형태(closed-form)의 MAP 추정치를 산출합니다. 외부 레벨은 베이지안 최적화를 활용하여 별도의 검증(validation) 데이터를 통해 이종 정규화(regularization) 강도와 결합 스케일을 공동으로 선택합니다. 나아가, 활성화 통계량을 태스크 벡터 그람(Gram) 행렬로 대체하여 보정 예시의 필요성을 없앤 ReForge의 데이터 무관(data-free) 변형도 개발했습니다. 비전 분야의 최대 20개 태스크 병합 및 언어 분야의 5개 태스크 병합을 포함한 광범위한 벤치마크 전반에 걸쳐, ReForge는 평가된 모든 플러그 앤 플레이 앵커 기준선(baseline)(예: TA, WUDI-Merging, TSV)을 일관되게 능가합니다. 20개 태스크의 ViT-B/32에서 ReForge는 평가된 가장 강력한 기준선인 ISO-CTS의 성능을 데이터 보조 설정에서는 77.6%에서 82.8%로, 데이터 무관 설정에서는 81.5%로 향상시킵니다. 8개 태스크의 ViT-L/14에서 데이터 보조 변형은 개별 태스크 전문가 모델들의 95.8%에 필적하는 95.1%의 평균 정확도를 달성합니다. 우리의 소스 코드는 곧 공개될 예정입니다.

arXiv:2607.07881v1cs.SE

태스크 벡터를 활용한 기능적이고 안전한 코드 생성

Functional and Secure Code Generation with Task Vectors

태스크 벡터 산술(task-vector arithmetic)을 활용해 코딩 LLM이 보안 취약점 없는 기능적 코드를 동시에 생성하도록 모델 가중치를 조정하는 SecVecCoder를 제안하며, CodeGuard+ 벤치마크에서 기반 모델 대비 신뢰할 수 있는 코드 완성 비율을 최대 36.0 퍼센트포인트 향상시키면서도 추론 지연은 평균 0.6% 이내로 유지한다.

arXiv:2607.08173v1cs.AI

과잉 사고: 학습된 비밀 추출을 위한 추론 가중치 증폭

Overthinking: Amplifying Reasoning Weights to Extract Learned Secrets

추론 태스크 벡터(reasoning task vector)를 α > 1로 증폭하는 "과잉 사고(overthinking)" 기법을 도입하여, 언어 모델이 학습 중 획득한 비밀 정보나 의도치 않은 동작을 블랙박스 감사(black box auditing)보다 최대 10배 더 빈번하게 노출시킬 수 있음을 2B~32B 규모 모델에서 검증하였다. 층별 감쇠(layer-wise attenuation) 전략을 통해 출력 품질을 유지하면서 추론을 선택적으로 증폭하며, 프리필 공격(prefill attack)과 결합 시 감사 효과가 더욱 향상됨을 보였다.