PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.06869v3cs.CL

다중 목적 정렬에서 목적 간 간섭 현상 규명

Uncovering Cross-Objective Interference in Multi-Objective Alignment

본 연구에서는 대규모 언어 모델(LLM)의 다중 목적 정렬(multi-objective alignment)에서 스칼라화 학습(scalarized training) 시 일부 목적만 개선되고 다른 목적은 저하되는 지속적인 실패 모드를 연구합니다. 저자들은 이 현상을 '목적 간 간섭(cross-objective interference)'으로 공식화하고, 우리가 아는 한 다중 목적 LLM 정렬을 위한 스칼라화 알고리즘에 대한 최초의 체계적인 연구를 수행합니다. 이 연구를 통해 간섭 현상이 여러 알고리즘 전반에 걸쳐 만연하지만 모델에 크게 의존한다는 점을 보여줍니다. 간섭이 발생하는 원리를 이해하기 위해, 특정 목적의 개선 또는 저하가 1차(first order) 관점에서 해당 목적의 보상(reward)과 스칼라화 점수 간의 공분산 부호에 따라 결정된다는 '국소 공분산 법칙(local covariance law)'을 도출합니다. 또한 이 법칙을 현대적인 강화 미세조정(reinforcement fine-tuning)의 클리핑된 대리 목적함수(clipped surrogate objectives)로 확장하고, 완만한 조건 하에서도 여전히 성립함을 보여줍니다. 이 법칙을 기반으로, 저자들은 특정 목적의 보상과 클리핑된 어드밴티지 가중치(advantage weight) 간의 공분산이 목표치 아래로 떨어질 때만 해당 목적의 가중치를 높이는 단방향 제어기인 COVER(COVariance-floor Enforced Reweighting)를 제안합니다. 광범위한 실험을 통해 COVER가 목적들이 이미 함께 개선되고 있을 때는 선형 스칼라화와 동등한 성능을 내면서도 목적 간 간섭을 완화할 수 있음을 확인했습니다. 마지막으로 간섭이 모델에 의존적인 이유를 설명하기 위해, 국소 공분산 법칙을 보완하는 전역 수렴(convergence) 분석을 제시합니다. 이 분석은 비볼록(non-convex) 스칼라화 목적함수가 폴리약-로야시에비치(Polyak–Łojasiewicz) 조건을 만족하기 위한 충분조건을 제공하며, 간섭 현상을 모델의 기하학적 구조와 연결합니다.