확산 대규모 언어 모델(dLLM)은 최근 기존 자기회귀(AR) 대규모 언어 모델(LLM)의 유망한 대안으로 부상했다. 양방향 어텐션과 병렬 디코딩을 활용함으로써 dLLM은 더 효율적인 생성을 가능하게 한다. 그러나 dLLM은 추론 시(학습 중에는 없음) 신중하게 설계된 디노이징 스케줄러를 필요로 하며, 그 선택은 생성 품질에 상당한 영향을 미친다. 신뢰도 기반 휴리스틱 스케줄러는 강력한 경험적 성능을 보여 왔지만, EOS Overflow와 Proximal Bias라는 두 가지 치명적인 실패 양상을 겪는다. 트랜스포머의 어텐션 패턴에 대한 심층 분석을 통해, 이러한 실패는 특정 위치가 유효하지 않은 토큰(예: [MASK] 및 [EOS])에 지나치게 높은 어텐션 가중치를 부여하여 잘못된 신뢰도 신호를 만들어내는 데서 비롯됨을 밝혔다. 이 통찰을 바탕으로, 유효한 어텐션 점수가 기존 신뢰도 기반 휴리스틱에 보완적 지침을 제공할 수 있음을 경험적 증거가 보여 주지만, 어떤 단일 지표도 모든 시나리오에서 일관되게 우수하지는 않아 최적의 디노이징 궤적이 맥락에 크게 의존함을 시사한다. 이 문제를 해결하기 위해 공분산 행렬 적응 진화 전략(CMA-ES)으로 최적화한 경량 진화 휴리스틱 스케줄러를 제안한다. 우리 스케줄러는 맥락적 mean-field 임베딩과 함께 여러 휴리스틱 특징을 동적으로 통합하며, 학습 가능 매개변수는 393개만 필요하다. LLaDA와 Dream에 대해 네 가지 추론 및 계획 벤치마크에서 평가한 결과, 우리 방법은 기존 휴리스틱, 블록 자기회귀 방법, 최근 최신(SOTA) 접근법을 포함한 강력한 기준선들을 일관되게 능가한다. 우리가 아는 한, 이는 지금까지 가장 매개변수 효율적인 신경 스케줄러이다. 코드는 https://github.com/RS2002/Evo-Denoise 에서 이용할 수 있다.
블랙박스 최적화(Black-Box Optimization, BBO)는 여러 공학 분야에서 흔히 적용되며, 수치 측정 및 시뮬레이션 기술의 발전을 활용할 수 있다. 이는 해석적 기술(analytical description)이 존재하지 않는 최적화 함수를 다룬다. 이 방법은 탐색 공간 내의 입력점과, 센서, 실험, 시뮬레이션 등 비해석적 수단을 통해 얻어진 해당 목적 함수 값의 쌍만을 필요로 하는 방법에 의존한다. 일반적인 접근법으로는 진화적 최적화(evolutionary optimization)와 기타 메타휴리스틱(metaheuristics)이 있다. BBO 방법은 목적 함수 값에만 의존하기 때문에 일반적으로 많은 평가(evaluation)를 필요로 하며, 이는 목적 함수를 평가하는 데 시간이 많이 걸리거나 비용이 많이 드는 경우 문제가 된다. 이로 인해 선택된 실제 목적값을 평가하고 탐색 공간 전체에 걸쳐 목적 함수를 근사하는 회귀 모델을 학습시키는 대리 기반 최적화(surrogate-based optimization)를 사용하게 된다. 대리 모델 지원 블랙박스 최적화는 소량 데이터 학습(small-data learning) 문제인데, 이는 옵티마이저가 제한된 평가로부터 비용이 큰 목적 함수를 근사해야 하기 때문이다. 대리 모델은 데이터 효율적인 회귀자(regressor) 역할을 하며, 제한된 평가 예산(evaluation budget) 하에서 유망하거나 정보성이 높은 지점으로 탐색을 유도한다. 본 논문에서는 목적 함수의 선택적 평가를 위해 인공 신경망을 사용하는 새로운 대리 모델인 적응적 충실도 넥서스 공분산 행렬 적응 진화 전략(Adaptive-Fidelity Nexus Covariance Matrix Adaptation Evolution Strategy, AFN-CMA-ES)을 제안한다. 실험 결과는 최신(state-of-the-art) 대리 모델 지원 BBO 방법들과 비교하여 경쟁력 있는 성능을 보여준다.
정보기하학적 최적화(IGO)는 탐색 분포의 적응을 자연 그래디언트 업데이트로 해석하여 블랙박스 최적화를 위한 통합된 프레임워크를 제공합니다. 개념적 중요성에도 불구하고 IGO의 수렴 이론은 여전히 제한적이며, 기존 결과의 대부분은 무한소가 아닌 학습률을 사용하는 이산 시간 업데이트보다는 IGO flow와 같은 연속 시간 이상화에 관한 것입니다. 본 논문에서는 지수족의 기댓값-매개변수 좌표에서의 자연 그래디언트 업데이트로 정식화된, 연속 공간에서의 이산 시간 IGO를 연구합니다. 특히, 강하게 볼록한 이차 목적 함수 상에서 다변량 가우시안 분포족을 따르는 IGO를 분석합니다. 우리의 분석은 전체 공분산 적응, 고정된 양의 학습률, 그리고 분위수 기반 가중치를 동시에 포함하는 설정을 다룹니다. 이 설정에서, 공분산 행렬이 영행렬로 수렴함을 증명합니다. 또한, 적절하게 스케일링된 공분산 행렬의 조건수가 충분히 자주 반복되는 시점에서 유계라는 조건 하에, 평균 벡터가 전역 최적해로 수렴함을 보여줍니다. 이러한 결과는 IGO의 수렴 이론을 발전시키고, IGO의 수학적 이론과 CMA-ES와 같은 실용적인 공분산 적응 탐색 방법 간의 격차를 좁히는 데 기여합니다.