AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.
대규모 언어 모델(LLM)의 능력이 발전함에 따라 모델 평가는 점점 더 어려워지고 있습니다. 벤치마크는 포화될 수 있고, 공개 테스트 세트는 오염 위험이 있으며, 더 어려운 태스크를 평가하려면 비용이 많이 드는 채점이나 실행 인프라가 필요할 수 있습니다. 이러한 과제들은 더 나은 프롬프트를 탐색하는 과정에서 평가가 반복되는 자동 프롬프트 최적화(APO)에서 더욱 증폭됩니다. 따라서 APO를 연구하려면 점수 계산이 저렴하고 결정론적이며, 개선의 여지를 둘 만큼 충분히 어렵고, 모델 진화에 따라 갱신 가능한 벤치마크가 필요합니다. 본 연구에서는 가중치 업데이트 없이 프롬프트만 최적화하는 고정된(frozen) LLM의 APO를 연구하기 위해 1,118개의 Lichess 퍼즐로 구축된 체스 벤치마크를 소개합니다. 체스는 저렴한 정확 일치(exact-match) 채점, 엔진 기반 대안 수 평가, 난이도 조절이 가능한 갱신형 문제 공급을 결합합니다. 격리된 테스트 항목에 대한 성공 여부만 보고하는 기존 평가와 달리, 본 벤치마크는 퍼즐 해결 성능 향상을 동일 도메인 내의 짧은 게임 플레이 롤아웃(rollout)과도 연결합니다. 우리는 이를 활용하여 8개 타깃 모델에 대해 6가지 APO 알고리즘을 평가하며, 기준선 성능뿐만 아니라 각 모델이 최적화에 얼마나 반응하는지, 최적화된 프롬프트가 모델 간 및 게임 플레이로 전이(transfer)되는지를 측정합니다. 체스는 다음과 같은 이유로 APO에 매우 적합한 벤치마크입니다: (i) 메타 모델로 사용된 가장 강력한 평가 대상 모델인 Gemini 3.5 Flash조차 퍼즐의 약 55%만 해결할 정도로 도전적이며, (ii) 방법론 및 모델 전반에 걸쳐 성능 향상, 변동 없음, 성능 하락을 드러내며 변별력이 있고, (iii) 오염 위험을 줄이는 새로운 퍼즐과 모델 향상에 맞추어 개선 여지를 유지할 수 있는 조절 가능한 난이도를 통해 갱신 가능하며, (iv) 전체 연구 수행 비용이 약 800달러에 불과할 정도로 경제적입니다. 퍼즐 데이터셋, 최적화 및 평가 코드, 데이터셋 갱신 스크립트(https://github.com/imec-ailabs/Automatic-Prompt-Optimization-with-Chess)를 공개합니다.
체스는 결정론적 환경에서 복잡한 추론을 수반하므로, 트랜스포머 내부 연산 메커니즘을 연구하기에 유용한 설정이다. Maia-3 체스 트랜스포머는 경쟁 체스 실력의 척도인 Elo를 사전학습된 네트워크의 입력으로 받으며, 따라서 가중치를 바꾸지 않고도 네트워크가 조건화되는 실력을 변화시킬 수 있다. 여기서는 이 실력 다이얼을 돌리는 것이 self-attention에 어떤 영향을 미치는지 조사한다. Elo 700부터 2500까지 각 Elo에서 모든 어텐션 헤드를 어블레이션한 결과, 1) 실력이 높아질수록 측정한 모든 체스 기물과 수 유형에 대해 연산의 인과적 질량 중심이 단조적으로 더 깊은 층으로 밀려난다; 2) 깊이 이동은 다른 수 유형보다 특정 전술, 특히 나이트 포크(knight fork)에서 훨씬 크다; 3) 이동은 더 깊은 헤드가 더 전문화된 연산에 기용되는 동시에 하나의 공유된 얕은 헤드가 대략 일정한 기여를 유지하는 것으로 구성된다. 이 결과는 더 큰 트랜스포머에서 조건화 입력이 연산을 어떻게 재배치하는지에 대한 통찰을 제공할 수 있다.
잠재(latent) 또는 침묵(silent) 추론은 언어 모델이 중간 계산을 단어 대신 연속적인 벡터 공간에서 수행하게 하며, 추론 중 모델이 능동적으로 참조하는 내부 스크래치패드(scratchpad)로 기능한다고 널리 가정된다. 그 가정이 강화학습 이후에도 성립하는지는 직접 검증되지 않았다. 기존 잠재 추론의 인과 분석은 수학 및 논리 과제에 한정되어 있으며, 단일 체크포인트 내에서 모델의 사고 의존도만 비교할 뿐 강화학습 단계 전후를 비교한 적은 없다.
단계적 잠재 추론 커리큘럼과 이어지는 강화학습을 통해 체스 플레이 모델을 학습시킨 결과, 합법성은 강화학습 전 기준선 48%에서 단조롭게 61%까지 상승하고 체크메이트 날조(confabulation)는 완전히 사라졌다. 이 이득의 원인을 규명하기 위해 동일 모델에 대해 강화학습 전후로 6조건 인과 개입 실험을 수행했다. 잠재 사고 벡터를 대체하거나 동일한 노이즈를 추가해도 성능은 변하지 않고, 이를 제거(ablate)하면 경미한 저하만 발생하며, 정확히 영(zero) 벡터일 때만 붕괴가 일어난다. 이 견고성 격차 자체가 발견이다. 정확한 영 벡터 손상 하에서 합법성은 강화학습 전 1%, 강화학습 후 9%로 붕괴하며, 이 격차는 전체 검정 배터리에 대한 다중 검정 보정 후에도 유지된다. 더 완화된 조건들도 유사한 경향을 보이나 개별적으로는 유의성에 이르지 못한다. 강화학습은 사고 내용에 대한 의존이 아니라 교란에 대한 견고성을 더하는 것으로 보인다.
이 결과는 잠재 사고가 추론 시점에 능동적으로 참조되는 스크래치패드로 기능한다는 분야의 기본 가정에 반론을 제기하며, 대신 여기서 잠재 추론의 주된 효과는 학습 중 모델의 매개변수를 형성하는 데 있다는 점을 시사한다. 또한 수학·논리 설정 밖의 영域인 체스에서 작동하는 강화학습 이득을 입증했는데, 여러 그룹이 동일한 잠재 추론+강화학습 레시피가 SFT(지도 미세조정) 대비 정확도를 개선하지 못한다고 보고한 바로 그 맥락과 대비된다.
본 논문에서는 반복적 정제(Iterative Refinement)를 이용한 오토인코딩 기반 표현 예측(Representation Prediction via Autoencoding using Iterative Refinement, RePAIR)을 소개한다. RePAIR는 마스크드 오토인코더(MAE), 공동 임베딩 예측 아키텍처(JEPA), BERT와 같은 변환기의 양방향 인코더 표현을 통합한 새로운 자기지도 표현 학습 아키텍처이다. 연속적인 체스 포지션과 같은 순차 데이터의 객체를 압축적이면서도 의미 있는 표현으로 인코딩하는 데 활용할 수 있음을 보인다. 이 아키텍처의 기본 원리는 BERT와 MAE와 유사하게 잠재 상태 시퀀스의 상당 부분을 마스킹하는 것이다. 그다음 JEPA와 유사하게 더 낮은 차원의 임베딩 공간에서 시퀀스의 공백을 복구하는 경량 Predictor를 잠재 표현에 적용한다. 체스 도메인에서의 실험 결과, 인코더가 보드 표현을 정제하여 잠재 공간에서 의미 있는 체스 개념들이 군집화되어 나타남을 보인다. 또한 마스킹된 보드 상태의 재구성 결과, 모델이 비용이 큰 강화학습 방법에 의존하지 않고도 기물 이동에 대해 추론할 수 있음을 보인다. 마지막으로, 결과적으로 얻어진 표현 공간을 통해 의미론적으로 풍부한 이 공간에서 게임 경로 궤적을 관찰함으로써 체스 게임을 빠르고 직관적으로 분해할 수 있음을 확인한다.