자율주행차의 완전 자동화는 여전히 과제이며, 특히 내비게이션에 실시간 적응성이 요구되는 동적인 도시 환경에서 그러하다. 기존 시스템은 사전에 정의된 지도 정보에 크게 의존하기 때문에, 도로 구조의 예측 불가능한 변화, 즉흥적인 우회, 지도 데이터 누락에 직면하면 내비게이션 계획을 처리하는 데 어려움을 겪는다. 본 연구에서는 비정형 내비게이션 지시를 구조화된 논리 기반 추론으로 변환함으로써 대규모 언어 모델을 사용해 Answer Set Programming 규칙을 생성하는 방안을 탐구한다. ASP는 비단조 추론을 제공하여 자율주행차가 사전 정의된 지도에 의존하지 않고도 변화하는 시나리오에 적응할 수 있게 한다. 우리는 LLM이 실제 도시 주행 논리를 형식적 지식 표현으로 인코딩하는 ASP 제약을 생성하는 실험적 평가를 제시한다. 비정형 내비게이션 지시를 논리 규칙으로 자동 변환함으로써 본 방법은 자율 내비게이션의 적응성과 설명 가능성을 향상시킨다. 결과는 LLM 기반 ASP 규칙 생성이 의미 기반 의사결정을 지원하며, 인간이 내비게이션 의도를 전달하는 방식과 밀접하게 부합하는 동적 내비게이션 계획용 설명 가능한 프레임워크를 제공함을 보여준다.
몬테카를로 트리 탐색(MCTS)은 순차적 의사결정 영역의 온라인 계획에 널리 사용되는 표본 기반 탐색 알고리즘 계열이며, 최근 인공지능의 많은 발전의 핵심에 있다. 수많은 가능한 미래의 시뮬레이션, 그 평가, 그리고 이들 간의 관계로 인해 크고 복잡한 탐색 트리가 자주 생성되므로, 개발자와 사용자가 MCTS 에이전트의 행동을 이해하기 어렵다. 본 논문은 MCTS의 의사결정과 행동에 대한 잠재적 설명을 찾기 위해 진행 중인 연구를 제시한다. MCTS의 약점은 매우 선택적인 트리를 구성하기 때문에 결정적인 수를 놓치고 전술적 함정에 빠질 수 있다는 점이다. 전폭 미니맥스 탐색이 그 해결책이 된다. 우리는 다중 에이전트 MCTS의 롤아웃 단계에 얕은 미니맥스 탐색을 통합하고, 프로세스 마이닝 기법을 사용하여 3v3 체커에서 에이전트의 전략을 설명한다.
많은 실제 응용은 환경 동역학이 시간에 따라 변화하는 상황에서의 의사결정을 요구한다. 이러한 비정상 환경은 일반적으로 정상 동역학을 가정하는 전통적 의사결정 모델에 상당한 어려움을 야기한다. 비정상 마르코프 결정 과정(NS-MDP)은 이처럼 변화하는 조건에서의 의사결정 문제를 모델링하고 해결하기 위한 틀을 제공한다. 그러나 정상 문제를 위한 널리 알려진 프레임워크와 달리, NS-MDP를 위한 표준화된 시뮬레이션 프레임워크는 존재하지 않는다. 우리는 널리 쓰이는 Gymnasium 프레임워크에 통합된, NS-MDP를 위해 명시적으로 설계된 최초의 시뮬레이션 툴킷인 NS-Gym을 제시한다. NS-Gym에서는 비정상성을 특징짓는 환경 매개변수의 변화를 에이전트의 의사결정 모듈로부터 분리하여, 동적 환경에 대한 모듈식이고 유연한 적응을 가능하게 한다. 우리는 이 분야의 선행 연구를 검토하고, NS-MDP의 핵심 문제 특성과 유형을 담은 툴킷을 제시한다. 이 툴킷은 비정상 조건에서 알고리즘을 일관되고 재현 가능하게 평가할 수 있도록 표준화된 인터페이스와 벤치마크 문제 집합을 개발하려는 최초의 시도이다. 또한 NS-Gym을 사용하여 NS-MDP에 관한 선행 연구의 여러 알고리즘적 접근법을 벤치마크한다. 우리는 NS-Gym이 표준화된 인터페이스, 시뮬레이션 프레임워크 및 벤치마크 문제를 제공함으로써 연구자들이 비정상성 하의 의사결정을 연구할 수 있게 할 것으로 기대한다. 프로젝트 문서, 웹페이지, 코드는 https://nsgym.io 및 https://github.com/scope-lab-vu/ns_gym 에서 확인할 수 있다.
인구통계 프롬프트로 구축한 사람에 대한 AI 시뮬레이션은 개인을 잘못 판단하고 표본 수준의 패턴을 왜곡하는 경우가 많다. 우리는 풍부한 자기보고 데이터가 이러한 문제를 줄이는지 검증한다. 우리는 AI 음성 인터뷰어를 개발하고, 미국 성인 1,052명을 대상으로 American Voices Project 프로토콜에 따라 두 시간 길이의 인터뷰를 수행했으며, 이들은 설문과 행동 실험도 함께 완료했다. 각 참가자에 대해 인구통계 속성, 직접 작성한 페르소나, 설문 응답, 인터뷰 응답, 또는 설문과 인터뷰를 결합한 정보를 프롬프트로 준 시뮬레이션을 비교했다. 우리는 보류된 응답에 대한 정확도를 평가하고, 표본 수준에서 여덟 가지 통계적 왜곡, 즉 편향된 평균, 압축된 분산, 왜곡된 응답 분포, 과도하게 상관된 문항, 하나의 차원으로 붕괴하는 태도, 이념적 정렬, 증폭된 실험 효과, 과잉 합리성을 측정했다. General Social Survey(GSS) 문항에서 인구통계 시뮬레이션의 정확도는 60.4%였고, 인터뷰 및 설문 시뮬레이션은 각각 69.4%와 69.3%, 이를 결합하면 72.8%에 도달했으며, 이는 참가자의 2주 간격 재검사 일치도 79.5%와 비교된다. 설문과 인터뷰는 성격 특성의 예측도 향상시켰으나 인센티브가 주어진 경제적 선택의 예측은 향상시키지 못했다. 인터뷰와 설문을 결합한 시뮬레이션은 인구통계 시뮬레이션과 참가자 응답 사이의 여덟 가지 왜곡 격차 중 중앙값 53.5%를 줄였다. 다른 참가자들의 자기보고와 대상 문항에 대한 응답으로 미세조정한 오픈 웨이트 모델은 GSS 정확도 75.2%를 달성했고 왜곡 격차의 중앙값 69.3%를 줄였다. 전반적으로 프런티어 모델과 미세조정 모델 모두 왜곡을 줄였으나 없애지는 못했고, 어느 쪽도 경제 게임에서의 과잉 합리성을 줄이지 못했다. 이러한 결과는 질적 및 양적 자기보고가 개인별 시뮬레이션을 개선하고 통계적 왜곡을 줄일 수 있음을 보여 준다.
합성곱 신경망(Convnet)은 최근 몇 년간 다양한 컴퓨터 비전 과제에서 좋은 성과를 거두었다. 많은 관심을 받았음에도, Convnet을 해석하기 위해 학습된 표현을 시각화하는 일은 여전히 어려운 과제로 남아 있다. 내부 표현의 높은 차원성과 깊은 층의 높은 추상성이 Convnet 기능을 시각화할 때의 주요 난점이다. 본 논문에서는 Convnet에서 학습된 표현을 시각화하기 위해 디리클레 과정 가우시안 혼합 모델로 Convnet의 내부 표현을 군집화하는 기법을 제시한다. 우리의 방법은 각 층의 모든 노드에 걸쳐 표현을 군집화함으로써 Convnet의 높은 차원성에 대처한다. 또한 이 응용이 전이 학습, 즉 한 데이터셋에서 학습된 모델을 다른 데이터셋의 과제 해결에 이전하는 경우를 고려할 때 어떻게 유용한지 논의한다.
fMRI 기반 이미지 디코딩은 뇌 반응으로부터 시각 자극을 복원하거나 검색하는 유망한 접근이지만, 레이블이 있는 신경 데이터가 매우 제한적이라는 구조적 제약 때문에 저데이터 환경에서 성능이 쉽게 정체됩니다. 이러한 한계를 다루기 위해 저자들은 실제 뇌 데이터를 더 많이 수집하는 대신, 사전학습된 대규모 인코딩 모델이 생성한 합성 fMRI를 학습에 활용하면 이미지 디코더의 데이터 효율성을 얼마나 높일 수 있는지를 체계적으로 검증합니다. 핵심 방법론은 비디오, 오디오, 언어에 대한 1000시간 이상의 fMRI 반응으로 학습된 TRIBE v2를 이용해 자극에 대응하는 합성 신경 반응을 만들고, 이를 소규모 실측 fMRI 데이터와 결합하여 이미지 디코더를 학습하는 것입니다. 여기서 중요한 점은 모델 구조를 새로 설계하는 것이 아니라, 학습 데이터의 구성과 비율을 바꾸어 성능을 끌어올리는 데 초점을 둔다는 점이며, 이는 대규모 뇌 반응 모델이 downstream 디코딩의 기반 자원으로 기능할 수 있는지를 묻는 시도이기도 합니다. 저자들은 합성 데이터의 사용 비율을 체계적인 그리드로 변화시키며, 각 조건에서 상위 10개 이미지 검색 정확도(top-10 image-retrieval accuracy)가 어떻게 달라지는지 비교해 최적의 증강 지점을 찾습니다.
실험은 7T fMRI Natural Scenes Dataset(NSD)와 3T fMRI BOLD5000이라는 서로 다른 획득 조건의 두 데이터셋에서 수행되었으며, 이 비교를 통해 합성 증강의 일반성과 데이터 소스 의존성을 함께 검증합니다. NSD에서는 실측 데이터만 사용한 디코더보다 최대 68% 높은 성능 향상이 관찰되었고, BOLD5000에서도 같은 방향의 개선이 확인되어 TRIBE v2 기반 증강이 특정 데이터셋에만 국한되지 않음을 보여줍니다. 다만 필요한 증강 비율은 데이터셋마다 달랐으며, 동일한 비율이라도 실제 스캔 시간으로 환산하면 의미가 달라지므로, 저자들은 퍼센트 단위의 설정을 시간 예산 관점에서 해석할 수 있도록 제시합니다. 예를 들어 NSD의 전체 학습 세트는 피험자당 약 10시간, BOLD5000은 약 13.3시간에 해당하므로, 운영 그리드는 단순한 하이퍼파라미터가 아니라 실제 스캔 비용을 조정하는 실용적 지표가 됩니다. 이러한 결과는 합성 데이터가 실측 데이터를 대체하는 완전한 해법은 아니지만, 적절한 비율로 결합될 때 뇌 디코딩의 일반화와 데이터 효율성을 크게 향상시킬 수 있음을 시사합니다.
더 나아가 일부 조건에서는 합성 fMRI만으로 학습한 디코더가 우연 수준을 넘어서는 성능을 보여, TRIBE v2가 제로샷 brain-to-image decoding의 가능성까지 뒷받침할 수 있음을 암시합니다. 이는 실제 신경 데이터 확보가 어려운 환경에서 대규모 인코딩 모델이 초기 디코딩 능력을 제공하는 기반 모델로 작동할 수 있다는 점에서 의미가 큽니다. 종합하면, 이 연구는 합성 fMRI 증강이라는 방법을 통해 저데이터 뇌 디코딩의 병목을 완화하고, 자극 기반 뇌 반응 생성 모델이 이미지 디코딩의 데이터 효율성을 높이는 핵심 수단이 될 수 있음을 실증적으로 제시합니다.
제약 최적화 문제에서 해를 한 번에 예측한 뒤 단순히 보정하는 방식은, 제약들 사이의 중요도 차이나 도메인 특유의 우선순위를 충분히 반영하지 못한다는 한계를 지닙니다. 이에 따라 제안된 MResOpt는 단계적 잔차 신경망(staged residual neural network) 구조를 통해 제약 만족을 순차적으로 다루며, predict-complete-correct 파이프라인 안에서 각 단계가 서로 다른 역할을 맡도록 설계됩니다. 특히 중간 단계에서의 재완성(re-completion)과 단계 인지 손실(stage-aware losses)을 결합함으로써, 모델은 모든 제약을 균질하게 처리하는 대신 더 중요한 제약부터 안정적으로 만족시키는 방향으로 학습합니다. 이러한 방식은 제약들 사이에 자연스러운 순서가 존재하는 경우에 특히 유효하며, 도메인 지식을 모델 구조에 직접 주입해 서수적(ordinal) 구조를 활용할 수 있게 해줍니다. 결과적으로 MResOpt는 단순한 예측기라기보다, 제약 구조를 반영한 점진적 최적화 조정기로 기능합니다.
이 접근의 중요한 점은 우선순위 기반 제약 만족을 경험적 휴리스틱이 아니라 구조적 설계로 구현했다는 데 있습니다. 기존의 재투영(reprojection) 중심 기법은 최종 해를 제약 집합 위로 되돌리는 데 초점을 두는 반면, MResOpt는 각 단계에서 어떤 제약을 먼저 고정하고 어떤 제약을 이후에 정교화할지 학습 가능한 방식으로 분해합니다. 따라서 고우선순위 제약을 먼저 안정화한 뒤 나머지 제약을 순차적으로 맞추는 학습 경로가 형성되며, 이는 복잡한 제약 간 충돌이 있는 문제에서 더욱 의미를 갖습니다. 또한 이 구조는 단일 출력에 의존하지 않고 중간 표현을 반복적으로 정제하므로, 최종 예측의 안정성과 제약 만족의 일관성을 함께 높이는 장점이 있습니다. 즉, 모델은 제약 최적화의 본질인 “무엇을 먼저 지켜야 하는가”라는 질문을 직접 반영하도록 설계됩니다.
이 논문은 이론적으로도 단계적 잔차 구조의 의미를 정교하게 설명합니다. 이상화된 무한 폭(infinite-width) 조건에서 MResOpt가 순차적 가우시안 프로세스 회귀(sequential Gaussian Process regression)처럼 동작함을 보임으로써, 제안된 설계가 단지 성능 개선을 위한 공학적 장치가 아니라 함수공간 관점에서도 해석 가능한 구조임을 제시합니다. 이는 단계별 잔차 갱신이 넓은 신경망의 극한에서 어떤 통계적 성질을 갖는지 보여주는 결과로서, 아키텍처 선택과 일반화 동작 사이의 연결 고리를 제공합니다. 다시 말해, 순차적 제약 분해는 경험적 관찰에 그치지 않고 커널 기반 학습의 형태로 이해될 수 있으며, 이는 방법론의 설득력을 한층 강화합니다.
실험적으로는 Quadratic Programming(QP), Quadratically Constrained Quadratic Programming(QCQP), Second-Order Cone Programming(SOCP)과 같은 합성 벤치마크에서 고우선순위 제약 만족도가 향상되었고, 볼록 문제와 비볼록 문제 모두에서 일관된 이득이 확인되었습니다. 특히 선로 흐름 제약이 포함된 교류 최적 조류 계산(AC optimal power flow)에서는 물리적 특성에 맞춘 제약 순서를 도입해, MResOpt가 학습된 분업(learned division of labor)을 통해 등식 다양체(equality manifold)를 유지하면서도 기존 재투영 기반 방법보다 훨씬 낮은 주요 제약 위반을 보였습니다. 동시에 계산 효율성도 유지했다는 점에서, 이 방법은 제약의 우선순위가 분명한 실제 최적화 문제에 적용 가능한 실용성을 갖습니다. 종합하면 MResOpt는 제약 만족의 순서를 학습 가능한 구조로 바꾸고, 그 설계를 이론과 실험 양쪽에서 뒷받침함으로써 복잡한 제약 최적화에 대한 새로운 방법론적 방향을 제시합니다.
실제 절차형 과업에서는 사용자가 정해진 순서를 항상 그대로 따르지 않기 때문에, 보조 시스템은 단순히 다음 단계를 예측하는 것을 넘어 언제 개입해야 하는지와 어떻게 안내해야 하는지를 함께 판단할 수 있어야 합니다. 이러한 문제의식 위에서 제안된 접근은 사용자의 1인칭 시각 정보, 대화 이력, 질의 맥락을 바탕으로 현재 상황을 해석하고, 계획 이탈(out-of-plan, OOP) 상태에 들어갔는지까지 실시간으로 감지하는 선제적 절차 보조에 초점을 둡니다. 특히 이 연구는 개입 여부와 개입 내용을 분리해 다루는 점이 핵심인데, 이는 타이밍 판단과 코칭 생성이 서로 다른 최적화 목표를 갖기 때문입니다. 사용자가 정상 절차를 벗어났을 때는 조용히 기다리는 것이 아니라 적절한 순간에 짧고 정확한 복귀 지시를 제공해야 하며, 이를 위해 시스템은 절차적 상태와 시각 단서를 함께 추적해야 합니다.
이러한 목표를 뒷받침하기 위해 저자들은 먼저 EgoProactive라는 대규모 웨어러블 1인칭 데이터를 구축하여, 명시적인 계획 이탈 주석과 복귀 단계(recovery steps)를 함께 제공했습니다. 이 데이터셋은 실제 환경에서 발생하는 우회와 오류를 학습 가능하게 만든다는 점에서 의미가 크며, 선형적인 단계 진행만을 가정하던 기존 자원들의 한계를 보완합니다. 또한 Ego4D, EPIC-KITCHENS, EgoExo4D, HoloAssist, HowTo100M 등 다섯 개의 기존 벤치마크를 하나의 선제적 안내 체계로 재구성한 Pro²Bench를 통해, 서로 다른 도메인에서도 개입 타이밍과 복귀 코칭 능력을 일관되게 비교할 수 있는 평가 환경을 마련했습니다. 이는 절차 이해를 단순한 다음 단계 예측 문제가 아니라, 실제 상호작용 품질을 측정하는 문제로 확장했다는 점에서 중요합니다.
모델 측면에서는 계획 담당과 상호작용 담당을 분리한 decoupled planner-interaction architecture를 제안하여, 절차적 상태 추적과 응답 생성을 느슨하게 결합하지 않고 각자의 역할에 맞게 최적화했습니다. 여기에 계획에 고정된(plan-anchored) 클립 선택을 적용해 전체 비디오를 무차별적으로 처리하는 대신, 현재 단계와 복귀 판단에 직접적으로 관련된 시각 구간을 우선적으로 활용하도록 설계했습니다. 이러한 방식은 긴 1인칭 영상에서 불필요한 노이즈를 줄이면서도, 계획 이탈의 징후와 복귀에 필요한 단서를 더 선명하게 포착하게 해 줍니다. 다시 말해, 이 아키텍처는 “무엇을 말할 것인가”와 “무엇을 볼 것인가”를 모두 계획 중심으로 정렬한 구조라고 할 수 있습니다.
또한 사후학습(post-training) 레시피를 통해 이 방법이 특정 모델에만 맞는 특수한 처리가 아니라 다양한 백본에 전이 가능한 일반적 절차임을 보였다는 점도 주목할 만합니다. 실제로 Llama 4와 Qwen-3.6-VL에서 교차 백본 재현을 수행해 방법의 이식 가능성을 검증했으며, 이는 향후 더 강력한 멀티모달 모델에도 손쉽게 확장할 수 있음을 시사합니다. 실험 결과에서는 학습된 Llama-4 시스템이 Claude Opus 4.6, Gemini 3.1 Pro, GPT 5.2, Qwen3 VL 235B와 같은 강력한 기준선보다 여섯 개 데이터셋 전반에서 더 높은 객관적 개입 품질(objective intervention quality)을 보였습니다. 특히 오라클 계획(oracle plan) 조건에서는 계획 품질이 통제될 때 복귀 안내 성능이 크게 향상되어, 계획 추적과 개입 생성이 분리된 구조의 타당성을 분명하게 뒷받침했습니다. 종합하면, 이 연구는 절차형 작업을 수행하는 사용자를 위한 멀티모달 조력자를 단계 예측형 시스템이 아니라 실시간 개입형 코치로 재정의하며, 실제 상황에 더 가까운 데이터와 아키텍처, 학습 전략을 함께 제시했다는 점에서 의미가 큽니다.
기존 보청기는 대체로 고정된 주파수 의존 증폭과 압축에 의존해 청력 저하를 보정해 왔지만, 여러 화자가 동시에 말을 하는 복잡한 환경에서는 충분한 청취 지원을 제공하지 못하는 한계가 있습니다. 이러한 문제의식에서 제안된 Differentiable Auditory Loop(DAL)는 청각계를 미분 가능한 형태로 모델링하고, 이를 바탕으로 보청기 신호 처리를 개인별로 최적화하는 오픈소스 프레임워크입니다. DAL의 첫 구현은 인간 달팽이관 기능을 근사하는 미분 가능 모델인 CARFAC을 JAX로 포팅해 역전파 기반 최적화가 가능하도록 구성했으며, 단순히 소리를 증폭하는 대신 청력 손실이 초래하는 비정상적인 청각 신경 활동 패턴을 정상 청력의 기준 패턴에 가깝게 맞추는 것을 목표로 삼았습니다. 이를 위해 파형에서 파형으로 직접 변환하는 완전 합성곱 U-Net 기반 생성기인 SEANet을 채택해, 보청기처럼 지연과 연산 자원이 제한된 환경에서도 적용 가능한 구조를 설계했습니다.
학습 과정에서는 정상 청력을 모사한 CARFAC 출력과 각 피험자의 청력 손실에 맞춘 CARFAC 출력의 차이를 최소화하도록 네트워크를 조정했으며, 이때 손실 함수는 신경 활동 패턴(Neural Activity Pattern, NAP)과 안정화 청각 이미지(Stabilized Auditory Image, SAI)라는 두 가지 청각 표현을 기반으로 정의되었습니다. NAP은 시간 미세구조에 민감한 신경 반응을 직접 반영하고, SAI는 위상에 덜 민감하면서도 달팽이관 출력의 시간적 구조를 2차원적으로 안정적으로 포착한다는 점에서 서로 다른 보완적 정보를 제공합니다. 이러한 목적함수 아래에서 SEANet은 입력 신호를 정제하는 데 그치지 않고, 개인별 청력 손실 모델이 만들어내는 왜곡 자체를 보정하도록 학습됩니다. 그 결과 DAL로 최적화된 SEANet은 신경 표현 지표와 신호 충실도 지표 모두에서 기존 Master Hearing Aid(MHA) 기준선보다 우수한 성능을 보였다고 보고됩니다.
이 접근의 중요한 점은 청력 손실을 단순한 감쇠 문제가 아니라 달팽이관 수준의 부호화 왜곡으로 재정의했다는 데 있습니다. 다시 말해, DAL은 소리를 더 크게 만드는 보정이 아니라 청각 신경계가 실제로 받아들이는 표현 자체를 정상에 가깝게 복원하려는 방향으로 설계되었습니다. 또한 생물학적으로 타당한 청각 모델과 표현력이 높은 신경망을 결합함으로써, 기존의 다중 대역 이득 조절이나 압축만으로는 포착하기 어려운 비선형적이고 문맥 의존적인 보정을 학습할 수 있음을 보여줍니다. 저자들은 이 프레임워크가 더 복잡한 청력 손실 양상으로도 확장 가능한 모델-불가지론적 플랫폼이라고 설명하며, 향후 하드웨어 탑재와 실제 임상 시험으로 이어질 가능성을 제시합니다. 따라서 DAL은 하이퍼-개인화 보청기 설계가 단순한 처방 중심 방식을 넘어, 개별 청취자의 생물학적 특성에 맞춘 기계학습 기반 신호 처리로 발전할 수 있음을 보여주는 의미 있는 제안으로 볼 수 있습니다.
소형 오픈웨이트 모델은 장편 창작 글쓰기에서 요청한 길이에 한참 못 미치거나, 길이가 길어질수록 품질이 크게 떨어지는 경향이 있으며, 특히 최첨단 모델과 비교하면 그 차이가 더 두드러집니다.
연구진은 이를 개선하기 위해 POLARIS(Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting)라는 저비용 GRPO 학습 레시피를 제안했습니다.
이 방법은 구조화된 Story Quality 기준을 사용하는 최첨단 대규모 언어 모델(LLM) 심사자를 온라인 보상으로 활용하고, 사람 작성 본문을 교사 강제(human-reference injection, HRI) 방식의 고보상 앵커로 주입하는 두 가지 핵심 요소로 구성됩니다.
이 학습 레시피를 Qwen3.5-9B에 적용해 약 1.4K개의 프롬프트-스토리 쌍과 100개 단편소설 앤솔로지, 4개의 A100 GPU로 학습한 결과 POLARIS-9B를 얻었습니다.
다섯 개의 벤치마크에서 POLARIS-9B는 분포 내·외 프롬프트와 서로 다른 평가 기준 전반에 걸쳐 더 큰 오픈웨이트 모델들과 경쟁할 만한 성능을 보이면서, 길이 지시를 더 정확히 따랐습니다.
블라인드 인간 평가는 POLARIS-9B가 기본 Qwen3.5-9B보다 선호되며, Qwen3.5-27B와는 비슷한 수준임을 확인했습니다.
또한 최대 4천 단어 길이의 이야기로만 학습했음에도, 학습 길이의 최대 3배에 달하는 길이를 요구하는 프롬프트에서도 품질을 상당 부분 유지했습니다.
전체적으로 이 결과는 길이 일반화(length generalization)가 창작 글쓰기 모델을 평가하는 중요한 스트레스 테스트이며, 비슷해 보이는 모델들을 구분하는 유용한 관점임을 보여줍니다.
멀티에이전트 토론(Multi-Agent Debate)은 여러 모델이 서로의 답변을 비판하고 검증함으로써 더 나은 결과를 얻으려는 대표적인 협력적 추론 방식이지만, 이 논문은 그 효용이 결코 일관적이지 않다는 점을 데이터 정제(data cleaning)라는 구체적 과제에서 정교하게 보여 줍니다. 저자들은 세 개의 벤치마크와 네 개의 모델 계열, 그리고 6,000개가 넘는 작업-조건 조합을 체계적으로 비교하여, 토론이 생성(generation) 성능에서는 오히려 결과를 악화시키는 경우가 많고, 오류 검출(error detection)에서는 반대로 뚜렷한 향상을 가져온다는 사실을 확인했습니다. 생성 성능의 저하는 단순한 부작용이 아니라, 비판이 과도한 혼란을 일으키는 critique-induced confusion(CIC) 현상으로 설명되며, Critic이 만들어낸 환각(hallucinated) 피드백을 Generator가 충분히 검증하지 않은 채 받아들이는 구조가 그 원인으로 제시됩니다. 실제로 네 개의 모델 가족 전체에서 생성 품질은 1.6퍼센트포인트(pp)에서 15.5퍼센트포인트(pp)까지 떨어졌지만, 오류 검출에서는 F1 점수(F1 score)가 27.4퍼센트포인트(pp) 향상되고 효과 크기(effect size)도 d=1.0에 이를 만큼 강한 개선이 관찰되었습니다. 이러한 상반된 결과는 멀티에이전트 토론을 단순한 “더 많은 의견 교환”으로 보는 시각이 충분하지 않으며, 작업의 성격에 따라 검출과 수정이 서로 다른 메커니즘으로 작동한다는 점을 시사합니다. 이를 바탕으로 저자들은 토론이 도움이 되려면, 잘못된 출력을 되살릴 가능성, 즉 Critic의 검증 가능성과 수정 가능성을 함께 고려한 이득 조건(debate benefit condition)을 만족해야 한다는 이론적 기준을 도출합니다. 다시 말해, 토론은 틀린 출력을 고쳐낼 확률이 올바른 출력을 망가뜨릴 확률보다 클 때에만 순이익을 낼 수 있으며, 이 조건은 아홉 가지 작업 유형을 모두 정확히 예측하고 일곱 개 도메인에서 보고된 19개의 기존 비교에도 거짓 양성(false positive) 없이 일반화되었습니다. 특히 동일한 도구를 공유하는 자기검증(self-verification)은 실패했지만, 코드 실행(code execution)에 근거한 별도의 Critic과 증거가 충분할 때만 수정을 허용하는 evidence-gated generation을 결합한 적대적 분리(adversarial separation) 구조는 생성 작업에서 단일 에이전트를 통계적으로 유의하게 처음 능가하는 결과를 만들었습니다. 이러한 결과는 멀티에이전트 토론의 핵심이 에이전트 수를 늘리는 데 있는 것이 아니라, 비대칭적인 정보 기반과 검증 구조를 얼마나 엄밀하게 설계하느냐에 있음을 보여 줍니다. 결국 이 연구는 데이터 정제에서 토론의 가치를 무조건적으로 찬양하거나 배제하는 대신, 어떤 조건에서 비판이 생산적 검증으로 이어지고 어떤 조건에서 혼란으로 전락하는지를 구분할 수 있는 실용적이고 이론적인 기준을 제시합니다.
검색 에이전트는 종종 성장하는 트랜스크립트 위의 정책으로 학습되는데, 모델은 검색 방법을 결정하는 동시에 자신이 본 내용, 어떤 증거가 유용한지, 어떤 제약이 아직 열려 있는지, 그리고 어떤 주장들이 실제로 검증되었는지를 기억해야 합니다.
저자들은 이런 설정이 정책(policy) 내부에 너무 많은 상태 관리 부담을 지우며, 강화학습이 의미 있는 검색 의사결정과 환경이 더 안정적으로 처리할 수 있는 복구 가능한 기록 관리를 동시에 최적화하게 만든다고 봅니다.
이를 해결하기 위해 상태 외부화 하네스(state-externalizing harness) 안에서 강화학습으로 학습한 20B 검색 에이전트 Harness-1을 제안합니다.
이 하네스는 후보 풀, 중요도 태그가 붙은 정제 집합, 압축된 증거 링크, 검증 기록, 압축·중복 제거된 관찰, 예산을 고려한 컨텍스트 렌더링 등 환경 측 작업 기억을 관리합니다.
반면 정책은 무엇을 검색할지, 어떤 문서를 유지하거나 버릴지, 무엇을 검증할지, 언제 종료할지를 포함한 의미적 결정을 맡습니다.
웹, 금융, 특허, 다중 홉 질의응답을 포함한 8개 검색 벤치마크에서 Harness-1은 평균 curated recall 0.730을 달성해, 다음으로 강한 오픈 소스 검색 서브에이전트보다 11.4포인트 높았습니다.
특히 학습 도메인을 벗어난 전이 벤치마크에서 성능 향상이 두드러져, 명시적 검색 상태에 대한 강화학습이 더 잘 일반화되는 검색 행동을 만들 수 있음을 시사합니다.
비단조 시퀀스 생성(non-monotonic sequence generation)은 토큰을 반드시 왼쪽에서 오른쪽으로만 채우는 자기회귀 모델링(left-to-right autoregressive modeling)의 제약을 넘어, 생성 순서를 유연하게 다룰 수 있다는 점에서 중요한 대안으로 주목받아 왔습니다. 그러나 기존의 많은 삽입 기반 생성(insertion-based generation) 또는 마스크 확산(masked diffusion) 계열 방법은 순서에 둔감한(order-agnostic) 설계와 고정 길이 그리드(fixed-length grid)에 의존하는 구조를 유지해, 길이가 가변적인 문제나 데이터에 따라 삽입 순서가 달라져야 하는 상황을 충분히 반영하지 못했습니다. 이러한 한계를 넘어, 이 연구는 삽입 궤적(insertion trajectory)과 순열(permutation) 사이의 전단사 대응(bijective correspondence)을 정식화함으로써, 삽입 과정을 순열 공간 위에서 정확하게 다룰 수 있는 확률적 틀을 제시합니다. 이를 통해 데이터 우도를 단순한 경로 추적이 아니라 순열들의 합으로 재매개변수화할 수 있게 되었고, 생성 순서 자체를 학습 가능한 잠재 구조로 해석할 수 있게 되었습니다.
이 이론적 정식화를 바탕으로 제안된 Insertion Process(IP)는 어디에 삽입할지(where to insert), 무엇을 삽입할지(what to insert), 그리고 언제 종료할지(when to terminate)를 하나의 확률적 생성 모델 안에서 동시에 학습합니다. 특히 이 모델은 삽입 순서를 미리 고정하거나 사람이 설계한 규칙에 맡기지 않고, 순열 기반 변분 추론(variational inference)을 통해 데이터로부터 적절한 삽입 순서를 직접 학습한다는 점에서 기존 접근과 구별됩니다. 다시 말해, 생성 과정의 중간 단계가 단순한 구현 세부가 아니라, 모델이 학습해야 할 핵심 확률 변수로 승격됩니다. 또한 가변 길이 생성을 자연스럽게 지원하므로, 고정된 캔버스를 채우는 방식보다 더 유연하고 표현력 있는 생성이 가능합니다.
종료 처리 측면에서도 이 논문은 중요한 단순화를 보여 줍니다. 기존의 정책 기반 종료(policy-based termination)는 별도의 종료 헤드와 손실 전환을 필요로 하여 학습 구조가 복잡해지는 반면, 여기서는 종료를 End-of-Sequence(EOS) 토큰 예측으로 흡수하는 분류 기반 종료(classifier-based termination)를 사용합니다. 이 방식은 증강된 증거 하한(augmented Evidence Lower Bound, ELBO)을 통해 정리되며, 종료 항이 사실상 일반적인 예측 문제의 일부로 통합되도록 만듭니다. 그 결과 학습 목적이 단순해질 뿐 아니라, 종료 시점에 대한 변분 분포도 안정적으로 다룰 수 있어 샘플 효율과 최적화 안정성이 함께 향상됩니다.
실험에서는 goal-conditioned planning과 molecular string generation이 사용되었으며, 두 과제 모두 명확한 좌에서 우로의 생성 구조가 본질적이지 않다는 공통점을 가집니다. 이런 환경에서 IP는 데이터 주도적 삽입 선호도를 학습하여 모델링 품질과 일반화를 동시에 개선하는 모습을 보입니다. 특히 분자 문자열 생성처럼 순서의 자의성이 큰 문제에서는, 삽입 순서를 학습하는 접근이 단순히 토큰을 채우는 것보다 더 나은 구조적 이해를 제공할 수 있음을 보여 줍니다. 종합하면, 이 연구는 삽입 기반 생성의 순서를 부차적인 구현 요소가 아니라 확률적으로 학습해야 할 핵심 대상으로 재해석함으로써, 가변 길이 생성과 비단조 구조 학습을 하나의 일관된 변분적 프레임워크로 통합한 의미 있는 진전을 제시합니다.
대규모 언어 모델에서 Mixture-of-Experts(MoE) 구조는 파라미터 수와 계산량을 분리해 확장성을 높이는 유력한 방법으로 자리 잡았지만, 전문가 수를 늘리거나 더 세분화된 전문가를 도입할수록 라우팅 비용이 커져 또 다른 병목이 발생한다. 이러한 한계를 겨냥해 DAG-MoE는 전문가를 선택하는 방식보다, 선택된 전문가의 출력을 어떤 구조로 결합할 것인가에 주목하며, 기존의 단순 가중합(weighted summation) 집계 대신 유향 비순비 그래프(DAG, Directed Acyclic Graph) 기반의 구조적 집계를 도입한다. 핵심 아이디어는 라우터와 전문가 자체는 그대로 유지한 채, 전문가 출력의 조합 경로를 학습 가능한 그래프로 바꾸어 더 풍부한 전문가 결합 공간을 확보하는 데 있다. 이를 통해 동일한 Top-K 선택 결과를 사용하더라도, 출력이 한 번에 섞이는 것이 아니라 중간 표현을 거치며 단계적으로 결합될 수 있어, 한 개의 MoE 층 안에서도 다단계 추론(multi-step reasoning)에 가까운 계산 흐름을 구현할 수 있다. 특히 이 접근은 전문가를 더 많이 추가하는 방식이 아니라 집계 구조의 자유도를 넓히는 방식이므로, 성능 향상과 확장성 사이의 균형을 새롭게 설계한다는 점에서 의미가 크다.
방법론적으로 DAG-MoE는 선택된 전문가들을 그래프의 0층 노드로 두고, 이후의 중간 노드들이 AGG 집계를 통해 생성된 표현을 다시 결합하는 계층적 계산 과정을 형식화한다. 논문은 가능한 DAG 공간을 명시적으로 정의한 뒤, 그 안에서 최적의 집계 구조를 학습하는 경량 모듈을 설계하여 복잡한 구조 탐색을 효율적으로 수행한다. 이러한 설계는 라우터가 담당하는 “누구를 선택할 것인가”와 구조 학습 모듈이 담당하는 “어떻게 결합할 것인가”를 분리함으로써, 기존 MoE의 sparsity 장점을 유지하면서도 표현력을 확장한다. 또한 노드와 간선으로 이루어진 DAG 표기는 트리 구조를 포함하는 더 일반적인 형태를 포괄하므로, 단순한 계층적 평균이나 선형 결합보다 훨씬 다양한 조합 패턴을 표현할 수 있다. 결국 DAG-MoE의 본질은 전문가 집합을 바꾸는 것이 아니라, 전문가 출력이 상호작용하는 방식을 그래프 구조로 재구성하는 데 있다.
실험적으로는 표준 언어 모델링 환경에서 사전학습(pretraining)과 파인튜닝(fine-tuning) 모두를 평가하여, 구조적 집계가 특정 조건에만 국한된 기법이 아님을 보여 준다. 보고된 결과에 따르면 DAG-MoE는 전통적인 MoE 기준선들을 일관되게 능가하며, 이는 성능 개선의 주된 원인이 전문가 수의 증가나 라우팅 복잡도의 확대가 아니라 집계 구조 자체에 있음을 시사한다. 특히 동일한 전문가와 라우터를 유지한 상태에서 개선이 나타났다는 점은, MoE의 병목이 선택 단계뿐 아니라 결합 단계에도 존재한다는 논지를 강하게 뒷받침한다. 이러한 관점은 앞으로의 MoE 연구가 라우팅, 전문가 분해, 집계 연산을 함께 고려해야 함을 보여 주며, MoE를 단순한 파라미터 절감 기법이 아니라 계층적 추론을 담아낼 수 있는 계산 구조로 확장할 가능성을 제시한다. 요약하면, DAG-MoE는 MoE 스케일링의 초점을 “더 많은 전문가”에서 “더 정교한 구조적 집계”로 이동시킨 방법론적 제안이며, 적은 추가 비용으로 더 높은 표현력과 안정적인 성능 향상을 동시에 추구한다는 점에서 중요한 기여를 갖는다.
절차적 3차원 모델링을 코드로 수행하는 방식은 신경망 기반 3차원 생성이 제공하기 어려운 결정론성, 엔진 즉시 사용 가능성, 정밀 편집 가능성을 함께 제공한다는 점에서 큰 잠재력을 지니지만, 실제 구현에는 3차원 소프트웨어 응용 프로그램 인터페이스(API) 이해와 파라메트릭 설계, 코드 수준의 기하 추론이 모두 요구되어 진입 장벽이 매우 높습니다. 이러한 문제의식을 바탕으로 3DCodeBench는 비전-언어 모델(vision-language model, VLM) 에이전트가 텍스트와 이미지 참조를 절차적 3차원 코드로 얼마나 정확하게 변환할 수 있는지를 체계적으로 평가하는 벤치마크로 제안됩니다. 이 벤치마크는 단순히 코드 실행 가능성만을 보지 않고, 생성된 3차원 결과물의 형상 품질과 지각적 적합성까지 함께 고려하도록 설계되었으며, 총 12개의 고급 VLM을 대상으로 실제 모델링 워크플로우에 가까운 조건에서 성능을 측정합니다. 특히 저자들은 Infinigen 기반의 절차적 자산 생성 흐름을 활용해 인간 검증이 포함된 에이전트형 큐레이션 파이프라인을 구축하고, 약 2만 6천 개 규모의 멀티모달 프롬프트와 절차적 코드, 3차원 객체 삼중항을 212개 범주에 걸쳐 정제하여 대규모 평가 자원을 마련했습니다. 이는 단순한 데이터셋 확장을 넘어, 복잡한 기하 구조와 긴 코드 길이를 요구하는 실제 제작 과제를 대표하도록 설계되었다는 점에서 의미가 큽니다.
평가 체계의 또 다른 핵심은 자동 지표의 한계를 보완하기 위해 3DCodeArena라는 인간 선호 기반 랭킹 플랫폼을 함께 구축했다는 점입니다. 3DCodeArena는 생성된 3차원 결과물 쌍에 대한 쌍대 비교(pairwise) 인간 선호를 통해 순위를 매기고, 이를 엘로(Elo) 랭킹으로 정리함으로써 단순 렌더 성공 여부나 기하 정합성 점수만으로 포착하기 어려운 지각적 품질을 반영합니다. 이와 함께 실행 가능성, 시점 유사도, 3차원 기하 정렬 등 여러 자동 평가를 병행하여, 코드가 돌아가는지뿐 아니라 실제로 어떤 형태의 객체가 만들어졌는지를 다층적으로 진단합니다. 실험 결과는 실패의 상당수가 복잡한 추론 부족보다 API 불일치에서 비롯되며, 실행에 성공한 경우에도 끊어진 기하 요소나 공중에 떠 있는 부품처럼 구조적으로 불안정한 결과가 자주 발생한다는 점을 보여줍니다. 반면 테스트 시점 확장(test-time scaling), 즉 더 큰 사고 예산과 다중 턴(multi-turn) 정제 전략은 전반적인 성능을 유의미하게 끌어올렸고, 이는 반복적 오류 수정과 고충실도 피드백이 절차적 3차원 모델링에서 특히 중요하다는 사실을 뒷받침합니다.
이 연구는 결국 코드 기반 3차원 생성이 단발성 생성 문제가 아니라, 실행, 오류 분석, 재작성, 시각적 검증이 연결된 에이전트형 문제라는 점을 분명하게 보여줍니다. 또한 상용 VLM의 잠재력을 실제로 끌어올리기 위해서는 고품질 절차적 코딩 데이터와 함께, 렌더링 결과에 대한 정확한 피드백을 제공하는 견고한 실행 환경이 필수적이라는 점도 강조합니다. 요약하면 3DCodeBench는 절차적 3차원 모델링을 코드 생성 중심의 새로운 평가 문제로 정식화하고, 3DCodeArena를 통해 인간이 체감하는 품질까지 반영하는 평가 기반을 제시함으로써, 향후 비전-언어 모델이 정교한 3차원 제작 에이전트로 발전하기 위한 실질적인 토대를 마련합니다.
생성형 인공지능(Generative AI, GenAI)의 확산은 적대적 합성 콘텐츠의 생산과 변형 비용을 크게 낮추면서, 기존의 사후적 탐지 방식만으로는 조작 서사를 따라잡기 어렵다는 문제를 분명하게 드러냅니다. 이에 따라 이 서베이는 이미 퍼진 허위 정보를 뒤늦게 식별하는 접근을 넘어, 새로운 비진정성 서사가 형성되고 증폭되기 이전의 징후를 포착하는 사전적(proactive) 탐지 패러다임을 제안합니다. 이를 위해 저자들은 조작 캠페인의 사회기술적 생애주기와 계산적 탐지 기법을 하나의 틀로 묶는 C5 Interaction Model(C5 상호작용 모델)을 중심 축으로 삼아, Context, Causes, Content, Cycle of Amplification, Consequences의 다섯 단계에 따라 관련 연구를 체계적으로 재구성합니다. 이 프레임은 단순히 콘텐츠의 진위만 보는 것이 아니라, 어떤 맥락에서 어떤 동기로 생성되었고, 어떤 방식으로 증폭되며, 어떤 사회적 결과로 이어지는지를 함께 분석하게 해 줍니다.
방법론적으로는 먼저 새로운 서사의 생성, 시드(seed), 전파, 증폭 과정을 설명하기 위해 조직적 비진정성 행위(Coordinated Inauthentic Behavior, CIB), 역학적 확산 모델, 그리고 Hawkes process를 활용한 확산 동역학 연구를 정리합니다. 이어서 다층 이상탐지(multi-layered anomaly detection), 비지도 협조 탐지(unsupervised coordination detection), 에이전트형 인공지능(agentic AI)과 멀티에이전트 시스템을 세 축으로 하는 프로액티브 탐지 전략을 제시하며, 각 단계에서 어떤 신호를 포착할 수 있는지를 입체적으로 보여 줍니다. 특히 대형 언어 모델(Large Language Model, LLM) 임베딩 공간에서의 이상치 탐지, 멀티레이어 그래프 위에서의 협조 패턴 식별, 그리고 행동 로그와 메타데이터를 결합한 군집 수준의 분석은 개별 게시물보다 집단적이고 구조적인 비정상성을 드러내는 데 초점을 둡니다. 이러한 접근은 정교한 합성 문장 자체를 판별하는 데서 멈추지 않고, 정상적인 관심 급증과 인위적 증폭을 구분하는 분포적 편차를 찾아낸다는 점에서 중요합니다.
또한 이 서베이는 실시간 주장 검증을 위한 에이전트형 시스템의 가능성을 별도의 축으로 다룹니다. 다중 에이전트 토론(Adversarial Multi-Agent Debate, MAD/TED), Agent-as-a-Judge(AaaS) 메타평가, 검색증강생성(Retrieval-Augmented Generation, RAG) 기반 검증은 빠르게 변하는 위협 환경에서 외부 근거를 바탕으로 판단을 갱신할 수 있게 해 주며, 환각(hallucination)과 근거 없는 추론을 줄이는 데 기여합니다. 저자들은 이러한 검증형 접근이 단순 분류기보다 최신 사건과 멀티모달 증거에 더 유연하게 대응할 수 있다고 보면서도, 비용, 재현성, 도구 오류, 평가 기준의 불안정성과 같은 현실적 제약도 함께 짚습니다. 결국 이 논문의 핵심 기여는 서로 분리되어 있던 정보확산 연구, 그래프 기반 이상탐지, 사회과학적 캠페인 분석, 그리고 에이전트 기반 검증을 하나의 생애주기 중심 관점으로 통합한 데 있습니다. 나아가 빠르게 변하는 위협과 다층 분포 드리프트(distributional drift)에 대응하기 위해서는 단발성 정확도보다 비정상 군집을 조기에 감지하고, 변화에 적응하며, 확산을 예측할 수 있는 회복탄력적(resilient) 시스템이 필요하다는 연구 의제를 제시합니다. 이런 점에서 본 서베이는 가짜를 더 잘 분류하는 방법을 넘어, 가짜가 커지기 전에 그 징후를 읽어내는 정보 생태계의 선제적 방어 설계를 제안하는 작업으로 이해할 수 있습니다.
주의력결핍/과잉행동장애(ADHD)는 발달 수준에 맞지 않는 부주의, 과잉행동, 충동성의 패턴으로 나타나며, 의사결정과 감정 조절에 어려움을 동반하는 정신과적 장애입니다.
디지털 및 AI 기반 감정 조절(ER) 지원이 확대되었지만, 기존 시스템은 이론적 통합이 약하고 신경다양성을 충분히 반영하지 못하며, 심리학적 통찰과 디자인 실천을 연결하는 체계적인 사용자 경험 연구(UXR) 방법론도 부족합니다.
본 연구는 UXR Point of View(PoV) Playbook에 기반한 생성형 AI 증강 UXR 방법론을 제안하여, ADHD 성인을 위한 감정적으로 지능적이고 신경포용적인 디지털 감정 조절 개입 설계를 지원합니다.
이 방법론은 변증법적 행동치료(DBT), 자기결정성이론(SDT), COM-B 행동 모델과 같은 확립된 심리학 프레임워크 및 실증적 근거를 통합합니다.
또한 생성형 AI를 공동 분석 도구로 활용해 정보 종합, 가설 형성, 설계 표현을 보조합니다.
구체적으로는 AI 지원 가설 생성, 기초 계획, Building Blocks를 통한 인사이트 생성, 이해관계자별 PoV 서사 구성의 4단계 UXR 프로세스로 운영됩니다.
그 결과 심리 메커니즘과 실증 결과를 실행 가능한 설계 지침으로 전환한 10개의 이론 기반 UXR 플레이 카드가 도출됩니다.
핵심 기여는 생성형 AI를 UXR 실무에 통합하기 위한 재현 가능하고 편향을 고려한 프레임워크를 제시해, 인간 중심적이고 신경포용적인 디지털 정신건강 디자인을 진전시킨다는 점입니다.
복잡한 추론을 다루는 대규모 언어 모델(large language model, LLM)의 후학습에서, 단순히 정답률을 높이는 것보다 다양한 추론 경로를 안정적으로 유지하는 것이 얼마나 중요한지를 보여 주는 연구가 바로 이 작업입니다. 특히 Lean4 정리 증명처럼 탐색 공간은 넓지만 검증 결과는 명확하게 판정되는 형식 수학(formal mathematics) 환경에서는, 슈퍼바이즈드 파인튜닝(supervised fine-tuning, SFT)과 검증 가능한 보상을 이용한 강화학습(reinforcement learning with verifiable rewards, RLVR), 그중에서도 Group Relative Policy Optimization(GRPO)의 한계가 더 분명하게 드러납니다. 저자들은 GRPO가 희소한 보상, 제한된 탐색, 그리고 모드 붕괴(mode collapse)에 취약하다고 보고, 이러한 문제를 보완하기 위해 Feedback Distillation이라는 새로운 자기 증류(self-distillation) 방식을 제안합니다. 이 방법은 정답 해답 자체를 모방하는 대신, 모델이 생성한 시도와 Lean verifier의 출력을 바탕으로 언어 모델이 생성한 피드백을 토큰 단위로 따라 배우도록 설계되어 있습니다. 다시 말해, 무엇을 정답으로 맞히느냐보다 어떤 증명 경로가 더 유망한지, 어디를 수정해야 하는지에 대한 풍부한 중간 신호를 학습에 직접 주입한다는 점이 핵심입니다.
구체적으로는 학생 정책이 증명 시도 궤적을 생성하면, 교사 역할의 모델이 그 시도에 대한 피드백을 조건으로 새로운 분포를 형성하고, 학생은 그 분포와 토큰 수준에서 일치하도록 학습합니다. 이때 교사와 학생은 동일한 모델 복제본일 수도 있고, 외부의 더 강한 언어 모델을 사용할 수도 있으며, 교사 가중치는 지수이동평균(exponential moving average, EMA)으로 갱신되어 학습 안정성을 높입니다. 또한 전체 어휘에 대한 비용을 줄이기 위해 상위 K개 토큰만 사용하는 근사도 적용하여, 실제 훈련 가능성과 계산 효율을 함께 확보했습니다. 이러한 설계는 궤적 전체에 하나의 보상만 주는 방식과 달리, 각 토큰 위치에서 더 나은 다음 선택을 직접 제시하므로 실패한 증명 경로에서도 유의미한 학습 신호를 얻을 수 있다는 장점이 있습니다. 특히 Lean4처럼 작은 전술 선택의 차이가 전체 증명 성패를 가르는 환경에서는, 이런 세밀한 감독이 단순한 보상 최적화보다 훨씬 실질적인 도움을 줍니다.
실험 결과는 이 아이디어가 실제로 탐색 다양성을 유지하는 데 효과적임을 보여 줍니다. Feedback Distillation은 GRPO보다 더 높은 정책 엔트로피(policy entropy)를 유지하며, 여러 후보를 생성해 검증하는 pass@k 성능에서도 더 좋은 확장성을 보였습니다. 더 중요한 점은 두 방법이 경쟁 관계가 아니라 상호 보완적이라는 사실로, Feedback Distillation으로 먼저 초기화한 뒤 GRPO를 적용하면 어느 한 방법만 사용했을 때보다 더 높은 성능을 얻었습니다. 이는 Feedback Distillation이 좋은 해답을 직접 제공하는 대신, 이후 강화학습이 활용할 수 있는 더 넓고 건강한 탐색 공간을 만들어 주는 역할을 한다는 해석을 가능하게 합니다. 저자들은 또한 피드백의 출처와 형식이 학습 역학을 크게 바꾼다는 점을 분석하며, 정답 자체보다 비평형 피드백이 불확실성 표현과 생성 다양성을 더 잘 보존한다는 점도 확인했습니다. 결국 이 연구는 복잡한 추론 후학습에서 보상 최적화와 더불어, 피드백 기반의 토큰 수준 감독과 다양성 유지가 함께 고려되어야 한다는 점을 설득력 있게 제시합니다.
대규모 언어 모델(LLM)의 능력에서 나타나는 다국어 간 격차를 탐지하기 위해 합성 알고리즘 태스크 집합을 소개합니다.
제안된 벤치마크는 각 언어에서 동일한 기본 태스크를 수행하게 하므로 언어 간 비교 가능성이 높습니다.
또한 태스크의 복잡도를 여러 수준으로 생성할 수 있어, 서로 다른 성능 수준의 모델에도 유연하게 적용할 수 있습니다.
모든 태스크는 정답 여부를 객관적으로 판별할 수 있어 정량적 평가가 가능합니다.
아울러 단순한 템플릿으로 생성되므로 번역 오류를 감사하고 검증하기 쉬워 투명성이 높습니다.
이 벤치마크는 알고리즘 태스크에 초점을 맞추기 때문에, 언어별 성능 차이는 다국어 간 격차의 충분한 지표가 되지만 필수 조건은 아닙니다.
그럼에도 광범위한 실험 결과, 여러 최신 모델에서 지속적인 다국어 간 격차가 확인되었습니다.
대규모 언어 모델(LLM) 기반 에이전트가 웹 검색이나 심층 조사처럼 단계가 길고 중간 판단이 누적되는 장기 과업(long-horizon tasks)을 수행할 때, 가장 큰 장애물 가운데 하나는 대화가 길어질수록 유효한 단서와 불필요한 과거 정보가 뒤섞여 추론이 흔들린다는 점입니다. 기존의 컨텍스트 관리 방법은 에이전트 내부 정책을 함께 학습하거나 요약과 같은 고정 전략에 의존하는 경우가 많았는데, 이러한 방식은 폐쇄형(closed-source) 에이전트에 적용하기 어렵고 에이전트마다 요구되는 관리 방식이 다를 수 있다는 현실을 충분히 반영하지 못합니다. 이를 해결하기 위해 제안된 Adaptive Context Management(AdaCoM)은 고정된 에이전트(frozen agent)는 그대로 유지한 채, 외부의 또 다른 LLM이 컨텍스트를 동적으로 편집하도록 학습하는 접근을 취합니다. 여기서 핵심은 단순히 긴 대화를 압축하는 것이 아니라, 메시지 단위로 삭제, 재작성, 병합을 수행하면서 현재 과업에 필요한 제약조건과 진행 상황은 보존하고 오래된 잡음은 제거하는 유연한 수정 행동을 학습하는 데 있습니다. 이러한 설계는 컨텍스트 관리를 정적인 전처리가 아니라, 에이전트의 성공률을 직접 개선하는 정책 학습 문제로 재정의한다는 점에서 의미가 큽니다.
AdaCoM은 먼저 컨텍스트 관리자를 구조화된 출력 형식에 익숙하게 만드는 지도 미세조정(supervised fine-tuning, SFT)으로 출발한 뒤, 실제 과업 성과를 보상으로 삼아 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)로 정책을 정교화합니다. 이 과정에서 관리자는 현재 컨텍스트를 프롬프트로 변환해 입력받고, 마르코프 의사결정 과정(Markov decision process, MDP) 관점에서 매 단계마다 어떤 메시지를 유지하거나 수정할지를 선택합니다. 또한 최종 정답만 보는 대신, 컨텍스트 길이 초과, 반복적인 도구 호출, 형식 오류, 중간 단계의 과업 신호 등을 반영한 과정 보상(process reward)을 함께 설계하여 장기 과업에서 중요한 국소적 편집 품질까지 학습하도록 만듭니다. 이를 통해 AdaCoM은 단순한 요약기가 아니라, 에이전트가 안정적으로 사고를 이어 가도록 돕는 적응형 편집 정책으로 동작합니다.
실험적으로는 웹 검색과 심층 조사 벤치마크에서 다양한 에이전트에 적용했을 때 성능 향상이 확인되었으며, 특히 본래 ReAct(Reasoning and Acting) 방식의 기본 성능이 높은 에이전트일수록 더 높은 충실도의 컨텍스트 보존이 유리하고, 반대로 상대적으로 약한 에이전트는 더 공격적인 압축을 통해 안정적인 추론 구간에 머무르는 편이 효과적이라는 사실이 드러났습니다. 저자들은 이를 fidelity-reliability trade-off로 해석하며, 컨텍스트 관리가 에이전트의 능력 수준에 따라 달라져야 함을 보여 줍니다. 더 나아가 전이 실험에서는 유사한 능력 특성을 지닌 에이전트 사이에서 AdaCoM의 전략이 더 잘 이전되는 경향이 관찰되어, 하나의 보편적 요약 규칙보다 재사용 가능한 외부 컨텍스트 관리자라는 방향이 실용적일 수 있음을 시사합니다. 결국 이 연구는 장기 과업에서의 실패 원인을 에이전트 추론 능력만으로 보지 않고, 그 추론을 지지하는 컨텍스트 관리 자체를 학습 가능한 핵심 구성 요소로 다룬다는 점에서 중요한 방법론적 진전을 제시합니다.