인공지능(AI) 기반 합성 연구 데이터는 인간 참여자의 응답을 얼마나 잘 재현할 수 있을까? 최근 문헌들은 조직 연구 관행에 중대한 시사점을 던지는 이 질문을 다루기 시작했다. 본 논문은 실리콘밸리 코더 및 개발자 420명을 대상으로 한 인간 응답자 설문 조사와 실제 설문 응답자를 시뮬레이션하도록 설계된 5개 주요 생성형 AI 대규모 언어 모델(LLM)(ChatGPT Thinking 5 Pro, Claude Sonnet 4.5 Pro plus Claude CoWork 1.123, Gemini Advanced 2.5 Pro, Incredible 1.0, DeepSeek 3.2)이 생성한 합성 설문 데이터를 비교 제시한다. 연구 결과, AI 에이전트(agent)는 예상보다 재현성과 조화에 치우친 기술적으로 그럴듯한 결과를 생성했으나, 그 어떤 모델도 인간 대상 설문 조사를 가치 있게 만들었던 직관에 반하는 통찰을 포착하지 못했다. 더욱이 모든 모델의 편차는 서로 유사하게 군집화되어 실제 데이터가 이상치(outlier)로 남게 되었다. 본 연구의 핵심 발견은 주요 LLM이 연구에서 인간의 설문 응답을 확장, 재현 및 대체하는 데 점점 더 많이 사용되고 있지만, 이러한 발전은 새로운 발견을 드러내기보다는 서로 조화를 이루며 통념을 흉내 내는(parrot) 능력이 증가했음을 보여줄 뿐이라는 점이다. 향후 연구에서 합성 응답자를 활용하려면 합성 설문 데이터를 책임감 있게 사용할 수 있는 시기와 장소에 대해 재현 가능한 검증 프로토콜과 보고 표준이 더 많이 필요하며, 본 논문이 이러한 공백을 메운다. 본 연구 결과는 합성 설문 응답이 특히 이전에 문서화된 증거가 부족한 맥락에서 조직 내 실제 인간의 사회적 신념을 유의미하게 모델링할 수 없음을 시사한다. 결론적으로 우리는 합성 설문 기반 연구가 엄밀한 설문 조사 방법론의 대체재가 아니라, 연구 대상 집단에 대한 사회적 가정, 통념 및 기타 기대치를 식별하기 위한 현장 조사 전후의 신뢰할 수 있는 도구로 자리매김해야 한다고 제언한다.
대규모 언어 모델(LLM) 에이전트의 최근 발전은 도구 사용을 통해 복잡한 작업을 실행하는 데 뛰어난 역량을 입증했습니다. 그러나 탐험(exploration) 공간이 조합적 폭발을 겪기 때문에 장기 다단계 도구 계획은 여전히 어렵습니다. 이러한 시나리오에서는 올바른 도구 사용 경로를 찾더라도 일반적으로 현재 학습(training)에 대한 즉각적인 보상(reward)으로만 간주되어, 후속 학습을 위한 재사용 가능한 정보를 제공하지 못합니다. 본 논문에서는 역사적으로 성공한 궤적에 전체 학습 과정 전반에 걸쳐 활용할 수 있는 재사용 가능한 도구 전이 패턴이 포함되어 있다고 주장합니다. 역사적으로 성공한 경로가 페로몬으로 반영될 수 있는 개미 군집 최적화(ant colony optimization)에서 영감을 받아, 우리는 과거 궤적에서 궤적 기반 전이 패턴(즉, 페로몬)을 학습한 다음 학습된 페로몬을 사용하여 정책 최적화를 유도하는 페로몬 유도 정책 최적화(PhGPO)를 제안합니다. 이 학습된 페로몬은 정책 최적화가 역사적으로 성공적인 도구 전이를 향하도록 유도하는 명시적이고 재사용 가능한 가이드를 제공하여 장기 도구 계획을 개선합니다. 포괄적인 실험 결과는 우리가 제안한 PhGPO의 효과를 입증합니다.
대부분의 대규모 언어 모델(LLM)은 외부 클라우드에서 실행됩니다. 사용자는 프롬프트를 전송하고 추론 비용을 지불하며, 원격 GPU가 적대적 변조 없이 LLM을 실행한다고 신뢰해야만 합니다. 본 연구에서는 증명자(서비스)가 검증자(클라이언트)에게 LLM을 재실행하지 않고도 추론이 올바르게 수행되었음을 확신시켜야 하는 검증 가능한 LLM 추론을 어떻게 달성할 수 있는지 비판적으로 질문합니다. 기존의 암호학적 연구들은 LLM 규모에서 너무 느린 반면, 비암호학적 연구들은 고성능 검증자 GPU를 필요로 합니다. 이에 본 논문에서는 텐서 네이티브 추론 증명(proof-of-inference) 기법인 TensorCommitments(TC)를 제안합니다. TC는 LLM 추론을 다변수 Terkle Tree로 구성된 비가역적 태그이자 변조 시 파기되는 약정(commitment)에 바인딩합니다. LLaMA2 실험에서 TC는 검증자 GPU를 필요로 하는 기존 최선 연구 대비 맞춤형 LLM 공격에 대한 견고성을 최대 48% 향상시키면서도, 추론 시간 대비 증명자 시간은 0.97%, 검증자 시간은 0.12%만을 추가합니다.
정량적 위험 평가는 직접 관측할 수 없는 특성을 추정하기 위해 구조화된 전문가 의견 도출(expert elicitation)에 의존합니다. 델파이 기법(Delphi method)은 잘 보정(calibrated)되고 감사 가능한 추정치를 생성하지만, 수개월의 조율과 전문가의 시간을 필요로 하여 대부분의 응용 분야에서는 엄밀한 위험 평가를 수행하기 어렵습니다. 본 논문에서는 다양한 전문가 페르소나, 반복적 개선, 근거(rationale) 공유를 통해 고전적 프로토콜을 대규모 언어 모델(LLM)에 맞게 조정한 Scalable Delphi를 제안합니다. 이는 비용 절감을 넘어 평가 과정을 분석 가능하고 동적으로 만듭니다. 근거와 수정 이력은 각 추정치가 무엇에 기반하는지 기록하며, 어떤 증거가 중요한지 테스트하기 위해 정보를 절제(ablation)할 수 있고, 새로운 증거, 변경된 가정 또는 부정적 시나리오를 적용해 도출 과정을 재실행할 수도 있습니다. 목표 수치는 본질적으로 관측이 불가능하므로, 신뢰할 수 있는 추정기라면 반드시 만족해야 하는 필요조건(검증 가능한 대리 지표에서의 정확도 및 보정, 증거에 대한 민감도)을 바탕으로 평가 프레임워크를 설계했습니다. 전문가 패널과의 일치도 및 추론 품질은 이를 뒷받침하는 검증 자료로 활용됩니다. 두 개 도메인(AI 강화 사이버 보안 위험, 해수면 상승에 대한 빙상 기여도), 세 개 벤치마크, 재현된 세 건의 전문가 연구 전반에서 본 방법의 추정치는 이러한 테스트를 통과했습니다. 즉, 증거가 추가됨에 따라 체계적으로 개선되었고, 대부분의 수치에서 전문가 패널과 일치했으며, 실제 정답(ground truth)과 강한 상관관계(Pearson r=0.91-0.98)를 보였습니다.
판별(discriminative) 작업에 대규모 언어 모델(LLM)을 배포하는 것은 대규모 환경에서 추론(inference) 지연 시간, 연산량 및 API 비용으로 인해 제한되는 경우가 많습니다. 능동적 증류(active distillation)는 LLM 오라클에 질의하여 작은 크기의 판별 학생(student) 모델을 학습(training)시킴으로써 이러한 비용을 절감하지만, 대부분의 파이프라인은 최종 라벨만을 증류하므로 중간 추론 신호를 버리게 되고 어떤 추론이 누락되었으며 어디서 오류가 발생하는지에 대한 제한적인 진단만을 제공합니다. 본 논문에서는 교사(teacher) 모델의 추론을 중간 개념들의 유향 비순환 그래프(DAG)로 도출하고 이를 학생 모델에 반영하는 추론 인식 능동적 증류 프레임워크인 개념 예측기 그래프(Graph of Concept Predictors, GCP)를 제안합니다. GCP는 개념별 불확실성, 그래디언트(gradient) 다양성, 노드(node) 중심성에 기반한 커버리지를 가중하는 그래프 인식 획득(acquisition) 전략을 통해 샘플 효율성을 향상시킵니다. 또한 다운스트림 손실(loss)을 특정 개념 예측기의 원인으로 귀속시키고 가장 영향력 있는 모듈만을 업데이트하는 타깃 하위 모듈 재학습을 수행하여 학습 안정성과 효율성을 개선합니다. 8개의 자연어 처리(NLP) 분류(classification) 벤치마크에 대한 실험을 통해 GCP가 제한된 어노테이션 예산 내에서 성능을 향상시키는 동시에 보다 해석 가능하고 제어 가능한 학습 동역학을 제공함을 입증합니다. 코드는 https://github.com/Ziyang-Yu/GCP 에서 확인할 수 있습니다.
언어 모델 벤치마크는 실제 다운스트림(downstream) 성능을 평가하기 위해 널리 사용되는 계산 효율적인 대리 지표입니다. 그러나 최근 많은 연구에 따르면 이러한 벤치마크가 실제 다운스트림 유용성을 제대로 예측하지 못하는 경우가 많은 것으로 나타났습니다. 일부 연구에서 이러한 불일치의 원인을 진단하기 시작했으나, 벤치마크 점수를 실제 다운스트림 활용과 일치하도록 체계적으로 업데이트하는 방법은 아직 부재한 상황입니다. 이러한 간극을 좁히기 위해, 본 연구에서는 다운스트림 모델 성능 정보를 활용하여 벤치마크를 자동으로 업데이트하는 \textit{벤치마크 정렬(benchmark alignment)}을 제안하고 연구합니다. 특히 정적 벤치마크를 업데이트하여 새로운 쌍별 선호도(pairwise preferences)에 따라 모델들의 순위를 일반화 가능하게 매길 수 있도록 하는 것을 목표로 합니다. 4,576개의 언어 모델과 6개의 벤치마크를 활용한 실험 결과, 벤치마크 항목의 가중치를 재조정(reweighting)함으로써 평가에 포함되지 않았던 새로운 모델의 순위를 성공적으로 매길 수 있었으며, 대부분의 경우 모델 규모 전반에 걸쳐 일반화됨을 확인했습니다. 또한 단순한 정렬 방식은 예상대로 방대한 수의 모델과 벤치마크 질문을 필요로 하지만, 오라클(oracle) 실험 결과 잘 선택된 20개 정도의 모델만으로도 이를 줄일 수 있음을 시사합니다. 전반적으로 본 연구는 벤치마크 개발을 다운스트림 태스크에 효율적으로 정렬하는 방향으로 나아가는 한 걸음을 제시합니다.\footnote{모든 코드, 모델, 데이터는 공개되어 있습니다.
멀티모달 대규모 언어 모델(MLLM)은 최근 AI 연구의 주요 초점이다. 그러나 대부분의 기존 연구는 정적 이미지 이해에 집중되어 있으며, 순차적인 오디오-비디오 데이터를 처리하는 능력은 아직 충분히 연구되지 않았다. 이러한 격차는 실제 환경 설정에서 MLLM 성능을 체계적으로 평가하기 위한 고품질 벤치마크의 필요성을 강조한다. 우리는 13개 실제 대화 도메인에 걸쳐 4,958개의 주석 및 인구통계학적 메타데이터를 포함하는 60시간(231개 클립) 분량의 포괄적이고 전적으로 인간 검증을 거친 벤치마크인 SONIC-O1을 소개한다. SONIC-O1은 개방형 요약, 객관식 질문(MCQ) 답변, 그리고 근거(추론)를 동반한 시간적 위치 추정(temporal localization)이라는 세 가지 능력을 평가한다. 폐쇄형 및 오픈소스 모델 전반에 걸쳐 분석한 결과, MCQ 정확도는 모델 계열 간 가장 작은 격차를 보였으나, 시간적 위치 추정에서는 최고 성능의 폐쇄형 모델이 최고 성능의 오픈소스 모델을 22.6% 앞서는 것으로 나타났다. 또한 인구통계학적 그룹 간 시간적 위치 추정에서 최대 21.4%의 정확도 격차를 관찰했으며, 이는 모델 동작에서 격차가 지속되고 있음을 나타낸다. SONIC-O1은 시간적으로 그라운딩(grounding)되고 인구통계학적으로 강건한 멀티모달 이해를 위한 공개 평가 스위트를 제공한다. SONIC-O1은 연구 목적으로 공개되어 있다: 프로젝트 페이지 (https://vectorinstitute.github.io/sonic-o1/), 데이터셋 (https://huggingface.co/datasets/vector-institute/sonic-o1), GitHub (https://github.com/vectorinstitute/sonic-o1), 리더보드 (https://huggingface.co/spaces/vector-institute/sonic-o1-leaderboard).
대규모 언어 모델(LLM) 기반 에이전트(agent)의 최근 발전은 다양한 방식으로 문제 해결 과정을 이끄는 추론 프레임워크의 중요성을 부각하고 있습니다. 본 서베이 논문은 이러한 프레임워크를 단일 에이전트, 도구 기반, 다중 에이전트 방법론이라는 세 가지 구성 수준에서 체계적으로 분류하기 위한 통일된 정형 언어를 도입합니다. 이 분류 체계에 따라 과학적 발견, 의료, 소프트웨어 공학, 사회, 경제, 범용 작업 전반에 걸친 주요 적용 시나리오를 검토합니다. 또한 각 범주의 뚜렷한 특징과 평가 전략을 비교합니다. 본 서베이는 이러한 분류 체계와 비교를 통해 다양한 시나리오에서 LLM 기반 에이전트 프레임워크의 설계와 강점을 탐구하며, 실제 환경에서 복잡한 에이전트 시스템이 빠르게 발전해 온 과정을 살펴봅니다.
대규모 언어 모델(LLM)과의 대화는 문제를 이해하는 방식이 급격히 변화하는 현상인 인간의 통찰로 이어질 수 있다. 본 관점(perspective) 논문은 대화가 전개됨에 따라 모델의 활동이 통찰과 어떻게 연관되는지 질문한다. 저자는 대화에서 발현되는 지능의 일부가 상호작용하는 두 가지 순환에서 비롯된다고 제안한다. 즉, 생성된 각 토큰이 다음 토큰의 문맥이 되는 순환과, 각 응답이 인간을 거쳐 돌아오며 인간의 해석 및 새로운 관찰이 모델이 입력받는 내용을 재구성하는 순환이다. 이러한 루프 내에서 모델의 기여는 익숙한 표현을 메아리처럼 되풀이하는 방식에서부터 인간이 발전시킬 수 있는 새로운 방향을 열어주는 프레이밍을 제공하는 방식에 이르기까지 여러 모드 사이를 오간다. 이러한 모드들은 모델 활동의 구별 가능한 패턴에 대응할 수 있다. 어떤 문맥을 앞으로 전달할지 선택하는 메모리 '스파인(spine)'은 아이디어 자체가 바뀌더라도 생산적인 패턴을 다시 유도해 낼 수 있다. 공개된 인간-모델 대화 기록, 오픈 가중치 모델에서 기록된 활동, 그리고 계산신경과학 도구들은 이러한 제안들을 검증 가능하게 만든다.
대규모 언어 모델(LLM) 챗봇이 메시징 플랫폼(예: WhatsApp)을 통해 사용자에게 점점 더 많이 다가가고 있습니다. 그러나 이러한 시스템은 대체로 독점적이고 불투명한 상태로 남아 있으며, 학술 연구는 좁은 특정 도메인 전용 어시스턴트에 집중되어 왔습니다. 이로 인해 사람들이 범용 LLM을 어떻게 사용하고 그러한 시스템을 어떻게 설계해야 하는지에 대한 의문이 여전히 남아 있습니다. 이러한 간극을 해소하기 위해, 본 연구에서는 범용 LLM 챗봇인 WaLLM을 개발하고 실제 환경에서의 개방형 AI 사용을 연구하기 위한 디자인 프로브(design probe)로서 WhatsApp에 배포했습니다. 연구 결과, 건강 및 웰빙 관련 질문이 가장 큰 비중을 차지하여 사용자들이 조언과 정보를 얻기 위해 WaLLM을 찾았음을 보여주었습니다. 참여도(engagement) 기능들은 도입률과 관련된 사용 패턴에서 차이를 보였습니다. 능동적 커뮤니케이션(proactive communication)은 서비스의 가시성을 지원하고 더 높은 사용자 활동과 상관관계를 보인 반면, 공유 목록(communal lists)은 콘텐츠 탐색을 촉진했습니다. 본 논문에서는 이러한 기능들이 WhatsApp의 행동 유도성(affordance)에 어떻게 적응되었는지를 보고하고, 메시징 플랫폼 기반 범용 LLM 서비스를 설계하기 위한 시사점을 논의합니다.
LLM 기반 로봇은 대규모 언어 모델(LLM)을 플래너로 활용하여 자연어 명령을 grasp(), move_to(), open_gripper()와 같은 정책(policy)으로 변환합니다. 이러한 로봇에 대한 탈옥(jailbreak) 공격은 악성 콘텐츠 생성을 넘어 유해한 행동을 실행하는 것으로 위협을 확장합니다. 그러나 본 연구에서는 논리적 오류나 환각(hallucination)된 제어 API와 같은 로봇 고유의 제약 조건으로 인해, 악의적으로 보이는 정책을 생성하는 기존 LLM 기반 로봇 탈옥 시도(의도 탈옥)가 로봇의 유해한 물리적 동작을 유발하는 것(행동 탈옥)에는 실패하는 경우가 많음을 발견했습니다. 본 논문에서는 이러한 의도-행동 간 격차를 규명하고 근본 원인을 조사하여 효과적인 방어책을 마련하고자 합니다. 측정 연구 결과, 현재의 LLM 탈옥 방식은 로봇 고유의 구문 제약(예: 실행 가능한 제어 API) 및 물리적 실현 가능성(예: 정책 순서, 하드웨어/기구학적 제약)을 간과하는 것으로 나타났습니다. 이러한 격차를 해소하기 위해 최적화(optimization) 및 평가(evaluation) 과정 모두에서 로봇 고유의 제약 조건을 고려하는 자동화된 레드팀 테스팅(red-teaming) 프레임워크인 POEF(POlicy EFfective Jailbreak)를 도입합니다. 구체적으로 POEF는 정렬(alignment)되지 않은 LLM의 은닉층(hidden-layer) 그래디언트를 활용하여 탈옥 프롬프트 최적화를 안내하며, 다중 에이전트(multi-agent) 평가기를 사용하여 생성된 정책의 실현 가능성을 평가합니다. Unitree G1, Franka 로봇 팔 및 시뮬레이터를 포함한 상용 로봇 대상 실험 결과, POEF는 80%의 행동 탈옥 성공률을 달성하며 다양한 LLM에 걸쳐 전이됨을 보여줍니다. 또한 행동 탈옥 위험을 완화하는 두 가지 방어 전략을 제안합니다. 본 연구 결과는 LLM 기반 로봇이 대규모로 배포되기 전에 더욱 강력한 대응책이 시급히 필요함을 시사합니다. 홈페이지는 https://zjushine.github.io/poef.github.io/ 에서 확인할 수 있습니다.
스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.
더빙 품질 관리는 더빙된 오디오가 아직 존재하지 않을 수 있기 때문에 무음 비디오와 텍스트만을 사용하여, 후보 대사 텍스트가 발화자의 가시적인 조음 동작과 내용 및 타이밍 측면 모두에서 일치하는지 판단할 수 있는 무참조(reference-free) 판별 모델을 필요로 합니다. 기존의 시각적 음성 인식기 및 비디오-언어 모델은 이러한 환경에 잘 맞지 않습니다. 입술 움직임에서 발화 내용을 복원하도록 파인튜닝(fine-tuning)되더라도 시간적 오류에는 여전히 둔감하기 때문입니다. 본 논문에서는 프레임 단위 입술 표현과 후보 대사의 음소 단위 간 단조 정렬(monotonic alignment)을 먼저 구축한 다음, 이 정렬을 바탕으로 추론하여 최종 판단을 내리는 다국어 립싱크 판별 모델인 Align Then Reason(ATR)을 소개합니다. 정렬 스코어러는 대규모 언어 모델(LLM)에 각 음소 단위에 대한 로컬 증거와 보정된 글로벌 정렬 점수를 모두 제공하여, 모델이 내용과 타이밍에 대해 함께 추론할 수 있도록 합니다. 7개 언어 벤치마크에서 본 연구의 방식은 2B, 4B, 9B 추론 모델을 사용했을 때 대응하는 Qwen3.5 SFT 기준선(baseline) 대비 평균 AUC를 각각 59.4%, 50.2%, 50.8% 향상시킵니다. 이러한 성능 향상은 LLM 패밀리 전반에 걸쳐 일반화되어 LLaMA-3.1-8B 및 Mistral-7B에서 최고 성능의 기준선 대비 각각 45.9% 및 46.6%의 평균 AUC 향상을 달성합니다. 또한 학습에 사용되지 않은 3개의 MuAViC 언어로 데이터셋 간 전이도 가능함을 보여줍니다. 나아가 실제 더빙 대사로 구축된 두 가지 다운스트림 작업에서 평가를 수행했습니다. 더빙 대사 재순위화(reranking)에서 ATR-9B는 최고 성능의 립리딩 기준선 대비 52.0% 우수한 성능을 보였으며, 대본-클립 매칭(script-to-clip assignment)에서는 ATR-9B가 최고 성능의 립리딩 기준선 대비 17.7% 향상되었습니다.
추측 디코딩(Speculative decoding)은 대규모 언어 모델(LLM)에서 상당한 무손실 속도 향상을 달성했으나, 경량 드래프터(drafter)가 풍부한 멀티모달 정보를 활용하는 데 어려움을 겪는 대형 비전-언어 모델(LVLM)에서는 여전히 효과가 떨어집니다. 또 다른 한계점은 표준적인 지식 증류(distillation)가 드래프터 자체의 제안 이후 타깃 예측이 어떻게 변화하는지 모델링하지 않고, 오직 원래의 학습(training) 궤적을 따라서만 드래프터를 지도한다는 점입니다. 드래프팅이 이 궤적에서 벗어남에 따라 드래프터와 타깃 간의 불일치가 점차 커져 이후 단계에서의 수락률이 감소할 수 있습니다. 본 논문에서는 이 두 가지 한계를 모두 해결하기 위해 HAWK를 제안합니다. HAWK는 표현 유사도를 활용하여 정보량이 많은 타깃 레이어를 선택하고 이들의 은닉 상태(hidden state)를 결합하는 방법을 학습합니다. 시각 정보의 경우, 원시 시각 토큰(raw visual token) 대신 타깃 모델에서 압축된 시각 은닉 상태를 드래프터에 직접 제공함으로써 얕은 드래프터가 시각 정보를 더 쉽게 활용할 수 있도록 합니다. 또한 HAWK는 드래프터가 자체 제안 이후 타깃 예측이 어떻게 변하는지 포착하도록 학습시켜, 다단계 드래프팅 과정에서 타깃 모델과의 일치도를 향상시킵니다. 10개의 멀티모달 벤치마크에 걸쳐 SmolVLM-256M을 평가한 결과, HAWK는 그리디 디코딩(greedy decoding) 환경에서 EAGLE-3 대비 평균 수락 길이를 3.32에서 4.08로, 속도 향상을 2.19배에서 2.60배로 끌어올렸으며, 샘플링 환경에서는 2.89에서 3.41로, 1.92배에서 2.19배로 향상시켰습니다.
다중모달 온-정책 증류(Multimodal On-Policy Distillation, OPD)는 언어 모델의 강력한 추론 능력을 보존하면서 시각적 그라운딩(visual grounding)을 향상시키는 것을 목표로 합니다. 최근의 다중 교사(multi-teacher) 접근 방식은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 교사를 결합하여 상호 보완적인 지도 신호를 제공합니다. 그러나 VLM의 전체 예측 분포를 직접 사용하면 시각적 그라운딩 신호가 VLM 자체의 언어 사전 분포와 뒤얽혀, 그라운딩 정보가 독립적으로 전이되지 못하게 됩니다. 반대로 시각적 지도 신호의 강도를 높이면 인지 성능은 향상될 수 있으나, 시각적 증거를 과도하게 강조하여 언어 추론 성능을 저하시킬 수 있습니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 언어 전문가(Language Expert)와 그라운딩 전문가(Grounding expert)의 요인들을 하나의 교사 분포로 선택 결합하는 다중모달 OPD 방법인 LEGO-OPD를 제안합니다. 일반화된 베이시안(Bayesian) 정식화 아래에서, 언어 전문가는 후보 토큰에 대한 사전 분포(prior)를 제공하고, 그라운딩 전문가는 전체 예측 분포를 전이하는 대신 이 사전 분포를 업데이트하는 시각적 가능도(likelihood)를 제공합니다. 이러한 요인화된 결합을 통해 언어 추론과 시각적 그라운딩을 독립적으로 제어할 수 있습니다. 나아가 각 디코딩 접두 문맥(prefix)에서 시각적 가능도가 언어 사전 분포를 얼마나 강하게 업데이트해야 하는지 결정하는 적응형 보정(adaptive calibration)을 도입합니다. 구체적으로 LEGO-OPD는 그라운딩 전문가의 이미지 유도 예측 변화(prediction shift)를 접두 문맥 의존적인 기준점으로 활용하여, 시각적 지도의 부족과 과도함을 모두 방지합니다. Qwen3 모델을 사용한 실험 결과, LEGO-OPD는 다중모달 및 텍스트 전용 추론 태스크 모두에서 평가된 단일 및 다중 교사 OPD 베이스라인보다 일관되게 우수한 성능을 보였습니다. 또한 초기 학생(student) 모델의 텍스트 전용 추론 능력을 보존하면서 시각적 인지 능력을 향상시킵니다.
LLM 리더보드에서의 성능 향상은 비공개로 평가된 여러 모델 변형 중에서 이루어진 선택을 반영할 수 있지만, 변형의 수와 이들 간의 의존성은 모두 공개되어 있지 않다. 본 연구는 공개된 마진(margin)이 고정된 비교 대상에 대한 제공자의 우위를 뒷받침하는 통계적 증거를 유지하면서 몇 개의 숨겨진 변형까지 지지할 수 있는지를 묻는다. 고정된 후보 모델군에 대해 가우시안 마진 모델을 가정하고, 모델군 내 상관관계의 하한에 대한 함수로서 이 최대 개수를 나타내는 민감도 곡선을 유도한다. 관련 상관관계는 순위 산정에 사용된 점수와 표본추출 모델에 부합해야 한다. 통제된 모델군에서 문항 단위를 통합한(pooled) 문항 상관관계는 0.90인 반면, 종합 점수(composite-score) 상관관계는 문항을 재표집할 때 0.46, MMLU 과목을 재표집할 때 0.92이다. Open LLM Leaderboard의 인접 순위 주장 394건에 대한 문항 기반 감사 결과, 391건은 선택을 고려하기 전부터 이미 통계적 뒷받침이 부족한 것으로 나타났다. 보정 전 검정을 통과한 주장들 중에서도, 인증 여부는 숨겨진 모델군의 상관관계에 대한 가정에 좌우될 수 있다. 이렇게 얻어진 곡선은 관측되지 않은 탐색 규모를 추정하지 않으면서 이러한 가정을 명시적으로 드러낸다.
대규모 언어 모델(LLM) 및 LLM 기반 에이전트(agent)의 최근 발전과 함께, 이러한 에이전트들은 점차 자율성을 갖추며 인터넷상에서 사용자를 대신해 행동할 수 있는 더 넓은 접근 권한을 얻고 있다. 그러나 소셜 미디어 플랫폼에 배포된 자동화된 에이전트(예: 사용자의 개인 계정 관리)의 취약성은 아직 충분히 연구되지 않았다. 에이전트 포이즈닝에 관한 기존 연구들은 일반적으로 공격자가 에이전트에게 오염된 콘텐츠를 직접 노출할 수 있다고 가정한다. 이러한 공격은 직접적이고 효과적이지만, 감지 및 완화가 더 쉽다. 소셜 미디어 플랫폼 맥락에서는 추천 시스템 자체가 보다 은밀한 방식으로 이러한 콘텐츠를 에이전트에게 노출할 수 있는지 여부가 여전히 미해결 과제로 남아 있다. 이론적 분석을 통해 본 연구는 OASIS에서 사용되는 좋아요 점수(like-score) 메커니즘이 악용될 수 있음을 보이고, 다단계로 이루어진 오염된 게시물 연쇄가 에이전트의 피드를 유도할 수 있는 조건을 규명한다. 이러한 통찰을 바탕으로, 우리는 사실적인 오염 게시물을 제작하는 알고리즘을 추가로 개발한다. 실험을 통해 이론적 발견을 뒷받침하고 제안된 알고리즘의 효과를 입증한다. 특히, 좋아요 점수 피드백 루프를 악용함으로써 이 공격은 오염된 게시물의 사용자-게시물 유사도가 검색 임계값 미만으로 떨어지는 경우에도 추천 시스템이 해당 게시물을 선택하도록 만든다.
대규모 언어 모델(LLM)은 코딩 작업에 점점 더 많이 사용되고 있지만, 코드 실행에 대해 추론하는 능력은 여전히 불분명하다. 기존의 저장소 수준 QA 벤치마크는 주로 정적 코드 이해를 평가하며 LLM 기반 평가에 의존하는 경우가 많고, 실행 추론 벤치마크는 대부분 코드 스니펫이나 함수 수준에 국한되어 있다. 본 논문에서는 동적 실행 추론을 위한 저장소 수준 벤치마크인 SWE-Flux를 소개한다. SWE-Flux는 실제 Python 저장소 12개에 걸쳐 실행에 근거한(execution-grounded) 인스턴스 480개를 포함하며, 정답은 수작업으로 작성하거나 LLM으로 판정하는 대신 계측(instrumented)된 테스트 실행에서 자동으로 수집된다. 이 벤치마크는 제어 흐름, 루프, 프로그램 상태, 데이터플로우, 예외, 프로그램 불변식(invariant)에 대한 단일 테스트 및 다중 테스트 질문을 다룬다. 다섯 개의 LLM을 평가한 결과, 이 작업은 여전히 어려운 것으로 나타났다. 가장 우수한 모델도 정확도가 37%에 불과하다. 모델은 불변식, 프로시저 내(intra-procedural) 제어 흐름, 예외, 단순한 루프와 같은 국소적 동작에서는 더 나은 성능을 보이지만, 데이터플로우, 프로시저 간(inter-procedural) 실행, 정밀한 상태 추론, 테스트 스위트 수준의 집계에서는 어려움을 겪는다. 마지막으로, 오라클 수집 파이프라인이 입력 교란(input perturbation)을 사용하여 새로운 벤치마크 변형을 생성할 수 있음을 보인다. 이 파이프라인은 선택된 인스턴스의 거의 90%에 대해 유효한 변형을 성공적으로 수집하며, 그 결과 생성된 변형은 평가 대상 모델들에게 훨씬 더 어렵다.
본 연구는 데이터가 부족한 환경에서 임상 인터뷰 녹취록으로부터 연속적인 우울증 중증도 점수를 예측하는 문제를 다룹니다. 우리는 교차 척도 전이(cross-scale transfer)를 위한 순차적 저순위 적응(LoRA) 프로토콜을 제안합니다. 경계 회귀 헤드(bounded regression head)가 결합된 Qwen3 백본을 먼저 영어 DAIC-WOZ 데이터셋(아바타 중개 세션 189건, PHQ-8)에서 미세조정(fine-tuning)한 후, 해당 어댑터로 초기화하여 중국어 PDCH 데이터셋(실제 임상 상담 100건, HAMD-17)에서 미세조정을 진행하며, 이때 재초기화된 척도 전용 헤드가 임상의가 부여한 점수를 예측합니다. 모든 구성에는 환자 수준의 계층화된 5-겹 2-반복 교차 검증(5-fold, 2-repeat cross-validation)을 적용했습니다. 데이터가 희소한 HAMD-17 타깃에서 순차적 프로토콜은 0.6B 및 1.7B 백본 모두에서 가장 우수한 점추정치 MAE, RMSE 및 매크로-$F_1$을 달성하여 타깃 전용 학습(training) 및 비 LLM 베이스라인을 능가했습니다(Qwen3-0.6B에서 4.96/6.59/0.36, Qwen3-1.7B에서 4.38/5.62/0.46). 소거 연구(ablation) 결과, 올바르게 정렬된 소스 감독이 최상의 점추정치를 산출하고(비지도 노출 및 셔플된 레이블 대조군 또한 부분적인 이득을 보임), 원어 중국어 타깃 입력이 기계 번역된 영어 입력보다 우수한 성능을 보이며, 역순 전이는 실행 간 분산 범위 내에서 뚜렷한 이득을 보이지 않음을 시사합니다. 본 연구는 탐색적인 단일 기관 내부 평가로, 선별 또는 진단 유용성을 입증하지 않으며 척도, 언어 또는 패러다임 변화 각각의 기여도를 분리하여 규명하지는 않습니다. 우리가 아는 한, 이 특정한 DAIC-WOZ에서 PDCH로의 순차적 전이 설정을 평가한 선행 연구는 없습니다.
대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.