PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.14912v2cs.LG

"RL은 일반화하고 SFT는 암기한다"의 재고: SFT 데이터의 역할

Rethinking "RL Generalizes, SFT Memorizes": The Role of SFT Data

검증 가능한 보상을 사용하는 강화학습(RL)으로 학습된 대규모 언어 모델은 강한 추론 능력과 폭넓은 일반화를 보이는 반면, 지도 미세조정(SFT)으로 학습된 모델은 흔히 암기에 더 치우치고 전이가 제한적인 것으로 간주된다. 본 논문은 널리 쓰이는 Qwen2.5 및 Qwen3 시리즈 모델에서 SFT 학습 데이터의 관점으로 이 구분을 재고한다. 첫째, 데이터 출처의 역할을 연구하여 그것이 결정적임을 보인다. 신중하게 혼합한 SFT 데이터셋은 더 큰 모델이 단독으로 생성한 데이터보다 크게 우수하다. 둘째, 데이터 규모의 역할을 연구하여 SFT와 RL 간에 올바른 롤아웃의 수를 맞추면 SFT 일반화가 크게 향상되고, 전체 롤아웃 예산을 맞추면 SFT가 RL만큼 일반화할 수 있음을 보인다. 이 두 요인을 결합하면 SFT가 RL보다도 더 잘 일반화할 수 있다. 셋째, LLM 주석을 사용하여 학습 롤아웃의 풀이 방법을 특성화함으로써, 더 큰 데이터셋이 더 많은 꼬리 방법을 포괄하며 이러한 꼬리 방법이 일반화 가능한 추론 신호를 제공함을 보인다. 마지막으로, RL과 SFT 모두에서 얕은 트랜스포머의 학습 동역학을 분석하여 이러한 경험적 발견을 이론적으로 뒷받침한다.

arXiv:2611.14808v2cs.CR

OverServe: Resource Amplification Attacks on SaaS Agents via Tool--Prompt Co-Design

Advances in large language models (LLMs) are enabling software-as-a-service (SaaS) providers to automate longer business workflows with agents. In subscription-based SaaS deployments, model and tool calls consume provider resources without additional customer payments. Because the agent autonomously decides when to stop, a malicious tenant can send a prompt to the agent, exploiting its completion decisions to extend execution and waste provider resources. In this paper, we present OverServe, a multi-agent framework for constructing such attacks against SaaS agents. OverServe co-designs Model Context Protocol (MCP) status tools and completion-confirmation prompts for the attacker. Each tool call returns accurate status and terminates normally, yet the agent may repeatedly check an unfinished condition to satisfy the prompt. This consumes the SaaS provider's resources even after the original business task is completed. OverServe constructs service-specific tool--prompt pairs and uses separate tool and prompt reviews to guide candidate pair selection. Tested tool specifications trigger no alerts in the evaluated MCP scanners. We evaluate Qwen, Nemotron, DeepSeek, and Sonnet on selected tasks from nine benchmarks. All OverServe runs pass the original task checks. OverServe can reach a maximal amplification of API requests by $93.88\times$ while preserving the original task goal and collateral checks.

arXiv:2611.11010v2cs.AI

Lightfoot: 정확하고 모델이 필요 없는 문서 삭제를 갖춘 그래프 검색 증강 생성

Lightfoot: Graph Retrieval-Augmented Generation with Exact, Model-Free Document Deletion

그래프 기반 검색 증강 생성(GraphRAG)은 다중 홉 질의응답을 향상시키지만, 실제 배포된 시스템은 연구 비교에서 거의 측정되지 않는 비용, 즉 질의 시점의 모델 호출, 그래프 구축, 문서의 올바른 제거에 대한 비용을 치른다. 본 논문은 모든 엔티티, 링크, 사실, 동의어 간선이 청크 수준 출처 정보를 지닌 문단별 추출 결과의 결정론적 함수인 GraphRAG 시스템 Lightfoot을 제시한다. 검색은 언어 모델을 호출하지 않으며, 색인은 문단당 한 번만 호출하고, 문서 삭제는 모델 호출이 없는 데이터베이스 트랜잭션이다. 11,402개 문단 말뭉치의 10%를 삭제하는 데 14초가 걸리며, 이후 그래프는 남은 문서로 새로 색인한 것과 동일하다. 거의 중복되는 이름으로 구성된 말뭉치에서 HippoRAG 2의 상한이 있는 동의어 목록은 재구축 대비 565개 적은 간선을 남기는 반면, Lightfoot은 정확성을 유지한다. 동일한 추출, 임베딩, 응답 모델 하에서 MuSiQue, 2WikiMultiHopQA, HotpotQA의 보류된 질문에 대해 Lightfoot은 HippoRAG 2와 대등한 경쟁력을 보인다. Holm 보정 대응 검정 기준으로 MuSiQue의 recall@5와 recall@10(+4.8 및 +5.5포인트), 2WikiMultiHopQA의 recall@10(+3.4)에서 더 우수하고 HotpotQA에서는 동률이며, HippoRAG 2는 2WikiMultiHopQA recall@2에서 유의하지 않은 3.0포인트 우위를 유지한다. 질문에 명시된 엔티티에서 탐색을 시작하는 것이 2WikiMultiHopQA 이득의 대부분을 설명한다. 응답은 세 데이터셋 모두에서 동률이며, 검색 양상은 Qwen3-Embedding-8B에 이르는 더 큰 임베더 세 가지에서도 유지된다. 이 이득은 재순위화기 때문이 아니다. 동일한 크로스 인코더를 사용할 때 밀집 검색은 두 다중 홉 데이터셋에서 recall@5 기준으로 Lightfoot보다 각각 9.3포인트와 17.8포인트 뒤처진다. 또한 Lightfoot은 가장 저렴한 색인을 구축하여 HippoRAG 2보다 26~31% 낮다. LightRAG은 동일한 삭제에 모델 호출 2,187회와 3.7시간이 필요했고, fast-graphrag는 삭제할 수 없다.

arXiv:2611.09670v3cs.RO

Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences

Robots increasingly plan by searching against a reward model learned from human preferences. We measure what this search does to the true objective. On HalfCheetah and Hopper with crowd-sourced labels, and on Meta-World drawer-open and plate-slide with synthetic and blind human labels, harder MPPI search cuts true return by up to 76% while held-out label accuracy stays at 0.75-0.97; with human labels the drawer opens in 0 of 20 runs, against 10 of 10 for the cloned policy the planner starts from. The effect persists with a learned dynamics model and an image scorer. We prove that $\chi^2$-regularized MPPI at a temperature set by the scorer's error spread on the proposals is worst-case optimal, and that no gain can be certified once that spread exceeds the scorer's own. Calibrated from 100 ranked proposal pairs, this rule is the safest fix we test, keeping 86-94% of the cloned policy's return on drawer-open and plate-slide.

arXiv:2611.09271v3cs.AI

난이도 단계별 2인 게임 사다리에 걸친 제로샷 가중치 공간 프로그래밍

Zero-Shot Weight-Space Programming Across a Difficulty-Graded Ladder of Two-Player Games

가중치 공간 프로그래밍은 원하는 계산에 대한 명시적 명세로부터 피드포워드 네트워크의 모든 가중치를 손으로 설정하는 방식으로, 구성 과정 어디에도 경사 하강법이나 학습 데이터가 없다. 본 논문은 대규모 언어 모델이 이 방식을 의도적으로 난이도가 높아지는 게임들에 걸쳐 제로샷으로 어디까지 수행할 수 있는지를 묻는다. 네 가지 난이도 축에 걸친 4단 사다리(님, 틱택토, 두 가지 크기의 커넥트 포, 체스 엔드게임)를 설계하고, 각 단계에서 동일한 난이도의 구조적으로 무관한 게임을 사용해 두 번째 독립 네트워크를 구축함으로써, 한 단계의 결과가 난이도 수준에 대해 말해 주는 바와 그것을 측정하는 데 쓰인 단일 게임에 대해 말해 주는 바를 분리한다. 10개의 네트워크가 구축되어 독립적으로 검증되었다. 이 중 6개는 독립적인 오라클에 대해 통계적이지 않은 완전한 정확성 증명을 갖는다. 체스 엔드게임 단계는 정확성이 저렴한 부분, 즉 수의 합법성과 한 네트워크에서의 정확한 1수 메이트 탐지기에서는 정확하지만, 비용이 큰 부분인 다수 수의 메이트 계획 구성에서는 무너진다. 즉 정확히 구현하도록 설계된 1수 전술에서의 84.1~100% 성공률이 전체 적대적 대국에서는 0.57~9.13%로 떨어진다. 그 반복 실험은 더 짧은 요구 계획과 휴리스틱이 아닌 정확한 안전성 검사 하에서는 이 붕괴가 한 자릿수 크기만큼 덜 심각함을 보여 준다. 표준 크기 단계는 손으로 설정한 평가 가중치를 고정하고 얕은 탐색만 추가함으로써, 남은 격차가 공학적 노력의 문제가 아니라 아키텍처의 한계임을 확인하며, 이 정확한 붕괴는 구조적으로 무관한 두 게임에서 재현된다. 우리는 10개 네트워크 전부, 그 독립 오라클, 구성 비용 측정값, 그리고 향후 모델 간 비교를 위한 콜드 프롬프트 프로토콜을 공개한다.

arXiv:2611.07721v2cs.CL

토큰 정체성 제곱 지도를 이용한 연속 언어 플로우의 지속 학습

Continued Training of Continuous Language Flows with Token Identity Squared Supervision

확산 및 플로우 모델은 최근 언어 모델링으로 확장되어 토큰 임베딩 공간에서의 연속적 잡음 제거를 통해 텍스트를 생성한다. 사전학습된 모델은 토큰 표현과 문맥 예측 능력을 제공하지만, 제한된 추가 학습으로 생성을 개선하려면 지도와 연속 생성 사이에 적절한 연결이 필요하다. 연속 예측이 예측 확률로 토큰 임베딩에 가중치를 부여하여 형성될 때, 서로 다른 확률 분포가 동일한 벡터를 낳을 수 있으며, 따라서 평균 제곱 오차(MSE)에 기반한 연속 복원 목적함수 하에서는 구분되지 않는다. 우리는 토큰 정체성에 직접 제곱 지도를 적용하는 Token Identity Brier Flow(TIBF)를 제안한다. TIBF는 토큰 임베딩을 고정하고, 가우시안 관측 모델 하에서 네트워크 점수와 토큰 매칭 점수를 결합하며, Brier 손실로 토큰 확률을 지도하고, 연속 생성에는 확률 가중 임베딩을 사용한다. 고정된 토큰 임베딩에 대해 토큰 사후 예측의 제곱 오차가 연속 잡음 제거 예측과 플로우 속도의 제곱 오차를 제어함을 보인다. 위험 분해는 관측에 내재된 불확실성과 사후분포 적합 오차를 분리하며, 이는 사전학습된 임베딩을 보존하고 확률 예측에 집중하는 지속 학습의 동기가 된다. 공통의 사전학습 초기값에서 동일한 지속 학습 예산 하에, TIBF는 OWT에서 평균 Gen.PPL 34.87, LM1B에서 80.08을 달성하여 연속 MSE 및 CE 대조군을 능가한다. 추가 평가는 여러 샘플링 예산 전반에서의 개선을 보여 준다. 코드는 https://github.com/Jiangjiawei-kust/TIBF 에서 제공된다.

arXiv:2611.07483v2cs.CR

서명되었으나 안전하지 않다: 다중 에이전트 LLM 인계에서의 요구사항 무결성

Signed but Not Safe: Requirement Integrity in Multi-Agent LLM Handoffs

기업용 AI 에이전트는 요청을 하위 에이전트들에게 나누어 맡기며, 각 인계 과정에서 요구사항이 누락되거나 변경되거나 무시될 수 있다. 정확하게 채점 가능한 합성 과제에 대한 사전 등록 연구는 자유 텍스트, 구조화된 JSON, 서명된 요구사항 매니페스트 방식의 인계를 비교한다. 오케스트레이터는 각 요구사항을 원문 인용과 검증 가능한 술어로 추출하고, 코드가 이에 서명하며 병합자의 결정을 결정론적으로 검증한다. Qwen3-8B(1,440개 궤적, 5가지 위협)에서 서명된 매니페스트는 공격 하의 안전하지 않은 커밋을 69.4%에서 9.0%로 줄였으며(60.4pp, 95% CI [51.4, 69.4]), 구조화된 인계 대비 유용성 손실은 검출되지 않았다(S2 -0.4pp, 95% CI [-14.2, 13.3]). 서명은 전송 중 변조를 무력화한다. 서명되지 않은 매니페스트는 서명된 것보다 79.2pp 더 자주 위반했고, 서명된 것은 한 번도 위반하지 않았다. 이는 gpt-oss-20b와 gemma-4-12b에서도 재현되었다. 해당 모델들에서 공격자가 없을 때 서명된 매니페스트는 기술적으로 구조화된 인계보다 약간 나빴으며(11.1% 대 2.8%, 16.7% 대 8.3%, 검정하지 않음) 전반적으로 유용성을 잃었다(gpt-oss-20b, 모든 위협: -28.7pp). 동일한 Qwen3-8B 궤적에서 결정론적 검증기는 위반 결정의 78.7%를 포착한 반면 LLM 검사기는 59.0%를 포착했고, 오라클 매니페스트는 남은 안전하지 않은 커밋을 모두 제거했으므로 잔여 위험은 추출 단계에 있다. 사전 등록된 서명 전 주입 실험이 이를 확인했다. 한 줄의 적대적 문장이 서명된 매니페스트의 안전하지 않은 커밋을 Qwen3-8B에서 14.6%에서 37.5%로, gpt-oss-20b에서 11.1%에서 63.9%로, gemma-4-12b에서 16.7%에서 97.2%로 높였으며, 이러한 모든 커밋은 서명 전에 손상된 매니페스트를 지니고 있었다. 서명은 전송을 보호하지만, 신뢰 경계는 추출이다. 주입 결과 이후에 명세되고 오프라인 평가 전에 고정된, 검증 가능한 서명 전 명세(PSE)는 이렇게 주입된 모든 커밋을 차단했으나(고정 템플릿), 정상 요청의 45.8%, 11.1%, 22.2%를 거부했고 완료율은 -8.3pp, -2.8pp, 0.0pp 변화했다.

arXiv:2611.06518v2cs.CV

EmoReward: 감정 비디오 생성 강화학습을 위한 자기 진화형 보상 보정

EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL

그룹 상대 정책 최적화(GRPO)는 코드와 수학처럼 검증 가능한 영역에서 생성 모델의 사후 학습을 발전시켜 왔으나, 비디오 품질, 특히 감정 표현의 평가는 주관적인 미적 기준에 의존하는 경우가 많으며 유일하게 올바른 정답이 존재하지 않는다. 기존 접근법은 대개 시각 품질, 동작 품질, 텍스트 정합성에 대한 고정된 보상에 의존하는데, 이러한 보상은 감정적 의도를 제대로 포착하지 못하고 보상 해킹을 유발할 수 있다. 한편 RLHF는 확장이 어렵고 개인별 미적 감각의 차이에 영향을 받아, 서사 맥락에 따른 표정, 신체 동작, 색채 단서의 보정을 복잡하게 만든다. 본 논문은 새로운 자기 진화형 학습 메커니즘인 EmoReward를 제안한다. EmoReward는 실제 학습 과정에서 수집한 보상 기록으로부터 증거 신뢰도를 추출하고, 어떤 감정 증거를 신뢰할지와 그 증거에 얼마의 가중치를 둘지를 결정하여 이후 학습에서 다중 보상의 가중치 할당을 적응적으로 안내한다. EmoReward는 먼저 감정 프롬프트로부터 구체적인 근거 단서를 계획하여 평가를 안내하고, 실행 단계에서 이질적인 신호 기본 요소를 사용해 생성된 비디오에 점수를 매긴다. 반성적 보상 게이팅(Reflective Reward Gating)은 단계, 얼굴 신뢰도, 충돌, 미묘함에 대한 인스턴스 수준의 게이트로 각 요소의 기여도를 보정한 뒤, 활성 집합에 대해 가중치를 재정규화하여 해당 샘플의 융합 보상을 산출한다. 이어서 RewardMemory는 완료된 학습 과정의 각 감정 구간에서 롤아웃 점수와 결과로부터 각 기본 요소의 신뢰도를 추정하고, 보상 모델을 갱신하지 않은 채 다음 학습에서 융합 가중치를 보정하는 한정된 승수를 고정한다. HunyuanVideo 1.5에서의 실험은 여러 강化학습 알고리즘에 걸친 성능 향상을 보여 주며, SAGE-GRPO 하에서 EmoReward를 다른 에이전트형 보상 방법과 비교한다. SD 3.5와 FLUX에서의 절제 및 전이 실험은 시각 생성을 위한 적응적 보상 보정을 추가로 뒷받침한다.

arXiv:2611.06374v2cs.AI

풀뿌리 계약으로 AI 위험 다스리기

Corralling AI Risks with Grassroots Contracts

AI의 변곡점은 디지털 플랫폼에 위험의 원천이 되고 있다. 글로벌 플랫폼을 통제하는 주체들이 알고리즘, 구성원, 콘텐츠에 대한 통제권을 AI에 넘기고 있기 때문이다. 그 위험은 (i) 인류 다수가 사용하는 글로벌 플랫폼에 대한 AI의 통제, (ii) 익명으로 활동하며 인간으로 가장할 수 있고 알려지지 않은 주인을 위해 알려지지 않은 목표를 수행하는 책임 없는 AI 에이전트, (iii) 사람이 진짜 콘텐츠와 구별할 수 없으며 익명의 AI가 생성한 출처 불명의 딥페이크이다. 본 논문은 이러한 AI 위험을 풀뿌리 계약으로 다스릴 것을 제안한다. 풀뿌리 계약은 200년 전 피에르조제프 프루동의 개념을 디지털로 구현한 것으로, 어떤 사람들의 집단이든 자유롭게 채택할 수 있는 사회 계약이며, 동일한 계약에 묶인 집단들은 상호 합의에 따라 연합하여 하나의 글로벌 연합이 될 수도 있다. 풀뿌리 계약은 참여자가 소유, 운영, 통치하는 개인 간 플랫폼인 풀뿌리 플랫폼으로 구현된다. 우리는 AI를 활용하여 풀뿌리 계약을 작동하는 스마트폰 앱으로 컴파일하는 방법론을 개발했다. 책임성 있는 AI 에이전트를 갖춘 소셜 그래프와 디지털 출처를 갖춘 소셜 네트워크를 위한 풀뿌리 계약과 이 둘을 구현한 작동하는 스마트폰 앱을 제시하고, 이것이 위험을 어떻게 다스리는지 보인다. (i) 풀뿌리 플랫폼은 통제권을 AI에 넘길 수 있는 제3자가 통제하지 않는다. (ii) AI 에이전트는 책임성을 갖추어 도입되며, 자동차와 마찬가지로 제조업체는 제조 결함에 대해, 운영자는 무모한 운영에 대해 책임을 진다. (iii) 모든 항목에는 작성자와 이를 전달한 모든 에이전트의 서명이 담기므로, 유해 콘텐츠의 작성자와 전달자는 책임과 유죄성을 진다. 풀뿌리 앱이 기존 글로벌 플랫폼과 경쟁력을 갖추려면 아직 많은 작업이 남아 있으나, 이제는 헤아릴 수 없이 많은 인년이 아니라 몇 AI-개월 만에 달성할 수 있을지도 모른다.

arXiv:2611.04886v2cs.AI

기술 퇴화, 개인 기억, 그리고 AI 도입의 가역성

Skill erosion, individual memory and the reversibility of AI adoption

생성형 AI는 당장의 성과를 향상시킬 수 있지만, 향후 업무에 필요한 인간의 기술을 약화시킬 수 있다. 본 연구는 자신의 기술 또는 AI의 도움으로 과업을 수행하는 에이전트 집단을 고찰한다. 에이전트는 더 성공적인 동료를 모방하는 경향이 있으며, 이들의 기술은 시간에 따라 변화하여 연습으로 향상되고 AI에 대한 의존으로 퇴화한다. 우리는 해석적 방법과 시뮬레이션을 통해 AI 도입의 집단적 결과를 연구한다. 기술 퇴화 메커니즘이 AI 도입을 쌍안정적으로 만들며, 집단의 장기적 행동은 기술이 어떻게 분포하는지에 달려 있음을 보인다. 도입률과 평균 기술이 같은 집단이라도 전문성이 AI 사용자와 비사용자 사이에 어떻게 나뉘어 있는지에 따라 정반대의 점근 상태에 도달할 수 있다. 두 집단의 평균 기술과 비사용자 간 기술의 분산을 추적하는 결정론적 기술은 개별 실행의 결과를 시뮬레이션이 허용하는 만큼 정확하게 예측하는 반면, 평균만으로는 충분하지 않다. 또한 AI의 이점이 시간에 따라 향상되는 상황도 고찰한다. 이 경우 도입이 급격히 도약할 수 있으며, 낮은 가격이 유지되는 기간과 같은 일시적인 이점 증가는 이점이 원래 값으로 돌아간 뒤에도 집단이 AI에 의존하도록 남겨 둘 수 있다. 따라서 기술 퇴화는 이력에 의존하는 전환 비용을 만들어 광범위한 AI 도입을 되돌리기 어렵게 만들 수 있다.

arXiv:2611.03747v2cs.IR

검색 증강 생성을 활용한 주식 시장 정보 검색 개선

Enhancing Stock Market Information Retrieval with Retrieval-Augmented Generation

자연어 처리(NLP)는 금융 분야에 널리 적용되어 주식 시장 정보의 자동 분석과 검색을 가능하게 해 왔다. 그러나 기존 NLP 기반 시스템은 역동적인 금융 환경에서 문맥적 정확성을 유지하고 관련성 높은 응답을 생성하는 데 어려움을 겪는 경우가 많다. 이러한 문제를 해결하기 위해 검색 기반 방법과 생성 능력을 결합하여 응답 품질을 높이는 강력한 해법으로 검색 증강 생성(RAG) 모델이 등장하였다. 본 연구에서는 주식 시장 정보와 관련된 응답을 생성하도록 설계된 검색 증강 생성(RAG) 시스템을 제시한다. 이 시스템은 검색 기반 접근과 생성 접근을 통합하여 금융 텍스트 생성의 정확성과 관련성을 높인다. 효과를 평가하기 위해 ROUGE 지표, 구체적으로 ROUGE-1, ROUGE-2, ROUGE-L을 사용하여 생성된 텍스트와 참조 텍스트 간의 어휘적, 구조적 유사도를 측정한다. 주식 시장 관련 질의 100개로 구성된 데이터셋에 대한 실험 결과는 높은 ROUGE 점수를 보여 주며, 이는 참조 문서와의 강한 일치를 나타낸다. 또한 시스템 응답성을 평가하기 위해 지연 시간을 측정하였으며, 평균 응답 시간 1.16초를 달성하였다. 이러한 결과는 본 RAG 모델이 정확하고 시의적절한 주식 시장 통찰을 제공할 수 있음을 확인해 주며, 금융 정보 검색에 유망한 접근임을 보여 준다.

arXiv:2611.02380v2cs.CR

Malware Clustering in the Wild: Taxonomy, Challenges, and Evaluation Metrics

As malware continues to grow in volume, diversity, and sophistication, clustering has emerged as a critical technique for analyzing large malware corpora. Clustering enables the discovery of structural relationships, behavioral patterns, and evolutionary trends, and is widely used to group unknown samples, infer malware family boundaries, and identify novel variants. However, existing research remains fragmented, employing a wide range of clustering techniques with no unified perspective that systematically organizes prior work or clearly identifies gaps in the literature. This survey addresses this gap by organizing previous malware clustering research into seven categories: centroid-based, hierarchical-based, density-based, distribution-based, mixed- type, fuzzy, and AI-driven approaches. In addition, this survey summarizes publicly available malware datasets commonly used in clustering research and examines the feature representations derived from these datasets. Our goal is to clarify the current landscape and outline promising avenues for future research on malware clustering, including how AI-driven methods may shape large-scale and reproducible analysis.

arXiv:2611.01467v2cs.CV

보고, 생각하고, 활용하라: 시각-언어 모델의 지각 및 추론 실패 진단

See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs

우리는 시각-언어 모델의 각 답변을 지각, 추론, 또는 지각의 활용으로 추적하는 프로토콜인 See, Think, Use를 제시한다. 이 진단은 개발자에게 어느 단계를 개선해야 하는지를 보여 주고, 테스트 시점 연산을 실패하는 단계로 향하게 한다. 벤치마크는 최종 답변에 점수를 매기므로, 이미지에 근거한 답변도 추측이나 암기된 사전 지식에 의한 답변과 같은 점수를 받는다. 이 프로토콜은 항목당 두 개의 추가 질문을 모델에 하며 모델 가중치에 대한 접근을 필요로 하지 않는다. 위치 파악 프로브는 모든 인스턴스를 둘러싼 상자를 요청하여 보기를 측정하고, 텍스트 대체 프로브는 설명으로부터 답하게 하여 생각하기를 측정한다. 활용은 반사실적 이미지 쌍에 걸쳐 답변이 모델 자신의 지각을 따르는 비율이다. 질문과 그 사전 지식이 두 이미지에서 동일하므로 이 비율은 답변 레이블을 필요로 하지 않는다. 두 모델 계열과 여섯 개 데이터셋에서 이 프로토콜은 도움이 되는 조절 요소가 과업 계열에 따라 달라짐을 보여 준다. 답변은 일반적인 사전 지식에 모순되는 이미지를 제외하면 모델의 지각을 따르며, 모델에게 먼저 위치를 파악하도록 요청하면 상자가 정확한 경우 이 실패가 개선된다. 측정된 단계에 따라 연산을 할당하면 더 낮은 비용으로 최선의 균일 정책에 근접하며, 어떤 조절 요소가 부족한 단계를 향상시키는 경우에는 동일한 연산의 무작위 할당보다 우수하다. 코드, 프롬프트, 질문별 출력을 공개할 예정이다.

arXiv:2611.00597v3cs.CL

다중 추정 도출은 언어 모델 판단의 편향을 일률적으로 제거하지 않는다

Multi-Estimate Elicitation Does Not Uniformly Debias Language Model Judgments

다중 후보 언어화(Multi-Candidate Verbalization, MCV)는 과제 및 모델에 의존적인 출력 프로토콜이다. 형식을 바로잡는다고 해서 사후 확률의 정확도가 더 나아진다고 보장되지 않으며, 가중치를 요청하는 것은 이미 생성된 후보 집합에 가중치를 다시 부여하는 것과 다르다. 계획되거나 허용된 평가 단위 31,672개와 계획되거나 허용된 호출 32,184회(재시도 제외)에 걸쳐, 우리는 고정된 여섯 가지 구성의 코호트를 탐색적 척도/조직 실험 및 코호트 이후 독립적으로 사전 등록된 두 개의 공식 스위트와 연결한다. 1단계에서는 고정된 45개 검정 중 11개의 방향성 확증이 유지되며, gpt-oss-120b에서 결과 이후 확증 오류가 증가한 것만이 SESOI를 넘는다. P1은 1,920개의 종결 단위를 완료하였으며, 응답 척도가 작을수록 운용상의 문자열 일치율은 크게 낮아지지만 베이즈 오류는 증가한다. P2는 2,560회의 호출과 2,048개의 단위를 완료하였으며, 가중치를 도출하면 세 가지 오류가 +2.75 / +2.05 / +3.88 pp 증가하는 반면, 생성 내 가중치 부여는 이를 -0.052 / -0.049 / -0.067 pp만 변화시켜 42배에서 58배의 크기 차이를 보인다. 사후 정규화를 동반한 비제약 결합 생성은 세 개의 완전 포괄적 선택지에 대해 국소적인 정규화 오류 개선을 제공하나, 정확도 개선은 확인되지 않는다. 이러한 결과는 형식 타당성, 수치 정확도, 심리적 민감성을 구분해 준다. 기술적인 세 범주의 행동 스펙트럼은 내부 원인을 규명하지 않은 채 이질성을 정리한다. 자료: https://github.com/asj252/llm-judgment-studies

arXiv:2610.39278v2cs.CV

WorldFlow: 대규모 사전 학습을 통한 비디오 및 3D 동작 결합 예측

WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining

미래의 물리적 상태를 예측하는 것은 체화 지능의 핵심 과제이다. 기존 비디오 세계 모델은 3D 동역학을 암묵적으로 남겨 두고, 행동 기반 정식화는 특정 로봇 구성에 묶여 있으며, 3D 동작 예측 모델은 플로우만을 감독 신호로 사용하여 물리적 동역학에 대한 학습 신호가 제한적이다. 이러한 한계를 극복하기 위해, 우리는 미래 비디오와 질의 기반 3D 궤적을 함께 예측하는 생성형 세계 모델 \method{}를 제안한다. 3D 동작을 비디오 격자에 정렬된 연속 변위 토큰으로 매개변수화함으로써, 통합된 Mixture-of-Transformers(MoT) 백본이 정류 흐름(rectified-flow) 목적 함수 아래에서 두 양식을 함께 노이즈 제거한다. 이러한 정식화는 명시적인 기하 동역학을 시각적 변화와 결합하여, 사전 학습된 비디오 모델에 내재한 물리적 상식을 효과적으로 끌어낸다. 이 통합 아키텍처를 경험적으로 확장하고 검증하기 위해, 시뮬레이션과 실세계 영역에 걸친 144만 개의 객체 수준 샘플의 이질적 혼합 데이터로 \method{}를 학습한다. 또한 시뮬레이션 및 실세계 상호작용의 11개 데이터 출처에서 가져온, 공간 추론 과제를 포함한 1,678개의 평가 샘플로 구성된 WorldFlowBench를 도입한다. 세 가지 평가 세트 모두에서 WorldFlow는 평가된 학습 기반 방법 중 가장 낮은 평균 변위 오차(ADE)와 최종 변위 오차(FDE)를 달성한다. 특히 어려운 SpatialCog 세트에서 WorldFlow는 ADE 0.060 m를 달성하여 가장 강력한 외부 기준선 대비 54.2% 감소했다. 또한 플로우 전용 변형과 비교하여 ADE와 FDE를 각각 55.9%, 68.5% 줄인다. 프로젝트 페이지: https://worldflow-rbs.github.io/.

arXiv:2610.37690v4cs.MM

Cassette-Editor: 사람과 에이전트 편집을 위한 공유 타임라인 의미론

Cassette-Editor: Shared Timeline Semantics for Human and Agent Editing

비디오 편집은 서로 연결된 타임라인 트랙 전반에 걸친 번거로운 수작업 조작을 수반하므로, 반복 작업을 대신 처리하면서도 프로젝트를 사람이 직접 수정할 수 있게 유지하는 자동화 에이전트의 필요성이 제기된다. 고정된 연산 목록은 표현력을 제한하며, 기본적인 트림조차 이후 클립, 부착된 제목, 전환 효과에 대한 조율된 갱신을 필요로 한다. 우리는 수동 사용자 제스처와 자동화된 에이전트 패치를 공유 편집 환경 안에서 통합하는 에이전트 하네스 Cassette-Editor를 제시한다. 공유 행동 언어는 편집기의 수동 콘텐츠 변경을 표현하고, 공통 이력은 실행 취소와 수동 보정을 위해 확정된 편집을 기록한다. 모델이 편집을 선택하면 상태 실행기가 트림 이후 뒤따르는 클립과 부착된 제목의 이동과 같은 하위 영향을 자동으로 도출하며, 검증 규칙집은 구조적 불변 조건을 강제하고 자동 수리를 위한 국소화된 진단을 반환한다. 프로젝트가 진화하는 동안 에이전트가 근거를 유지하도록, 동적 읽기 연산이 전사본과 장면 설명을 현재 타임라인에 대응시킨다. GPT-6 Luna로 평가했을 때, 전체 하네스는 두 편의 인터뷰 다큐멘터리에 대해 작성된 31개 요청에 걸친 93회 시도 중 92회에서 채점된 요청 검사를 통과했으며, 내부 기본 도구 기준선은 48/93이었다. 절제 실험에서 실행기가 도출하는 영향을 비활성화하면 종속 타임라인 요소가 있는 편집에서 통과 시도가 230/232에서 199/232로 감소했고, 규칙집 검증과 수리를 제거하면 구조적 유효성 경계 부근에서 동작하는 요청에서 통과 시도가 46/48에서 10/48로 낮아졌다. 50개의 TVSum 비디오에서 전체 시스템을 평가한 결과, 동일한 모델을 사용하는 범용 에이전트보다 사람 주석과의 일치도가 더 높았다(F1 23.8 대 20.1).

arXiv:2610.37584v4cs.IR

REGER: 생성형 추천을 위한 시맨틱 ID 기반 아이템 간 관계 모델링

REGER: Modeling inter-item Relations with Semantic IDs for Generative Recommendation

개인화 추천은 온라인 콘텐츠와 사용자 상호작용으로부터 아이템 간의 의미적 관계와 협업적 관계를 학습하는 데 의존한다. 생성형 추천(GR)은 아이템의 이산 시맨틱 ID(SID)를 자기회귀적으로 생성하는 유망한 패러다임을 제시한다. 그러나 무작위로 초기화된 SID 토큰 임베딩과 처음부터 학습된 GR 모델은 아이템에 내재된 의미적 관계를 직접 계승하지 못하며, 아이템 간 협업 관계는 토큰 수준 어텐션과 다음 토큰 지도를 통해 대체로 암묵적으로만 학습된다. 이러한 한계를 해결하기 위해 본 논문은 아이템 간 관계를 시맨틱 사전학습, 이력 인코딩, SID 생성에 명시적으로 반영하는 통합 프레임워크인 REGER를 제안한다. 먼저 생성형 시맨틱 검색을 통해 GR 모델을 사전학습하여, 의미적으로 유사한 이웃 아이템의 SID를 생성하도록 학습함으로써 아이템 간 의미적 유사성을 계승하게 한다. 또한 전역 어텐션과 SID 경계에 정렬된 지역 어텐션을 결합하여 이력 맥락과 인접 아이템 간의 방향성 전이를 포착한다. 아울러 SID 접두사 트리 상에서 아이템 수준 선호 증류를 형식화하여, 아이템 선호 분포를 접두사 조건부 분포로 정확히 분해하고 아이템 수준 KL 발산을 조건부 KL 항들의 가중 분해로 도출한다. 이 분해에 따라 생성기의 확률을 유효한 다음 토큰에 대해 재정규화하고, 정답 SID 경로를 따라 그 결과 분포를 교사 모델의 조건부 선호에 일치시키며, 증류 목적함수를 교차 엔트로피와 함께 공동으로 최적화한다. 실제 데이터셋에 대한 폭넓은 실험을 통해 제안한 선호 증류의 효과를 검증하였으며, REGER가 효율적인 추론을 유지하면서도 기존 GR 기준선을 일관되게 능가함을 보인다.

arXiv:2610.34203v2cs.AI

MatOS: 재료 연구를 위한 에이전트 운영체제

MatOS: An Agent Operating System for Materials Research

재료 연구는 흩어져 있으며 계속 늘어나는 데이터, 지식, 시뮬레이션 도구에 의존하며, 하나의 연구가 문헌 분석, 계산, 실험에 걸친 여러 날의 워크플로로 이루어지는 경우가 많다. 대규모 언어 모델 에이전트는 이제 재료 데이터를 검색하고, 시뮬레이션 코드를 운용하며, 자율 실험실로 설계-합성-특성 분석 루프를 닫을 수 있다. 그러나 이러한 에이전트에 새로운 능력을 추가하고, 장기 실행 작업을 궤도에서 벗어나지 않게 유지하며, 과거 작업과 사용자 피드백으로부터 학습하게 하는 것은 여전히 어렵다. 본 논문에서는 세 가지 핵심 구성요소를 갖춘 재료 연구용 에이전트 운영체제 MatOS를 제시한다. (1) 데이터, 지식, 도구, 스킬, 역할, 워크플로를 재사용 가능한 자산으로 조직하는 계층적 과학 자산 그래프, (2) 과학적 검증을 포함한 명시적 실행 그래프로 작업을 수행하여 재개와 추적이 가능한 상태 기반 적응형 워크플로, (3) 실행 기록과 사용자 피드백으로부터 이러한 자산을 수정하는 증거 기반 자산 진화이다. ResearchClawBench에서 MatOS는 동일한 기반 모델로 기존 최고 성능 에이전트보다 11.15% 향상되었으며 비용-점수 파레토 프런티어를 확장한다. 공통 기반 모델 조건에서 Codex CLI와 Claude Code를 능가하며, MatTools에서 Codex CLI보다 2.13%, SciAgentGym에서 4.17% 높다. 8건의 연구 사례에서 MatOS는 3천만 개가 넘는 후보 구조를 97개의 고체 전해질 후보로 좁혔고, 모체 구조보다 계산된 전도도가 높은 할라이드 변형 89개를 찾아냈으며, 사전학습된 11개 원자간 포텐셜의 힘 오차를 국소 원자 환경과 연결했고, 기준선 대비 오차를 각각 3.1%와 13.6% 줄인 두 가지 새로운 방법을 지원하였다. 이러한 결과는 연구 능력을 재사용 가능하고 진화하는 자산으로 조직하면 에이전트가 길고 여러 단계로 이루어진 재료 연구를 수행할 수 있음을 보여준다. 코드는 https://github.com/DingyangLyu/MatOS 에서 확인할 수 있다.

arXiv:2610.31276v2cs.AI

RIPPLE: 장기 에이전트 코딩을 위한 프로세스 수준 정책 학습과 효과 인식 크레딧을 통한 복구 내재화

RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding

장기 코딩 에이전트는 실패를 관찰하고 그럴듯한 비평을 생성하고도 동일한 잘못된 궤적을 계속 따라갈 수 있다. 우리는 이를 비평-행동 전달 간극(Critique-to-Action Handoff Gap)이라 부른다. 본 논문은 프로세스 수준의 지침을 하나의 자기 복구 정책으로 내재화하는 복구 지향 학습 프레임워크 RIPPLE을 제안한다. 접두사만 보는 교사는 미래의 행동이나 최종 결과에 접근하지 않고도 증거에 기반한 복구 지도를 제공한다. 경량 증류 이후 강화학습은 반성 유발, 진단, 교정 행동에 단계별 크레딧을 할당한다. 국소 유효성 신호가 궤적 이점을 게이팅하여 중간 복구 결정이 최종 결과를 무분별하게 물려받지 않도록 한다. 4개의 저장소 수준 소프트웨어 엔지니어링 벤치마크에서 RIPPLE은 배포 시 보조 비평가 없이 기본 정책을 산술 평균 4.8점 향상시킨다. 통제된 제거 실험은 국소적이고 단계에 정렬된 크레딧의 이점을 분리해 보여 주며, 접두사를 일치시킨 개입은 비평의 의미가 이후의 교정에 영향을 미침을 보여준다. 복구 이득은 접두사에 충분한 진단 증거가 있고 남은 예산 내에서 저장소 상태를 되돌릴 수 있는 경우에 집중된다.

arXiv:2610.27012v2cs.LG

RLVR을 통한 시각 및 텍스트 추론을 위한 활성화 공간 탐색

Activation-Space Exploration for Visual and Textual Reasoning with RLVR

검증 가능한 보상을 활용한 강화학습(RLVR)은 응답을 샘플링하고 자동 검증기로 채점하며 그 보상으로 정책을 갱신하여 시각 및 텍스트 추론을 향상시킨다. 따라서 정책은 자신의 롤아웃에 나타난 궤적으로부터만 직접적인 학습 신호를 받는다. 그러나 동일한 정책에서 반복 샘플링하면 유사한 추론 경로에 집중될 수 있어, 고정된 롤아웃 예산에서는 유용한 대안이 탐색되지 않은 채 남는다. 본 논문은 학습 롤아웃을 다양화하는 온라인 방법인 활성화 공간 탐색(ASE)을 제안한다. ASE는 동일 문제에 대한 정답 응답과 오답 응답 사이의 활성화 차이를 군집화하여 잠재 탐색 벡터의 구조화된 뱅크를 구성한다. 이후 서로 다른 벡터를 후속 롤아웃에 적용하여 대안적 추론 경로를 탐색한다. 동일한 롤아웃 예산에서 ASE는 Qwen3-VL-2B-Instruct에서 GRPO 대비 평균 정확도를 6개 시각 수학 벤치마크와 6개 일반 시각 추론 벤치마크에서 각각 5.41 및 3.15 퍼센트포인트 향상시킨다. Qwen3-1.7B-Base에서는 6개 수학 추론 벤치마크의 평균 Mean@8을 GRPO 대비 4.87 퍼센트포인트 향상시키며, Qwen3-8B-Base에서도 향상이 관찰된다.