PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.23917v1cs.AI

Vanguard: 추측적 비전-언어 에이전트에서 초안을 신뢰할 시점 파악하기

Vanguard: Knowing When to Trust the Draft in Speculative Vision-Language Agents

웹사이트를 탐색하고, 휴대폰을 조작하고, 가정에서 행동하는 비전-언어 에이전트는 매 행동 전에 추론하므로 모든 단계가 대형 모델을 기다려야 하며, 이러한 지연과 비용은 배포의 걸림돌이 된다. 단계 수준 추측(step-level speculation)은 소형 모델이 각 단계를 초안으로 작성하고 거부된 초안에 대해서만 대형 모델을 호출하게 하지만, 그 결과는 판정자에 달려 있으며 단계의 텍스트만 읽는 판정자는 그 단계가 행동 대상 화면에 맞는지 알 수 없다. 우리는 소형 모델의 몇 개 샘플에 올바른 단계가 포함되는 빈도가 대형 모델이 그 단계를 맞히는 빈도와 비슷하며, 항상 같은 단계에서 그런 것은 아님을 발견했다. 화면과 대조하여 확인하면 소형 초안은 더 저렴할 뿐 아니라 더 나을 수도 있다. 우리는 초안 모델과 대상 모델을 변경하지 않는 학습 불필요 판정자 Vanguard를 제안한다. 범용 의사결정 모델이 스크린샷을 보면서 한 번의 순전파로 각 후보 단계가 옳을 확률을 부여하고, 최선의 후보가 임계값을 넘으면 유지하며, 그렇지 않으면 대형 모델이 해당 단계를 작성한다. 웹, 모바일, 임바디드 에이전트에서 Vanguard가 판정한 2B 초안은 8B 대상 모델과 최소한 동등한 정확도를 보였고 Mind2Web과 EB-ALFRED에서는 유의하게 더 정확했으며, 대상 모델이 작성하는 단계는 소수에 불과하다. 또한 훨씬 더 많은 폐루프 에피소드를 완료하며, 다른 계열의 27B 대상 모델과 함께 사용하면 더 빠르고 더 정확하다. Vanguard는 에이전트 과제에서 비교한 판정자 중 가장 정확하며, 웹과 모바일 과제에서는 스크린샷에 의존하고, 보정된 임계값은 보지 못한 웹사이트로 전이되며, 모델 계열 전반에서 대상 모델 대비 이득은 대상 모델의 정확도에 대한 초안의 pass@4가 커질수록 증가한다. Vanguard는 토큰 수준 추측 디코딩과 결합 가능하며 수학에서 학습된 프로세스 보상 모델과 대등한 성능을 보여, 추측을 대형 모델의 작업을 절약하는 방법에서 이를 개선할 수 있는 방법으로 전환한다.

arXiv:2611.23910v1cs.AI

MLE 에이전트: 대규모 추천 시스템에서의 자율 ML 엔지니어링

MLE Agents: Autonomous ML Engineering in Large-scale Recommendation Systems

대규모 랭킹 및 추천 모델을 개선하는 전형적인 워크플로는 느리고 지루하다. 엔지니어가 가설을 세우고, 이를 코드 변경으로 구현하고, 모델을 학습시킨 뒤 오프라인과 온라인으로 평가하며, 그 과정에서 종종 자신의 직관과 경험에 의존한다. 자율 LLM 에이전트는 이 루프를 스스로 실행하여 속도를 높일 수 있을 것으로 기대되지만, 벤치마크나 소규모 대리 과제가 아닌 산업 규모 시스템에서 이것이 가능한지는 여전히 불분명하다. 우리는 대규모 검색 랭커에 대한 모델 변경을 제안, 구현, 학습, 평가하는 사람 참여형(human-on-the-loop) 머신러닝 엔지니어(MLE) 에이전트를 구축한다. 엔지니어는 목적함수 설계, 탐색 방향, 최종 모델 검토에 대한 통제권을 유지한다. 우리는 이 산업 환경을 어렵게 만드는 세 가지 장애물, 즉 실험당 피드백에 수 시간이 걸린다는 점, 오프라인 지표가 온라인 영향을 항상 예측하지는 않는다는 점, 초기의 성과 이후 개선이 포화된다는 점을 확인했다. 이를 병렬 학습 실행, 온라인 영향과 일치하도록 보정된 목적함수, 신중한 컨텍스트 엔지니어링으로 해결한다. 한 캠페인에서 시스템은 완료된 후보 실험 1,097건을 실행하여 325건을 채택했으며, 이는 다른 목적함수와 탐색 제약 아래 진행된 이전 캠페인의 15.6%와 비교해 29.6%의 채택률이다. 최고 모델은 대규모 A/B 테스트에서 검색량을 0.23% 증가시킨다. 몇몇 개선은 팀이 시도해 본 적 없는 아키텍처 변경으로, 더 넓은 산업계와 문헌에서 가져온 것이었으며, 이는 MLE 에이전트가 인간의 직관이 간과하는 설계 공간 영역을 탐색할 수 있음을 시사한다. 우리는 모델을 둘러싼 하네스의 설계가 중요함을 확인했다. 직관적으로는 더 강력한 기반 모델이면 충분할 것 같지만, 우리의 경험상 그 주변 루프의 설계도 똑같이 중요하다. 더 넓게 보면, 본 연구는 자율 에이전트가 산업 규모 시스템에서 실제 머신러닝 엔지니어링을 수행할 수 있음을 보여 준다.

arXiv:2611.23908v1cs.AI

서버 측 사전학습 확산 모델을 활용한 원샷 연합학습용 학습 불필요 도메인 생성

Training-Free Domain Generation for One-Shot Federated Learning with Server-Side Pre-trained Diffusion Models

원샷 연합학습(OSFL)은 클라이언트-서버 상호작용을 단 한 번의 통신 라운드로 제한하여 통신 오버헤드를 크게 줄일 수 있다는 점에서 관심이 커지고 있다. 그럼에도 이러한 제한된 상호작용은 이질적인 클라이언트 분포로부터의 학습을 어렵게 만든다. 확산 기반 OSFL 접근법은 클라이언트 분포를 근사하는 데이터를 합성하여 이 문제를 해결하려 한다. 그러나 기존 확산 기반 접근법은 클라이언트에 상당한 계산 비용을 부과하는 경우가 많고, 클라이언트 분포에 부합하는 데이터를 생성하기 위한 효과적인 시각적 안내가 부족하다. 이러한 한계를 해결하기 위해 우리는 서버 측 사전학습 확산 모델을 활용하여 클라이언트 도메인에 부합하는 데이터를 합성하는 학습 불필요 도메인 생성 프레임워크 FedDoG를 제안한다. FedDoG는 고정된 이미지 인코더로 간결한 도메인 표현을 추출하여 클라이언트 측 계산 및 통신 비용을 크게 줄인다. 이 표현은 사전학습된 이미지 조건 어댑터를 통해 확산 모델에 통합되어 도메인 생성을 위한 명시적인 시각적 안내를 제공한다. 합성 데이터의 품질을 더욱 높이기 위해 FedDoG는 도메인 집중도에 따라 시각적 조건화의 강도를 조정하고, 클래스 일관성과 예측 엔트로피를 기준으로 생성된 샘플을 걸러 낸다. 세 가지 벤치마크에서의 실험 결과, FedDoG는 더 높은 품질의 합성 이미지를 생성하고 분류 정확도에서 기존 OSFL 기준선을 능가한다. 또한 FedDoG는 클라이언트 업로드량과 계산 시간을 각각 99.9%와 91.5% 줄인다. 코드는 https://github.com/YXTong17/FedDoG 에서 이용할 수 있다.

arXiv:2611.23907v1cs.AI

신경 그래프 알고리즘에서 인증된 정답 변경 대조군을 이용한 불변성 학습 평가

Evaluating invariance training with certified answer-changing controls in neural graph algorithms

불변성 학습은 신경 알고리즘 추론기가 정답을 보존하는 입력 변화에 강건하도록 하는 것을 목표로 하며, 정확도와 이러한 편집이 예측을 바꾸는 빈도로 평가된다. 우리는 이 평가가 합성 그래프의 최소 신장 트리에서 정답을 바꾸는 편집에 대한 민감도 상실을 검출하는지 묻는다. 여기서는 두 방향 모두 인증할 수 있다. 부분 그래프를 하나의 브리지로 연결하면 원래의 모든 레이블이 보존됨이 증명된다. 두 개의 간선으로 연결하되 오라클이 레이블을 바꾸도록 선택한 경우와, 그래프 내부의 가중치 하나를 낮추는 경우를 정답 변경 대조군으로 사용하며, 반응은 레이블이 바뀌는 간선에서 예측이 바뀌는 것으로 정의한다. 발표된 정확도 범위 내에서 재현한 그래프 트랜스포머(GDT)는 64개 정점 브리지를 연결한 뒤 정확히 풀어내는 64개 정점 그래프의 53.3~65.9%에서 증명상 고정된 레이블을 바꾼다. 연결 간선을 제거하면 변화는 거의 없다. 16개 정점의 그래프와 부착물에서는 세 가지 불변성 목적함수가 정확도를 거의 바꾸지 않으면서 GDT의 위반을 쌍의 2.91%에서 0.52~2.02%로 낮춘다. 학습은 또한 두 간선 부착에 대한 반응을 97.6%에서 66.0~79.0%로 낮추는 반면, 기저 내부 가중치 편집에 대한 반응은 99.5% 근처에 머문다. 64개 정점에서는 정확도도 하락하지만, 16개 정점 기저에서는 부착 대조군만이 이 손실을 드러낸다. 메시지 전달 네트워크는 작은 페널티 가중치에서 부착 반응을 일부 잃지만 불변성은 거의 얻지 못한다. 관례적으로 학습된 GDT를 각 이중 연결 블록에 별도로 실행하면 관찰된 모든 위반이 제거되고 정확도와 두 반응이 유지되므로, 이 과제가 그러한 상충 관계를 강제하지는 않는다. 학습된 불변성에 대한 민감도 검사에는 학습 편집과 마찬가지로 물질을 부착하는 인증된 정답 변경 편집이 포함되어야 한다.

arXiv:2611.23896v1cs.LG

커널 릿지 어텐션: 선택적 망각을 갖춘 비선형 메모리

Kernel Ridge Attention: Nonlinear Memory with Selective Forgetting

커널 릿지 어텐션(KRA)은 학습된 비선형 특징과 공분산 기반 메모리 갱신을 결합한 순환 시퀀스 믹서이다. KRA는 재귀적 릿지 회귀를 통해 연관을 저장하며, 과거 키 사이의 상관관계를 이용해 새로운 관측이 메모리를 어떻게 수정할지 결정한다. 내용 의존적 오른슈타인-울렌벡(Ornstein--Uhlenbeck) 전이가 보존을 제어하고 향후 쓰기를 위한 불확실성을 복원한다. 이 구성은 정확한 시간 커널 해석을 허용하며 컨텍스트 길이와 무관한 크기의 추론 상태를 유지한다. 연관 블록 맵과 명시적 수반(adjoint)은 재귀적 갱신을 보존하면서 병렬 학습을 지원한다. 통제된 언어 모델링 실험에서 KRA는 어텐션 및 순환 기준선보다 예측 품질을 향상시키고, 평가된 순환 모델 대비 자연스러운 연관 회상을 강화하며, 실용적인 분산 학습 처리량을 달성한다. 이러한 특성은 비선형적이고 적응적인 시퀀스 메모리를 위한 원리적 토대를 제공한다.

arXiv:2611.23891v1cs.CV

SixthView: 숨겨진 시점 복원과 3D 조립 추론을 위한 벤치마크

SixthView: A Benchmark for Hidden-View Reconstruction and 3D Assembly Reasoning

3D 조립체의 보이지 않는 면을 추론하려면 부품 배치와 가림에 대한 추론이 필요하다. 서로 다른 조립체가 관측된 시점과 일치하면서도 서로 다른 숨겨진 시점을 만들어 낼 수 있어 정답이 모호해진다. 우리는 모델이 다섯 개의 관측 시점과 구성 요소 형상에 대한 정보로부터 여섯 번째 정투영 시점을 예측하는 벤치마크 SixthView를 소개한다. 이 벤치마크는 부품이 2~10개인 합성 폴리큐브 조립체 602개를 포함하며, 누락된 시점에 대한 부품 레이블의 조밀한 격자를 요구하여 정확한 시점 단위 평가와 셀 단위 평가를 모두 가능하게 한다. 각 항목에 대해 정확한 구성 요소 기하와 관측된 레이블 격자에 부합하는 모든 합법적 조립체가 동일한 목표 시점을 산출함을 전수 검증한다. 이러한 입력이 주어지면 이 과제는 기호적 조립과 좌표 추론을 시험한다. 이미지 전용 변형은 추가로 렌더링된 시점으로부터 형상을 복원해야 하며, 이때 가림 때문에 서로 다른 3D 형상이 동일하게 보일 수 있다. 우리는 세 가지 비전-언어 모델을 네 가지 입력 조건에서 평가한다. 평가가 완료된 552개 항목에서 이미지와 정확한 텍스트를 함께 사용한 정확 격자 정확도는 33.2%에서 85.4% 범위이다. 분리된 이미지에 정확한 텍스트를 추가하면 정확도가 19.7~63.0 퍼센트포인트 향상되는 반면, 정확한 텍스트에 이미지를 추가하면 $-0.5$에서 $+2.1$포인트만 변한다. 분리된 이미지 패널은 병합된 시트보다 6.7~11.1포인트 더 좋은 성능을 보인다. 결과는 성능이 정확한 기호 정보에 대한 접근에 크게 좌우되며, 기하가 명시된 이후에는 이미지에 의한 추가 향상이 거의 없음을 보여 준다. GitHub: https://github.com/facebookresearch/sixthview_benchmark

arXiv:2611.23890v1cs.AI

EVA-RSI: 시간적 품질 판단을 위한 비디오 평가기의 재귀적 자기 개선

EVA-RSI: Recursive Self-Improvement of Video Evaluators for Judging Temporal Quality

비디오 평가기는 비디오 생성에서 중요한 역할을 하지만 움직임 결함을 놓치므로 생성된 비디오의 품질을 제한한다. 재귀적 자기 개선(RSI)은 명시적 검증기가 단일 목표에 대해 신뢰할 수 있는 피드백을 제공하는 수학과 코딩 분야에서 큰 진전을 이루었다. 비디오 평가는 RSI에 두 가지 어려움을 제기한다. 검증기가 없다는 점과, 물리성, 부드러움, 역동성 등 여러 차원을 동시에 판단해야 하며 한 차원의 향상이 다른 차원의 손실로 이어질 수 있다는 점이다. 본 논문은 이 두 제약 아래에서 RSI를 탐구하기 위한 멀티 에이전트 프레임워크인 EVA-RSI를 제안한다. 시간 역전과 프레임 삭제 같은 통제된 변형을 비디오에 적용하여, 구성 방식에 의해 정답이 정의되는 고정 대리 시험을 구축한다. 이러한 편집은 사람의 주석 없이 지도 신호를 제공한다. 소량의 사람이 라벨링한 실제 비디오가 이 시험을 사람의 판단에 고정시킨다. 각 차원마다 개선안을 제안하는 LLM 에이전트가 있다. 리더 에이전트가 제안들을 조율하고, 내시 협상 규칙이 차원 간 진전의 균형을 맞추는 업데이트를 선택한다. 사람은 시험을 설계하고, 후보 변경을 검토하며, 단계 사이에 커리큘럼을 수정한다. Qwen3-VL-8B에서 출발한 EVA-RSI는 움직임 평가를 향상시키며 부드러움에서 가장 큰 향상을 보이고, 그 향상은 실행 중 접하지 않은 결함 유형으로도 이어진다. 공개 벤치마크의 역동성 부분집합에서 본 평가기는 테스트한 21개 모델 중 가장 높은 점수를 기록한다. 강화학습 보상으로 사용하면 생성되는 움직임이 증가하고 사람의 선호를 얻는다. 이를 포함한 데이터 선택 파이프라인 또한 움직임을 증가시킨다.

arXiv:2611.23886v1cs.AI

모달리티 결손 상황에서 고정된 멀티모달 모델을 위한 위험 통제 보정

Risk-Controlled Correction for Frozen Multimodal Models under Missing Modalities

배포된 멀티모달 예측기는 가중치를 더 이상 변경할 수 없게 된 이후 모달리티 결손에 직면할 수 있다. 이는 학습 시점의 복구로는 답할 수 없는 질문을 제기한다. 그 결과로 생기는 오차 중 남아 있는 정보로부터 교정 가능한 부분은 무엇인가? 본 논문은 이 부분이 베이즈 격차, 즉 모델의 예측과 관측된 모달리티가 주어졌을 때의 베이즈 예측 사이의 차이로 특징지어짐을 보인다. 교차 엔트로피와 제곱 오차에서는 초과 위험이 손실의 기하 구조에서 이 격차를 측정하며, 관측된 모달리티의 모호성은 제거할 수 없다. 따라서 심하게 저하된 예측이 반드시 교정 가능한 것은 아니다. 베이즈 예측을 추정하려면 일반적으로 라벨이 필요하다. 그러나 더 많은 모달리티를 관측하는 모델이 조건부로 올바른 경우, 나머지 모달리티를 조건으로 그 출력을 평균하면 검색 라벨 없이도 이 목표를 복원할 수 있으며, 동일한 고정 혼합과 이웃을 사용할 때 기대 교차 엔트로피 또는 브라이어 위험 측면에서 하드 라벨을 평균하는 것보다 나쁘지 않다. 이러한 가정은 불가피하다. 그렇지 않으면 라벨 없는 데이터만으로는 목표를 식별할 수 없다. GUARD(Gated Utility-Aware Recalibration for Deployment)는 배포된 예측기를 변경하지 않는다. 검색으로 후보 교정을 추정하고, 교정이 도움이 될 가능성이 클 때를 배포 환경과 일치하는 라벨 데이터로부터 학습하며, 보류된 분할에서 공형 위험 제어로 임계값을 보정한다. 교환 가능성 하에서, 손실 증가가 지정된 허용치를 초과하는 교정을 GUARD가 적용할 주변 확률은 학습된 점수와 무관하게 사전 설정된 수준으로 상한이 정해진다. 통제된 실험에서 교정 이득은 원시 오차가 아니라 개선 여지를 따르며, 여섯 개 도메인에 걸친 아홉 개의 고정 모델-데이터셋 쌍에서 GUARD는 전면 교정이 자주 초과하는 피해 예산 내에서 전면 교정 이득의 대부분을 유지한다.

arXiv:2611.23881v1cs.CV

NullTok: 학습이 필요 없는 장편 비디오 이해를 위한 경험적 귀무 분포 기반 토큰 선택

NullTok: empirical-null token selection for training-free long video understanding

장편 비디오 이해는 주로 긴 비디오에 누적되는 방대한 시각 토큰 때문에 기존 멀티모달 대규모 언어 모델(MLLM)에 여전히 어려운 과제이다. 현재 이 문제를 다루는 주된 패러다임은 프레임 선택과 토큰 선택이며, 둘 다 관련 시각 정보를 선택하여 MLLM을 위한 간결한 입력을 구성하는 것을 목표로 한다. 토큰을 가지치기하기 전에 프레임을 선택하는 방식으로 두 패러다임을 결합하는 것이 자연스러운 접근이지만, 잡음이 있는 프레임 수준 관련성 추정은 되돌릴 수 없는 증거 손실을 초래할 수 있다. 본 논문은 질의별 증거의 시공간 분포를 평가하는 관점에서 이 문제를 연구하고, 학습이 필요 없는 새로운 접근법인 NULLTOK을 제안한다. 모든 프레임의 각 패치에 대해, 그룹이 일치하는 64개의 무관한 대조 질의로부터 경험적 귀무 분포를 구성하여 목표 특이적 증거가 없을 때 기대되는 점수를 포착한다. 목표 친화도는 동일 위치의 이러한 기준에 대해 보정되어 우측 꼬리 몬테카를로 p-값이 되며, 이는 조건부 교환 가능성 가정 하에서 이산 초균등이다. 보정된 선별과 높은 재현율의 의미적 보호 장치가 후보 토큰을 만들고, 이는 결정론적 시각 중복 제거와 시공간 예산 공동 할당에 사용된다. NullTok을 검증하기 위해 두 대표적 MLLM에 적용하고 일련의 비디오 벤치마크에서 광범위한 실험을 수행한다. 실험 결과는 제한된 시각 토큰 예산 하에서의 효과를 보여준다. 예를 들어, 자막이나 오디오 없이 풀프레임 등가(FFE) 64개 상한에서, 고정된 LLaVA-Video-7B와 Qwen3-VL-8B 백본을 사용하여 Video-MME에서 각각 65.81%와 68.85%를 달성한다. 이 결과는 두 백본 모두에서 동일 예산 하에 Video-MME에서 평가된 모든 기준선을 능가한다. 코드는 https://github.com/potato-kitty/NullTok 에서 확인할 수 있다.

arXiv:2611.23875v1physics.optics

코딩 에이전트를 이용한 광학 신경망의 현장 학습

In Situ Training of Optical Neural Networks by Coding Agents

광학 신경망은 빠르고 에너지 효율적인 연산을 약속하지만, 모든 장치는 설계와 차이가 있어 하드웨어와 함께 학습되어야 한다. 현장 학습은 각 장치에 대해 전문가가 구축한 보정된 디지털 모델 또는 기울기 없는 시행착오에 의존한다. 프로그램을 작성하고 실행하는 대규모 언어 모델인 코딩 에이전트는 디지털 신경망의 가중치를 이해하고 편집하는 창발적 능력을 보여 왔다. 본 논문은 코딩 에이전트가 측정만으로 광학 신경망을 학습시키는 방법인 optics as code를 소개한다. 이는 탐침의 카메라 이미지를 반환하고 요청마다 가설을 요구하는 하니스를 통해 이루어진다. 우리는 에이전트가 광학에 대한 물리적 이해를 형성하고, 하드웨어에서 조정되는 해석 가능한 광학 요소로 네트워크를 재매개변수화함을 발견했다. 이는 분류와 이미지 인코딩에서 기울기 없는 방법을 능가하며, 보정된 모델을 통한 역전파에 근접하는 성능을 일부의 비용으로 달성한다. 장치별 보정도, 하드웨어를 통한 기울기도 필요하지 않고 더 유능한 모델로 개선되므로, optics as code는 크고 확장 가능한 광학 신경망에 이르는 실용적 경로이자 광학 실험을 보정하고 최적화하는 범용 도구를 제공한다.

arXiv:2611.23864v1cs.AI

묻고도 놓치다: 자연어 데이터 질의에서의 결정 커버리지

Asking but Missing: Decision Coverage in Natural-Language Data Querying

대규모 언어 모델은 구조화된 데이터에 대한 자연어 질문을 실행 가능한 프로그램으로 변환하는 데 점점 더 많이 사용되고 있다. 근본적인 과제는 질문이 여러 계산적 해석을 허용하는 때를 인식하고, 이를 해소하는 데 필요한 결정을 식별하는 것이다. 본 연구는 언어 모델이 코드를 생성하기 전에 이러한 미해결 결정을 인식하는지, 아니면 잘못된 결과로 이어질 수 있는 가정을 조용히 채택하는지를 조사한다. 후자의 행동을 불충분 명세 결정 완성(Underspecified Decision Completion, UDC)이라 부른다. UDC의 다양한 원인을 구분하기 위해, 미해결 결정의 식별, 증거를 이용한 해소, 실행 가능한 코드로의 변환을 분리하는 진단 프로토콜인 Grounded Code Generation(GCG)을 도입한다. 각 단계를 별도로 검토함으로써 잘못된 결과를 초래한 결정이 처음 놓치거나 잘못 처리된 지점을 판별할 수 있다. 이 프레임워크를 BIRD-Pandas에서 열두 개의 모델로 평가하였다. 결과는 명확화 질문에 답하는 것이 실행 정확도를 일관되게 향상시키지만 상당한 오류가 남아 있음을 보여준다. 이러한 결과는 핵심적인 어려움이 명확화 질문에 답하는 데 있지 않고, 애초에 어떤 질문을 해야 하는지 인식하는 데 있음을 시사한다.

arXiv:2611.23862v1cs.CV

3D 흉부 CT에서 영상의학 판독문 그라운딩: ReXGrounding 챌린지 결과

Grounding Radiology Reports in 3D Chest CT: Results of the ReXGrounding Challenge

영상의학 영상에서 보고된 각 소견을 분할할 수 있다면 소견을 측정하고 시간에 따라 추적할 수 있으며 AI 시스템이 검증 가능한 판독문을 생성할 수 있지만, 지금까지 AI 모델은 이 과제에서 낮은 성능을 보였다. 이 과제를 발전시키기 위해 이 과제 전용으로는 최초인 ReXGrounding 챌린지를 MICCAI 2026에서 개최하였다. 참가자들은 비조영 흉부 CT 영상과 그 판독문의 소견 집합이 주어지면 이에 해당하는 3D 분할 집합을 생성하는 모델을 학습하였다. 챌린지는 ReXGroundingCT 데이터셋의 학습 2,992건과 검증 200건의 영상을 사용하였으며, 전문의 자격을 가진 영상의학과 의사들이 빠짐없이 주석을 단 582개 소견이 포함된 300건의 보류 테스트 세트에서 방법들을 평가하였다. 총 15개국 48개 팀이 760건의 제출을 하였고, 최고 방법은 Dice 0.375와 적중률 0.77에 도달하여 두 독립적인 영상의학과 의사 그룹 간의 일치도(50건 부분집합에서 Dice 0.32, 적중률 0.76)와 대등하였다. 챌린지 이전 벤치마크의 100건 영상에서 우승 방법은 Dice 0.390에 도달하였으며, 챌린지 이전 최고 모델인 VoxTell은 0.285였고, 상위 여섯 팀 중 다섯 팀이 이를 미세 조정하였다. 비국소성 소견은 국소성 소견보다 분할하기가 훨씬 어려웠고, 인스턴스 F1은 판독자 간 일치도보다 낮게 유지되었으며(0.34 대 0.47), 모델이 올바른 이상 소견을 잘못된 위치에서 분할하는 경우도 있었다. 따라서 상위 방법은 Dice 면에서 영상의학과 의사 간 일치도에 필적하지만, 비국소성 소견, 여러 인스턴스를 가진 소견, 텍스트에 기술된 해부학적 위치의 준수는 여전히 해결되지 않은 문제로 남아 있다.

arXiv:2611.23858v1cs.RO

LAGR: 과제 지향 파지를 위한 언어 인식 파지 재순위화

LAGR: Language-Aware Grasp Re-Ranking for Task Oriented Grasping

파지는 로봇 조작의 근본적인 능력이며, 적절한 파지는 후속 과제에 따라 달라진다. 예를 들어 망치는 두드릴 때는 손잡이를 잡아야 하지만 건네줄 때는 머리 부분을 잡아야 한다. 이러한 파지를 선택하려면 물체에 대한 물리적 실현 가능성과 과제에 대한 적합성이라는 두 가지 기준을 고려해야 한다. 이러한 접근법을 개발하려면 실제 관측에 대해 실현 가능성 점수와 과제 점수를 모두 갖춘 조밀한 파지 레이블이 필요하지만, 기존의 과제 지향 파지 데이터셋은 규모가 작거나 합성된 것이거나 주석 비용이 크다. 이러한 격차를 해소하기 위해 $17$개 물체 범주의 100,911개 이미지-과제 쌍에 대해 점수가 매겨진 268만 개의 5-DoF 파지 주석으로 구성된 데이터셋을 구축하였다. 또한 이 두 가지 과제를 명시적으로 다루는 과제 지향 파지 검출 방법인 LAGR을 소개한다. 비전-언어 입력이 주어지면 LAGR은 먼저 물리적 실현 가능성 점수와 함께 과제 비의존적 파지 제안을 생성한 다음, 모든 제안을 함께 추론하는 언어 조건 재순위화기로 생성된 파지에 점수를 매긴다. 실험 결과 LAGR은 차선 방법보다 9.3 퍼센트 포인트 높은 성능을 보인다. 또한 Franka Research 3 로봇으로 과제 지향 파지를 실행하여 실제 물체에서 LAGR을 검증한다.

arXiv:2611.23855v1cs.AI

RoboBuilder: 실세계 비디오 피드백을 루프에 포함한 에이전트 기반 로봇 공동 설계

RoboBuilder: Agentic Robot Co-Design with Real-world Video Feedback in the Loop

AI 에이전트가 실세계에서 작동하는 로봇을 설계할 수 있을까? 본 연구에서는 코딩 에이전트가 표준 부품, 모터, 맞춤형 3D 프린트 부품으로 로봇의 하드웨어와 프로그램을 공동 설계하고, 시뮬레이션을 통과한 모든 설계를 제작하여 물리적 코스에서 시험하는 벤치마크인 RoboBuilder를 소개한다. 시뮬레이션만으로는 충분하지 않다. 공개된 부품 데이터 하에서 최초로 통과한 15개 설계 중 어느 것도 실제 코스를 통과하지 못했으며, 따라서 에이전트는 자신이 요청한 측정값과 실제 주행 영상으로부터 시뮬레이터를 학습한다. 네 개의 최첨단 코딩 에이전트, 세 가지 난이도의 열 개 장애물, 12,774개의 서로 다른 로봇에 대한 16,427회의 시뮬레이션, 추정 240시간에 걸쳐 제작된 135대의 물리 로봇에 걸쳐, 에이전트는 쉬운 장애물을 거의 모두 해결하고 우리의 탐색 기준선이 도달하지 못하는 메커니즘을 고안하지만, 더 어려운 수준, 하나의 로봇이 모든 장애물을 넘어야 하는 경우, 그리고 시뮬레이션 통과의 66%만이 모든 수준에서 유지되는 실세계에서는 어려움을 겪는다. 루프를 닫는 것이 도움이 된다. 실제 실패 영상을 보여 주면 에이전트는 로봇을 재설계하고 때로는 자신의 시뮬레이터를 수정하여 레벨 1과 레벨 2 실패의 72%를 제거한다. RoboBuilder는 실제 기계를 엔지니어링하는 에이전트를 향한 진전을 측정한다. 프로젝트 페이지: https://ghadinehme.com/robobuilder.github.io/

arXiv:2611.23843v1cs.RO

RePlan-VLA: 장기 과제용 비전-언어-행동 모델을 위한 진행 인식 재계획

RePlan-VLA: Progress-Aware Replanning for Long-Horizon Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 범용 로봇 조작을 위한 유망한 패러다임으로 부상했으나, 서로 의존적인 여러 조작이 필요한 장기 과제에서는 성능이 저하되는 경우가 많다. 본 논문은 VLA 정책에 장기 추론, 기억, 행동 생성, 진행 추적, 오류 복구의 부담을 지우는 대신, 실행 인식 프레임워크 안에서 VLA의 단기 조작 능력을 활용해야 한다고 주장한다. 이를 위해 VLA의 단기 능력을 신뢰할 수 있는 장기 실행으로 변환하는 VLA 비종속 프레임워크인 \textnormal{\textbf{RePlan-VLA}}를 제안한다. RePlan-VLA는 로봇의 움직임을 명시적으로 모니터링하여 진행 상황을 평가하고, 관찰된 결과에 따라 향후 계획을 적응적으로 수정한다. 기반 VLA 정책을 완전히 그대로 유지하며 추가적인 미세 조정이 필요하지 않다. RoboCasa365와 CALVIN 벤치마크에서의 실험 결과, 차선 기준선 대비 성공률이 각각 21.9%와 10.4% 향상되었다. 또한 Franka Research 3 로봇을 이용한 실제 환경 배치에서도 본 접근법을 검증하였다.

arXiv:2611.23840v1cs.CV

TOGBench: 항공 영상에서 소형 객체 생성 충실도의 벤치마킹과 개선

TOGBench: Benchmarking and Improving Tiny-Object Generation Fidelity in Aerial Imagery

심층 생성 모델의 발전으로 이제 사실적인 영상을 합성할 수 있게 되었다. 그러나 항공 영상은 차량, 선박, 항공기와 같은 소형 객체가 대부분을 차지하며, 이들은 항공 촬영의 조감적이고 광역적인 특성 때문에 몇 개의 픽셀만을 차지한다. 기존 생성 모델은 큰 객체보다 소형 객체에서 훨씬 더 어려움을 겪는다. 기존의 생성 평가 연구가 작은 객체가 충실하게 표현되는지보다 프롬프트 준수나 인간 선호도를 강조해 왔기 때문에 이러한 한계는 간과되어 왔다. 이러한 공백을 해소하기 위해, 본 논문은 항공 영상에서 소형 객체 생성 충실도를 평가하는 정량적이고 객체 수준의 벤치마크인 TOGBench를 소개한다. 나아가 레이아웃-이미지 생성기가 작은 객체를 표현하는 능력을 향상시켜 TOGBench에서의 성능을 높이는 두 가지 간단한 학습 시점 및 추론 시점 기법을 제안한다.

arXiv:2611.23832v1cs.AI

고정된 언어 모델 위에 구축한 의학 객관식 문제용 System 1 의사결정 모델

A System 1 Decision Model for Medical Multiple-Choice Questions Built on Frozen Language Models

System 1 모델은 객관식 문제에 한 번의 처리 과정으로 답한다. 고정된(frozen) 언어 모델이 질문과 각 선택지를 벡터로 변환하고, 학습된 두 개의 작은 헤드가 이들을 공유 공간에 배치하여 가장 가까운 선택지를 정답으로 선택한다. 이 설계는 에이전트 의사결정에서 효과가 입증되었으나, 정답 선택지가 오답보다 질문과 더 유사하지 않은 경우가 많은, 의학 지식이 필요한 시험 문제에서 어디까지 통하는지에 대한 연구는 알려진 바 없다. 본 연구는 MedMCQA를 위해 이 방식을 처음부터 다시 구성하였고, 고정된 Qwen3.5-0.8B, Granite-4.2-3B, Qwen3-8B 위에서 두 개의 투영 헤드와 하나의 온도 파라미터만 학습하였으며, 배치 내 네거티브와 하드 네거티브를 사용하는 대조 손실과 반복 답변에 대한 마스크를 적용하였다. 단순한 마지막 토큰 벡터를 사용했을 때 두 소형 인코더는 약 세 문제 중 한 문제를 맞혔다(보류된 3,842개 문제에서 33.1%와 33.0%이며, 우연 수준은 25.0%이다). 각 텍스트를 한 단어 요약 프롬프트 안에 넣고 헤드의 학습률을 낮추자, 두 소형 인코더에서는 41.7%와 42.5%로, Qwen3-8B에서는 46.0% ±0.2(시드 3개)로 향상되었다. 질문과 선택지를 섞으면 정확도가 우연 수준으로 돌아가므로, 헤드가 실제로 질문을 사용한다. Flan-PaLM과 Med-PaLM 2는 다른 프로토콜에서 MedMCQA 57.6%와 72.3%를 보고하였으므로, 본 모델은 저렴하고 빠른 기준선이며 경쟁력 있는 시스템은 아니다. 또한 본 연구의 증거로 보일 수 없는 점도 밝힌다. 검증 성능 향상은 테스트 성능 향상의 약 1.7~2배였으며, 여러 인코더 계층을 읽는 효과를 다른 변경 사항과 분리할 수 없었다.

arXiv:2611.23825v1cs.HC

VR 스파링 게임의 상대 캐릭터 애니메이션을 위한 무술 동작 기술 학습

Learning Martial Arts Motion Skills for Animating Opponents in VR Sparring Games

가상 상대의 애니메이션 제작은 게임 개발에서 중요하지만 어려운 과제이다. 무술 게임에서 상대의 동작은 물리적으로 그럴듯해야 할 뿐 아니라 적절한 기술, 타이밍, 전환, 그리고 목표 지향적 의도를 보여야 한다. 전통적인 게임 애니메이션은 수작업으로 제작한 클립, 상태 기계 전환, 절차적 조정에 의존하는 경우가 많아 많은 노력이 들며 비플레이어 캐릭터의 행동 다양성을 제한할 수 있다. 본 논문은 가상 스파링 게임의 캐릭터 애니메이션을 위한 무술 동작 기술 학습 프레임워크를 제시한다. 당수도(Tang Soo Do)에서 착안하여, 개별 공격 및 방어 기술, 기술 조합과 전환, 맥락적 스파링 변형을 포함하는 무술 모션 캡처 데이터셋을 수집하였다. 먼저 적대적 스타일 보상을 사용한 강화학습(RL)으로 캡처된 데이터에서 재사용 가능한 무술 동작 기술 모음을 사전 학습하고, 이후 목표 지향 타격과 위협 인식 회피를 위한 과제별 보상으로 이 기술들을 적응시켰다. 학습된 정책이 생성한 동작을 사용자 연구를 통해 평가하였으며, 참가자들은 물리적 그럴듯함, 부드러움, 무술 자세를 평가하였다. 상호작용형 게임플레이에의 적용 가능성을 보이기 위해 Meta Quest 헤드셋용 VR 스파링 프로토타입을 개발하였다. 이 프로토타입은 정책이 생성한 모션 클립과 경량의 상태 기반 제어를 결합하여 상호작용형 상대 행동을 지원한다. 이러한 결과들은 학습된 무술 기술 모음을 VR 스파링 게임의 상대 애니메이션을 위한 동작 기반으로 사용할 수 있다는 가능성을 뒷받침한다.

arXiv:2611.23824v1cs.AI

검색 증강 언어 모델을 위한 증거 기반 크레딧 할당

Evidence-Based Credit Assignment for Search-Augmented Language Models

최종 답변 보상을 이용한 강화학습은 단계별 주석 없이도 검색 증강 언어 모델이 추론과 검색을 번갈아 수행하도록 하지만, 결과 감독은 유용한 정보를 검색했는지와 무관하게 궤적 내 모든 검색에 동일한 크레딧을 부여한다. 이러한 한계는 한 질문에 대해 샘플링된 모든 롤아웃이 실패하는 경우 특히 심각하며, 궤적들이 현저히 다른 증거를 수집했더라도 그룹 중심화된 결과 이점(advantage)이 0으로 붕괴한다. 본 논문은 검색된 문서가 참조 답변의 우도를 얼마나 향상시키는지를 측정하는 학습 전용 보조 신호로 최종 결과 보상을 보강하는 증거 기반 크레딧 할당(Evidence-based Credit Assignment, ECA)을 제시한다. ECA는 전체 대화 접두사를 평가하는 대신, 질문과 지금까지 관찰된 중복 제거된 문서만을 담은 증거 전용 프롬프트 하에서 현재 정책의 고정된 스냅샷을 질의하여, 검색된 구절의 유용성을 생성된 사고나 검색 질의의 표면적 변이로부터 분리한다. 이 프레임워크 안에서, 교차 폴드 그룹 정규화, 신규성 게이팅, 검색 국소 토큰 할당과 함께 두 가지 리턴 정식화인 ECA-Step(단계별로 클리핑된 포텐셜 증분을 누적)과 ECA-Horizon(포텐셜의 망원급수형 지평 이득을 보존)을 비교한다. 7개의 Search QA 벤치마크에서 ECA-Horizon은 결과 전용 GRPO 기준선 대비 엄격한 매크로 정확 일치율을 Qwen2.5-3B-Instruct와 7B-Instruct에서 각각 1.03, 4.80 퍼센트포인트 향상시켜 RLOO와 GiGPO를 모두 능가한다. MultiHop-RAG에 대한 제로샷 평가는 다중 홉 추론 질의로의 강한 전이 성능을 추가로 보여준다.

arXiv:2611.23817v1cs.AI

메트릭 인 더 루프: 복잡도 피드백이 에이전트가 작성하는 코드를 바꾼다

Metrics-in-the-Loop: Complexity Feedback Reshapes Agent-Written Code

코딩 에이전트는 이제 긴 자율 실행을 통해 전체 코드베이스를 작성하며, 주로 테스트 통과 여부에 따라 안내된다. 그러나 테스트 통과만으로는 누적되는 복잡도나 테스트 커버리지의 공백이 드러나지 않으며, 이러한 문제는 에이전트가 자신의 코드를 확장하는 과정에서 지속된다. 우리는 추론 시점 개입인 메트릭 인 더 루프(metrics-in-the-loop)를 소개한다. 이는 자동으로 저비용 계산한 코드 메트릭을 궤적 진행 중 에이전트의 컨텍스트에 주입하여 실시간 피드백을 제공한다. 코드를 변경하는 에이전트 턴마다, 순환 복잡도가 한도를 초과한 변경 함수(복잡도 피드백) 또는 테스트에서 건너뛴 변경 라인(커버리지 피드백)을 명시하는 짧은 피드백 메시지를 삽입하여, 에이전트가 계속하기 전에 코드를 리팩터링하거나 테스트를 강화할 기회를 준다. 우리는 세 가지 장기 코딩 벤치마크와 네 가지 강력한 모델에 걸쳐 여러 개입을 비교하는 광범위한 실험과 소거 연구를 수행한다. 그 결과 복잡도 피드백이 코드의 복잡도 집중도를 나타내는 척도인 침식(erosion)을 유의미하게 줄이면서도, 보류된 데이터에 대한 코드의 정확성에는 영향을 주지 않음을 확인했다. 전반적으로 우리의 실험은 시의적절하고 실행 가능한 측정값이 약점이 에이전트가 계속 쌓아 올리는 토대가 되기 전에 에이전트의 방향을 바로잡는 실용적인 형태의 에이전트 "리레일링"을 탐구한다. 에이전트가 수백만 줄 규모의 코드베이스로 확장됨에 따라, 이러한 개입은 효과적인 개발과 장기적인 코드 유지보수성을 지속하는 데 필수적이 된다.