PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11987v1cs.CV

MRI 기반 신경주위 침습 예측을 위한 토큰 라우팅 기반 해부학 특권 증류

Anatomy-Privileged Distillation with Token Routing for MRI-Based Prediction of Perineural Invasion

신경주위 침습(perineural invasion, PNI)은 간내 담관암에서 수술 후 예후가 좋지 않은 것과 관련이 있지만, 수술 후 병리학 검사로 확진된다. 기존 수술 전 영상 모델은 종종 방사선 전문의가 정의한 변수, 조영 증강 영상, 또는 수동 주석에 의존한다. 우리는 T2 가중치 MRI로부터 환자 수준의 PNI 예측을 위한 해부학 특권 교사-학생(teacher-student) 프레임워크를 제안한다. 학습 중, 교사(teacher)는 종양 및 간 마스크가 포함된 MRI를 사용하여 밀집(dense) 토큰 라우팅을 학습하고, 학생(student)은 이 가이드를 증류(distillation)하여 고정된 예산 하에서 정보가 풍부한 토큰을 유지하고 집계한다. 해부학 감독은 학습에만 제한되며, 배포된 모델은 추론 시 마스크가 필요하지 않다. 155명의 환자에서 제안된 방법은 동일한 프로토콜 하에서 평가된 매칭된 MRI 전용 베이스라인 중 최고 평균 AUROC 0.750을 달성했으며, Jetson Orin Nano Super Developer Kit에서 사례당 1.43 GFLOPs 및 8.02 ms를 기록했다.

arXiv:2606.16241v3cs.CV

빠른 비주얼 아나그램 합성을 위한 구조-의미 공동 최적화 잠재 확산 모델

Structure-Semantic Co-optimized Latent Diffusion Model for Fast Visual Anagram Synthesis

비주얼 아나그램(visual anagram)은 뒤집기나 회전과 같은 변환 하에서 단일 이미지가 서로 다른 개념적 해석을 제시하는 흥미로운 예술 창작 형식이다. 최근 연구는 사전학습된 텍스트-이미지(T2I) 확산 모델을 활용하여 비주얼 아나그램 합성을 달성했지만, 여전히 계산 비효율, 미흡한 미적 품질, 낮은 의미 충실도와 표현력 등 여러 핵심 한계를 겪고 있다. 본 연구는 최소한의 계산 비용으로 시각적 품질이 실질적으로 향상된 비주얼 아나그램을 생성하는 데 초점을 맞추며, 이를 통해 착시적 디지털 예술의 지능형 창작을 발전시킨다. 이미지 해상도를 높이면서 시간 오버헤드를 줄이기 위해, 픽셀 기반 T2I 모델의 최첨단 병렬 디노이징 알고리즘을 적대적 증류 기반 잠재 모델에 맞게 적용하고, 이에 따라 그로 인한 시각적 품질 저하를 상쇄하기 위한 구조-의미 공동 최적화(structure-semantic co-optimization, S2CO) 프레임워크를 제안한다. 핵심으로, S2CO 프레임워크는 세 가지 주요 혁신으로 구성된다: (ⅰ) null-text 구조 정렬 최적화; (ⅱ) 의미 강화 최적화; (ⅲ) 어텐션 기반 노이즈 융합. 이들 구성 요소를 바탕으로, S2CO-Anagram이라 명명한 우리 방법은 관련 SOTA 접근법보다 눈에 띄게 우수한 시각적 조화와 의미 충실도를 갖춘 고해상도 아나그램 이미지를 생성할 수 있으며, 동시에 실질적으로 더 빠른 추론 속도를 달성한다. 코드는 공개될 예정이다.

arXiv:2606.09076v3cs.CV

Z-Reward: 스칼라 보상을 넘어 추론을 점수 분포에 내재화

Z-Reward: Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions

보상 모델은 텍스트-이미지 사후 학습의 핵심이지만, 시각적 선호는 주관적이며 결정론적 스칼라보다 루브릭 점수에 대한 분포로 표현하는 것이 더 적합하다. 기존의 스칼라, 점수-토큰, 및 쌍방 보상 모델은 불확실성과 세밀한 점수 차이를 과도하게 압축하는 반면, 추론 기반 생성형 보상은 더 강한 판단을 제공하지만 배포 비용이 높고 직접적인 최적화 신호로 사용하기 어렵다. 우리는 Z-Reward를 제안한다. 이는 추론 부담이 큰 판단과 효율적인 보상 배포를 분리하는 교사-학생 보상 모델링 프레임워크이다. 교사 모델은 추론을 활용해 루브릭에 정렬된 점수 분포를 추정하는 대규모 VLM이며, Group-wise Direct Score Optimization(GDSO)으로 학습된다. GDSO는 분포 기대값으로부터의 정책-그래디언트 보상과 점수 분포 및 점수 간격에 대한 직접적인 점별 및 쌍방 지도를 결합한다. 학생 모델은 Reasoning-Internalized Score Distillation(RISD)으로 학습되며, 이는 추론 시점에 명시적인 추론 체인을 요구하지 않고 교사의 추론 조건부 점수 분포를 컴팩트 VLM으로 전달한다. 내부 주석 평가 세트에서 27B GDSO 교사 모델은 89.6%의 인간 선호 정확도에 도달하여 SFT, RewardDance, GRPO를 능가하며, 9B RISD 학생 모델은 88.6%에 도달하여 OPD 기준선을 능가하고 더 큰 교사 모델에 근접한 성능을 보인다. 또한 Z-Reward가 텍스트-이미지 최적화를 위한 미분 가능한 보상 신호로 기능하며, SFT 기준선 대비 41.3%의 순 인간 선호 개선을 달성함을 보인다.

arXiv:2603.28583v2cs.CV

신기루 해내기: 견고한 오도적 차트 질의응답을 위한 이중 경로 에이전트 프레임워크

Navigating the Mirage: A Dual-Path Agentic Framework for Robust Misleading Chart Question Answering

비전-언어 모델(VLM)이 성공을 거두었음에도, 기만적인 시각 구조와 왜곡된 데이터 표현 때문에 오도적 차트는 여전히 중요한 난제로 남아 있다. 본 논문은 "회의적(skeptical)" 추론 패러다임을 통해 시각적 기만을 드러내기 위해 설계된 에이전트 기반 이중 경로 프레임워크인 ChartCynics를 제안한다. ChartCynics는 전체론적(holistic) 모델과 달리 지각(perception)과 검증(verification)을 분리한다. Diagnostic Vision Path는 전략적 ROI 크롭을 통해 축 반전과 같은 구조적 이상을 포착하고, OCR-Driven Data Path는 수치적 그라운딩(grounding)을 보장한다. 교차 모달 충돌을 해결하기 위해, 추론 지식 증류(reasoning distillation)를 위한 Oracle-Informed SFT와 적대적 정렬(adversarial alignment)을 위한 Deception-Aware GRPO로 구성된 2단계 프로토콜을 통해 최적화한 Agentic Summarizer를 도입한다. 이 파이프라인은 시각적 함정에 효과적으로 페널티를 부과하고 논리적 일관성을 강제한다. 두 벤치마크에서의 평가 결과, ChartCynics는 각각 74.43%와 64.55%의 정확도를 달성했으며, Qwen3-VL-8B 백본 대비 약 29%p의 절대 성능 향상을 제공하여 최신 독점 모델(state-of-the-art proprietary models)을 능가했다. 본 결과는 특화된 에이전트 워크플로가 더 작은 오픈소스 모델에 우수한 견고성(robustness)을 부여할 수 있음을 보여주며, 신뢰할 수 있는 차트 해석을 위한 새로운 기반을 마련한다.

arXiv:2511.16144v2cs.CV

LEGO-SLAM: 언어 임베딩 가우시안 최적화 SLAM

LEGO-SLAM: Language-Embedded Gaussian Optimization SLAM

3D Gaussian Splatting(3DGS)의 최근 발전으로 동시 위치 추정 및 매핑(SLAM) 시스템이 포토리얼리스틱 지도를 구축할 수 있게 되었다. 그러나 이러한 지도는 로봇 상호작용에 필요한 개방 어휘(open-vocabulary) 의미 이해를 갖추지 못한다. SLAM에 언어 특징을 통합하는 것은 여전히 큰 과제로 남아 있다. 고차원 특징을 저장하면 과도한 메모리와 렌더링 오버헤드가 발생하고, 정적 모델을 사용하는 기존 방법은 새로운 환경에 대한 적응성이 부족하기 때문이다. 우리는 3DGS 기반 SLAM 시스템 내에서 실시간 개방 어휘 매핑을 달성하는 프레임워크인 LEGO-SLAM(Language-Embedded Gaussian Optimization SLAM)을 제안한다. 우리 방법의 핵심은 장면 적응형 오토인코더로, 고차원 언어 임베딩을 압축된 16차원 특징 공간으로 지식 증류(distillation)하여 가우시안당 메모리를 줄이고 렌더링을 가속한다. 정적 접근법과 달리, 우리의 인코더는 보이지 않았던 장면에 온라인으로 적응한다. 이러한 압축된 특징은 의미적 중복을 식별하는 언어 유도 가지치기 전략도 가능하게 하여, 렌더링 품질을 유지하면서 지도의 가우시안 수를 최대 58%까지 줄인다. 또한 매핑을 위해 이미 추출된 언어 특징을 재활용하는 언어 기반 루프 감지(loop detection) 접근법을 도입하여 별도의 감지 모델이 필요 없게 한다. 실험 결과 LEGO-SLAM은 15 FPS에서 개방 어휘 기능을 제공하면서도 경쟁력 있는 매핑 품질과 추적 정확도를 달성함을 보여준다. 프로젝트 페이지는 https://lab-of-ai-and-robotics.github.io/LEGO-SLAM/ 에서 확인할 수 있다.

arXiv:2511.11132v4cs.CV

사후 인식에서 선견지명으로: 지식 기반 시각적 질의응답을 위한 자기 격려형 사후 지식 증류

From Hindsight to Foresight: Self-Encouraged Hindsight Distillation for Knowledge-based Visual Question Answering

지식 기반 시각적 질의응답(KBVQA)은 교차 모달 이해를 넘어서는 외부 지식 통합을 필요로 한다. 기존 KBVQA 방법은 문맥 내 학습(ICL)을 통해 다중모달 대규모 언어 모델(MLLM)의 암묵적 지식을 활용하거나, 검색-증강 생성(RAG)을 통해 명시적 지식을 활용한다. 그러나 이들의 추론 과정은 명시적인 다단계 궤적 없이 암묵적으로 남아 있다. 이 공백을 해소하기 위해, 우리는 MLLM 내부의 추론 능력을 이끌어내기 위해 특권 정보를 갖춘 Hindsight Teacher가 Foresight Student를 가르치도록 구성하는 Self-Encouraged Hindsight Distillation Reasoning(HinD) 프레임워크를 제안한다. 먼저, 추론 목표를 특권 정보로 MLLM에 프롬프트하여 추론 과정을 완료함으로써 Hindsight Teacher를 구성하고, HinD-Zero 학습 데이터를 얻는다. 그다음, 정답을 모르는 Foresight Student는 Hindsight로부터 golden trajectory를 두 가지 방식으로 학습한다: (1) Hindsight Distillation Fine-Tuning을 통해 HinD-Zero를 순차적 단계와 이산적 사실 생성을 위한 모듈화된 사고의 연쇄(Chain-of-Thought) Generator 및 Knowledge Generator로 자기 증류(self-distill)하는 미세조정; (2) Knowledge Encouragement Preference Optimization을 통해 MLLM 내부의 자신감은 부족하지만 관련 있는 지식은 장려하고, 과도하게 자신 있지만 관련 없는 지식은 억제한다. OK-VQA와 A-OKVQA에서의 실험은 HinD의 효과를 검증하며, 7–8B MLLM을 사용한 HinD가 상용 모델 API나 검색된 지식 없이도 우수한 성능을 달성함을 보여준다.

arXiv:2607.11959v1cs.AI

스마트 온실 강화학습 제어를 위한 교정 우선 보상 구성요소 감사

Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses

온실 강화학습은 작물 실험만으로는 달성하기 어려운 속도와 규모로 기후 제어 아이디어를 검증할 수 있다. 그러나 스마트 온실 제어에서는 단일 시뮬레이터 반환값만으로는 충분하지 않으며, 재배자나 제어 엔지니어는 정책이 언제 가열, CO2 농축, 환기, 습도 관리, 차광막 배치, 조명을 수행하는지도 알아야 한다. 우리는 시뮬레이터 학습, 시설 적응형 롤아웃, 기록된 Autonomous Greenhouse Challenge 데이터, 액추에이터 규칙 증류 간에 명명된 온실 제어 보상 구성요소를 비교 가능하게 유지하는 재현 가능한 교정 우선 보상 감사 프레임워크를 제안한다. GreenLight-Gym에서는 이 프레임워크가 스칼라 보상을 조건부 온도, CO2, 습도 및 수증기압 결핍(vapor-pressure-deficit), 차광막, 액추에이터 프록시 항으로 분해하고, GreenLight를 두 번째 Autonomous Greenhouse Challenge의 기록된 기후 추적 데이터에 적응시키며, 기록된 온실 데이터에서 동일한 구성요소에 점수를 매긴다.

arXiv:2607.11948v1cs.AI

주권 기업 언어 모델을 위한 온톨로지 증폭 증류와 맥락성 감사: 메커니즘 검증과 부정적 결과를 결합한 방법 연구

Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study

데이터 거주 규정 하에서 운영되는 규제 대상 금융 기관은 기관 경계 내에서 실행할 수 있는 테넌트 소유 언어 모델이 필요하다. 본 논문은 두 개의 관련 FAOS 연구를 하나의 메커니즘-통제 논문으로 결합한다. 먼저, 온톨로지 증폭 증류의 저검정력 메커니즘 검증 연구를 보고한다. Qwen3.6-27B 학생 모델은 프론티어 교사 모델 궤적에 대한 지도 미세조정과 온톨로지 기반 직접 선호 최적화(DPO)를 통해 Foundation AgenticOS 온톨로지에 적응되며, 47개의 합성 영어 교차 도메인 선호 쌍을 사용해 단일 Apple M5 Max에서 로컬로 학습된다. 40개의 홀드아웃 베트남어 금융 도메인 과제에서 증류된 학생 모델은 40개 중 36개 과제를 그라운딩한다(그라운딩 비율 0.90; 0.50 하한이 적용된 지표에서 평균 온톨로지 용어 커버리지 r_onto = 0.95). 이는 40개 중 36개를 그라운딩하는 GPT-5 프론티어 기준선과 동등하다. 그러나 이 결과는 동등성을 확립하기에 검정력이 부족하다. 쌍차 95% 신뢰구간은 ±4 과제에 걸쳐 있으며, 해당 실행은 학생이 프론티어를 초과해야 한다는 사전 등록된 증폭 예측을 검증하거나 보여주지 않는다. 둘째, 본 논문은 기업 에이전트 라우팅을 위한 맥락성 감사 방법을 통합한다. 별도의 부정적 결과 파일럿에서, 수정된 표준 Contextuality-by-Default 정도는 로컬 Qwen 실행과 명시적으로 라벨링된 Gemma 복제 검증 모두의 Phase 1.3 모든 그룹에서 0이며, 유용한 신호는 잔존 잔차 맥락성이 아니라 직접 영향과 구성 개념 결합이다. 두 연구를 함께 보면, 온톨로지 기반 모델 구축 메커니즘과 겉보기 불일치가 프롬프트 표준화, 다중 에이전트 합성, 또는 인간 검토를 트리거해야 하는 시점을 판단하는 거버넌스 진단을 짝지어 준다. 이 증거는 배포 가능성, 안전성, 우월성, 통계적 동등성, 또는 맥락성 양성 라우팅 규칙 중 어느 것도 뒷받침하지 않는다.

arXiv:2602.16727v2cs.AI

확장 가능한 LLM 기반 인간 이동 시뮬레이션을 위한 이동성 인식 캐시 프레임워크

Mobility-Aware Cache Framework for Scalable LLM-Based Human Mobility Simulation

대규모 인간 이동 시뮬레이션은 인구 이동 패턴을 이해하고 도시 계획, 유행병 대응, 교통 분석 등 실세계 지리공간 응용을 지원하는 데 근본적이다. 최근 연구들은 구조화된 추론을 사용하여 현실적인 이동 행동을 시뮬레이션하기 위해 대규모 언어 모델(LLM)을 인간 에이전트로 활용하지만, 높은 계산 비용이 확장성을 제한한다. 이에 우리는 재구성 가능한 캐시를 활용하여 효율적인 대규모 인간 이동 시뮬레이션을 가능하게 하는 이동성 인식 캐시 프레임워크 MobCache를 설계한다. MobCache는 (1) 각 추론 단계를 잠재 공간 임베딩으로 인코딩하고 잠재 공간 평가기를 사용하여 추론 단계의 재사용과 재결합을 가능하게 하는 추론 구성요소, (2) 이동 법칙 제약 지식 증류로 학습된 경량 디코더를 사용하여 잠재 공간 추론 연쇄를 자연어로 변환함으로써 충실도를 유지하면서 시뮬레이션 효율을 개선하는 디코딩 구성요소로 구성된다. 실험 결과 MobCache는 최신 LLM 기반 방법과 동등한 수준의 성능을 유지하면서 여러 차원에서 효율성을 크게 향상시킴을 보여준다.

arXiv:2607.11131v1cs.CL

TIGER: 멀티모달 추측적 디코딩을 위한 수락 정렬 기반 텍스트 조건부 비주얼 게이팅 라우팅

TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding

추측적 디코딩(speculative decoding)은 경량 초안 모델(drafter)이 여러 토큰을 제안하고 더 큰 타겟 모델이 이를 검증하는 방식으로 자기회귀 생성을 가속화한다. 텍스트 전용 대규모 언어 모델(LLM)에서는 효과적이지만, 비전-언어 모델(VLM)에서는 초안 모델이 시각적으로 중요한 내용에서 자주 이탈하기 때문에 추측적 디코딩의 이득이 제한적이며, 기존 멀티모달 가속 방법들은 무관한 시각적 증거를 직접 처리하거나 속도 향상을 결정하는 검증 모델의 수락 접두 문맥 길이를 최적화하지 않는다. 우리는 멀티모달 추측적 디코딩을 위한 텍스트 조건부 비주얼 게이팅 라우팅(Text-conditioned vIsual GatEd Routing) 프레임워크인 TIGER를 제안한다. TIGER는 전체 비주얼 토큰 집합이나 고정된 압축 인터페이스를 노출하는 대신, 초안 모델의 현재 텍스트 상태에 기반하여 컨텍스트와 관련된 희소한 비주얼 토큰 집합을 동적으로 선택한다. 학습과 추론 시 효율성을 더 잘 정렬하기 위해, KL 앵커링을 활용한 증류 워밍스타트 위에서 수락된 접두 문맥 길이 기반 검증 모델 유도 보상을 사용하는 수락 정렬 그룹 기반 정책 학습으로 초안 모델을 최적화한다. 이를 통해 초안 모델이 타겟 모델을 모방하는 것뿐만 아니라, 더 긴 접두 문맥에서 검증을 통과하는 추측적 연속 생성을 만들어내도록 유도한다. 실험 결과, TIGER는 정확한 검증 측 추측적 디코딩 환경에서 수락된 접두 문맥 길이와 추측적 속도 향상에서 일관된 이득을 제공하며, 비주얼 라우팅 분석에서 비교 가능한 다운스트림 정확도로 유리한 품질-지연 시간 트레이드오프를 달성한다.

arXiv:2607.10805v1cs.CL

온-정책 자기 증류에서의 사고 붕괴 진단 및 완화

Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation

온-정책 자기 증류(On-Policy Self-Distillation, OPSD)는 대규모 언어 모델(LLM)의 성능 향상 및 정렬을 위한 핵심 패러다임으로 부상했다. 그러나 복잡한 추론 과제에서 OPSD는 역설적으로 다운스트림 성능을 저하시킨다. 본 논문에서는 이 병리 현상을 체계적으로 규명하고, 우리가 \textbf{사고 붕괴(Thinking Collapse)}로 정의하는 심각한 최적화 함정을 식별한다. 이는 인식론적 토큰 밀도(ET per 1k)로 측정되는 모델 고유의 중간 추론 행동이 급격히 감소하는 현상이다. 엔트로피 기반 그래디언트 마스킹과 토큰 수준의 목표 분석을 통해, 이 붕괴가 학생 모델의 인식론적 토큰이 교사 모델의 비인식론적 목표로 빈번히 억압되고 높은 포인트별 학생-교사 발산 영역에 집중되는 고-학생-엔트로피 결정 분기점에서의 공격적인 교사 그래디언트에 의해 유발됨을 보인다. 이 최적화 병리를 해결하기 위해, 우리는 자기 증류 목표를 동적으로 조절하는 강건한 제어 프레임워크인 \textbf{적응형 이중-관점 OPSD(Adaptive Dual-Perspective OPSD, AD-OPSD)}를 제안한다. AD-OPSD는 비대칭 포인트별 발산 게이트를 통해 동결된 기반 모델에서 도출된 참조 사전분포에 억압 위험이 높은 샌드박스 토큰을 선택적으로 고정함으로써, OPSD의 오류 수정 능력을 유지하면서 고유한 사고 능력을 보존한다. 경쟁적 수학 벤치마크에 걸친 광범위한 실험에서 AD-OPSD는 다양한 모델 규모와 데이터셋에 걸쳐 표준 OPSD 대비 절대 평균 정확도를 최대 \textbf{+4.1\%} 향상시킨다. 추가 분석을 통해 AD-OPSD가 사고 붕괴를 완화하고 다양한 사후 학습 패러다임에 강건하게 일반화됨을 보인다.

arXiv:2607.10647v1cs.CL

AI 튜터 자동 평가를 위한 지식 증류

Knowledge Distillation for Automated AI Tutor Evaluation

대규모 언어 모델(LLM)의 K-12 및 고등교육 분야로의 빠른 통합은 교수법적 품질을 평가하는 신뢰할 수 있는 방법의 개발 속도를 앞질러 왔다. 연구 커뮤니티가 AI 튜터 평가 자동화 영역을 탐색하기 시작함에 따라, 우리는 AI 튜터를 평가하도록 설계된 특화된 80억 매개변수 언어 모델인 FATE(FLC AI Tutor Evaluator)를 소개한다. BEA 2025 Shared Task의 네 가지 핵심 평가 트랙에 맞추어, 우리 모델은 오류 식별(Mistake Identification), 오류 위치 파악(Mistake Location), 지도(Guidance), 실행 가능성(Actionability)에 걸쳐 교수법적 능력을 평가한다. 교수법적 평가는 레이블된 데이터가 제한적인 특화된 과제이므로, 우리는 최첨단 LLM으로부터의 지식 증류를 활용하여 추가적인 감독 신호를 생성하며, 이를 통해 최대 22.63 퍼센트 포인트의 절대적 성능 향상을 달성한다. 마지막으로, ChatGPT, Claude, Gemini, DeepSeek을 포함한 인기 있는 상용 모델들이 생성한 교수적 응답을 벤치마킹함으로써 자동화된 평가자로서 FATE의 유용성을 입증한다. 평균적으로 Gemini 2.5 Flash가 가장 우수한 성능(82.88%)을 보였으며, 그 다음으로 ChatGPT 5.5 Instant(80.75%), DeepSeek V4 Flash(80.13%), Claude Sonnet 4.6(74.00%) 순으로 나타났다.

arXiv:2607.10235v1cs.CL

합의 대 이견: 그룹 추천 시스템에서 주관적 선호의 동적 LLM 모델링

Consensus vs. Dissent: Dynamic LLM Modeling of Subjective Preferences in Group Recommenders

그룹 추천 시스템에 관한 기존 연구는 그룹 내 선호 분포에 대한 민감성을 입증해왔다. 구체적으로, 선호 집계 전략의 선택은 이러한 그룹 구성을 고려함으로써 이점을 얻을 수 있다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 민감성을 모방하고, 공정성, 만족도, 합의에 대한 미묘한 인간적 인식에 따라 이상적인 집계 전략(및 해당 추천)을 선택할 수 있는지를 연구한다. 이를 위해 추천 파이프라인 내에서 실시간 판단 모델로 기능하도록 LLM을 인간 설문 데이터로 미세조정한다. DeepSeek-V3.1에서 지식 증류된 추론 데이터셋과 인간 정답 평가를 활용하여, 그룹 평가를 시뮬레이션하는 Judgmental Llama와 Judgmental OLMo를 개발한다. 우리의 파이프라인은 사회적 선택 기반 집계 전략을 바탕으로 다수의 추천 후보를 성공적으로 생성하고, 예측된 인간 유사 평가를 최대화하는 후보를 동적으로 선택한다. 또한 사용자 연구(n=284)를 통해 이러한 제안을 검증하였으며, 우리의 방법론이 만족도와 그룹 합의에서 가장 높은 점수를 달성했음을 확인하였다. 더 나아가, LLM 기반 방법과 그룹 구성(예: 소수 집단 또는 연합) 간의 상호작용 효과를 함께 고려할 때 LLM의 판단이 공정성, 만족도, 합의에 대한 인간의 인식과 가장 잘 일치함을 발견하였다. 이러한 결과는 그룹 내 특정 선호 분포에 집계 전략을 동적으로 적응시키는 것을 추가적으로 뒷받침하며, 주관적인 인간 판단과의 정렬을 달성하는 적응 수단으로서 LLM 활용의 이점을 부각한다.

arXiv:2607.03481v2cs.CL

잃어버린 출처로부터의 학습: 암 등록소 종양 그룹 분류를 위한 다중 인스턴스 학습

Learning from Lost Provenance: Multiple Instance Learning for Cancer Registry Tumor Group Classification

심층 학습으로 암 등록소를 현대화함으로써 병리 보고서 코딩과 같은 노동 집약적 작업을 자동화할 새로운 기회가 열리고 있다. 그러나 보고서 수준의 인간 주석 학습 데이터의 부족으로 진전이 제한되고 있다. 암 등록소는 일상적인 운영 과정에서 전문가가 할당한 레이블을 대량으로 생성하지만, 이 레이블은 환자 수준에서 존재하며 이를 뒷받침한 개별 병리 보고서와 연결되어 있지 않아 모델 학습에 직접 활용하기 어렵다. 우리는 BC Cancer Registry에서의 종양 그룹 분류를 시연하여, 보고서별 인간 주석 없이 이러한 운영적으로 생성된 레이블을 활용하는 심층 학습 분류기 학습용 효율적 프레임워크를 개발한다. 우리는 어텐션 기반 다중 인스턴스 학습(ABMIL)을 사용하여 환자 수준 레이블과 이를 뒷받침한 보고서 간의 잃어버린 연결을 복원하고, 모델이 각 보고서에 부여하는 어텐션을 활용하여 노이즈가 있는 레이블의 대규모 코퍼스를 컴팩트하고 고품질의 보고서별 학습 데이터셋으로 증류한다. 증류된 데이터셋으로 파인튜닝된 분류기는 매크로 F1 0.83을 달성하여 대부분의 종양 그룹에서 기존 기준선을 능가했다. 추가적인 주석이나 대규모 컴퓨팅 인프라 없이 일상적인 운영 레이블을 고품질 학습 데이터로 전환함으로써, ABMIL은 암 등록소 워크플로우 자동화를 위한 실용적이고 접근 가능한 경로를 제공한다.

arXiv:2606.30616v2cs.CL

매개변수가 아닌 호라이즌 스케일링: 35B 에이전트로 1조 매개변수급 성능 달성

Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent

우리는 에이전트 호라이즌을 스케일링하여 1조 매개변수급 성능에 도달하는 35B 전문가 혼합(MoE) 에이전틱 모델인 Agents-A1을 소개한다. 우리는 에이전트 호라이즌 스케일링을 두 가지 관점에서 탐구한다: 장기 호라이즌 궤적 스케일링과 이질적인 에이전트 능력 스케일링. 이 목표를 지원하기 위해, 우리는 외부 지식, 행동, 관찰, 검증기 결과를 연결하여 평균 45K 토큰 길이의 에이전틱 궤적을 생성하는 장기 호라이즌 지식-행동 인프라를 구축한다. 이를 기반으로, 우리는 3단계 방식으로 Agents-A1을 학습한다. 첫째, 기반 모델을 광범위한 에이전틱 행동에 정렬하기 위해 전체 도메인 지도 미세조정을 수행한다. 둘째, 각 도메인의 전문 지식을 포착하기 위해 도메인 수준의 교사 모델들을 학습한다. 셋째, 서로 다른 도메인 간 지식 전달 효율성을 향상시키기 위해 두드러진 어휘 정렬을 갖춘 다중 교사 도메인 라우팅 온-정책 지식 증류를 제안하며, 6개의 이질적 도메인을 하나의 배포 가능한 학생 모델로 통합한다. Agents-A1은 장기 호라이즌 에이전트 벤치마크에서 강력하고 폭넓은 성능을 달성한다. Kimi-K2.6 및 DeepSeek-V4-pro와 같은 1조 매개변수 모델과 비교하여, Agents-A1은 SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), MolBench-Bind (56.8)에서 선두적인 결과를 달성하며, SciCode (44.3), HLE (47.6), BrowseComp (75.5)에서도 매우 경쟁력 있는 성능을 유지한다. 우리는 이 연구가 장기 호라이즌 태스크에서 1조 매개변수 모델의 성능에 도달하거나 이를 견줄 수 있는 35B 에이전트를 활용하여 호라이즌을 스케일링하는 실용적인 경로를 커뮤니티에 제공하기를 바란다.

arXiv:2607.11257v1cs.CV

LaGuadia: 병리 기반 모델로부터의 언어 기반 적응적 지식 증류

LaGuadia: Language-Guided Adaptive Distillation from Pathology Foundation Models

병리 기반 모델(PFM)은 강력한 전체 슬라이드 이미지(WSI) 표현을 제공하지만 막대한 연산 비용이 수반된다. 지식 증류(KD)는 효율적인 학생 모델을 생성할 수 있으나, 기존 다중 교사 방식은 조직 이질성을 무시한 최적화되지 않은 균일 가중치를 사용하는 경우가 많다. 우리는 임상 언어 지도 하에 여러 PFM의 전문성을 동적으로 통합하여 경량 병리 이미지 인코더를 개발하는 프레임워크인 LaGuadia(Language-Guided Adaptive DistillAtion)를 제안한다. 본 접근법은 다단계 파이프라인을 활용한다: 첫째, 병리 보고서에서 시각적으로 관찰 가능한 임상 키워드를 추출하고, 둘째, 비전-언어(vision-language) 메타 교사(MedSigLIP)를 통해 시각적 특징을 해당 키워드와 정렬하여 밀도 높은 시맨틱 지도를 제공하며, 마지막으로 교사의 기여도를 임상 서술과의 시맨틱 정렬에 따라 가중치를 부여하는 적응적 KD를 수행한다. WSI 캡셔닝, 시각적 질의응답, 슬라이드 수준 분류(classification) 태스크에 대한 실험에서 8,700만 매개변수(parameter)의 LaGuadia 학생 모델(student model)이 GigaPath 및 UNI와 같은 기반 규모 모델과 동등하거나 이를 초과하는 성능을 달성하며, 강력한 사실 일관성과 견고한 일반화 능력을 보임을 입증한다. 이러한 결과는 임상 언어가 효율적이고 신뢰할 수 있는 디지털 병리 시스템 구축을 위한 효과적인 시맨틱 앵커임을 강조한다. 코드는 https://github.com/hvcl/LaGuadia 에서 확인할 수 있다.

arXiv:2607.11199v1cs.CV

DynEval: 실제 환경에서의 텍스트-이미지 생성 모델에 대한 종합적 평가

DynEval: Holistic Evaluations of T2I Generative Models in the Wild

텍스트-이미지(T2I) 생성 분야의 최근 발전으로 매우 사실적인 이미지를 생성할 수 있는 모델들이 등장하였다. 그러나 특히 대규모 환경에서 이러한 모델의 출력물을 신뢰할 수 있게 평가하는 것은 여전히 어려운 과제이다. 정적 프롬프트 세트에 의존하는 기존의 자동 평가기는 부분적 프롬프트 불일치, 구성적 오류, 시각적으로는 그럴듯하지만 의미적으로 잘못된 생성물 등 미묘한 실패 유형을 포착하는 데 한계를 보인다. 본 연구에서는 T2I 모델의 텍스트-이미지 정렬과 이미지 품질을 통합적으로 평가하기 위한 동적 평가 프레임워크인 DynEval을 제안한다. 제한된 사람이 주석을 단 데이터를 넘어서는 확장 가능한 학습을 지원하기 위해 두 가지 대규모 데이터셋을 구축하였다. 먼저, DiffusionDB에서 추출된 사람이 작성한 프롬프트를 계층적 프롬프트-모델 생성 전략으로 활용하여 생성된 50만 개의 프롬프트-이미지 쌍으로 이루어진 GenDB를 구축하였다. 다음으로, GenDB를 기반으로 텍스트-이미지 정렬과 시각적 품질 추론으로 평가를 분해하는 구조화된 평가 파이프라인으로부터 증류된 프롬프트-이미지-응답 삼중쌍으로 구성된 25만 개의 인스트럭션 데이터셋인 DynEvalInstruct를 구축하였다. 이 데이터셋을 활용하여, 더 큰 교사 비전-언어(vision-language) 모델의 우수한 평가 능력을 효과적으로 증류하기 위한 커리큘럼 학습 전략을 통해 소형 평가기를 완전 미세조정하여 DynEval-2B와 DynEval-4B를 개발하였다. 11개의 벤치마크에서 기존 평가기들과의 광범위한 비교를 통해, 우리의 평가기가 사람의 판단과 전반적으로 더 높은 상관관계를 달성함을 보였다. 나아가, 42개의 하위 카테고리와 9개의 의미적 차원에 걸쳐 36개의 T2I 모델의 능력과 실패 유형에 대한 세밀한 분석을 제공한다.

arXiv:2607.10998v1cs.CV

스포츠 비디오에서 레이블 효율적 정확 이벤트 스포팅을 위한 시간적 특징 증류

Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos

정확 이벤트 스포팅(Precise Event Spotting, PES)은 시각적으로 유사하지만 의미적으로 구별되는 인접 프레임을 구분해야 하므로, 이미지 분류 및 세밀하지 않은 행동 인식과 근본적으로 다릅니다. DINO와 같은 자기 증류 방법이 이미지에서 강력한 표현 학습 능력을 보였음에도 불구하고, 이를 PES에 직접 적용하면 효과적이지 않다는 것을 발견했습니다. 지도 학습 없이는 미묘하지만 중요한 모션 단서가 노이즈로 억제되어 정확한 이벤트 경계에 둔감한 표현으로 이어집니다. 이를 해결하기 위해, 프레임 수준 위치 파악에 필요한 모션에 민감하고 경계를 인식하는 단서를 보존하고자 프로젝션 헤드 출력이 아닌 시간적으로 유익한 백본 특징을 정렬하는 반지도 학습 목적 함수인 시간적 특징 증류(Temporal Feature Distillation)를 제안합니다. 램프업 스케줄을 갖춘 지도 학습 웜업은 레이블 없는 증류가 시작되기 전에 의미 있는 이벤트 단서가 학습되도록 보장함으로써 학습을 더욱 안정화합니다. 또한 비전 트랜스포머에 모션 인식 시간 정보를 주입하는 다중 스케일 게이팅 이동 모듈인 Transformer Gate Shift를 소개합니다. 네 가지 세밀한 스포츠 벤치마크에 대한 실험은 완전 지도 학습 및 반지도 학습 기준선 대비 일관된 성능 향상을 보여줍니다. FSPerf에서 10% 지도 학습 조건 하에서 우리의 방법은 가장 강력한 경쟁 접근법 대비 mAP를 4.54 포인트 향상시키며, 80%의 레이블 데이터만으로도 네 개 데이터셋 중 두 개에서 완전 지도 학습 100% 기준선과 동등하거나 이를 능가합니다.

arXiv:2607.10762v1cs.CV

TOLiD: 증류를 위한 토큰 리프팅을 통한 비전 파운데이션 모델에서 LiDAR 사전학습으로의 아키텍처 격차 해소

TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation

비전 파운데이션 모델(VFM)에서 LiDAR 백본으로의 크로스 모달 증류는 최근 3D 장면 이해를 위한 밀집 포인트별 어노테이션 의존도를 줄이는 자기지도 사전학습 전략으로 부상하고 있다. 그러나 기존의 증류 파이프라인은 일반적으로 VFM을 동결된 특징 소스로 취급하고 고정된 이미지 임베딩에 매칭하도록 이질적인 3D 백본을 학습시키며, 이는 학생 모델로 하여금 밀집 ViT 토큰 표현과 희소 3D 인코더 사이의 모달리티 격차와 크로스 아키텍처 격차를 동시에 극복하도록 강요한다. 우리는 TOLiD를 제안한다. 이는 LiDAR 표현 학습을 위한 자기지도 사전학습 방법으로, LiDAR 백본을 동결된 VFM 교사로부터 초기화된 학생 비전 트랜스포머(ViT)와 결합하고 호환 가능한 패치 토큰 표현에 대한 감독을 적용함으로써 이 격차를 해소한다. TOLiD는 각 이미지 패치 프러스텀(frustum) 내의 포인트 특징 집합을 Frustum Pooling에 이어 Frustum Attention을 통해 토큰으로 변환하고, 가시성 마스킹을 통한 토큰 수준 증류를 수행한다. LiDAR 전용 배포를 위해서는 LiDAR 포인트가 부족한 패치를 피하기 위해 마스킹된 이중선형 샘플링(masked bilinear sampling)을 사용하여 토큰 특징을 포인트별 표현으로 다시 리프팅한다. 우리는 TOLiD를 다섯 개의 이질적인 LiDAR 데이터셋과 네 개의 크로스 센서 적응 쌍에서 광범위하게 평가하여, 동결된 백본과 경량 헤드를 통한 향상된 전이 성능을 입증한다.

arXiv:2607.10666v1cs.CV

소형 VLM을 이용한 퓨샷 산업 비전을 위한 답변 조건부 사고의 연쇄 지식 증류

Answer-Conditioned Chain-of-Thought Distillation for Few-Shot Industrial Vision with Small VLMs

제조업에서 AI 기반 시각 검사를 배포하는 것은 요구사항이 자주 변경되고, 새로운 결함 유형이 등장하며, 대규모 레이블 데이터셋을 구하기 어렵기 때문에 매우 어렵습니다. 우리는 최소한의 레이블 데이터만으로 소형 비전-언어 모델(VLM)을 새로운 산업 과제에 빠르게 적응시키기 위한 답변 조건부 사고의 연쇄(CoT) 지식 증류를 제안합니다. 최전선 VLM은 각 학습 이미지를 정답 레이블과 함께 입력받아 근거 있는 시각적 설명을 생성하며, 이후 30억 매개변수 모델이 LoRA를 통해 이러한 추론 보강 예제들로 미세조정됩니다. 정답에 조건화함으로써 모든 학습 추론이 올바른 결론을 향하도록 보장하는데, 이는 최전선 모델이 가장 어려운 과제에서 24.1%까지 낮은 점수를 기록하기 때문에 매우 중요합니다. 우리는 과제당 18개에서 30개의 레이블 이미지만 사용하여 세 가지 이미지 모달리티에 걸친 네 가지 산업 분류 과제에서 검증합니다. 과제당 4개의 시드(총 32회 학습 실행)에서, 우리의 방법은 16개의 모든 시드-과제 조합에서 직접 미세조정을 능가하며, 평균 +1.7에서 +4.4 퍼센트포인트 향상을 달성합니다. 통제된 동등 예산 실험을 통해 이 향상이 추가 학습 단계가 아닌 추론 품질에서 비롯됨을 확인합니다. 비조건부 기준선은 답변 조건화 없이는 잘못된 추론이 성능을 17.8 퍼센트포인트 저하시킴을 보여줍니다. 용접 방사선 사진 분류에서, 미세조정된 30억 매개변수 모델은 단 24개의 학습 이미지만으로 GPT-4.1을 10.0 퍼센트포인트 능가합니다.