PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23673v1cs.CV

어떤 지형이 더 나은가? 비포장도로 주행 가능성 순위 지정을 위한 VLM 프로토타입 기반 선호도 학습

Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking

비전 기반 비포장도로 내비게이션에서 로봇은 회피해야 할 장애물뿐만 아니라 어떤 지형이 더 나은지도 파악해야 합니다. 첫 번째 문제는 여유 공간(freespace) 감지나 시맨틱 분할(semantic segmentation)로 처리됩니다. 두 번째 문제는 대개 주행 가능성 점수(traversability score)로 해결되지만, 이러한 점수에는 보편적인 정답(ground truth)이 존재하지 않아 인식이 시맨틱 클래스별로 미리 정의된 값이나 여유 공간 신뢰도에 의존하게 됩니다. 이러한 점수들은 특정 영역이 무엇인지를 나타낼 뿐, 로봇이 어떤 영역을 선호해야 하는지는 알려주지 못합니다. 이에 따라 본 연구에서는 이러한 선호도를 두 영역 간의 비교를 통해 지도(supervision)될 수 있는 가시적 지형 순서 지정인 시각적 주행 가능성 순위 지정(visual traversability ranking)으로 정식화합니다. 표준 어노테이션에는 선호도가 직접 라벨링되어 있지 않지만, 그 방향성이 내포되어 있습니다. 본 논문에서는 이러한 어노테이션을 정렬된 영역 쌍으로 변환하고, 동결된(frozen) 비전-언어 모델(VLM) 패치 토큰(token)에 작은 판독부(readout)를 이 쌍에 맞춰 적합시키는 TravPro를 제안합니다. 토큰은 고정된 프로토타입 뱅크로 한 번 클러스터링되며, 판독부는 프로토타입별 선호도 점수를 학습합니다. 그런 다음 판독부는 모든 패치에 적용되어 픽셀 단위 어노테이션 없이도 희소한 비교를 조밀한 선호도 유사 라벨(pseudo-label)로 변환하는 교사(teacher) 역할을 수행합니다. RGB 학생(student) 모델은 장애물과 배경을 순위 지정에서 제외하는 비지면(non-ground) 마스크와 함께 이 지도들을 조밀한 지형 선호도 맵으로 증류(distill)합니다. 5개의 미확인(unseen) 도메인에서 TravPro는 가장 강력한 기준선(baseline)의 0.783 대비 0.915의 평균 쌍별 정확도(mean pairwise accuracy)를 달성하여, 클래스별 수치로는 표현할 수 없는 노면 상태에 민감한 순서 지정을 생성합니다. 동일한 VLM과 동일한 지도 방식을 사용하더라도 VLM에 프롬프트(prompt)를 주고 지도를 조밀한 타깃으로 사용할 경우에는 이러한 순서가 도출되지 않으며, 중요한 것은 이들을 활용하는 방식입니다.

arXiv:2609.23561v1cs.CV

시각적 설명의 전이: 아키텍처 간 지식 증류가 모델 해석 가능성에 미치는 영향

Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability

자원이 제한된 환경에서는 효율적인 신경망을 배포하는 것이 필수적이지만, 소형 모델은 자율주행 및 의료와 같은 안전성(safety)이 중요한 영역에서 핵심적인 요소인 해석 가능성을 희생하는 경우가 많습니다. 본 연구는 지식 증류(KD)가 대규모 교사(teacher) 네트워크의 공간적 특징 귀속(feature attribution)을 소형 학생(student) 모델로 전이하는지 조사합니다. KD 방식이 해석 가능성에 미치는 영향을 평가하기 위해, 증류 온도와 소프트 레이블 손실 가중치를 체계적으로 변화시키면서 5가지 설정에 걸쳐 ImageNet-1K에서 ResNet-152 교사 모델을 ResNet-34 학생 모델로 증류합니다. 모델들은 top-1 정확도와 함께 두 가지 해석 가능성 지표인 Relevance Mass Accuracy(RMA) 및 Relevance Rank Accuracy(RRA)로 평가됩니다. 이러한 지표는 정답(ground-truth) 객체 마스크를 기준으로 벤치마크된 Grad-CAM 히트맵을 통해 계산됩니다. 연구 결과에 따르면 top-1 정확도는 71.6%에서 74.0% 범위를 보입니다. Grad-CAM의 경우 RMA는 7.7%에서 9.7%, RRA는 7.3%에서 10.1% 범위이며, Guided Grad-CAM의 경우 RMA는 16.1%에서 18.6%, RRA는 15.9%에서 21.5% 범위입니다. 해석 가능성은 온도보다 소프트 레이블 가중치에 훨씬 더 민감한 것으로 입증되었습니다. 즉, 학생 모델을 하드 레이블에 고정(anchor)하면 정확도와 대략적인(coarse) 위치 파악을 모두 보존하지만, 교사 모델에 큰 가중치를 부여하면 두 가지 모두 저하됩니다. 그러나 세밀한(fine-grained) 귀속은 테스트된 모든 구성에서 증류되지 않은 기준선 아래로 떨어졌으며, 이는 로짓 증류가 어텐션의 픽셀 수준 구조보다는 모델이 어디에 주목(attend)하는지를 더 쉽게 전달함을 나타냅니다. 우리는 합성곱(convolutional) 및 트랜스포머 기반 모델의 12가지 아키텍처 간 조합을 평가하여, 세밀한 공간 추론의 계승이 근본적으로 학생 모델 고유의 구조적 편향에 의해 병목 현상을 겪는다는 것을 밝혀냅니다. 우리가 아는 한, 이전에 신경망 가지치기에 사용되었던 이 해석 가능성 인식 평가 프레임워크를 KD에 적용한 것은 이번이 처음입니다.

arXiv:2609.23541v1cs.CV

비전 기초 모델을 통한 견고한 멀티모달 3D 객체 검출

Towards robust multimodal 3D object detection via visual foundation models

멀티모달 3D 객체 검출은 LiDAR와 카메라 센서의 상보적 정보를 통합하므로 자율주행에서 견고한 인지의 기반이 된다. 그러나 기존 방법은 센서 노이즈, 악천후, 환경 변화로 인한 분포 외(out-of-distribution, OOD) 손상(corruption) 조건에서 견고성을 유지하지 못하는 경우가 많다. 이 문제를 해결하기 위해, Segment Anything Model(SAM)과 같은 비전 기초 모델(visual foundation model, VFM)을 활용하는 견고하고 일반화 가능한 멀티모달 3D 객체 검출 프레임워크 RoboDistill을 제안한다. 먼저 자율주행 영상에 SAM을 파인튜닝하여 풍부한 의미 정보를 담은 특징 표현을 추출하는 도메인 특화 사전학습(pre-training) 전략 SAM-AD를 도입한다. 둘째, AD Feature Pyramid Network(AD-FPN)를 설계하여 SAM 특징을 다중 스케일에서 정제·업샘플링하고 LiDAR 특징과 원활하게 융합한다. 셋째, 고주파 센서 노이즈는 억제하면서 중요한 문맥 정보는 보존하는 Depth-Guided Wavelet Attention(DGWA) 모듈을 개발한다. 마지막으로, 사전학습된 SAM-AD를 교사로 두고 고품질 시각 지식을 경량 포인트 클라우드 네트워크에 지식 증류(distillation)하는 KD Fusion을 도입하여 노이즈 환경에서의 견고성을 높인다. 27가지 어려운 OOD 손상 설정에 걸친 광범위한 실험에서 RoboDistill은 대표적인 최신(state-of-the-art) 방법 대비 전반적으로 더 강하거나 경쟁력 있는 검출 성능과 견고성을 보인다. 본 연구는 VFM과 3D 객체 검출 사이의 간극을 줄이고, 실제 자율주행 응용을 위한 견고한 멀티모달 인지를 발전시킨다.

arXiv:2609.23019v1eess.IV

SomaNet: 부분 주석 하 3D 전자현미경에서의 인스턴스 소마 분할을 위한 약지도 학습

SomaNet: Weakly Supervised Learning for Instance Soma Segmentation in 3D Electron Microscopy with Partial Annotations

소마 인스턴스 분할, 즉 개별 세포 소마를 서로 다른 인스턴스로 식별하고 경계를 구분하는 작업은 세포 분석과 커넥톰(connectome) 재구성에 필수적이다. 3차원 전자현미경(3D EM)은 나노미터 스케일 해상도로 세밀한 소마 형태를 포착할 수 있다. 그러나 밀집된 인스턴스 수준의 수동 주석은 비용이 지나치게 커서 완전 지도 방법의 확장성을 제한한다. 이 문제를 해결하기 위해, 부분 주석 제약 하에서 3D EM 소마 인스턴스 분할을 위한 약지도 프레임워크 SomaNet을 제안한다. SomaNet은 부분 레이블에 맞춘 교사-학생(teacher-student) 학습 패러다임을 채택한다. 교사는 부분적으로 주석된 데이터로 학습하여 의사 레이블(pseudo-label)을 생성하고, 학생은 부분 정답 주석과 생성된 의사 레이블로부터 공동 학습하여 점진적으로 밀집한 인스턴스 분할을 복원한다. 인스턴스 수가 다양한 제한적 감독 하에서 세포 소마를 정확히 구분하기 위해 SomaNet은 어피니티 학습(affinity learning)을 통합하여, 인스턴스 내부에서는 높은 유사도를, 인스턴스 경계를 넘어서는 경우에는 낮은 유사도를 유도한다. 의미 기반 어피니티 디코딩과 2D-to-3D 재구성을 통해 2D 백본의 넓은 수용 영역(receptive field)을 유지하면서 부피적으로 일관된 3D 소마 인스턴스를 생성한다. 이 프레임워크는 아키텍처에 유연하며 비전 트랜스포머(vision transformer)와 파운데이션 모델(foundation model)을 포함한 다양한 백본을 지원하여, 사전학습된 시각 표현을 부피 EM 분할로 직접 이전할 수 있게 한다. 3D EM 뇌 데이터셋에서의 실험은 SomaNet이 부분 주석 하에서 다양한 소마 형태를 가진 영역 전반에 걸쳐 정확하고 견고한 소마 인스턴스 분할을 달성함을 보여준다. 코드는 https://github.com/mkhateri/SomaNet 에서 이용할 수 있다.

arXiv:2609.23010v1cs.CV

MixiMotion: 비대칭 집합 증류를 통한 1단계 텍스트-모션 생성

MixiMotion: One-Step Text-to-Motion Generation via Asymmetric Set Distillation

반복적 텍스트-모션 생성은 품질이 높고 의미적으로 정렬된 동작을 제공하지만, 여러 번의 네트워크 평가가 필요해 추론 지연이 크다. 본 논문은 오프라인 집합 증류에 기반한 엄격한 1단계 텍스트-모션 생성 프레임워크인 \textbf{MixiMotion}을 제시한다. 각 텍스트 프롬프트마다 단일 교사 궤적 하나만 증류하는 대신, MixiMotion은 여러 교사 동작으로 구성된 오프라인 뱅크를 구축하고 \textbf{asymmetric bidirectional matching}을 통해 교사와 학생 표본 집합을 정렬한다. 교사→학생 방향은 교사가 지원하는 다양한 동작의 포괴를 촉진하고, 학생→교사 방향은 지원되지 않는 생성을 억제한다. 또한 정규화된 표현 매칭을 디코딩된 모션 공간의 제약으로 보완하기 위해 미분 가능한 디코딩 공간 운동학적 감독을 도입한다. 추론 시 MixiMotion은 교사 질의, 반복 샘플링, 후보 순위화 없이 단일 네트워크 평가로 완전한 동작 시퀀스를 생성한다. ViMoGen에서 MixiMotion은 의미 정렬 점수 $0.835$를 달성해 평가된 1단계 기준선들을 능가하고, 50단계 HY-Motion-1.0-Lite 교사의 $0.858$ 점수에 근접한다. 블라인드 인간 평가에서 MixiMotion은 전체 평점 $4.33$을 얻었고(교사 $4.50$), 평가된 1-/few-step 기준선들을 능가했다. 한편 생성 지연은 $829.58$\,ms에서 $9.30$\,ms로 줄어 $89.2\times$ 속도 향상에 해당한다. 이 결과는 엄격한 1단계 텍스트-모션 생성에서 효과적인 품질-효율 트레이드오프를 보여준다.

arXiv:2609.22913v1cs.CV

AVTR-1: 실시간 대화형 아바타를 위한 오픈 스택

AVTR-1: Open Stack for Real-Time Interactive Avatars

토킹헤드(talking-head) 및 이인(dyadic) 모델은 이제 실시간 추론을 달성하지만, 빠른 모션 생성만으로는 대화형 상호작용이 만들어지지 않는다. 라이브 시스템은 모델 출력을 외부 음성 에이전트의 발화와 동기화하고, 재생을 위해 비디오 프레임을 스케줄링하며, 중단(interruption)을 처리해야 한다. 우리는 양 참가자의 오디오에 조건을 건 컴팩트한 1억 5,300만 매개변수(153M-parameter) 자기회귀(autoregressive) flow-matching 모션 생성기를 중심으로 구축한, 실시간 대화형 아바타 대화를 위한 오픈 스택 AVTR-1을 제안한다. 자기 증류(self-distillation)를 통해 오디오 인코더를 스트리밍에 맞게 적응시킨다. 이 스택은 모델의 청크 기반 생성을 외부 음성 에이전트가 구동하는 연속적이고 동기화된 오디오-비디오 스트림으로 바꾸며, 사용자 대면 지연(latency)에 대한 기여를 해석적으로 유도하고 두 상용 음성 에이전트로 그 상한을 검증한다. 추가 실험에서 AVTR-1은 비교된 이인 시스템들 가운데 보고된 모든 시각 품질 지표와 대부분의 기존 청취-모션(listening-motion) 지표에서 우수하며, 입술 동기화(lip synchronization)에서는 경쟁력을 유지한다. 추론 런타임은 데이터센터 및 소비자용 GPU에서 실시간으로 동작한다. 그러나 기존 청취 지표만으로는 짝을 이룬 화자(speaker)의 발화가 생성된 모션에 기여하는지 입증할 수 없다. 따라서 우리는 청취자(listener) 이력과 화자 모션을 고려한 뒤 화자 발화가 추가로 전달하는 예측 정보를 측정하는 Reference-Based Directed Granger Gain(R-DGG)을 도입한다. R-DGG는 녹화된 청취자와 평가된 모든 이인 시스템에서 통계적으로 뒷받침되는 예측 의존성을 보이지만, 짝 오디오 없는 토킹헤드 생성기나 불일치한 화자-청취자 쌍에서는 그렇지 않다. 모델 가중치, 렌더러, 서빙 백엔드를 구성요소별 라이선스 하에 공개한다.

arXiv:2609.22762v1cs.CV

DriveReferee: 주행 월드-액션 모델에서 기하학적 안전 판정은 굳이 학습될 필요가 없다

DriveReferee: Geometric Safety Verdicts Need Not Be Learned for Driving World-Action Models

생성형 월드-액션 모델(world-action model, WAM)은 미래 비디오와 차량 액션을 공동으로 생성하지만, 액션 브랜치는 여전히 주로 전문가 모방(expert imitation)을 통해 최적화된다. 그러나 모방은 생성된 궤적에 대해 명시적인 폐루프(closed-loop) 기하학적 판정을 제공하지 않으므로, 학습(training)과 배포 모두에서 검증이 중요해진다. 폐루프 평가기(evaluator)는 충돌 및 주행 가능 영역 위반을 확인할 수 있지만, 배포 시에는 사용할 수 없는 특권적 씬 상태(privileged scene state)를 필요로 한다. 기존 접근 방식은 센서 특징으로부터 검증기(verifier)를 학습하여 이러한 간극을 좁히는 경우가 많다. 이러한 기하학적 검사의 경우 규칙 자체는 명시적이다. 예를 들어, 충돌은 전개된 자차 풋프린트(footprint)가 점유된 차량 공간과 겹치는지 여부로 결정된다. 배포 시 사용할 수 없는 것은 해당 규칙을 적용하는 데 필요한 씬 상태이다. 본 논문에서는 학습된 기하학 판독(geometry readout)을 사용하여 카메라 관측으로부터 씬 표현을 예측하고, 기하학적 안전 규칙을 학습하는 대신 직접 실행하는 DriveReferee를 소개한다. 이를 통해 생성된 해석적 심판(analytic referee)은 씬 상태와 후보 궤적으로부터 충돌 및 주행 가능 영역 안전성을 평가한다. 학습 중에는 참값(ground-truth) 상태에서 자체 샘플링된 궤적의 점수를 매기고 그 결과로 얻은 선호도를 WAM 정책에 증류(distill)한다. 배포 시에는 동일한 심판이 이 예측된 상태를 바탕으로 생성된 궤적을 평가하고 필요할 때 더 안전한 대안을 선택한다. 해석적 심판은 판정 관련 전용 학습을 필요로 하지 않으며, 그 결정은 명시적인 기하학적 규칙을 따른다. 동일한 후보군과 추론(inference) 예산 하에서, 본 방식은 모든 학습 기반 검증기 및 휴리스틱 베이스라인과 대등하거나 이를 능가한다. 동일한 예측 상태와 궤적이 주어졌을 때, 판정 자체를 학습하는 것은 평가기 라벨이 부착된 수만 개의 학습 예제가 필요함에도 불구하고 측정 가능한 다운스트림 이득을 제공하지 못한다. 전체 NAVSIM navtest에서 DriveReferee는 단일 카메라 시각 입력만으로 외부 학습 데이터 없이 92.02 PDMS를 달성한다.

arXiv:2609.14725v2cs.CV

CrossDistill: 궤적 수준 하이브리드 소수 스텝 증류를 통한 품질과 다양성의 균형

CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation

소수 스텝 증류(few-step distillation)는 디퓨전 모델(diffusion model)을 가속화하지만 다양성과 충실도(fidelity) 사이의 균형을 맞춰야 한다: 궤적 기반 증류(trajectory-based distillation)는 모드 커버리지(mode coverage)를 보존하는 반면, 분포 매칭(distribution matching)은 샘플을 선명하게 만들지만 다양성을 감소시킬 수 있다. 우리는 이러한 긴장 관계가 노이즈 영역(noise-regime)에 따라 활용될 수 있음을 보인다: 고노이즈(high-noise) 스텝은 전역적인 모드(global mode)를 대체로 결정하는 반면, 저노이즈(low-noise) 스텝은 국소적인 세부 사항을 정제한다. 우리는 샘플링 궤적을 교차점(crossover point)에서 분할하여 고노이즈 구간에는 궤적 보존(trajectory-preserving) 목적함수를, 저노이즈 구간에는 분포 매칭 목적함수를 적용하고, 이 두 단계를 교차 상태(crossover state)를 통해 결합하는 궤적 수준 하이브리드 증류 프레임워크인 CrossDistill을 제안한다. 손실(loss) 수준 혼합과 달리, 그리고 학습(training) 시점의 2단계 방식(training-time two-stage recipe)을 보완하는 방식으로, CrossDistill은 노이즈 축을 따라 상호 보완적인 목적함수를 명시적으로 할당함으로써, 국소 통계량이 선명해지기 전에 전역적 분기(global branching)가 보존되도록 한다. CrossDistill은 노이즈 수준의 스케줄링 정책(scheduling policy)으로, PCM과 DMD는 플러그인 형태의 구체적 구현(instantiation)이며, 노이즈 분할(noise partition), 교차 결합(crossover coupling), 목적함수 순서(objective ordering)가 핵심 설계 요소이다. 텍스트-투-비디오(text-to-video) 디퓨전 모델에 대한 실험과 이미지-투-비디오(image-to-video)에 대한 정성적 결과는 CrossDistill이 소수 스텝 품질-다양성 프런티어(quality-diversity frontier)를 확장하여, 경쟁력 있는 시각적 충실도를 달성하면서도 시드 수준(seed-level)의 변동성을 유지함을 보여준다.

arXiv:2603.09632v5cs.CV

X-GS: 3D 가우시안 스플래팅을 통한 인지 및 사고를 위한 확장 가능한 프레임워크

X-GS: An Extensible Framework for Perceiving and Thinking with 3D Gaussian Splatting

3D 가우시안 스플래팅(3DGS)은 새로운 뷰 합성(novel view synthesis)을 위한 강력한 기법으로 부상하였으며, 이후 수많은 공간 AI(spatial AI) 애플리케이션으로 확장되고 있습니다. 그러나 기존의 대부분의 3DGS 방법들은 특정 도메인에만 집중하며 고립되어 작동합니다. 본 논문에서는 공간 작업을 위한 VLM의 인지 모듈에 이처럼 기존에 고립되어 있던 3DGS 방법들을 통합하는 확장 가능한 프레임워크인 X-GS를 소개하며, 이는 $\textit{Perceiver}$와 $\textit{Thinker}$라는 두 가지 주요 구성 요소를 갖추고 있습니다. $\textit{Perceiver}$는 시맨틱 지식 증류(semantic distillation)를 동반한 온라인 3DGS 기반 SLAM을 수행하고, 카메라 포즈가 없는(unposed) 비디오 스트림으로부터 시맨틱 가우시안을 출력합니다. 또한 더 강력한 기하학적 사전 정보를 얻기 위해 최신 비전 파운데이션 모델을 활용하며, 시맨틱 지식 증류 효율성을 향상시키기 위한 세 가지 새로운 최적화(optimization) 기법을 소개합니다. $\textit{Thinker}$는 다양한 VLM을 이러한 시맨틱 가우시안과 연동하여 3D 시각적 그라운딩(visual grounding) 및 씬 캡셔닝(scene captioning)과 같은 공간 멀티모달 역량을 발현시킵니다. 다양한 벤치마크(benchmark)에 대한 실험 결과는 X-GS 프레임워크의 효율성과 새롭게 발현된 멀티모달 능력을 입증합니다.

arXiv:2602.05638v4cs.CV

SurgMotion: 수술 영상의 범용 이해를 위한 비디오 네이티브 파운데이션 모델

SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos

파운데이션 모델이 수술 영상 분석을 크게 발전시켜 왔지만, 현재 접근법은 대부분 픽셀 수준 재구성 목표에 의존하여 연기, 반사 하이라이트, 유체 움직임 같은 저수준 시각적 세부에 모델 용량을 쓰고, 수술 이해에 필수적인 의미론적 구조는 상대적으로 소홀히 한다. 본 논문은 SurgMotion을 제안한다. 이는 학습 패러다임을 픽셀 수준 재구성에서 잠재(laten) 운동 예측으로 전환하는 비디오 네이티브 파운데이션 모델이다. Video Joint Embedding Predictive Architecture(V-JEPA) 위에 구축된 SurgMotion은 수술 영상에 맞춘 세 가지 핵심 기술 혁신을 도입한다: (1) 의미론적으로 중요한 영역을 우선하기 위한 motion-guided latent masked prediction, (2) 관계적 일관성을 강화하기 위한 시공간 affinity 자기 증류(self-distillation), (3) 텍스처가 sparse한 수술 장면에서 표현 붕괴(representation collapse)를 막기 위한 시공간 특징 다양성 정규화(SFDR). 대규모 사전학습을 위해, 우리는 13개 해부학적 영역·50개 출처에서 총 3,658시간의 영상으로 구성된, 현재까지 최대 규모의 수술 영상 데이터셋 SurgMotion-15M을 구축했다. 17개 벤치마크에 걸친 광범위한 실험에서 SurgMotion은 최신(state-of-the-art) 방법들을 크게 능가한다. 수술 workflow 인식에서는 EgoSurgery에서 F1 score 14.6% 향상, PitVis에서 10.3% 향상을 달성했고, CholecT50에서 action triplet 인식 mAP-IVT 39.54%를 기록했으며, 술기 평가(skill assessment), 용종(polyp) 분할, 깊이 추정(depth estimation)에서도 우수한 성능을 보였다. 이 결과는 SurgMotion을 범용적이고 운동(motion) 중심의 수술 영상 이해를 위한 새로운 기준으로 자리매김한다.

arXiv:2512.18046v3cs.CV

YolovN-CBi: 소형 무인 항공기(UAV)의 실시간 검출을 위한 경량화되고 효율적인 아키텍처

YolovN-CBi: A Lightweight and Efficient Architecture for Real-Time Detection of Small UAVs

흔히 드론으로 알려진 무인 항공기(UAV)는 민간 및 국방 환경에서 증가하는 위험을 초래하고 있어, 정확하고 실시간으로 작동하는 드론 검출 시스템이 요구됩니다. 그러나 드론은 크기가 작고 움직임이 빠르며 시각적 대비가 낮아 검출하기 어렵습니다. 본 논문에서는 소형 객체 검출에 대한 민감도를 향상시키기 위해 Convolutional Block Attention Module(CBAM)과 Bidirectional Feature Pyramid Network(BiFPN)을 통합한 YolovN의 수정된 아키텍처인 YolovN-CBi를 제안합니다. 다양한 비행 물체로 구성된 28,000장의 엄선된 학습(training) 데이터셋(dataset)을 구축하였으며, 매우 작은 드론 객체로 구성된 2,500장의 자체 테스트 데이터셋을 수집했습니다. 제안된 아키텍처는 자체 테스트 데이터셋을 포함한 4개의 벤치마크 데이터셋에서 평가(evaluation)되었습니다. 기준선(baseline)인 Yolov5와 제안된 Yolov5-CBi 아키텍처는 소형 객체 검출을 위한 속도-정확도 트레이드오프에서 Yolov8 및 Yolov12를 포함한 최신 YOLO 버전들보다 우수한 성능을 보였습니다. 또한 CBAM과 BiFPN의 배치 및 활용 방식을 달리한 제안된 CBi 아키텍처의 다른 네 가지 변형도 제안 및 평가되었습니다. 이러한 변형들은 Yolov5m-CBi 교사 모델(teacher)과 Yolov5n-CBi 학생 모델(student)을 활용하는 지식 증류(knowledge distillation) 기법을 통해 엣지 배포(edge deployment)에 적합하도록 추가로 증류되었습니다. 지식 증류된 모델은 0.6573의 [email omitted]:0.9를 달성하여 교사 모델의 점수 0.6171 대비 6.51% 향상을 보여주었으며, 증류 과정의 효과성을 입증했습니다. 증류된 모델은 기준선 모델보다 82.9% 더 빨라 실시간 드론 검출에 더욱 적합합니다. 이러한 연구 결과는 제안된 CBi 아키텍처와 증류된 경량 모델이 소형 UAV의 효율적이고 정확한 실시간 검출을 발전시키는 데 효과적임을 강조합니다.

arXiv:2308.01030v2cs.LG

실용적이고 효과적인 OOD 탐지 미세조정을 위한 세 가지 핵심 요인 최적화

Optimizing Three Critical Factors for Practical and Effective OOD Detection Fine-Tuning

분포 외(OOD) 탐지에서 보조 이상치(outlier) 데이터를 활용한 미세조정(fine-tuning)은 종종 분류(classification) 정확도를 희생시키면서 탐지 성능을 향상시킵니다. 이러한 절충(trade-off)은 미세조정 과정에서 기존의 분포 내(ID) 분포가 손실(loss)되는 데서 기인합니다. 보다 실용적이고 효과적인 패러다임을 구축하기 위해, 본 연구에서는 모델(model) 리마인더, 데이터 샘플링, 표현 학습이라는 세 가지 핵심 요인을 최적화합니다. 구체적으로 본 논문에서는 (1) 정확도 저하를 완화하는 자체 지식 증류(SKD), (2) 최소한의 데이터로 탐지 효율성을 높이는 준-어려운 이상치 샘플링(SOS), (3) ID와 OOD 간의 분리성을 촉진하는 이상치 인식 지도 대조 학습(OSCL)을 제안합니다. 이러한 요인들을 최적화함으로써 누적된 성능 향상을 달성하여 OOD 탐지 성능과 분류 정확도를 모두 끌어올립니다. 제안하는 프레임워크는 다양한 벤치마크 전반에서 기존 방법들을 능가하며, 특히 롱테일(long-tailed) 시나리오에서 우수한 성능을 보여 실제 환경의 OOD 탐지를 위한 견고한 기준선(baseline)을 제공합니다.

arXiv:2605.12227v3cs.CL

온-정책 최적화와 증류를 통한 대규모 언어 모델의 긴 문맥 추론을 위한 레시피

A Recipe for Long-Context Reasoning in Large Language Models via On-Policy Optimization and Distillation

긴 문맥 작업을 위한 모델 사후학습의 기존 접근 방식들은 상호 보완적인 한계에 직면해 있습니다: (i) 지도 미세조정(SFT)은 안정적인 지도를 제공하지만 노출 바이어스 문제가 있으며, (ii) Group Relative Policy Optimization(GRPO)와 같은 강화학습 방법은 모델 생성 궤적으로 학습하지만 장기간 신용 할당과 희소 보상에 어려움을 겪고, (iii) 온-정책 증류(OPD)는 밀집된 토큰 수준의 지도를 제공하지만 작업 보상을 직접 최적화하지 않습니다. 우리는 긴 문맥 정렬을 위한 이러한 상호 보완적인 전략들을 연구하고, GRPO와 OPD 스타일의 교사 지도를 결합한 레시피를 도출했습니다: 학생 모델은 결과 수준 보상을 사용하여 자신의 롤아웃으로부터 학습하는 반면, 더 강력한 교사 모델은 표준 참조 정책 대신 밀집된 토큰 수준의 정규화를 제공합니다. 이는 프로세스 수준의 지도를 얻기 어려운 경우에 특히 유용합니다. 이 연구를 지원하기 위해, 우리는 멀티-홉 추론, 문맥 기반 그라운딩, 장문 생성을 포괄하는 합성 다국어 데이터셋인 LongBlocks를 소개합니다. 제어된 소거 연구를 통해 콜드 스타트 초기화, 교사 앵커링, 데이터 혼합의 역할을 규명하였으며, 그 결과 우리의 레시피는 짧은 문맥 능력을 보존하면서 GRPO나 OPD보다 더 안정적이고 효과적인 긴 문맥 추론 경로를 제공함을 보여주었습니다.

arXiv:2606.31413v3cs.AI

Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

독립적으로 학습된 여러 LoRA 어댑터를 하나의 대규모 언어 모델(LLM)에 통합할 때 소프트 라우팅이 각 어댑터의 단위 스케일 전제를 깨뜨리는 문제를 해결하기 위해, Hard-Routed MoR-LoRA는 검증 가능한 피드백 기반 강화학습(RLVF)으로 추론 전문가를 학습한 뒤 전문가를 동결하고 하드 top-1 라우팅과 straight-through estimator로 경량 라우터만 학습하는 2단계 프레임워크를 제안한다. 5개 벤치마크 실험에서 소프트 라우팅 기반 전문가 혼합(MoE) 대비 훨씬 적은 학습 파라미터로 전문가 행동을 보존하면서도 동등하거나 더 높은 성능을 달성했다.

arXiv:2505.12912v2cs.CV공식 코드 · Papers with Code

균일성 우선: 이미지 손상에 대응하는 비전-언어 모델의 균일성 인식 테스트 시점 적응

Uniformity First: Uniformity-aware Test-time Adaptation of Vision-language Models against Image Corruption

대조적 언어-이미지 사전학습(CLIP)과 같은 사전학습된 비전-언어 모델은 뛰어난 일반화 능력을 보여 왔으며, 이를 통해 제로샷 분류를 비롯한 다양한 응용이 가능해졌다. 그러나 비전-언어 모델은 입력 샘플이 학습 샘플과 큰 차이를 보이는 분포 변화(distribution shift)를 다루는 데에는 여전히 어려움을 겪는다. 우리는 CLIP이 날씨, 조명, 노이즈와 같은 센서 조건으로 인해 발생하는 현실적인 분포 변화의 일종인 이미지 손상(image corruption)에 특히 취약함을 발견했다. 이미지 손상은 예기치 않게 발생하며 그 유형이 매우 다양하기 때문에, 미세조정을 위해 테스트 분포에서 새로운 데이터셋을 수집하는 것은 비용이 매우 크다. 따라서 우리는 레이블이 없는 테스트 데이터로 테스트 분포에 즉각적으로 적응할 수 있는 제로샷 분류의 테스트 시점 적응(test-time adaptation, TTA)을 연구한다. CLIP을 위한 기존 TTA 방법은 주로 분포 변화를 해결하기 위해 이미지 및 텍스트 임베딩이나 예측을 수정하는 데 초점을 맞춘다. 이러한 방법은 분포 외(out-of-distribution)나 입력 이미지의 서로 다른 렌디션(rendition)과 같은 도메인 변화에는 적응할 수 있지만, 이미지 손상처럼 도메인 변화를 넘어서는 분포 변화에는 적응하지 못한다. 우리는 정보량과 관련된 이미지 임베딩의 균일성(uniformity)이 도메인 변화와 그 밖의 분포 변화를 구분하는 핵심 요인임을 발견했다. 이미지 손상에 대한 적응을 가능하게 하기 위해, 우리는 균일성 인식 정보 균형 TTA(uniformity-aware information-balanced TTA, UnInfo)라는 새로운 방법을 제안한다. 분포 변화를 해결하기 위해 균일성 인식 신뢰도 최대화, 정보 인식 손실 균형 조정, 그리고 지수 이동 평균(EMA) 교사 모델로부터의 지식 증류를 도입한다. 실험을 통해 UnInfo가 균일성 측면에서 정보를 보존함으로써 이미지 손상 상황에서의 정확도를 향상시킴을 보인다. 코드는 https://github.com/kzkadc/uninfo 에서 확인할 수 있다.

arXiv:2505.12781v5cs.CL공식 코드 · Papers with Code

토큰 하나가 1,000토큰 이상의 가치: Low-Rank Clone을 통한 효율적 지식 증류

A Token is Worth over 1,000 Tokens: Efficient Knowledge Distillation through Low-Rank Clone

고성능 소형 언어 모델(SLM) 학습은 더 큰 교사 모델로부터 지식 증류와 가지치기를 적용하더라도 여전히 비용이 많이 든다. 기존 연구는 종종 세 가지 핵심 과제에 직면한다: (1) 하드 가지치기로 인한 정보 손실, (2) 표현의 비효율적 정렬, (3) 특히 Feed-Forward Network(FFN)에서 나오는 정보가 풍부한 활성화의 미활용. 이를 해결하기 위해 우리는 강력한 교사 모델과 행동적 등가를 목표로 SLM을 구성하는 효율적인 사전학습 방법인 Low-Rank Clone(LRC)을 제안한다. LRC는 교사 가중치를 압축하여 소프트 가지치기를 가능하게 하고, FFN 신호를 포함해 학생 활성화를 교사와 정렬하는 활성화 클론을 함께 수행하는 일련의 저랭크 투영 행렬을 학습한다. 이 통합 설계는 명시적 정렬 모듈 없이도 지식 전이를 극대화한다. 오픈소스 교사 모델(예: Llama-3.2-3B-Instruct, Qwen2.5-3B/7B-Instruct)에 대한 광범위한 실험에서 LRC는 수조 토큰으로 학습된 최신 모델과 동등하거나 이를 능가하며, 200억 토큰만 사용해 1,000배 이상의 학습 효율을 달성한다. 코드와 모델 체크포인트는 https://github.com/CURRENTF/LowRankClone 및 https://huggingface.co/collections/JitaiHao/low-rank-clone-lrc-6828389e96a93f1d4219dfaf 에서 이용할 수 있다.

arXiv:2505.01950v2cs.CV

SARTM: Segment Any RGB Thermal Model with Language aided Distillation

The recent Segment Anything Model (SAM) demonstrates strong instance segmentation performance across various downstream tasks. However, SAM is trained solely on RGB data, limiting its direct applicability to RGB-thermal (RGB-T) semantic segmentation. Given that RGB-T provides a robust solution for scene understanding in adverse weather and lighting conditions, such as low light and overexposure, we propose a novel framework, SARTM, which customizes the powerful SAM for RGB-T semantic segmentation. Our key idea is to unleash the potential of SAM while introduce semantic understanding modules for RGB-T data pairs. Specifically, our framework first involves fine-tuning the original SAM by adding extra LoRA layers, aiming at preserving SAM's strong generalization and segmentation capabilities for downstream tasks. Secondly, we introduce language information as guidance for training our SARTM. To address cross-modal inconsistencies, we introduce a Cross-Modal Knowledge Distillation(CMKD) module that effectively achieves modality adaptation while maintaining its generalization capabilities. This semantic module enables the minimization of modality gaps and alleviates semantic ambiguity, facilitating the combination of any modality under any visual conditions. Furthermore, we enhance the segmentation performance by adjusting the segmentation head of SAM and incorporating an auxiliary semantic segmentation head, which integrates multi-scale features for effective fusion. Extensive experiments are conducted across three multi-modal RGBT semantic segmentation benchmarks: MFNET, PST900, and FMB. Both quantitative and qualitative results consistently demonstrate that the proposed SARTM significantly outperforms state-of-the-art approaches across a variety of conditions. Code and pre-trained weights can be found at https://github.com/wahaha-debug/SARTM.

arXiv:2607.00369v2cs.CV

SFDATrack: 악천후 환경에서의 일반화된 소스 프리 도메인 적응 추적

SFDATrack: Generalized Source-Free Domain Adaptive Tracking Under Adverse Weather Conditions

소스 데이터 없이 타겟 도메인의 악천후 샘플만으로 시각 객체 추적 모델을 적응시키는 SFDATrack을 제안하며, Dual Interactive Mamba(DIM) 모듈로 날씨 변화에 강인한 토큰을 증류하고 초구면 프로토타입 투영(HPP) 모듈로 다중 도메인 적응을 달성한다. 다양한 벤치마크 실험에서 기존 최신 방법들 대비 우수한 성능을 입증하였으며, 소스 프리 도메인 적응을 시각 객체 추적에 최초로 적용한 연구이다.

arXiv:2607.08960v2cs.LG

Eluna: 추론 및 작업 실행을 통한 창고 운영 자동화를 위한 에이전틱 LLM 시스템

Eluna: An Agentic LLM System for Automating Warehouse Operations with Reasoning and Task Execution

창고 운영은 복잡한 다중 시스템 의사결정 로직을 인코딩하는 표준 운영 절차(SOP, Standard Operating Procedures)에 의해 관리되며, 이는 엄격한 시간 제약 하에 신뢰성 있게 실행되어야 한다. 그러나 대규모 언어 모델(LLM) 에이전트는 절차적 준수를 강제하는 메커니즘이 부족하고, 전체 SOP 명세가 유발하는 컨텍스트 과부하로 인해 성능이 저하된다. 우리는 신뢰성 있는 SOP 실행을 위해 프로덕션에 배포된 에이전틱 시스템인 Eluna를 소개한다. Eluna는 그래프 기반의 다중 에이전트 프레임워크로, SOP를 점진적 공개(progressive disclosure) 방식의 방향성 비순환 그래프(DAG)로 인코딩하고, 독립적인 작업을 병렬 서브 에이전트에 위임하며, 각 에이전트는 지속적인 코드 실행과 실시간 데이터 접근을 지원한다. 프로덕션의 지연 시간 및 정확도 요구를 충족하기 위해, 우리는 비대칭 에피소딕 지식 증류(asymmetric episodic distillation)를 활용한다. 이 방식에서는 강력한 교사 모델이 에피소딕 오류 메모리를 통해 개선되고, 더 작은 학생 모델은 메모리가 제거된 수정 궤적(corrected trajectories)으로 파인튜닝되어, 추론 시간 오버헤드 없이 수정 사항을 내재화한다. 13개 작업 벤치마크와 두 가지 프로덕션 애플리케이션에서, 우리의 파인튜닝된 모델은 교사 모델과 동등하거나 이를 초과하고, 더 큰 모든 기성 베이스라인을 능가하며, 티켓 처리 애플리케이션에서 94%의 전문가 합의율에 도달한다.

arXiv:2606.18974v3cs.CV

Visual-OPSD: 효율적인 통합 멀티모달 추론을 위한 크로스-모달 온-정책 자기 증류

Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning

통합 멀티모달 모델(UMMs)은 공간적 작업을 개선하기 위해 생성된 '시각적 사고(visual thoughts, VTs)'를 텍스트 추론과 결합합니다. 이로 인해 다단계 확산(diffusion) 과정에서 약 10배 수준의 추론(inference) 비용이 발생합니다. 우리는 이 비용이 제한적인 직접적인 이점만을 제공한다는 것을 발견했습니다. ThinkMorph에서 VTs를 제거하거나 노이즈를 추가해도 9개 벤치마크 전반에 걸쳐 정확도에는 거의 변화가 없었습니다. 렌더링된 후에는 내용에 관계없이 어텐션(attention)이 VT에 집중되는 현상이 관찰되었습니다. 그러나 KL(Kullback-Leibler) 진단 결과, 특권(privileged) VT 궤적(trace)을 조건으로 사용할 경우 모델의 완료(completion) 분포가 변화함을 보여줍니다. 이는 생성 경로가 렌더링된 픽셀 그 이상의 유용한 추론(reasoning) 정보를 인코딩하고 있음을 시사합니다. 이러한 격차에 착안하여, 우리는 Visual On-Policy Self-Distillation(Visual-OPSD)을 제안합니다. 교사(teacher)와 학생(student) 모델은 동일한 가중치를 공유하지만 맥락(context)에서 차이가 있습니다: 교사는 특권 VTs를 확인하는 반면, 학생은 질문만을 확인합니다. 온-정책(on-policy) 학생 궤적에 대한 토큰(token) 수준의 JSD 증류를 통해 교사의 추론 능력을 텍스트 전용 학생 모델로 전이합니다. 9개 벤치마크 전반에서 Visual-OPSD는 생성형 교사 모델 대비 정확도를 +3.40pp 향상시켰으며, 14.3배의 속도 향상(샘플당 10.0초 vs 142.8초)을 달성했습니다. 또한 VSP 벤치마크에서 동일 규모의 VLMs(Vision-Language Models)보다 +63.83pp 더 높은 성능을 보였습니다. 가우시안 노이즈 통제 실험(+0.40pp vs 실제 VTs의 +10.28pp)과 KL 갭(gap)의 58.4% 해소는, 성능 향상이 생성 경로의 의미론적(semantic) 내용에서 비롯되었음을 확인시켜 줍니다.