Cross-modal distillation measures a single similarity per frequency band, observes that the high band is near zero, and concludes that it should be aligned loosely. That inference conflates the kind of disagreement with its degree. We decompose the agreement between a frozen RGB foundation teacher and an infrared (IR) student into two components that a scalar similarity confounds: phase, which encodes the spatial position of structure, and amplitude, which encodes its magnitude. Measured on several hundred registered pairs prior to any training, the two components diverge: for periods finer than 60 px amplitude agreement remains at 0.52, while phase coherence falls to 0.06, indistinguishable from chance. What ceases to transfer at fine scales is spatial location, not magnitude. The high band, therefore, requires a different quantity rather than a smaller weight: we supervise the low band as a complex-valued feature and the high band in amplitude alone. The cut-off is not tuned on accuracy but derived as the radius at which teacher content ceases to be linearly recoverable from the student, yielding rc=0.47. A single distilled IR backbone, reused without re-distillation, attains 64.1 mAP50 on KAIST Person (+2.4 over the DINOv2 baseline) and initializes FLIR detection (+2.1 mAP50) and MFNet segmentation (+1.85 mIoU); the same objective also improves a ResNet-50 student (+1.0 mAP50). All reported results use a DINOv2 ViT-Large teacher. Code and the distilled backbone are available at github.com/tkeval/freq_decoupled_kd.
다중모달(multimodal) 뇌졸중 재발 예측은 이종의 임상 및 영상 데이터의 효과적인 통합을 필요로 하지만, 모달리티 불균형(modality imbalance)으로 인해 모델이 지배적인 모달리티에 지나치게 의존하고 상호보완적인 정보를 충분히 활용하지 못하는 경우가 자주 발생합니다. 자기지도 사전학습(self-supervised pretraining)과 선택적 매개변수 동결은 표현 학습과 미세조정 안정성을 향상시키기 위해 흔히 사용되지만, 다중모달 의료 모델에서 모달리티 기여도 및 교차 모달(cross-modal) 동작에 미치는 영향은 여전히 거의 연구되지 않았습니다. 본 연구에서는 최근 다루었던 임상적으로 중요한 과제인 뇌졸중 재발 예측을 위해, 3D CTA 스캔 기반의 영상 사전학습이 모달리티 불균형을 줄이고 교차 모달 통합을 향상시키는지 조사합니다. 이를 위해 두 가지 다중모달 신경망을 자기지도 방식으로 사전학습한 후, 두 가지 서로 다른 동결 전략을 사용하여 미세조정합니다. 이들의 성능과 모달리티 활용도를 이전 연구의 기준선 모델 및 본 연구에서 처음부터 완전히 학습(trained from scratch)된 모델 모두와 비교합니다. 연구 결과, 자기지도 사전학습은 다중모달 영상-정형(image-tabular) 데이터셋을 더욱 효과적으로 활용할 수 있게 하여 기존 기준선과 사전학습되지 않은 모든 모델을 능가함을 입증합니다. 특히, 가장 우수한 성능을 보인 Vision Transformer 기반 신경망은 단일모달 붕괴(unimodal collapse)를 성공적으로 극복했습니다. 시너지 분석 결과, 비전과 성별 및 관상동맥질환(CHD) 간의 유의미한 상호작용이 밝혀졌으며, 이는 뇌졸중 재발에 대한 임상적으로 유의미한 패턴을 시사합니다. 전반적으로, 본 연구의 결과는 자기지도 사전학습과 전략적인 미세조정이 보다 균형 잡힌 모달리티 활용을 지원하고 의미 있는 교차 모달 상호작용을 가능하게 함을 보여줍니다. 코드는 https://github.com/ChristianGappGit/SSL_Pretraining 에서 공개되어 있습니다.
다중 모달 기반 접근법은 서로 다른 모달리티가 상보적인 정보를 제공하기 때문에 다운스트림 태스크에서 단일 모달리티 접근법보다 종종 더 우수한 성능을 보이지만, 실제 시나리오에서는 쌍을 이룬 임상 데이터를 확보하는 것이 여전히 큰 과제로 남아 있다. 교차 모달 지식 증류가 이를 해결하지만, 기존 방법들은 큰 모달리티 간격과 불확실한 소스 도메인 예측으로부터 발생하는 노이즈 전파에 종종 어려움을 겪는다. 이러한 과제를 극복하기 위해, 우리는 비쌍 교차 모달 지식 증류를 위한 앵커 기반 프레임워크인 UnDA를 제안한다. 우리 접근법은 어텐션 기반 풀링 메커니즘을 통해 의미적으로 구조화된 클래스 토큰을 추출하는 백본 불문 정렬 모듈(Alignment Module)을 도입한다. 견고한 지식 전이를 보장하기 위해, 예측 신뢰도에 따라 특징 수준 정렬에 동적으로 가중치를 부여하여 노이즈가 많은 지도를 효과적으로 억제하는 불확실성 가중 최적 수송(Uncertainty-Weighted Optimal Transport, UCT-OT)을 제안한다. 또한, 클래스별 ProtoNCE 목적 함수는 안정적인 프로토타입 메모리를 유지하여 비쌍 배치 전반에 걸쳐 전역 판별력을 강화한다. 엄격한 비쌍 설정 하에서 대표적인 분할(segmentation) 태스크에 대한 평가는 대상 모달리티에서 정확도와 경계 정밀도의 일관된 향상을 보여 주며, 쌍을 이룬 데이터셋 없이도 이질적인 데이터 소스 간에 의미 있는 구조적 지식을 전이할 수 있음을 입증한다.
교차 모달 학습(cross-modal learning), 즉 한 모달리티로부터 다른 모달리티를 예측하도록 학습하는 것은, 멀티모달리티를 활용한 자기지도의 기본적인 메커니즘이다. 많은 실용적 응용(예: 가정용 로봇 배포)은 테스트 환경에서 멀티모달 센싱을 가능하게 하는 풍부한 센서 세트를 갖춘 장치를 포함한다. 이는 이러한 장치가 센싱한 멀티모달 데이터에 교차 모달 학습을 적용하여 표현(representation)을 학습할 기회를 제공한다. 발달 심리학의 연구 결과 또한 생물학적 에이전트(agent)가 이를 활용하여 주변 환경에 대한 효과적인 표현을 구축한다는 것을 시사한다. 이를 연구하기 위해, 사용자 장치를 주어진 테스트 환경으로만 제한하는 통제된 설정을 제안한다. 그 결과, 이 특정 테스트 환경에 대해 성능이 우수한 모델을 개발하려는 특화(specialization) 설정이 된다. 이 설정 하에서, 테스트 환경에서 멀티모달 데이터 수집을 수행하고 이를 기반으로 자기지도 사전학습을 수행하는 Test-Space Training(TST)을 개발한다. 동일한 환경에서 다양한 다운스트림(downstream) 과제에 대해 이러한 모델들을 평가한다. 이 설정에서, 테스트 환경에서만 풍부한 멀티모달 데이터를 수집하고 교차 모달 학습을 활용하면, 대규모 인터넷 데이터셋으로 사전학습된 범용(generalist) 모델(예: DINOv2, CLIP)과 경쟁력 있는 결과를 달성할 수 있다는 등 다양한 흥미로운 통찰을 얻는다. 이는 모델 사전학습을 위해 외부의 인터넷 규모 데이터셋이 필요한 정도를 줄이는 대안적 시나리오를 가능하게 한다. 또한 (멀티)모달리티로 데이터를 대체하는 문제와, 사전학습 데이터를 달리함으로써 모델이 테스트 환경에 특화(specialise)하는 능력과 보류(hold-out) 공간으로 일반화(generalize)하는 능력 사이에서 트레이드오프가 어떻게 형성되는지에 대한 흥미로운 논점을 제기하는 일련의 분석 및 ablation을 제시한다.
로봇은 자신의 몸 상태를 이해해야 하지만, 카메라는 그 일부만 볼 수 있다. 힘과 접촉은 단일 프레임에서 거의 흔적을 남기지 않으며, 우리가 시험한 모든 로봇에서 원시 시각 특징은 힘을 $R^2$ 0.10 이하에서만 읽어낸다. 우리는 Kepler-Encoder-v0.1을 제안한다. 이는 로봇 우선(robot-first) 멀티모달 인코더로, 로봇 상태를 하나의 모달리티로 취급하고 시각, 고유수용감각(proprioception), 힘/토크를 학습된 쿼리(learned-query) 교차 어텐션(cross-attention) 층으로 단일 공유 잠재(latent)에 융합하며, LeJEPA/SIGReg 목적 함수 하에서 마스크 교차모달 예측으로 자기지도(self-supervised) 학습된다. 평가 시에는 시각만 입력되며, 이는 날카로운 질문을 제기한다. 학습에 상태를 융합하면 시각 전용 잠재가 픽셀이 이미 담고 있지 않은 무언가를 품게 되는가? RH20T 코퍼스에서 답은 긍정적이며, 정확히 카메라가 가장 약한 지점에서 그렇다. 보류(hold-out) 장면에서 시각 전용 잠재는 엔드 이펙터(end-effector) 상태, 특히 힘을 복원하며, 모든 센서 장착 로봇에서 원시 frozen-ViT 특징과 연산량을 맞춘(compute-matched) 시각 전용 대조군 모두를 유의미하게 능가한다. 다만 단일 타임스텝에서의 절대적 힘 복원은 미미하다. 카메라가 대체로 볼 수 있는 모터 상태에서는 가장 강한 시각 베이스라인과 통계적으로 동등하며, 잠재 기하가 상태를 추적하는 유일한 특징이다. 단일 embodiment-agnostic(형태 독립) 인코더가 네 대의 로봇을 포괄하며, 데이터를 맞춘 대조 실험은 이러한 폭이 데이터량이 아니라 embodiment 다양성을 반영함을 보여준다. 동결(frozen)된 잠재는 직접적으로 유용하다. 그 자체의 교차모달 예측 오류는 학습 없이(training-free) 무효 상태 감시기(invalid-state monitor)로 작동하며(범위 초과 상태에서 AUROC $0.90$, 장면 교체(scene-swapped) 상태에서 $0.69$), 확산(diffusion) 디코더(PixNerd)가 잠재에서 카메라 프레임을 재구성하여 공간 압축이 세계 상태(world-state)를 보존함을 확인한다. 이 보고서는 단일 타임스텝 사례를 검증한다. 네이티브 속도(native-rate) 시간적 융합이 다음 단계이다.
Transition Information Density: Morphological Trajectories, Synesthetic Perception, and Structured Interpolation in Neural Training (or: The Synesthetic AI)
표준 기계학습 학습은 데이터를 이산적인 끝점 쌍으로 제시하며, 그 사이 공간의 구조를 생략한다. 본 논문은 전이 정보 밀도(TID, Transition Information Density)—범주적으로 구별되는 학습 끝점들 사이의 구조화된 중간 상태로부터 복원 가능한 정보 내용—와 위치 정체성(Positional Identity)—A에서 B로 이어지는 연속체 위에서 중간 상태의 정의된 위치—를 소개한다. 두 개념은 세 가지 경험적 맥락에 근거한다: 자소-색상 공감각(grapheme-color synesthesia), 공감각 그리드(Synesthesia Grid, 시각적 형태 공간에서 TID를 구현하는 경계-윤곽 모핑 알고리즘), 그리고 네 가지 표현 매체에 걸친 4조건 학습 실험. 정의된 위치 정체성에서의 구조화된 보간(C3)으로 학습된 프로브는 음성/언어(Phonetic/Linguistic) 매체(C3: 3.33 대 C2: 10.81)와 의미 설명(Semantic Description) 매체(C3: 4.59 대 C2: 8.67)에서 동일 볼륨의 대조군(C2)보다 본질적 차원이 현저히 낮게 나타난다. 시각 및 교차 양식 매체에서는 이러한 효과가 나타나지 않아 양식 경계 조건이 확인된다. N=50으로 고정한 비교 실험은 이 효과가 표본 수가 아닌 위치 정체성 구조에 의해 유발됨을 확인한다. 해상도 N은 표현의 풍부함에 따라 단조롭게 증가한다. 풀링된 TwoNN 분석은 시각 공간에서 전역적으로 붕괴된 표현(0.075)과 음성 공간에서 전역적으로 일관된 표현(0.977)을 드러낸다. 본 논문은 TID와 위치 정체성의 형식적 정의, 9가지 지표로 구성된 형태 특성화 프레임워크, 그리고 궤적 구조·데이터 볼륨·위치 정체성을 독립 요인으로 분리하는 4조건 실험 설계를 기여한다.
DINOv2, V-JEPA 2 같은 동결된 2D 기반 모델(foundation model)의 패치별 특징을 4D 포인트 클라우드 인코더로 증류하는 Cross4D-JEPA를 제안하며, 전역 임베딩 대신 각 3D 포인트를 대응 패치 특징에 밀집 매핑하는 교차 모달 대응과 마스킹·네거티브 없는 포인트별 코사인 손실로 학습한다. MSR-Action3D, NTU-RGB+D 60 등 4개 벤치마크에서 단일 모달 및 전역 교차 모달 기준선을 일관되게 능가하며, 성능 향상의 핵심은 교사 모달리티가 아닌 대응의 세밀도(granularity)임을 분석을 통해 확인했다.
표면 근전도(sEMG) 기반 제스처 인식에서 피험자 및 세션 간 특징 분포 불일치로 인한 성능 저하를 해결하기 위해, 압력 신호로 학습된 교사 네트워크가 레이블 없는 목표 도메인의 sEMG 학생 네트워크를 교차 모달 지식 증류(cross-modal knowledge distillation)로 지도하는 PGUDA 프레임워크를 제안한다. 11명의 피험자 데이터로 검증한 결과, 교사 네트워크 학습에 레이블 데이터의 단 5%만 사용해도 완전 지도학습에 준하는 정확도를 달성하며 크로스-서브젝트 및 크로스-세션 분류에서 기존 도메인 적응(domain adaptation) 방법들을 크게 상회하는 평균 58.08%의 정확도를 기록했다.
CLIP 기반의 시공간 특징 학습(STFL), 의미 확산(SD), 교차 모달 상호작용(CMI) 모듈로 구성된 LSMRL을 제안하여, 비디오 기반 가시-적외선 사람 재식별(VVI-ReID)에서 효율적인 시공간 모델링과 충분한 교차 모달 상호작용 부족 문제를 해결한다. BUPTCampus 데이터셋의 적외선→가시광 태스크에서 Rank-1 71.1%, mAP 67.5%를 달성하여 기존 SOTA 대비 각각 5.8, 4.0 퍼센트포인트 향상된 성능을 보였다.
이벤트 기반 객체 검출(EvDet)은 생물학적으로 영감을 받은 시각 지각 패러다임으로, 높은 시간 해상도와 넓은 동적 범위가 요구되는 시나리오에서 우수한 성능을 보인다. 그러나 이벤트 데이터의 본질적인 희소 표현과 불충분한 시각적 의미론으로 인해 EvDet와 프레임 기반 객체 검출 간에 상당한 성능 격차가 발생한다. 기존 연구들은 지식 증류를 통해 이러한 크로스 모달 불일치를 완화하고자 했으나, 공간적 시각 의미론이나 쌍별(pair-wise) 관계 정보에만 집중하여 더 복잡한 시나리오에서 성능이 제한된다. 이러한 문제를 해결하기 위해 본 논문은 EvDet를 위한 다중 도메인 및 다중 차수 크로스 모달 지식 증류 프레임워크인 M^2C-EvDet를 제안한다. 주파수 학습과 하이퍼그래프 연산을 기반으로 구축된 M^2C-EvDet는 두 가지 특화 모듈인 적응형 주파수 분리 특징 증류(AF^2D^2, Adaptive Frequency-Decoupled Feature Distillation)와 다중 차수 관계 증류(MORD, Multi-Order Relational Distillation)를 통합한다.