일반화된 비전-언어-행동(VLA) 모델을 학습(training)하려면 일반적으로 고충실도의 행동 주석이 포함된 대규모의 다양한 로봇 데이터셋이 필요합니다. 인간의 1인칭 조작(egocentric human manipulation) 비디오는 풍부하고 상당한 환경적 다양성을 포착하지만, 행동 레이블이 부족하여 기존 학습 패러다임에서 사용하기 어렵습니다. 이를 해결하기 위해, 레이블이 없는 인간 비디오에서 일반적인 행동 사전(priors)을 추출하도록 설계된 잠재 행동 기반 프레임워크를 제안합니다. 이 아키텍처는 물리적 마스크를 통해 모션 역학(motion dynamics)을 환경 배경으로부터 분리(decouple)하는 하이브리드 분리형(Hybrid Disentangled) VQ-VAE를 특징으로 하며, 이를 통해 크로스-엠보디먼트 행동 코드북을 구축할 수 있습니다. 해당 코드북을 사용하여 인간 비디오로 사전학습(pre-training)함으로써, VLM 백본은 행동 의도(action intent)에 대한 심층 표현을 학습합니다. 특정 엠보디먼트(embodiment)로의 적응을 위해, VLM이 행동 의도를 예측하는 동안 별도의 고정된(frozen) 시각 인코더가 상태 특정(state-specific) 특징을 행동 전문가(action expert)에게 제공하여 행동 환각(hallucinations)을 줄이는 의도-지각 분리(intent-perception decoupling) 전략을 도입했습니다. 시뮬레이션 및 실제 환경에서의 결과는 레이블이 없는 인간 비디오에서만 사전학습된 우리의 방법이 대규모 주석 데이터셋으로 학습된 최첨단 VLA 모델과 경쟁력 있는 성능을 보이며, 다운스트림 적응을 위해 단 50개의 궤적(trajectories)만 필요함을 보여줍니다.
DINOv3는 자연 이미지에서 탁월한 의미적 식별력을 입증했으나, 체적 의료 세그멘테이션(volumetric medical segmentation)에 직접 적용하는 것은 본질적인 차원 및 도메인 격차로 인해 제한됩니다. 이러한 문제를 해결하기 위해, 우리는 사전학습된(pre-trained) DINOv3 인코더를 3D 의료 작업에 활용하는 2단계 점진적 프레임워크인 DINO-Med3D를 제안합니다. 첫 번째 단계에서, 우리는 의사 3D 컨텍스트(pseudo-3D context)를 통합하는 멀티-슬라이스 임베딩(embedding) 모듈을 도입하여 차원 격차를 완화하고, 동시에 세그멘테이션 프록시 작업(proxy task)을 사용하여 자연 장면에서 학습된 표현을 의료 도메인에 적응시킵니다. 이어서, 우리는 동결된 백본(frozen backbone)에 경량 3D 어댑터를 추가하여 전역적인 슬라이스 간 연속성을 강제함으로써 체적 이해를 더욱 향상시킵니다. 마지막으로, 임베딩 과정에 내재된 공간 정보 손실을 보상하기 위해, 우리는 고주파 경계 단서를 명시적으로 보존하는 병렬 디테일 복구 스트림을 설계합니다. 5개의 공개 데이터셋에 대한 광범위한 실험을 통해, 우리의 접근 방식이 DINOv3를 의료 도메인에 성공적으로 적응시키며 최신 기법(state-of-the-art) 베이스라인을 유의미하게 능가함을 입증했습니다.
LiDAR 장소 인식은 사전 포인트 클라우드 맵 상의 위치를 결정합니다. 가장 많이 연구된 지상 수준 LiDAR 장소 인식은 사전 방문 요구 사항, 불완전한 커버리지, 제한된 관점의 문제가 있습니다. 미리 획득한 전체 커버리지의 항공 레이저 스캐닝(ALS) 데이터를 공중 사전 맵으로 사용하면 이러한 단점을 극복할 수 있어, 교차 뷰 장소 인식이 필요하고 유리합니다. 그러나 공중-지상 LiDAR 장소 인식은 공중과 지상 포인트 클라우드 간의 도메인 격차 및 초기 검색 중의 오탐(false positive)과 같은 중요한 문제에 직면합니다. 이러한 문제를 해결하기 위해, 우리는 공중-지상 LiDAR 장소 인식을 위한 새로운 검색 및 재순위화 프레임워크를 제안합니다. 인접한 포인트 클라우드 패치가 앵커 패치와 유사한 의미를 공유한다는 사전 지식을 기반으로, 우리의 검색 네트워크는 다중 스케일에서 패치 수준 자기지도 학습 모듈을 도입하고 장면 수준 학습과 통합하여 공중 및 지상 포인트 클라우드 간의 전역 특징 식별력을 향상시킵니다. 또한, ALS 포인트 클라우드의 구조화된 공간 분포를 활용하여, 이웃 정보를 최대한 활용하고 이웃 특징을 기반으로 각 특징을 정제한 후 최종 순위화를 위해 유사도 행렬을 업데이트하는 데 사용하는 확장된 상호(Expanded Reciprocal, ER) 재순위화 알고리즘을 도입합니다. 광범위한 실험을 통해 우리의 검색 네트워크는 기존 최첨단(SOTA) 방법보다 우수하며, CS-Urban-Scenes 데이터셋에서 평균 Recall@1 9.8% 향상 및 평균 Recall@1% 3.2% 향상을 달성하고 CS-Campus3D 데이터셋에서도 최고의 성능을 보임을 입증했습니다. 또한, 우리의 ER 재순위화 알고리즘은 추가 학습 없이 CS-Campus3D에서 평균 Recall@1을 4.9%, CS-Urban-Scenes에서 10.2% 더 향상시킵니다.
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Leveraging DINOv3 for Robust Outdoor Scene Understanding in Field Robotics
ICRA 2026 필드 로봇 공학 워크샵의 GOOSE 2D 세밀한 의미론적 분할 챌린지는 64개 클래스의 세밀한 분류 체계와 11개의 평가 대상 비공백 거친 범주에 대해 오프로드 이미지의 밀집 의미론적 분할을 평가합니다. 우리는 이 챌린지의 1등 솔루션을 제시합니다. 우리의 솔루션은 두 가지 상호 보완적인 개선 사항으로 구성됩니다: (a) 자기 지도 DINOv3 ViT-L/16 백본(backbone), ViT-Adapter, Mask2Former 마스크 분류(mask-classification) 디코더를 결합하고 전역 [CLS] 토큰에 거친 범주 보조 손실(auxiliary loss)을 적용한 네트워크 수준 설계; (b) 멀티 스케일 및 수평 뒤집기 테스트 타임 증강(test-time augmentation)과 Codabench 점수를 사용하여 선택된 상위 3개 체크포인트의 앙상블(ensemble)을 기반으로 하는 추론(inference) 시간 집계 전략입니다. 우리의 방법은 69.32%의 세밀한 클래스 mIoU와 83.81%의 범주 수준 mIoU로 구성된 공식 종합 점수 76.57%를 달성했으며, 최종 단계 리더보드에서 1위를 차지했습니다: www.codabench.org/competitions/14257/#/results-tab.
엔드투엔드 자율주행 모델은 일반적으로 지도 학습된 ImageNet 사전학습 백본을 사용하여 다중 도시 데이터셋에서 학습되지만, 새로운 도시로 일반화하는 능력은 거의 조사되지 않았습니다. 학습 및 평가 데이터가 지리적으로 혼합될 때, 모델은 도시 특정 단서에 암묵적으로 의존할 수 있으며, 이는 새로운 위치로 일반화할 때 실제 도메인 이동 하에서 발생할 실패 모드를 은폐합니다. 본 연구에서는 제로샷 도시 간 전이를 엔드투엔드 자율주행을 위한 제어된 표현 수준 스트레스 테스트로 정의하고, 비주얼 사전학습이 지리적 도메인 이동 하에서 전이 거동에 어떤 영향을 미치는지 조사합니다. 자기지도 백본인 I-JEPA, DINOv2, MAE를 계획 프레임워크에 통합하여 포괄적인 연구를 수행했습니다. 오픈 루프 설정에서 nuScenes의 엄격한 지리적 분할과, 클로즈드 루프 평가 프로토콜에서 NAVSIM을 사용하여 성능을 평가했습니다. 실험 결과, 서로 다른 도로 구조, 교통 관습, 시각적 환경을 가진 도시 간에 모델을 전이할 때 상당한 일반화 격차가 존재함을 밝혀냈습니다. 오픈 루프 평가에서 지도 학습 백본은 도시 간 전이 시 심각한 성능 저하를 보이지만, 일부 도메인 특정 자기지도 방법은 변위 및 충돌 저하를 모두 크게 줄일 수 있습니다. 클로즈드 루프 평가에서 자기지도 사전학습은 여러 단일 도시 학습 설정에서 평균 분포 외(OOD) PDMS를 향상시킵니다. 우리의 결과는 표현 학습이 도시 간 계획의 강건성에 영향을 미친다는 실증적 증거를 제공하며, 엔드투엔드 자율주행 시스템을 평가하는 데 있어 제로샷 지리적 전이가 중요한 스트레스 테스트임을 시사합니다.
도메인 일반화(domain generalization) 문제는 새롭고 이전에 본 적 없는 환경에 배포될 때 분포 변화에 강인한 예측 모델을 학습하는 것을 다룹니다. 기존 방법들은 일반적으로 여러 학습 환경에서 레이블이 있는 데이터를 요구하므로, 레이블이 있는 데이터가 부족한 상황에서는 그 적용 가능성이 제한됩니다. 본 연구에서는 결과(outcome)가 관측된 공변량(covariates)의 원인이 되는 반인과적(anti-causal) 설정에서 도메인 일반화를 연구합니다. 이러한 구조에서 공변량에 영향을 미치는 환경 섭동(perturbation)은 결과로 전파되지 않으므로, 이러한 섭동에 대한 모델의 민감도를 정규화하는 동기를 부여합니다. 중요한 점은 이러한 섭동 방향을 추정하는 데 레이블이 필요하지 않다는 것으로, 이를 통해 여러 환경의 레이블이 없는 데이터를 활용할 수 있습니다. 우리는 각각 환경 간 공변량의 평균 및 공분산 변동에 대한 모델의 민감도를 억제하는 두 가지 방법을 제안하며, 특정 환경 클래스 하에서 이 방법들이 최악의 경우 최적성 보장을 가짐을 증명합니다. 마지막으로, 제어된 물리적 시스템과 생리 신호 데이터셋(dataset)에서 본 접근 방식의 실증적 성능을 입증합니다.
Dual-Channel Grounded World Modeling (DCGWM): Structural Prevention of Objective Interference Collapse via Heterogeneous External Grounding with Inward-Only Gradient Flow
연합 임베딩 예측 아키텍처(Joint Embedding Predictive Architectures, JEPA)는 월드 모델 표현 학습의 선도적 접근법이다. 우리는 두 가지 질적으로 구분되는 외부 신호에 대해 그라운딩된 JEPA 기반 월드 모델에서의 실패 모드를 식별한다: 물리 역학(희소하고 크기가 크며 제약을 만족하는 그래디언트 보정)과 사회-행동 역학(확산적 분포 일치 보정). 이를 목적 간섭 붕괴(Objective Interference Collapse, OIC)라 명명한다: 공유 잠재 공간에서의 연합 학습이 지배적 채널이 종속 채널의 표현 부분공간을 체계적으로 붕괴시키는 원인이 되며, 이는 손실 가중치만으로는 해결할 수 없다고 주장한다. 우리는 이중 채널 그라운딩 월드 모델링(Dual-Channel Grounded World Modeling, DCGWM)을 제안한다. 이는 분할된 잠재 공간(물리 부분공간 Z_p, 행동 부분공간 Z_b)과 내향 전용 그래디언트 흐름을 통해 OIC를 구조적으로 방지하도록 설계되었다. 물리 그라운딩 채널은 VICReg 방식의 물리 측정값 정렬을 통해 Z_p만 갱신하고, 사회-행동 그라운딩 채널은 창발적 다중 에이전트 시뮬레이션의 궤적 정렬을 통해 Z_b만 갱신한다. 채널 간 인터페이스 모듈은 부분공간 간 그래디언트 없이 작업 수준에서 두 부분공간을 결합한다. 비대칭 그라운딩 준수 손실은 물리 위반에는 hard hinge, 행동 발산에는 soft KL을 사용하여 롤아웃 drift를 벌한다. 생성 렌더링 층은 잠재 월드 모델과 구조적으로 분리되어 있다. 세 가지 이론 결과를 제시한다: 분할이 OIC와 관련된 그래디언트 간섭 경로를 제거하고, 각 그라운딩된 부분공간은 정렬 목적에서 붕괴 방지 보장을 상속하며, 생성 목적의 기하학에 대한 명시적 가정 하에서 생성적 분리가 필요하다. 이 원고는 문제 정식화와 아키텍처를 확립하며, 실험 검증은 진행 중이고 향후 개정판에서 보고될 예정이다.
단일세포 RNA 시퀀싱(scRNA-seq) 클러스터링에서 희소성·노이즈와 세포 간 구조 정보를 충분히 활용하지 못하는 한계를 해결하기 위해, 유전자 발현과 세포 그래프 구조를 통합한 scGTN(Deep Siamese Graph Transformer Network)을 제안한다. 두 증강 그래프 뷰에 Siamese 그래프 트랜스포머로 최단 경로와 노드 거리를 반영하고 최적 수송(optimal transport) 기반 자기지도 학습으로 클러스터링하며, 여러 벤치마크 scRNA-seq 데이터셋에서 기존 방법보다 우수한 성능을 보였다.
LLM이 함축적 의미를 읽는 화용론적 추론(pragmatic reasoning)에 취약한 문제를, PragReST가 사람 라벨이나 강한 교사 모델의 지식 증류 없이 화용론적 QA와 반사실적 추론 흔적을 자기생성하고 지도 미세조정·강화학습(GRPO)으로 내면화하는 자기지도 프레임워크로 다룬다. PragMega, Ludwig, MetoQA, AltPrag 네 벤치마크에서 Qwen3-8B·14B 인스트럭트 백본 대비 정확도가 각각 절대 5.37%, 5.50% 향상되었고, 관찰 발화와 대안 발화를 대조하는 반사실적 추론이 성능 개선의 핵심으로 확인되었다.
NeuralMUSIC는 다채널 마이크 관측에서 신경망으로 공간 공분산 행렬을 추정하고, 이를 고유값 분해와 의사 스펙트럼 계산이 포함된 MUSIC 파이프라인과 주파수 어텐션 융합(FAF) 모듈에 통합해 도래 방향(DOA)을 추정하는 로봇 음원 국지화 하이브리드 프레임워크이다. 레이블 없는 음향 데이터로 공간 구조를 학습하는 자기지도 공간 상관 학습(SSCL)을 더해 데이터 효율을 높였으며, 다양한 로봇 작업 실험에서 경쟁력 있는 국지화 정확도와 함께 견고성 및 도메인 간 일반화가 개선됨을 보였다.
대규모 추론 모델(LRM)의 공간 추론 성능 저하 문제를 해결하기 위해, 기하학적 제약 조건에서의 논리적 일관성을 강화하는 자기 지도 강화학습(RL) 프레임워크를 제안한다. 실제 정답 레이블 없이 이미지 및 텍스트 변환을 통한 일관성 검증자를 활용한 이 방법은 지도 학습 모델에 근접한 정확도와 일반화 성능을 달성한다.
본 연구는 wav2vec2.0 아키텍처가 음운 문맥에 대한 보상(compensation) 증거를 어느 정도 나타내는지 조사합니다. 우리는 중국어 성조에 대한 지각 보상 실험을 의사 재현(pseudo-replication)하였고, 순수 자기지도 사전학습 모델과 중국어 자동 음성 인식(ASR)을 위해 파인튜닝된 모델 간의 임베딩 유사도와 프로빙 분류기(probing classifier) 출력을 비교했습니다. 순수 사전학습 모델의 임베딩 유사도에서는 보상의 증거가 발견되지 않았습니다. 프로빙 분류기는 범주화에서 예상되는 층별(layer-wise) 개선 외에도 보상의 일부 증거를 보였지만, 고립된 테스트 음절에 대한 인간의 성능을 재현하는 데에는 실패했습니다. 우리의 연구 결과는 사전학습만으로 음운 구조에 대한 민감도가 나타난다는 이전 보고와 대조되며, 적어도 일부 유형의 음운 규칙성을 추상화하기 위해서는 지도 학습 목적함수가 필요할 수 있음을 시사합니다.
대규모 음성 파운데이션 모델(SFM)을 효율적인 학생 모델로 증류하는 것은 저자원 환경에서 성공적으로 적용되어 왔습니다. 증류는 추론 지연 시간을 줄여주지만, 추가적인 학생 모델 학습이 필요합니다. 그러나 SFM 증류의 학습 효율성은 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 배포 속도를 높이기 위해 SFM 증류의 학습 가속을 탐구합니다. 우리는 학습을 통해 목표 모델 깊이에 도달할 때까지 모델 깊이를 점진적으로 증가시키는 스태킹의 가능성을 조사합니다. 기존 스태킹 방법은 학습 속도를 향상시키지만, 성능 저하 문제가 있습니다. 이러한 한계를 해결하기 위해, 우리는 스태킹 과정 전반에 걸쳐 층 위치를 일관되게 보존하는 새로운 스태킹 방법인 인터리브드 스태킹을 제안합니다. 이러한 특성은 각 층이 고유한 층별 지식을 인코딩하는 SFM에서 특히 중요합니다. 우리는 SUPERB에서 제안된 방법의 효과를 검증합니다.
음절 수준 단위는 음성 언어 모델링과 비지도 단어 발견을 위해 간결하고 언어학적으로 의미 있는 표현을 제공하지만, 음절화에 대한 연구는 상이한 구현, 데이터셋, 평가 프로토콜에 걸쳐 파편화되어 있습니다. 우리는 음절 분할, 임베딩 추출, 다중 입자도(multi-granular) 평가를 위한 공통 인터페이스 하에서 고전적인 음절 탐지기와 엔드투엔드 음절화 모델을 통합하는 모듈화되고 언어 독립적인 툴킷인 findsylls를 소개합니다. 이 툴킷은 널리 사용되는 방법(예: Sylber, VG-HuBERT)을 구현 및 표준화하고 구성 요소의 재조합을 허용하여, 표현, 알고리즘, 토큰 비율에 대한 통제된 비교를 가능하게 합니다. 우리는 영어 및 스페인어 말뭉치와 문서화가 부족한 중앙 만데어족 언어인 Kono의 새로운 수동 주석 데이터에서 findsylls를 시연함으로써, 단일 프레임워크가 고자원(high-resource) 및 저자원(under-resourced) 환경 모두에서 재현 가능한 음절 수준 실험을 어떻게 지원할 수 있는지를 보여줍니다.
순수 음성 언어 모델은 텍스트 자원 없이 원본 오디오(raw audio)에서 직접 언어를 학습하는 것을 목표로 합니다. 주요 과제는 자기지도 음성 인코더(self-supervised speech encoder)의 이산 토큰(discrete token)이 과도하게 긴 시퀀스를 초래한다는 점으로, 이는 음절 유사 단위(syllable-like unit)에 대한 최근 연구를 동기 부여했습니다. 그러나 Sylber와 SyllableLM과 같은 방법은 복잡한 다단계 학습 파이프라인에 의존합니다. 우리는 고정된 WavLM 모델에서 직접 음절 경계(syllable boundary)와 임베딩(embedding)을 추출하는 간단한 학습 없는 방법인 ZeroSyl을 제안합니다. WavLM의 중간 레이어에 있는 특징(feature)의 L2 놈(L2 norm)을 사용하여, ZeroSyl은 경쟁력 있는 음절 분할(syllable segmentation) 성능을 달성합니다. 결과 세그먼트는 평균 풀링(mean-pooling)되고, K-means를 사용하여 이산화되며, 언어 모델을 학습하는 데 사용됩니다. ZeroSyl은 어휘적(lexical), 통사적(syntactic), 서사적(narrative) 벤치마크 전반에서 기존 음절 토크나이저를 능가합니다. 스케일링(scaling) 실험에 따르면 더 세분화된(finer-grained) 단위는 어휘적 작업에 유리하지만, 우리가 발견한 음절 단위는 통사적 모델링에서 더 나은 스케일링 성능을 보여줍니다.
다중 대비 자기공명영상(MRI)은 임상 진단에 상호 보완적인 정보를 제공합니다. 그러나 모든 MRI 시퀀스를 획득하는 것은 종종 시간이 많이 걸리고 비용이 많이 듭니다. 최근 생성 모델들은 사용 가능한 대비로부터 누락된 대비를 추론하여 이 문제를 해결하기 위해 대비 간 합성을 수행합니다. 그럼에도 불구하고, 3D MRI 합성은 상당한 도전 과제를 제시합니다. 막대한 볼륨 크기로 인해 픽셀 공간에서 직접 연산하는 것은 계산적으로 매우 비용이 많이 들므로, 일반적인 접근 방식은 3D 볼륨을 먼저 잠재 공간으로 압축한 후 해당 공간에서 생성 모델을 학습시키는 것입니다. 우리는 기존 압축 아키텍처가 장거리 해부학적 일관성을 충분히 보존하지 못하고, 임상적으로 의미 있는 의미론을 버리며, 과도하게 평활화된 재구성을 초래하는 최적화 목적 함수에 의존한다는 몇 가지 치명적인 문제에 직면해 있음을 관찰했습니다. 결국 이러한 단점들은 후속 생성 모델의 성능을 저해합니다. 본 연구에서는 3D MRI 재구성 및 대비 간 합성을 위한 의미 우선 잠재 모델링 프레임워크를 제안합니다. 구체적으로, 우리는 전역 해부학적 의존성을 포착하여 일관된 볼륨 표현을 보장하는 잠재 조화 인코더(LHE)를 도입합니다. 잠재 압축 중 의미론적 열화를 완화하기 위해, 우리는 자기 지도 학습 의미론 교사로부터 고수준 사전(priors)을 주입하여 잠재 공간 내 대비 인식 분리성을 향상시키는 의미 복구 블록(SRB)을 추가로 설계했습니다. 또한, 진단적으로 관련 있는 고주파 구조를 적응적으로 보존하는 해부학 인식 주파수 손실(AFL)을 제안합니다. 두 개의 공개 다중 대비 MRI 데이터셋에 대한 광범위한 실험을 통해 재구성 충실도와 대비 간 합성 품질에서 일관된 개선이 입증되었습니다. 우리의 코드는 https://github.com/script-Yang/RSF 에서 확인할 수 있습니다.
자기 지도(self-supervised) DINO 모델은 강력한 전이 가능한 시각 표현을 제공하지만, 이미지 분할에 직접 적용하는 것은 여전히 어렵습니다. 기존 접근 방식은 복잡한 업샘플링(upsampling)을 갖춘 무거운 디코더에 의존하여 상당한 매개변수 및 계산 오버헤드를 초래합니다. 우리는 DINO 특징에 스케일(scale)을 도입하는 것이 디코더 용량을 늘리는 것보다 훨씬 더 중요하다는 것을 관찰했습니다. 본 연구에서 우리는 DINOv3 백본(backbone)과 경량 스케일 모델링을 통합한 효율적인 분할 프레임워크인 SegDINO를 제안합니다. SegDINO는 중간 DINO 특징을 의사 다중 스케일 계층 구조로 재구성하는 토큰 피라미드 적응(Token Pyramid Adaptation, TPA)과 효율적인 스케일 내 정제 및 하향식 다중 스케일 전파를 위한 스케일 인지 디코딩(Scale-Aware Decoding, SAD)을 도입합니다. 또한 우리는 SegDINO가 어려운 소병변(small-lesion) 케이스를 처리하는 능력을 평가하기 위해 전문가가 주석을 단 췌장 종양이 포함된 284명의 환자로 구성된 새로운 CT 데이터셋인 PanCT를 구축했습니다. PanCT와 3개의 공개 벤치마크(benchmark)에 대한 광범위한 실험을 통해 SegDINO가 높은 효율성으로 최첨단(state-of-the-art) 결과를 달성함을 입증했습니다. 코드는 https://github.com/script-Yang/segdino_v2에서 확인할 수 있습니다.
전뇌 4D fMRI 생성은 기능적 뇌 역학 모델링에 가치가 있으나, 기존 fMRI 파운데이션 모델은 주로 조건부 예측 생성보다는 표현 학습과 다운스트림 예측을 목표로 합니다. 우리는 전뇌 4D fMRI 역학을 위한 구조적 사전 조건 생성 모델인 BrainWorld를 소개합니다. BrainWorld는 sMRI를 피험자 수준의 해부학적 맥락으로 사용하여 미래 fMRI 생성을 안내하며, 구조적 정보를 병렬 모달리티로 취급하는 대신 노이즈 제거 과정에 통합합니다. 다양한 코호트와 뇌 상태에 걸친 22개 데이터셋에서 평가된 결과, BrainWorld는 최대 400 프레임에 이르는 안정적인 4D fMRI 궤적을 생성하고, 생성 예제 증강을 통해 다운스트림 성능을 향상시키며, 기준선보다 우수한 전이 가능한 멀티모달 표현을 학습합니다. 이러한 결과들은 BrainWorld가 장기 뇌 역학 모델링 및 멀티모달 표현 학습을 위한 조건 인식 생성 프레임워크임을 확립합니다.
지문 인식은 여전히 작업 특화 파이프라인이 주도하는 분야로, 향상, 구조 분석, 정렬, 매칭이 개별적으로 최적화됩니다. 제한된 환경에서는 효과적이지만, 이러한 설계는 센서, 품질, 다운스트림(downstream) 애플리케이션 전반에 걸친 표현(representation) 재사용을 제한합니다. 따라서 우리는 UoU를 제시합니다. 이는 "대규모 비지도 학습에 기반한 범용 지문 기초 모델"의 약자로, 지문 특징 추출을 도메인 특화 기초 모델 문제로 재정의합니다. UoU는 이미지 복원, 구조적 필드, 시맨틱 토큰(semantic tokens), 포인트 레벨 생체 인식 엔티티(entities), 그리고 압축된 글로벌 디스크립터(descriptors)를 아우르는 다중 레벨 표현 계층 구조를 중심으로 구성됩니다. 학습 방식은 정밀한 주석에 대한 지도 학습 콜드 스타트(cold start), 대규모 약한 지도(weakly supervised) 정제, 대규모 비지도 통합을 결합하며, 대규모 학습 과정에서 후자의 두 단계를 반복하여 약한 지도는 시맨틱(semantic) 범위를 확장하고 비지도 학습은 대응 관계(correspondences), 불변성(invariances), 표현(representation) 기하학을 안정화합니다. 지문 이미지를 일반적인 텍스처(texture)로 취급하는 대신, UoU는 방향 흐름(orientation flow), 주기적 융선(ridge) 패턴, 희소 생체 인식 엔티티(entities), 공간적 등변성(equivariance)을 포함하는 도메인 특화 대칭성과 중간 구조를 활용합니다. 이 프레임워크는 의도적으로 아키텍처에 구애받지 않도록(architecture-agnostic) 설계되었습니다. 본 연구는 초기 트랜스포머(transformer) 기반 구조적 예측(structured-prediction) 구현(instantiation)을 포함하지만, 더 넓은 설계는 멀티태스크 학습, 확장 가능한 모델 구성, 그리고 매칭, 정렬, 향상, 정합(registration) 및 관련 지문 애플리케이션을 위한 다운스트림(downstream) 특화를 지원합니다. 본 논문은 UoU의 기술적 동기, 시스템 설계, 검증 프로토콜을 제시하며, 기준선(baseline) 구현의 일부는 https://github.com/XiongjunGuan/UoU에서 공개적으로 제공됩니다.
경골 평대 골절 특성화 분야에서 인공지능의 잠재력은 아직 실현되지 않았으며, 이는 일관성을 보장할 수 없는 라벨링된 데이터셋에 대한 근본적인 의존성에 기인합니다. Schatzker 및 AO/OTA와 같은 기존 분류 체계는 관찰자 간 변동성 문제로 인해 지도 학습 모델이 안정적인 골절 형태학 대신 인간의 불일치를 학습하게 만듭니다. 본 연구에서는 관찰자가 부여한 라벨 없이 영상 데이터에서 직접 골절 표현(representation)을 학습함으로써 이 제약을 제거하는 라벨 무관 프레임워크를 설계, 구현 및 검증했습니다. RadImageNet으로 사전 학습된 ResNet-50 인코더는 154개의 정제된 무릎 방사선 사진에서 SimCLR 대비 목적 함수를 사용하여 파인튜닝되었으며, 데이터 정제 프로토콜 선행 및 이어지는 UMAP 차원 축소와 k-평균 군집화를 통해 4가지 영상 유래 표현형을 발견했습니다. 표현형 타당성은 두 명의 독립적인 임상의에게 적용된 맹검 전문가 검토 프로토콜을 통해 평가되었습니다. 네 가지 표현형은 맹검 조건에서 두 검토자 모두로부터 3-5/5의 일관성 등급을 받았으며, 강건한 안정성(bootstrap ARI = 0.319 +/- 0.041)과 강력한 내부 응집력(silhouette = 0.511)을 입증했습니다. 하나의 표현형은 분쇄(comminution)를 나타내는 것으로 만장일치로 확인되었는데, 이는 어떠한 지도 신호 없이도 분리된 고복잡도 특징입니다. Schatzker 라벨에 대한 분할 간 비교는 ARI = 0.013을 산출하여 기존 분류 경계에 대한 직교성을 확인했습니다. 특히 기존 분류 어휘에 고착된 전문가 검토자들은 Schatzker 정렬이 가장 낮은 지점에서 정확히 영상 유래 그룹을 이질적으로 인식했으며, 이는 Schatzker로 학습된 인식과 라벨 무관 임베딩 기하학이 직교하는 차원을 측정한다는 것을 시사합니다. 이러한 발견은 라벨 무관 자기 지도 학습(SSL) 표현형 분류를 기존 분류에 대한 재현 가능하고 임상적으로 해석 가능한 보완책으로 확립합니다.