arXiv:2305.01578

Self-supervised learning for infant cry analysis

Arsenii Gorin, Cem Subakan, Sajjad Abdoli, Junhao Wang, Samantha Latremouille, Charles Onu

제출 2023-05-02

원문 초록

In this paper, we explore self-supervised learning (SSL) for analyzing a first-of-its-kind database of cry recordings containing clinical indications of more than a thousand newborns. Specifically, we target cry-based detection of neurological injury as well as identification of cry triggers such as pain, hunger, and discomfort. Annotating a large database in the medical setting is expensive and time-consuming, typically requiring the collaboration of several experts over years. Leveraging large amounts of unlabeled audio data to learn useful representations can lower the cost of building robust models and, ultimately, clinical solutions. In this work, we experiment with self-supervised pre-training of a convolutional neural network on large audio datasets. We show that pre-training with SSL contrastive loss (SimCLR) performs significantly better than supervised pre-training for both neuro injury and cry triggers. In addition, we demonstrate further performance gains through SSL-based domain adaptation using unlabeled infant cries. We also show that using such SSL-based pre-training for adaptation to cry sounds decreases the need for labeled data of the overall system.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00003v1cs.CV공통 태그 Self-Supervised Learning, Domain Adaptation

STATERA: 동결된 시간 튜브릿을 활용한 제로샷 Sim-to-Real 기구학 기반 숨겨진 질량 추정

STATERA: Hidden Mass Estimation via Zero-Shot Sim-to-Real Kinematics using Frozen Temporal Tubelets

프레임 수준의 외형을 위해 사전학습(pre-training)된 비전 모델들은 종종 움직임으로부터 숨겨진 물리적 특성을 추론하는 데 어려움을 겪습니다. 본 연구에서는 자기 가림(self-occlusion)으로 인해 표면 단서와 포인트 트래킹의 신뢰성이 떨어지는 짧은 단안(monocular) 비디오로부터 불투명하고 비대칭인 강체의 질량 중심(CoM) 위치를 파악하는 문제를 다룹니다. 우리는 대부분 동결된 가중치와 경량 시간 튜브릿 믹서(temporal tubelet mixer)를 갖춘 사전학습 비디오 백본(V-JEPA)을 활용하여 프레임별 CoM 히트맵과 궤적을 예측하는 STATERA를 제안합니다. 이 태스크를 지원하기 위해 5만 개의 MuJoCo 궤적과 물리적으로 보정된 실제 CoM 정답(ground truth)이 포함된 63개 시퀀스의 실제 환경 테스트 세트로 구성된 HiddenMass 벤치마크를 도입합니다. 시뮬레이션에서 STATERA-50K-Sigma는 정규화된 CoM 오차를 41.7%(DINOv2)에서 25.2%로 개선합니다. 제로샷(zero-shot) sim-to-real 전이에서 우리는 지도 방식의 근본적인 트레이드오프를 관찰했습니다. 위상 인식(phase-aware) 타깃은 양봉(bimodal) 예측을 유도할 수 있는 반면, 위상 무관(phase-agnostic) 타깃은 통계적으로 안전한 중심점(centroid)으로 붕괴될 수 있습니다. 그럼에도 불구하고, 위상 인식 기반의 STATERA-50K-Crescent는 평가된 방법 중 실제 숨겨진 오프셋을 향해 일관된 움직임을 보여준 유일한 방법입니다. 이는 정적 기하학적 중심점에 비해 절대 유클리드 오차를 미세하게 증가시키는 단안 벡터 오버슈트 아티팩트를 유발하지만, 물리적 포착률(physics capture)을 2.6%에서 41.0%로 향상시킵니다. 이러한 결과는 동결된 시간 표현이 숨겨진 매개변수 추정을 위해 시각적 기하 구조로부터 관성 역학을 더 잘 분리할 수 있음을 시사합니다.

arXiv:2609.26347v2cs.CL공통 태그 Self-Supervised Learning, Domain Adaptation

TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크

TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling

전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.

arXiv:2609.17068v2cs.CV공통 태그 Self-Supervised Learning, Domain Adaptation

분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가

Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation

선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.

arXiv:2609.23961v1cs.CV공통 태그 Self-Supervised Learning, Domain Adaptation

Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성

Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video

단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.

arXiv:2607.21850v1cs.CV공통 태그 Self-Supervised Learning, Domain Adaptation

SCALE: 첨단 노드에서 지역 P&R DRV 수정을 위한 자기지도 제약 인식 레이아웃 생성

SCALE: Self-Supervised Constraint-Aware Layout GEneration for Local P&R DRV Fixing at Advanced Nodes

반도체 제조가 2nm 미만 노드로 진전함에 따라, 지역 배치 및 배선(P&R) 설계 규칙 위반(DRV) 수정은 복잡한 규칙 상호작용, 밀집된 다층 라우팅 기하학, 파운드리 특화 제약에 의해 점점 더 제한받고 있다. 대규모 언어 모델(LLM)은 최근 EDA 스크립팅 및 문서화에서 강력한 역량을 보여주었지만, 시각적 레이아웃 이해에의 적용은 여전히 거의 탐구되지 않았다. 레이아웃 이미지로부터 DRC 위반을 진단하는 것은 정밀한 기하학적 추론과 범용 VLM 학습에 없는 파운드리 특화 규칙 지식을 요구한다. 우리는 첨단 노드에서 지역 DRV 수정을 위한 자기지도 레이아웃 생성 단계를 갖춘 프레임워크인 SCALE을 제안한다. 다층 레이아웃 기하학은 구조화된 텍스트로 직렬화되며, 파인튜닝된 언어 모델은 위반 레이블 없이 주변 BEOL 컨텍스트만으로 무작위로 마스킹된 폴리곤을 재구성하는 방법을 학습한다. 추론 시, 자연어 규칙 제약과 고온도 샘플링이 생성을 다양하고 위반에 취약한 레이아웃 변형을 향하게 유도하며, 이는 산업용 사인오프 DRC 검사기로 검증되어 DRC 주석이 달린 레이아웃-위반 쌍을 생성하고, 이를 사용해 도메인 적응 DRC-VLM을 파인튜닝한다. 이 VLM은 지역 DRV 수리를 위한 규칙 인식 기하학적 안내를 제공하여, enclosure, spacing, width, color-spacing 위반을 포함하는 100건의 실제 2nm 미만 사례에서 최신 에이전트의 해결률을 +12–25%(최대 97%)까지 향상시킨다.

arXiv:2607.14721v1cs.CV공통 태그 Self-Supervised Learning, Domain Adaptation

멀티모달리티를 감독 신호로: 멀티모달리티를 통한 테스트 환경 자기지도 특화

Multimodality as Supervision: Self-Supervised Specialization to the Test Environment via Multimodality

교차 모달 학습(cross-modal learning), 즉 한 모달리티로부터 다른 모달리티를 예측하도록 학습하는 것은, 멀티모달리티를 활용한 자기지도의 기본적인 메커니즘이다. 많은 실용적 응용(예: 가정용 로봇 배포)은 테스트 환경에서 멀티모달 센싱을 가능하게 하는 풍부한 센서 세트를 갖춘 장치를 포함한다. 이는 이러한 장치가 센싱한 멀티모달 데이터에 교차 모달 학습을 적용하여 표현(representation)을 학습할 기회를 제공한다. 발달 심리학의 연구 결과 또한 생물학적 에이전트(agent)가 이를 활용하여 주변 환경에 대한 효과적인 표현을 구축한다는 것을 시사한다. 이를 연구하기 위해, 사용자 장치를 주어진 테스트 환경으로만 제한하는 통제된 설정을 제안한다. 그 결과, 이 특정 테스트 환경에 대해 성능이 우수한 모델을 개발하려는 특화(specialization) 설정이 된다. 이 설정 하에서, 테스트 환경에서 멀티모달 데이터 수집을 수행하고 이를 기반으로 자기지도 사전학습을 수행하는 Test-Space Training(TST)을 개발한다. 동일한 환경에서 다양한 다운스트림(downstream) 과제에 대해 이러한 모델들을 평가한다. 이 설정에서, 테스트 환경에서만 풍부한 멀티모달 데이터를 수집하고 교차 모달 학습을 활용하면, 대규모 인터넷 데이터셋으로 사전학습된 범용(generalist) 모델(예: DINOv2, CLIP)과 경쟁력 있는 결과를 달성할 수 있다는 등 다양한 흥미로운 통찰을 얻는다. 이는 모델 사전학습을 위해 외부의 인터넷 규모 데이터셋이 필요한 정도를 줄이는 대안적 시나리오를 가능하게 한다. 또한 (멀티)모달리티로 데이터를 대체하는 문제와, 사전학습 데이터를 달리함으로써 모델이 테스트 환경에 특화(specialise)하는 능력과 보류(hold-out) 공간으로 일반화(generalize)하는 능력 사이에서 트레이드오프가 어떻게 형성되는지에 대한 흥미로운 논점을 제기하는 일련의 분석 및 ablation을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.