PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02014v2cs.CV

광학 문자 인식을 통한 유전체 모델링 재고

Rethinking Genomic Modeling Through Optical Character Recognition

최근 유전체 파운데이션 모델은 대부분 DNA를 1차원 토큰 시퀀스로 취급하는 대규모 언어 모델(LLM) 아키텍처를 채택하고 있습니다. 그러나 전체적인 순차적 읽기는 희소하고 불연속적인 유전체 의미와 구조적으로 정렬되지 않아, 저정보 배경에서 계산 낭비를 초래하고 긴 컨텍스트에 대한 이해 기반 압축을 방해합니다. 본 연구에서는 유전체 모델링을 광학 문자 인식(OCR) 스타일의 문서 이해로 재정의하는 비전 기반 프레임워크인 OpticalDNA를 제시합니다. OpticalDNA는 DNA를 구조화된 시각적 레이아웃으로 렌더링하고, 시각적 DNA 인코더와 문서 디코더를 갖춘 OCR 가능한 비전-언어 모델을 학습시키며, 여기서 인코더는 고충실도 압축을 위해 압축 가능하고 재구성 가능한 시각적 토큰을 생성합니다. 이 표현을 기반으로 OpticalDNA는 핵심 유전체 기본 연산(읽기, 영역 그라운딩, 부분 시퀀스 검색, 마스크된 구간 완성)에 대한 프롬프트 조건부 목적함수를 정의하여, 감소된 유효 토큰 예산 하에서 세밀한 유전체 정보를 유지하는 레이아웃 인식 DNA 표현을 학습합니다. 다양한 유전체 벤치마크에서 OpticalDNA는 최신 베이스라인을 일관되게 능가했습니다. 45만 개 염기까지의 시퀀스에서 약 20배 더 적은 유효 토큰으로 최고의 전반적인 성능을 달성했으며, 단 25만 6천 개의 학습 가능한 파라미터만 튜닝하여 최대 985배 더 많은 활성화된 파라미터를 가진 모델을 능가했습니다.

arXiv:2606.07403v1math.OC

프록시 벤더스 분해

The Proxy Benders Decomposition

벤더스 분해는 복잡화 변수가 고정되면 훨씬 더 쉬운 부분문제를 산출하는 대규모 혼합정수 최적화 문제를 풀기 위한 기본 프레임워크이다. 하지만 전통적인 벤더스 분해는 매우 유사한 부분문제를 반복적으로 풀고, 반복 간에 지그재그 수렴 행동을 자주 보이며, 대규모 설정에서 느린 수렴을 초래한다. 벤더스 부분문제의 반복적 구조와 파라미터적 특성에서 동기를 받아, 본 논문은 부분문제 최적화를 반복적 정확 풀이 대신 인증된 최적화 프록시로 대체하는 새로운 분해 프레임워크인 프록시 벤더스 분해(Proxy-BD)를 제안한다. 제안된 프록시는 검증 가능하게 유효한 벤더스 절 생성을 위해 이중 실행 가능 솔루션을 산출하는 자기지도 예측-투영-완성 메커니즘을 따른다. 이 프레임워크는 투영 및 완성 인증 층을 통해 예측 품질과 관계없이 분해의 이론적 타당성을 유지한다. 프록시 유발 절의 형식적 특성화가 확립되며, 이 프레임워크는 분기 및 벤더스 절 알고리즘을 포함한 현대 분해 방식으로 자연스럽게 확장된다. 대규모 시설 입지 및 네트워크 설계 문제에 대한 계산 실험에서 Proxy-BD는 거의 최적인 솔루션 품질을 유지하는 동시에 부분문제의 계산 부담을 크게 줄인다. 최대 2000x2000 규모의 대규모 무용량 시설 입지 인스턴스에서 Proxy-BD는 중앙값 최적성 갭을 0.5% 미만으로 달성하고, 중앙값 속도 향상을 최대 161배 달성하며, 최대 인스턴스에서 생성된 절의 수를 240배 이상 줄인다. 계산 이득은 재결정 복잡도가 증가함에 따라 일관되게 커지며, 이는 대규모 분해 설정에서 프록시 기반 추론이 반복적 정확 부분문제 최적화보다 실질적으로 더 유리하게 스케일링된다는 것을 보여준다.

arXiv:2606.07387v1cs.LG

제한된 데이터의 최대 활용: 텍스트-음악 생성을 위한 점수 인지 학습 (Score-Aware Training)

Making the Most of Limited Data: Score-Aware Training for Text-to-Music Generation

최첨단 텍스트-음악 생성 시스템들은 대규모 독점 데이터셋과 산업 규모의 연산 자원에 의존하여, 아키텍처의 기여도를 자원 우위와 분리해내는 것이 불가능합니다. 우리는 파이프라인 전반에 걸쳐 오디오-캡션 정렬 점수를 직접적인 지도 신호로 활용하는 점수 인지 학습(Score-Aware Training)을 제안합니다. 저점수 세그먼트를 폐기하는 대신, 우리는 이들을 고노이즈 학습 영역으로 라우팅하는 CLAP 조건부 Beta 노이즈 타임스텝 스케줄을 통해 재활용하여 효과적인 암묵적 정규화(implicit regularization) 역할을 하게 합니다. 보완적으로, 세그먼트 수준 필터링은 가장 정렬되지 않은 예제를 제거하고, 2단계 캡션 절차는 장황한 학습 캡션과 간결한 추론 프롬프트 간의 분포 격차를 해소합니다. REPA 보조 손실은 추가 데이터 없이 사전학습된 CLAP 및 MuQ 인코더로부터 구조화된 의미론적 지식을 추가로 전이합니다. ICME 2026 ATTM 그랜드 챌린지 효율성 트랙에 제출된 우리의 450M 매개변수 FluxAudio 기반 시스템은 객관적 평가에서 두 트랙 모두 2위를 차지했으며, 최종 MOS 평가에서 효율성 트랙 3위를 기록했습니다.

arXiv:2606.07365v1cs.LG

멀티모달 생리학적 지도를 활용한 강인한 PPG 파운데이션 모델

A robust PPG foundation model using multimodal physiological supervision

광용적맥파(PPG)는 혈류량 변화를 비침습적으로 측정한 것으로, 웨어러블 기기와 임상 환경 모두에서 널리 사용됩니다. 최근 PPG 파운데이션 모델들은 정제된 데이터가 필요한 사전학습 패러다임을 사용하여 실제 환경 유사 데이터로의 일반화를 어렵게 만드는 오픈 소스 ICU 데이터셋을 사용하거나, 폐쇄형 실제 환경 유사 PPG 데이터를 사용합니다. 이와 대조적으로, 우리는 고품질이나 실제 환경 유사의 사전학습 데이터를 요구하지 않는 대신, ICU 데이터셋 내의 수반되는 심전도(ECG) 및 호흡 신호를 활용하여 사전학습 중 대조 샘플을 선택하는 PPG 파운데이션 모델을 제안합니다. 우리의 접근 방식은 모델이 노이즈가 섞인 PPG 구간을 유지하고 이로부터 학습할 수 있게 하여, 추론 시 견고성을 향상시킵니다. 기존 최첨단 방법론보다 3배 더 적은 대상으로 사전학습된 우리의 모델은, 실제 환경 유사 일상 활동 및 심박수 예측을 포함한 15개의 다양한 다운스트림 태스크 중 14개에서 성능 향상을 달성했습니다. 우리의 결과는 멀티모달 지도가 상호 보완적인 생리학적 정보를 통합하여 PPG 파운데이션 모델의 견고성을 개선하고 소비자급 데이터로의 일반화를 강화할 수 있음을 보여줍니다.

arXiv:2606.07031v1cs.LG

CF-JEPA: 시계열 표현 학습을 위한 비대칭 인코더 활용을 통한 마스크 프리 순방향 예측

CF-JEPA: Mask-free forward prediction with asymmetric encoder utilization for time-series representation learning

시계열 표현 학습을 위한 자기지도 학습(SSL)은 양성 또는 음성 쌍을 구성하는 데 어려움을 겪는 대조적 방법(contrastive methods)과 시계열 신호의 시간적 연속성을 단절시키는 마스킹 기반 방법이라는 두 가지 패러다임이 지배적입니다. 결합 임베딩 예측 아키텍처(JEPA)는 원본 입력을 재구성하는 대신 표현 공간에서 예측함으로써 유망한 대안을 제공합니다. 그러나 기존 시계열 JEPA 변형들은 여전히 마스킹에 의존하므로 그 연속성 문제를 그대로 안고 있습니다. 크롭 기반 순방향 JEPA(CF-JEPA)는 마스킹을 다중 지평 순방향 예측으로 대체하는 혁신적인 마스크 프리 프레임워크로 제안됩니다: 무작위 크롭은 컨텍스트 뷰로 사용되며, 단기, 중기, 장기 미래 표현이 순방향 시간 방향으로 예측되어 시계열 데이터의 고유한 시간적 순서를 학습 신호로 직접 활용합니다. 또한 단일 학습 실행에서 생성된 온라인 인코더와 지수 이동 평균(EMA) 타겟 인코더 사이에 강력한 비대칭성이 확인되었습니다: 온라인 인코더는 더 고계급(higher-rank)의 식별 특징을 발달시키는 반면, EMA 타겟 인코더는 더 매끄럽고 저계급(lower-rank)의 시간적 특징을 발달시킵니다. 이러한 비대칭성을 활용하여, 분류는 온라인 인코더에 할당되고 예측 또는 이상 탐지는 EMA 타겟 인코더에 할당되어, 추가적인 학습 비용 없이 다변량 예측 평균 제곱 오차(MSE)를 27% 감소시켰습니다. 126개의 캘리포니아 대학교 리버사이드(UCR) 및 26개의 이스트 앵글리아 대학교(UEA) 분류 데이터셋, 8개의 전력 변압기 온도 예측 벤치마크, 그리고 핵심 성과 지표(KPI)/Yahoo 이상 탐지 전반에 걸쳐, CF-JEPA는 자기지도 기준 모델 중 UCR 및 UEA에서 가장 높은 평균 정확도와 순위를 달성했으며, 단변량 예측 및 k-최근접 이웃(k-nearest neighbors) 점수 기반 이상 탐지에서 2위를 차지했습니다.

arXiv:2606.06899v1cs.CV

제어 가능한 조명 변화 하에서의 조명 인지 표현 학습

Lighting-Aware Representation Learning under Controllable Lighting Variation

조명의 변화는 환경 간 및 환경 내에서 상당한 외관 변화를 유발하기 때문에 시각적 표현 학습의 주요 과제로 남아 있습니다. 기존 접근 방식은 일반적으로 모델이 조명 변화에 불변(invariant)해지도록 유도하는 데이터 증강을 통해 이 문제를 해결하지만, 이러한 전략은 학습 과정에서 조명 정보를 명시적으로 모델링하지 않습니다. 인간 시각 이론에서 영감을 받아, 우리는 조명 변화를 억제해야 할 방해 요인이 아닌 명시적인 학습 신호로 통합하는 조명 인지 표현 학습 프레임워크를 제안합니다. 우리의 방법은 렌더링된 장면에서 조명 의존적 변화를 포착하는 보조 목적함수를 도입하여 대조 학습을 확장하며, 이를 통해 모델이 조명 의존적 시각 구조에 민감하면서도 의미적 일관성을 유지하는 표현을 공동으로 학습할 수 있게 합니다. 우리는 ImageNet, ExDark, PASCAL VOC 벤치마크에서 이미지 분류 및 객체 검출 작업에 대해 제안된 모델을 평가했습니다. 결과는 제안된 조명 인지 학습이 동일한 아키텍처와 학습 예산을 유지하면서도 표준 대조 학습 기준선에 비해 다운스트림 성능을 일관되게 향상시킴을 보여줍니다. 또한, 우리의 접근 방식은 지도 학습 프레임워크와 더 단순한 조명 변화가 포함된 설정에서도 유망한 성능을 보여주어, 복잡한 조명 시나리오를 넘어선 광범위한 적용 가능성을 시사합니다. 이러한 결과는 복잡한 시각적 환경과 더 일반적인 이미지 처리 작업 모두에서 모델의 견고성과 적응성을 향상시킬 잠재력을 나타냅니다.

arXiv:2606.06647v1cs.LG

EEG 파운데이션 모델의 정체성 함정: 진단 감사

The Identity Trap in EEG Foundation Models: A Diagnostic Audit

목적. EEG 파운데이션 모델(FMs)은 임상 휴식 상태 EEG에서 강력한 정확도를 보고합니다. 그러나 피험자 분리 교차 검증(subject-disjoint cross-validation) 하에서의 높은 정확도는 여전히 모호합니다: 이는 진정한 임상 바이오마커를 반영할 수도 있고, 라벨과 상관관계가 있는 피험자 정체성 특성을 반영할 수도 있습니다. 우리는 이를 정체성 함정(Identity Trap)이라 명명하고, 미세조정(fine-tuning) 전 표현 수준에서 이를 진단할 수 있는지 묻습니다. 접근법. 우리는 FMScope를 제안합니다. 이는 분산 분해(variance decomposition), 피험자 축 소거(subject-axis erasure), 비주기적 1/f 소거(aperiodic 1/f ablation), 층별 라벨 프로빙(layer-wise label probing), 피험자 내 방향 일관성(within-subject direction consistency)의 다섯 가지 진단 방법을 포함하는 고정 표현 프로토콜입니다. 우리는 이를 2x2 레이아웃(라벨의 피험자 관계 x 합의된 피험자 간 EEG 마커의 존재)으로 구성된 4개 데이터셋에 걸쳐 사전 학습된 3개의 FM(LaBraM, CBraMod, REVE)에 적용합니다. 주요 결과. (i) 정체성 함정은 보편적입니다: 고정된 피험자 분산(frozen subject-variance)은 12쌍 중 12쌍에서 무작위 널(null) 대비 13-89배이며, 미세조정 시 12쌍 모두에서 증가합니다(+10에서 +63 pp). 이러한 지배성은 제거 가능한 선형 축입니다: 이를 소거하면 라벨이 피험자 내에서 변하는 경우 라벨 디코딩이 향상됩니다(주요 셀에서 +6에서 +12 pp; 외부 코호트 전체에서 +4에서 +27 pp). (ii) 비주기적 1/f는 하나의 피험자 운반체입니다: 이를 제거하면 LaBraM과 CBraMod에서 피험자 프로브가 9-19 pp 감소합니다. REVE는 측정 가능한 비주기적 의존성 없이 피험자 정체성을 포화시킵니다. (iii) 미세조정은 문헌에 확립된 피험자 간 마커가 있는 셀에서만 라벨 분산을 증폭시킵니다. 의의. 정체성 함정은 물리적으로 근거한 지름길 학습(shortcut learning)의 사례입니다: 선호된 단서(cue)는 측정 가능한 생리학적 구성 요소를 가지며, 피험자 분리 분할만으로는 이를 배제할 수 없습니다. FMScope는 생물학적 마커를 반영하는 이득과 피험자 정체성을 반영하는 이득을 분리합니다.

arXiv:2510.16023v2cs.LG

선형 폴리머 모델링 및 설계를 위한 형태 중심 생성 파운데이션 모델

A Conformation-Centric Generative Foundation Model for Linear Polymer Modeling and Design

선형 폴리머(linear polymer)는 단량체(monomer)가 공유결합으로 연속적인 사슬을 형성한 고분자(macromolecule)로, 수많은 기술의 근간을 이루며 현대 생활에 없어서는 안 될 존재이다. 심층 학습(deep learning)이 폴리머 과학을 발전시키고 있음에도 불구하고, 기존 방법들은 일반적으로 선형 폴리머 전체를 단량체 수준의 기술자(descriptor)만으로 표현하여, 폴리머 형태(conformation)에 내재된 전역적 구조 정보를 간과함으로써 실질적인 성능을 제한하고 있다. 더욱이, 이 중요한 분야에는 다양한 다운스트림 태스크를 효과적으로 지원할 수 있는 전용 파운데이션 모델(foundation model)이 여전히 부재하여 연구 발전을 심각하게 저해하고 있다. 이러한 문제를 해결하기 위해, 우리는 형태 중심 생성 사전학습(conformation-centric generative pretraining)을 통해 선형 폴리머의 모델링 및 설계에 특화된 파운데이션 모델인 PolyConFM을 제안한다. 각 선형 폴리머가 본질적으로 연속적인 사슬이며, 그 형태가 자연스럽게 일련의 국소 형태(local conformation), 즉 반복 단위들의 형태로 분해될 수 있다는 점에 착안하여, 우리는 조건부 생성 패러다임 하에 PolyConFM을 사전학습한다. 구체적으로, 마스킹 자기회귀(MAR, masked autoregressive) 모델링을 통해 이러한 국소 형태를 재구성하고, 나아가 방향 변환(orientation transformation)을 생성하여 해당 폴리머 형태를 복원한다. 아울러, 데이터 희소성(sparsity)을 완화하기 위해 분자 동역학(molecular dynamics) 시뮬레이션을 통해 선형 폴리머 형태 데이터셋을 구축함으로써 형태 중심 사전학습을 가능하게 한다. 실험 결과, PolyConFM은 다양한 다운스트림 태스크에서 대표적인 태스크별 특화 방법들을 일관되게 능가함으로써, 선형 폴리머를 겨냥한 강력한 도구를 폴리머 과학에 제공함을 입증한다.

arXiv:2510.03381v3cs.LG

고속도로 인터체인지 램프 교통량 예측을 위한 프록시 재구성 사전학습

Proxy Reconstruction Pre-training for Ramp Flow Prediction at Highway Interchanges

인터체인지는 고속도로 간 차량 이동의 핵심 노드이지만, 실시간 램프 감지기의 부재로 인해 교통량 예측에 사각지대가 발생한다. 이를 해결하기 위해 본 논문은 크로스 모달 재구성 사전학습을 활용하는 2단계 프레임워크인 시공간 분리 오토인코더(STDAE, Spatio-Temporal Decoupled Autoencoder)를 제안한다. 첫 번째 단계에서 STDAE는 본선 데이터로부터 과거 램프 교통량을 재구성하며, 이를 통해 모델이 내재적인 시공간 관계를 포착하도록 유도한다. 병렬 공간 및 시간 오토인코더로 구성된 분리 아키텍처는 이질적인 특징을 효율적으로 추출한다. 예측 단계에서는 학습된 표현을 GWNet 등의 모델과 통합하여 정확도를 향상시킨다. 세 개의 실제 인터체인지 데이터셋에 대한 실험 결과, STDAE-GWNET은 13개의 최신 베이스라인을 일관되게 능가하며, 과거 램프 데이터를 활용하는 모델과 비교 가능한 성능을 달성한다. 이는 감지기 부족 문제 극복에 있어 STDAE의 효과성과 다양한 예측 파이프라인에 대한 플러그 앤 플레이 잠재력을 입증한다.

arXiv:2606.07498v1cs.CV

대조 비지도 데이터 증강을 위한 암묵적 데이터 합합

Implicit Data Synthesis for Contrastive Unsupervised Data Augmentation

과학적 관측은 대량의 레이블 없는 데이터를 생성하며, 이를 수작업으로 레이블링하는 데 많은 노력이 필요하므로 데이터셋 처리에 비지도 학습 기법이 유용하다. 이러한 접근법 가운데 대조 학습(contrastive learning)은 주석이 없는 데이터셋으로부터 구조적 표현을 추출하는 편리한 메커니즘을 제공한다. 자연 영상의 경우 합성 샘플을 생성하기 위해 다양한 데이터 공간 데이터 증강 방법을 사용하는 것이 일반적이지만, 과학적 관측에서는 데이터 공간 교란이 기저 데이터를 근본적으로 변형할 수 있다. 본 연구에서는 기저 데이터가 아닌 네트워크 가중치를 교란하여 대조 샘플을 생성하는 방법을 제안하며, 이를 통해 데이터 구조를 더 밀접하게 보존한다. 유성체 레이더 관측에 SimCLR 기반 파이프라인을 적용하여 이 기법을 시연하고, 동일한 프로토콜 조건에서 성능 향상을 보인다.

arXiv:2606.07100v1cs.CV

LARA: 비전-언어-액션 모델을 위한 잠재 행동 표현 정렬

LARA: Latent Action Representation Alignment for Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 로봇이 관측 및 언어 명령으로부터 직접 행동을 예측할 수 있게 하지만, 그 성능은 대규모 고품질 데이터에 의존하며 실세계 로봇 행동 데이터셋의 희소성으로 인해 제한된다. 레이블이 없는 풍부한 인간 동영상을 활용한 VLA 모델 학습을 촉진하기 위해, 잠재 행동 모델(LAM)은 시각적 다이나믹스로부터 잠재 행동 표현을 학습하여 VLA 학습에 추가적인 지도 신호를 제공한다. 그러나 LAM과 VLA는 일반적으로 별도로 학습되어, VLA 학습 중 LAM이 실제 행동과 연결되지 못하고 VLA 모델은 고정된 LAM 표현에 의해 제약된다. 이러한 문제를 해결하기 위해, 우리는 표현 정렬을 통해 LAM과 VLA를 공동으로 최적화하는 플러그앤플레이 프레임워크인 잠재 행동 표현 정렬(LARA)을 제안한다. 이를 통해 상호 이점이 실현되는데, LAM은 행동 궤적과 함께 학습하여 잘못된 시각적 변화를 방지하고, VLA는 LAM 내에서 학습된 순방향 다이나믹스에 의해 정규화되어 기능적으로 비효율적인 궤적의 환각을 줄인다. 우리는 사전학습, 사전학습된 VLA 모델의 사후 학습 향상, LAM 정제에서 LARA의 범용성과 효과성을 입증하며, 3개의 시뮬레이션 벤치마크와 세심하게 설계된 1개의 실세계 로봇 조작 벤치마크에서 평균 각각 약 10%, 5%, 15%의 성능 향상을 달성하였다.

arXiv:2606.06878v1cs.RO

강인한 6자유도 파지 자세 추정을 위한 교차 시점 융합 프레임워크

A Cross-view Fusion Framework for Robust 6-DoF Grasp Pose Estimation

본 논문에서는 코너 시점에서 6자유도(6-DoF) 파지 자세 추정의 강인성을 향상시키는 교차 시점 융합 프레임워크를 제안한다. 제안된 프레임워크는 보조 시점을 통합하여 폐색 문제를 완화하고, 사후 융합(post-fusion) 전략을 통해 시간이 많이 소요되는 태스크 비특화 다중 시점 재구성을 피한다. 교차 시점 융합을 강화하기 위해, 교차 시점 연관성을 활용하여 포인트 클라우드 특징을 정규화하는 자기지도 대조 학습(self-supervised contrastive learning) 전략을 제안한다. 구체적으로, 두 포인트가 동일한 3D 위치에 대응하면 교차 시점 포인트 쌍을 매칭으로, 서로 다른 파지 방향을 나타내면 비매칭으로 정의한다. 이 학습 전략은 포인트 특징의 공간적 일관성과 방향 변별성을 크게 향상시켜 교차 시점 융합을 촉진하고 추정 강인성을 개선한다. 아울러, 파지 관련 기하학 정보를 포괄적인 표현으로 융합하는 교차 시점 정렬 원통형 통합 모듈(cross-view-aligned cylinder integration module)을 제안한다. 구체적으로, 이 모듈은 먼저 유사도에 따라 교차 시점 포인트와 특징을 정렬하여 노이즈에 대한 강인성을 높인다. 이후 해당 포인트들을 원통 좌표계에 등록하여 파지에 중요한 회전 대칭 기하학 정보를 강조한다. 마지막으로, 로컬 자기 어텐션(self-attention)과 시드 교차 어텐션(cross-attention) 레이어를 교대로 적용하여 단일 시점 내부 및 시점 간 상호작용을 각각 지원함으로써 파지 관련 기하학의 세밀한 표현을 가능하게 한다. 제안된 프레임워크는 GraspNet-1Billion 벤치마크와 실제 환경 적용에서 우수한 성능을 달성한다. 코드는 https://github.com/KJZhuAutomatic/Cross-view-Grasp 에서 확인할 수 있다.

arXiv:2606.06631v1cs.CV

픽셀에서 뉴턴까지: 단안 영상으로부터 생체 관절 접촉력 예측

From Pixels to Newtons: Predicting In Vivo Joint Contact Forces from Monocular Video

관절 접촉력은 이식물 수명, 연골 건강, 재활 결과를 좌우하며, 누가 골관절염을 앓게 되는지, 누가 관절 치환술 후 회복이 잘 되는지, 누가 생체역학적 중재의 이득을 보는지를 결정한다. 그러나 이들은 계측 이식물을 갖춘 수십 명의 환자에서만 침습적으로 측정할 수 있다. 저는 보정되지 않은 단안 영상으로부터 순간적인 3D 고관절 및 슬관절 접촉력을 예측하는 물리 모델이 필요 없는 파이프라인을 제시한다: 마커, force plate, 근전도(electromyography), 피험자별 영상, 또는 근골격 모델이 필요 없다. 각 프레임마다 파라미터화된 신체 메시를 복원하고, 운동학적 특징으로 인코딩한 뒤, 트랜스포머가 포즈 스트림을 매 층마다 신체 형태, 관절, 좌우, 활동 텍스트, 및 자기지도 비디오 토큰(V-JEPA 2)으로 적응적으로 변조하여 힘으로 디코딩하며, 단일 모델에서 고관절과 슬관절을 통합한다. 생체 OrthoLoad 데이터베이스의 26명 환자와 25개 활동 범주에 대한 피험자 1명 제외 교차검증(leave-one-subject-out cross-validation)에서, 이 파이프라인은 피험자별 근골격 시뮬레이션의 정확도와 일치한다(고관절: $0.32 \pm 0.08$ BW RMSE; 슬관절: $0.23 \pm 0.03$ BW)且, 보행 재훈련 및 골관절염 진행에 대해 보고된 것보다 작은 피크 힘 변화도 구분한다. 독립적인 계측 코호트에 제로샷(zero-shot)으로 적용했을 때, 기존에 발표된 방법들과 대등하거나 능가한다. 정제된 활동 라벨 없이도 비디오 특징만으로 정확도를 유지하며 원본 영상에 대한 end-to-end 추론을 가능하게 한다. 예측기가 구동하는 생성적 운동 사전(prior)은 피크 부하가 감소된 생체역학적으로 타당한 변형을 생성하며, 예측 시뮬레이션 문헌의 전략을 재발견한다. 이 파이프라인은 보정되지 않은 단안 영상을 관절 부하 추정을 위한 실행 가능한 방식으로 확립하며, 보관된 임상 기록의 후향적 분석, 1차 진료 선별, 및 가정 내 재활 추적으로 가는 길을 연다.

arXiv:2203.07904v3eess.IV

포컬 스택 카메라 깊이 추정을 위한 비지도 학습 기반 방법

Unsupervised Learning Based Focal Stack Camera Depth Estimation

우리는 포컬 스택 카메라 이미지로부터 깊이를 추정하는 비지도 심층 학습(deep learning) 기반 방법을 제안한다. NYU-v2 데이터셋에서 우리의 방법은 단일 이미지 기반 방법들에 비해 훨씬 우수한 깊이 추정 정확도를 달성한다.

arXiv:2606.06983v1eess.IV

DaX: 스케일에 걸친 일반 병리 표현 학습

DaX: Learning General Pathology Representations Across Scales

컴퓨테이션 병리학(computational pathology)은 다양한 임상 엔드포인트에 전이되는 시각 표현과 배율, 염색, 스캐너 유형, 슬라이드 준비, 입력 해상도의 변동에 강건한 표현을 필요로 한다. 우리는 전체 슬라이드 조직병리학(whole-slide histopathology)에 DINOv3 스타일 자기지도 학습(self-supervised learning)을 적용한 병리 비전 기초 모델(vision foundation model)인 DaX를 제안한다. DaX는 자연 이미지 DINOv3 가중치로 초기화되며, 연속 배율 학습(continuous magnification training), 교차 스케일 조직 뷰(cross-scale tissue views), 방향 불변(orientation-agnostic) 및 촬영 획득에 강건한(acquisition-robust) 증강, 다중 입력 크기 학습(multi-input-size training), 그리고 Gram-고정(anchored) 밀집 일관성(dense consistency)을 통합한다. 이러한 설계는 입력 스케일에 걸쳐 밀집 토큰(token) 수준 표현을 안정화하면서 국소 세포 형태학과 전역 조직 구조를 연결하는 것을 목표로 한다. 또한 4개 임상 도메인과 9개 과제 범주에 걸쳐 28,182명의 환자와 34,394장의 슬라이드를 포함하는 44개 공개 데이터셋으로부터 161개의 임상적으로 의미 있는 과제로 구성된 WSI 수준 벤치마크를 구축한다. 모든 모델은 fold 수준 통계 순위를 포함하는 고정된 환자 수준 교차 검증(patient-level cross-validation) 프로토콜 하에서 평가되며, 분할에 따른 변동에 덜 민감한 재현 가능한 비교를 가능하게 한다. 이 벤치마크 전반에서 DaX는 과제 간 최고 평균 성능과 일관되게 강한 과제 수준 순위 점수를 달성하며, 진단 병리학, 바이오마커 및 분자 프로파일링(molecular profiling), 조직/검체 맥락, 그리고 위험, 반응, 예후에 걸친 향상을 보인다. 이 결과는 DaX가 컴퓨테이션 병리학을 위한 전이 가능한 시각 인코더로서의 가치를 뒷받침하며, 향후 병리 기초 모델을 위한 표준화된 평가 프레임워크를 제공한다. 프로젝트 페이지: https://alibaba-damo-academy.github.io/DaX/benchboard/.

arXiv:2606.06550v1cs.SD

자기지도 음성 감정 인식을 위한 기하학적 2차 특징 상관 학습

Geometric Second-Order Feature Correlation Learning for Self-Supervised Speech Emotion Recognition

자기지도 학습(SSL)은 음성 감정 인식(SER)에 강력하고 문맥이 풍부한 표현을 제공하지만, 이러한 표현을 전체적인 서술자로 집계하는 것은 여전히 병목이다. 기존의 1차 집계는 암묵적으로 특징 독립성을 가정하여, 잠재적인 Riemannian 기하학을 간과하고 백본의 표현력에 필수적인 고차 관계를 버린다. 이 문제를 해결하기 위해, 본 논문은 새로운 2차 상관(Second-Order Correlation, SOC) 층을 제안한다. SOC는 특징을 고립적으로 취급하는 대신, 특징 상관을 공분산 서술자로 모델링하여 시너지적 공발생 패턴을 포착하고, 이는 강건한 감정 인식을 위한 판별적 시그니처로 작용한다. Log-Euclidean mapping(LEM)을 통해 Riemannian 다양체에서 Euclidean 접공간으로 이러한 서술자를 매핑함으로써, 제안 방법은 기하학적 무결성을 유지하면서 직접적인 선형 판별 학습을 가능하게 한다. ESD 및 RAVDESS 데이터셋에 대한 광범위한 실험은 SOC가 1차 풀링에서 손실된 판별 정보를 복원하고 고차원 SSL 특징을 효과적으로 집계함을 보여준다.

arXiv:2606.06534v1eess.IV

비전 기반 모델이 안내하는 어텐션 일관성 종단적 의료 시각 질의응답

Attention Consistent Longitudinal Medical Visual Question Answering Guided by Vision Foundation Models

종단적(longitudinal) 의료 시각 질의응답(VQA)은 현재 시점 이미지와 참조 시점 이미지 간의 해부학적 차이를 추론하는 과제입니다. 우리는 흉부 X선을 대상으로 이 과제를 위한 어텐션 기반 인코더-디코더를 제안합니다. 기존의 직접적인 대비 방식 대신, 소규모 등록 정규화기를 갖춘 경량 어파인(affine) 등록 모듈을 도입하여 현재 이미지를 참조 이미지에 공동 정합(co-registration)함으로써 불필요한 움직임을 줄입니다. 정합된 이미지 쌍은 이미지 인코더에 입력된 후, 고정된 DINO 기반 마스크 생성기와 학습 가능한 적응형 마스크 생성기를 거쳐 원본 이미지 쌍에 적용될 마스크를 생성합니다. 마스킹된 이미지 쌍은 다시 이미지 인코더에 입력되고, 텍스트 특징과 연결되어 멀티모달 트랜스포머 기반 디코더의 입력으로 활용되어 최종 답변을 생성합니다. DINO-v3에서 영감을 받아 학습 안정화 및 변화 신호 명확화를 위해 마스크 재구성 손실, 쌍별 Gram 스타일 일관성 손실, KoLeo 균등성 손실 등의 추가 보조 목적함수를 포함하여 표현의 기하학적 구조를 향상시킵니다. Medical-Diff-VQA 벤치마크에서 본 모델은 높은 BLEU, ROUGE-L, CIDEr, METEOR 점수를 달성하는 동시에 공유 현저성(saliency) 마스크를 통한 내재적 해석 가능성을 제공합니다. 이러한 결과는 경미한 사전 정합과 함께 현저성 조건부 생성이 의료 VQA의 종단적 추론을 위한 원칙적인 프레임워크임을 뒷받침합니다. 또한 우리의 학습 전략은 바이오메디컬 분야에서 이미지 기반 모델을 활용하는 패러다임의 가능성, 즉 지도 학습과 비지도 학습 목적함수를 동시에 최적화하는 방식의 잠재력을 보여줍니다.

arXiv:2603.19100v2cs.AI

LuMamba: 전극 토폴로지 불변 및 효율적인 EEG 모델링을 위한 잠재 통합 Mamba

LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling

뇌전도(EEG)는 임상 및 신경기술 응용 분야에서 뇌 활동의 비침습적 모니터링을 가능하게 하지만, 서로 다른 전극 토폴로지와 계산 스케일링 문제로 인해 EEG용 파운데이션 모델 구축은 여전히 어렵습니다. 특히 트랜스포머 아키텍처는 이차 시퀀스 복잡도를 초래하기 때문입니다. 이에 대한 통합 해결책으로, 저희는 토폴로지 불변 인코딩과 선형 복잡도 상태 공간 모델링을 결합한 자기지도 학습 프레임워크인 LuMamba(Latent Unified Mamba)를 제안합니다. LuMamba는 채널 통합을 위해 LUNA의 학습된 쿼리 교차 어텐션(learned-query cross-attention) 메커니즘을 사용하고, 효율적인 시간적 모델링을 위해 FEMBA의 양방향 Mamba 블록을 활용합니다. 이 아키텍처 내에서 저희는 바이오시그널 학습을 위한 잠재-유클리드 결합 임베딩 예측 아키텍처(LeJEPA)에 대한 최초의 체계적인 조사를 제공합니다. TUEG 말뭉치의 21,000시간 이상의 레이블 없는 EEG로 사전학습된 LuMamba는 16개에서 26개 채널에 이르는 전극 구성에서 이상 징후 탐지, 인공물 인식, 정신 상태 분류에 걸친 5가지 다운스트림 태스크에 대해 평가되었습니다. 사전학습 목적함수에서 마스크드 재구성만 사용하면 구조화되었지만 일반화 가능성이 낮은 표현이 생성되는 반면, LeJEPA만 사용하면 흐릿한 임베딩이 생성됩니다. 두 목적함수를 결합했을 때 가장 강건한 성능을 달성했습니다. 단 4.6M 개의 파라미터만으로 LuMamba는 TUAB에서 80.99%의 균형 정확도를 달성하고 알츠하이머 탐지에서 최첨단 성능(0.97 AUPR)을 달성했습니다. 또한 동일한 시퀀스 길이에서 최첨단 모델보다 377배 적은 연산량(FLOPS)을 요구하며, 일반적인 GPU 메모리 한계에 도달하기 전에 12배 더 긴 시퀀스로 확장할 수 있습니다. 코드는 https://github.com/pulp-bio/biofoundation에서 확인할 수 있습니다.