로봇공학을 위한 기존 비전 인코더는 근본적인 병목 현상에 직면해 있습니다: 로봇 데이터셋은 대규모 사전학습에 필요한 규모가 부족합니다. 기존 연구는 인터넷 규모의 이미지 및 언어 데이터나 인간 중심(egocentric) 비디오로 전환하여 이러한 데이터 부족 문제를 해결했습니다. 이러한 모델들은 유망해 보이지만, 어느 패러다임도 다운스트림 시각-운동 제어 정책에 필요한 시각-행동 쌍 데이터로부터 학습하지 않습니다. 그러나 이러한 쌍을 이루는 신호의 가장 직접적인 출처인 로봇 궤적은 사전학습 규모로는 구할 수 없어, 대신 풍부한 인간 비디오에서 행동 신호를 추출하도록 동기를 부여받았습니다. 이를 위해 CAIP(Contrastive Action-Image Pre-training)를 소개합니다. CAIP는 대규모 인간 중심(egocentric) 비디오의 인간 손 자세를 엔드 이펙터(end-effector) 행동의 대리 수단으로 간주하는 비전 인코더입니다. 다운스트림 로봇 행동 공간과 자연스럽게 정렬되는 표현인 3D 손 키포인트를 추출함으로써, CAIP는 대조적 목적 함수(objective)를 통해 통합된 행동-이미지 표현을 학습합니다. 32,041시간의 인간 중심(egocentric) 비디오와 단 88시간의 로봇 조작 데이터를 활용하여, CAIP는 DINOv2, SigLIP, MVP 및 R3M을 포함한 최첨단(SOTA) 비전 인코더를 능가합니다. Dexmate Vega 및 Sharpa Wave 손을 사용하는 도전적인 실제 환경의 정교한 조작 설정에서 평가했을 때, CAIP는 접기, 붓기 및 미세 조작이 포함된 작업에서 30% 이상의 성능 향상을 보여주었습니다. 우리의 결과는 대조적 행동 중심 사전학습 방법이 물리적 상호작용에 더 적합한 견고한 시각 표현을 달성하기 위한 확장 가능한 경로를 제공함을 보여줍니다.
잠재 세계 모델(예: V-JEPA2)의 최근 진전은 비디오 관찰로부터 미래의 세계 상태를 예측하는 유망한 능력을 보여주었습니다. 그럼에도 불구하고, 짧은 관찰 윈도우에서의 밀집 예측은 시간적 맥락을 제한하고 예측기를 국소적이고 저수준의 외삽으로 편향(bias)시킬 수 있어, 장기(long-horizon) 의미론을 포착하기 어렵게 만들고 다운스트림 유용성을 저하시킵니다. 대조적으로, 비전-언어 모델(VLM)은 균일하게 샘플링된 프레임에 대해 추론함으로써 강력한 의미론적 그라운딩(grounding)과 일반 지식을 제공하지만, 연산 중심의 희소 샘플링, 미세한 상호작용 상태를 텍스트 지향 표현으로 압축하는 언어 출력 병목, 그리고 작은 행동 조건(action-conditioned) 데이터셋에 적응할 때의 데이터 체제 불일치로 인해 독립형 밀집 예측기로는 이상적이지 않습니다. 우리는 이중 시간 경로(dual-temporal pathway)를 통해 밀집 프레임 역학 모델링과 장기 의미론적 가이던스를 결합하는 VLM이 안내하는 JEPA 스타일 잠재 세계 모델링 프레임워크를 제안합니다: 미세한 움직임과 상호작용 단서를 위한 밀집 JEPA 분기와, 지식이 풍부한 가이던스를 위한 더 큰 시간 보폭(temporal stride)을 가진 균일 샘플링 VLM 생각가(thinker) 분기가 그것입니다. VLM의 점진적 추론 신호를 효과적으로 전달하기 위해, 우리는 다층 VLM 표현을 잠재 예측과 호환되는 가이던스 특징으로 집계하는 계층적 피라미드 표현 추출 모듈을 도입합니다. 손 조작(hand-manipulation) 궤적 예측에 대한 실험은 우리의 방법이 강력한 VLM 전용 기준선(baseline)과 JEPA 예측기 기준선(baseline) 모두를 능가하며, 더 견고한 장기 롤아웃(rollout) 동작을 생성함을 보여줍니다.
인간의 시각 시스템은 현재 관찰 정보를 이전에 관찰된 정보와 통합하고, 대상 및 장면의 변화에 적응하며, 미세한 수준에서 가려짐(occlusion)을 추론하여 객체를 추적합니다. 이와 대조적으로, 최근의 일반 객체 추적기는 종종 학습 목표에 맞춰 최적화되어 있어 보지 못한 시나리오에서의 강건성과 일반화가 제한되며, 가려짐 추론 또한 여전히 거칠어 가려짐 패턴에 대한 상세한 모델링이 부족합니다. 일반화 및 가려짐 인지의 이러한 한계를 해결하기 위해, 우리는 JEPA를 이미지 특징 예측에서 추적 모델 예측으로 확장하는 모델 예측 사전학습 프레임워크인 GOT-JEPA를 제안합니다. 동일한 과거 정보가 주어지면, 교사 예측기는 깨끗한 현재 프레임에서 의사 추적 모델(pseudo-tracking models)을 생성하고, 학생 예측기는 손상된 현재 프레임에서 동일한 의사 추적 모델을 예측하도록 학습합니다. 이 설계는 안정적인 의사 감독(pseudo supervision)을 제공하며, 예측기가 가려짐, 방해물(distractors) 및 기타 불리한 관찰 상황에서 신뢰할 수 있는 추적 모델을 생성하도록 명시적으로 학습시켜 동적 환경에 대한 일반화를 향상시킵니다. GOT-JEPA를 기반으로, 우리는 객체 추적을 위한 가려짐 인지를 강화하는 OccuSolver를 추가로 제안합니다. OccuSolver는 객체 인식(object-aware) 가시성 추정 및 상세한 가려짐 패턴 캡처를 위해 점 중심(point-centric) 포인트 추적기를 적용합니다. 추적기에 의해 반복적으로 생성된 객체 사전 정보(object priors)에 조건화되어, OccuSolver는 가시성 상태를 점진적으로 정제하고 가려짐 처리를 강화하며, 후속 모델 예측을 점진적으로 개선하는 더 고품질의 참조 레이블을 생성합니다. 7개 벤치마크에 대한 광범위한 평가를 통해 본 방법이 추적기의 일반화와 강건성을 효과적으로 향상시킴을 확인했습니다.
궤적 유사도는 이동 패턴 분석의 기본적인 과제로서, 경로 패턴 추출, 이동 예측, 이상 탐지와 같은 응용 분야에 필수적입니다. 유사도 계산을 위한 전통적인 거리 기반 측정 방법은 높은 계산 비용을 초래하므로, 경량화된 학습 기반 접근법의 채택을 촉진하고 있습니다. 지도 학습 방법은 전통적인 거리 측정 방법에서 파생된 광범위한 라벨에 의존하며 종종 이러한 지표를 재현하여 일반화를 제한합니다. 자기 지도 학습은 대비 학습을 통해 이 문제를 해결하지만, 통합된 프레임워크가 부족하여 일관된 궤적 표현을 위한 심층 학습(DL) 모델을 비교하기 어렵습니다. 따라서 본 논문에서는 모멘텀 대비(MoCo) 패러다임에 기반하여 선박 궤적 임베딩을 학습하기 위한 통합 프레임워크인 MoCo-AIS를 제시합니다. 이 프레임워크는 긍정 및 부정 궤적 쌍을 통해 유사도 학습을 공식화합니다. 이 프레임워크 내에서, 다양한 항해 행동과 운영 조건을 포착하는 대규모 실제 선박 추적 AIS 데이터셋에 대해 다양한 최신 심층 학습(DL) 모델을 평가합니다. 결과는 본 프레임워크가 기존 베이스라인 대비 유사도 학습을 유의미하게 향상시킴과 동시에, 궤적 표현 모델을 평가하기 위한 벤치마킹 플랫폼을 제공함을 입증합니다.
비지도 밀집 검색기는 대조 학습(contrastive learning)을 통해 레이블이 없는 문서에서 의미적 유사성을 학습함으로써 확장성을 제공하지만, 시간적 관련성을 포착하는 데 어려움을 겪으며 의미적으로는 관련되어 있으나 시간적으로 정렬되지 않은 문서를 검색합니다. 이는 문서 집합이 여러 시기에 걸쳐 있을 때 중요한 측면입니다 (예: "2019년 대통령은 누구인가?"라는 질문에 대해 2018-2025년의 문서를 검색하는 것은 시간적 모호함을 야기함). 기존 방법들은 항상 가능하지는 않은 명시적인 타임스탬프를 이용한 지도 학습에 의존합니다. 우리는 TPOUR (Temporal Preference Optimization for Unsupervised Retriever)를 제안하며, 이는 우리의 새로운 학습 방법인 TRPO (Temporal Retrieval Preference Optimization)를 사용합니다. TRPO는 시간 차원에서 선호도 학습을 재해석하여, 검색기가 시간적으로 정렬된 문서를 선호하도록 유도합니다. TPOUR는 학습된 시간 임베딩(embedding)에서의 보간을 통해 보지 못한 시기로 일반화되어, 연속적인 시간 정렬을 가능하게 합니다. 시간적 정보 검색(T-IR)에 대한 실험에서 TPOUR는 비지도 및 지도 기준 모델(baseline) 모두를 능가합니다. Qwen-Embedding-8B와 비교했을 때, 약 72.7배 더 작은 규모에도 불구하고 TPOUR Contriever는 명시적 쿼리에서 평균 nDCG@5를 +4.04 (+12.15%), 암시적 쿼리에서 +4.98 (+15.21%) 향상시켰습니다. 우리의 코드는 https://github.com/agwaBom/TPOUR에서 제공됩니다.
단조성(Monotonicity)은 신경망의 오랜 아키텍처적 귀납적 바이어스로, 출력이 특정 입력에 단조적으로 반응하는 것으로 알려진 표 형식(tabular), 과학적, 경제적 환경에 의해 동기가 부여되어 왔다. 기존 접근법은 MLP 또는 흐름 기반(flow-based)이며 엣지별 함수적 투명성이 결여되어 있다. 단조성을 갖는 유일한 콜모고로프-아놀드 네트워크(KAN) 변형인 MonoKAN은 제한된 매개변수 부분집합에만 제약을 적용하며 투영 방식의 학습 절차를 필요로 한다. 본 연구는 B-스플라인 계수의 지수적 재매개변수화(exponential reparameterization), 양의 엣지 가중치, 단조 기저 활성화 함수를 통해 모든 매개변수 값에 대해 강한 단조성을 보장하는 KAN인 MKAN으로 이 격차를 해소한다. 학습은 표준 비제약 경사하강법으로 귀결된다. 핵심 이론적 기여는 표현 비용 정리(representation-cost theorem)로, 구형 의미적 이웃 분할(ball-shaped semantic-neighborhood partition)을 유도하는 임의의 $C^K, K > 0$ 특징 추출기는 $k$가 원래의 비단조 좌표 수일 때 $N' = N^* + k \le 2N^*$에서 동등한 이웃 구조의 단조 실현(monotone realization)을 허용함을 보인다. 이 경계는 아키텍처에 무관하며 단조 인코더를 위한 원칙적인 크기 결정 규칙을 제공한다. 실험적으로 MKAN은 SMM/ICML-2024 벤치마크에서 최신 단조 신경망들과 경쟁력 있는 성능을 달성하면서, 강한 비제약 단조성과 KAN의 엣지별 함수적 투명성을 결합한 유일한 방법이다. $2N^*$ 예측은 네 개의 실제 데이터셋에 대한 자기지도(self-supervised) 특징 크기 탐색에서 검증되었으며, 제어된 단조 생성 데이터셋에서 MKAN은 KAN, MLP, 선형 기준선 대비 스피어만 정렬(Spearman alignment)이 실질적으로 더 높은 수준으로 실제 요인(ground-truth factors)을 복원한다.
최근 파운데이션 모델과 그래프 사전학습 기술의 급속한 발전으로 인해 범용 사전학습 그래프 모델, 즉 그래프 파운데이션 모델(GFM)을 구축하려는 관심이 높아지고 있습니다. 그러나 기존 모델은 텍스트 정보가 없는 그래프 데이터의 특징 이질성을 처리하지 못한다는 중요한 문제가 있으며, 이는 다양한 데이터셋 간의 그래프 모델 전이 가능성을 저해합니다. 이러한 격차를 해소하기 위해 본 연구에서는 모든 그래프 데이터의 최소 의미 단위로 간주되는 학습 가능한 그래프 패치(learnable graph patches) 개념을 제안합니다. 노드 특징을 펼치고(unfolding) 이에 대응하는 패치 구조를 별도로 구성하여 그래프를 학습 가능한 그래프 패치로 분해합니다. 이후 도메인 간 그래프 데이터에서 전이 가능한 정보를 추출하는 프레임워크를 설계합니다. 구체적으로, 그래프 패치를 추출한 후 각 단위에서 지식을 추출하는 패치 인코더(patch encoder)와 단위들이 전체로 결합되는 방식을 학습하는 패치 어그리게이터(patch aggregator)를 제안합니다. 도메인에 구애받지 않는(domain-agnostic) 특성 덕분에 해당 모델은 서로 다른 도메인의 다운스트림 데이터에 적용할 수 있습니다. 또한, 본 방법과 기존 그래프 모델 간의 연관성과 모델이 생성하는 노드 임베딩의 전이 가능성을 분석합니다. 실험적으로 본 방법은 사전학습에 다중 도메인 그래프를 활용할 수 있는 능력을 달성했을 뿐만 아니라, 다양한 다운스트림 데이터셋 및 작업에서 향상된 성능을 보여주었습니다. 더불어 사전학습 데이터의 규모가 증가함에 따라 다운스트림 성능이 지속적으로 향상됨을 확인했습니다.
자기지도학습(SSL)에서 단위 초구에 균일 분포를 명시적으로 부과하여 표현 붕괴를 방지하는 것이 효과적인 것으로 입증되었습니다. 그러나 현재 프레임워크는 일반적으로 무작위 1차원 방향으로의 몬테카를로 샘플링을 통해 이 연속적인 목적 함수를 근사하는 슬라이스 기반 통계적 정규화기(예: LeJEPA에 사용된 SIGReg 및 SPHERE-JEPA에 사용된 SUSReg)에 의존합니다. 이러한 확률성은 학습 그라디언트에 투영 분산을 주입하여 최적화를 불안정하게 만들고 수렴을 저해합니다. 본 연구에서 우리는 먼저 이러한 무작위 투영을 해석적으로 적분하여 제거하면 슬라이스 방식의 분산을 우회하여 결정론적인 최대 평균 불일치(MMD)가 본질적으로 도출됨을 보여줍니다. 이러한 동등성에 동기를 얻어, 우리는 균일 분포를 부과하기 위해 초구에서 직접 MMD, 커널 스타인 불일치(KSD), 쿨백-라이블러(KL) 발산에 대한 전체 차원 목적 함수를 공식화합니다. 공간적 바이어스를 방지하기 위해, 우리는 스펙트럼 이론을 통해 구성된 회전 불변 커널을 이러한 검정에 적용하고, 부드러운 지수 감소(Heat) 및 엄격한 주파수 차단(Bandlimited) 필터라는 두 가지 대표적인 계열을 체계적으로 평가합니다. 실험적으로, 투영 유도 노이즈를 제거하면 더 안정적인 최적화와 더 빠른 수렴을 가져오며, ImageNet 및 Galaxy10에서 확률적 슬라이스 정규화기 대비 일관된 성능 향상을 보여줍니다. 더 나아가, 우리는 통계적 검정의 선택이 학습된 잠재 공간의 기하학적 구조를 형성함을 밝혀냅니다: MMD와 KSD는 객체 중심 도메인에 적합한 국소적으로 클러스터링된 구조를 선호하는 반면, 연속적인 KDE 기반 KL 발산은 세밀한 인스턴스 분리를 촉진하여 클러스터링되지 않은 절차적 텍스처 검색에서 가장 강력한 결과를 산출합니다.
효율적인 최적화는 대규모 언어 모델(LLM) 학습에 필수적입니다. 층 내 선택적 업데이트(intra-layer selective updates)는 탐구되었지만, 수렴 보장을 보장하면서 세밀한 제어를 가능하게 하는 일반적인 메커니즘은 여전히 부족합니다. 이러한 격차를 해소하기 위해, 우리는 선택적 업데이트를 위한 새로운 메커니즘인 **MGUP**를 제안합니다. **MGUP**는 각 반복(iteration)에서 선택된 고정 비율의 파라미터에는 더 큰 스텝 사이즈(step-size)를 적용하고 나머지에는 더 작지만 0이 아닌 스텝 사이즈를 적용하여 표준 모멘텀 기반 최적화기를 보강합니다. 거의 플러그 앤 플레이(plug-and-play) 모듈로서, **MGUP**는 AdamW, Lion, Muon과 같은 최적화기와 매끄럽게 통합됩니다. 이를 통해 **MGUP-AdamW**, **MGUP-Lion**, **MGUP-Muon**과 같은 강력한 변형 모델이 생성됩니다. 표준 가정 하에서, 우리는 확률적 최적화에서 **MGUP-AdamW** (가중치 감소(weight decay) 없음)에 대한 이론적 수렴 보장을 제공합니다. MAE 사전학습, LLM 사전학습, 다운스트림 미세조정을 포함한 다양한 작업에 대한 광범위한 실험을 통해, 우리의 **MGUP** 강화 최적화기는 기본 최적화기에 비해 우수하거나 더 안정적인 성능을 달성함을 입증합니다. 우리는 효율적인 층 내 선택적 업데이트를 위한 원칙적이고 다재다능하며 이론적으로 근거가 있는 전략을 제공하여 대규모 모델의 학습을 가속화하고 안정화합니다. 코드는 https://github.com/MaeChd/MGUP에서 공개적으로 제공됩니다.
네트워크 트래픽 흐름 간의 관계 구조를 모델링하는 데 있어 효과적이기 때문에, 그래프 신경망(GNNs)은 네트워크 침입 탐지 시스템(NIDSs)에 널리 사용되어 왔습니다. 그러나 대부분의 기존 GNN 기반 NIDS 접근 방식은 트래픽 흐름의 관계 구조에만 초점을 맞추고 이를 시간적으로 독립적인 것으로 간주하여, 진화하는 공격 행동에 대처하는 능력을 제한합니다. 더욱이 지도 학습이나 준지도 학습에 의존하는 경우가 많아 미지의 공격에 대한 일반화가 제한됩니다. 이러한 제한 사항을 해결하기 위해 본 논문에서는 새로운 자기지도 GNN 기반 프레임워크를 제안합니다. 우리가 아는 한, 제안된 모델은 실제 타임스탬프를 명시적으로 활용하여 표현 학습을 위한 정확한 시간적 의존성을 제공하는 최초의 자기지도 GNN 기반 NIDS 모델 중 하나입니다. 먼저 타임스탬프에 따라 네트워크 트래픽 흐름에서 일련의 시간적 그래프를 구성한 다음, 계산 비용이 큰 어텐션 메커니즘을 도입하지 않고 네트워크 트래픽의 시간적 정보와 공간적 의존성을 완전히 추출하기 위해 E-GraphSAGE 및 LSTM 기반 인코더를 사용합니다. 시간적 연속성을 포착하고, 구조적 일관성을 유지하며, 학습된 표현의 일반화와 견고성을 각각 향상시키기 위해 시간적, 공간적, 특징 대비가 공동으로 수행되는 다중 뷰 그래프 대조 학습(GCL) 방식을 도입했습니다. 또한, 대조 손실 가중치를 최적화하기 위해 그래디언트 노름 기반 적응형 가중치 전략을 설계했습니다. 실제 타임스탬프가 포함된 4개의 대표적인 NIDS 데이터셋에 대한 실험 결과, 제안하는 방법은 기존 자기지도 접근 방식보다 성능이 현저히 우수하며, 높은 계산 효율성을 유지하면서 지도 학습 기반 최첨단 GNN 방법과 대등한 성능을 달성함을 입증했습니다.
경계 표현(B-rep)은 컴퓨터 지원 설계(CAD)의 업계 표준입니다. 심층 학습이 B-rep 모델 처리에 잠재력을 보이지만, 기존 방법들은 표현 격차라는 문제를 겪습니다. 연속적 접근법은 해석적 정밀도를 제공하지만 시각적으로는 추상적인 반면, 이산적 방법은 기하학적 정밀도를 희생하여 직관적 명확성을 제공합니다. 이러한 격차를 해소하기 위해, 우리는 추상적인 경계 표현을 직관적인 형상 표현과 정렬하도록 설계된 새로운 자기지도 사전학습 방법인 Brep2Shape를 소개합니다. 우리의 방법은 모델이 매개변수화된 베지어 제어점으로부터 조밀한 공간 점을 예측하도록 학습하는 기하학 인식 작업을 사용하여, 네트워크가 추상 계수에서 파생된 물리적 다양체를 더 잘 이해할 수 있게 합니다. 이러한 정렬을 강화하기 위해, 우리는 고유한 기하학적 속성을 포착하기 위해 곡면과 곡선 토큰을 독립적으로 인코딩하는 병렬 스트림을 갖춘 듀얼 트랜스포머 백본을 제안합니다. 또한, 위상 어텐션을 통합하여 곡면과 곡선 사이의 상호 의존성을 모델링함으로써 위상 일관성을 유지합니다. 실험 결과 Brep2Shape가 상당한 확장성을 제공하며, 다양한 다운스트림 작업에서 최첨단 정확도와 더 빠른 수렴을 달성함을 보여줍니다. 코드는 이 저장소에서 확인할 수 있습니다: https://github.com/thuml/Brep2Shape.
기존 자기 지도 분류 기반 시계열 이상 탐지(TSAD) 방법들의 설명 가능성 부족 문제를 해결하기 위해, ProtoX-AD라는 프로토타입 기반의 자체 설명 가능한 프레임워크를 제안한다. 이 방법은 블랙박스 모델과 대등한 탐지 성능을 달성하면서 기존 방법보다 더 일관되고 의미 있는 설명을 제공한다.
동적 환경에서의 결함 전파 문제를 해결하기 위해 네트워크 사고를 그래프-시간적 과정으로 모델링하고 반사실 시뮬레이션을 통해 근본 원인을 순위 매기는 자기지도 학습 기반 프레임워크 NetCause를 제안한다. 실제 클라우드 데이터에서 규칙 기반 베이스라인 대비 16.1%의 정확도 향상을 달성했으며 추론 시간은 수 초 수준으로 매우 가볍다.
기존 자동화 도구의 한계를 극복하기 위해 약한 지도 종 분류, 자기지도학습, 지식 증류를 결합한 반지도학습 멀티태스크 프레임워크인 PULSE를 제안한다. 이 도메인 적응 전문 모델은 최신 범용 모델을 모든 지표에서 능가하며, 학습된 임베딩은 생태학적으로 유의미한 구조를 포함한다.
멀티모달 속성 그래프(MAG)에서 구조 유도 의미와 모달 고유 의미의 차이를 해결하기 위해, 그래프 주파수 변이를 사전 지식으로 활용하여 신호를 주파수 대역으로 분해하고 토폴로지 조건부 라우팅을 수행하는 스펙트럴 멀티모달 그래프 사전학습(pre-training) 프레임워크인 SMGFM을 제안한다. 이 방법은 다양한 MAG 데이터셋에서 그래프 및 모달 수준 작업에 대해 최첨단 성능을 달성했다.
지리공간 멀티모달 파운데이션 모델의 다양한 아키텍처를 동일한 조건에서 비교하여, 모델 유연성과 모달리티 정렬, 다운스트림 성능 사이의 설계 상충 관계를 분석했다. GEOBench 벤치마크를 활용한 표준화된 평가를 통해 차세대 모델 개발을 위한 실질적인 가이드라인을 제시한다.
돌고래 의사소통의 정밀한 구조를 분석하기 위해 5년간의 장기 녹음 데이터셋을 구축하고 Wav2Vec2.0을 기반으로 한 종 특화 자기지도학습(SSL) 모델인 Dolph2Vec을 제안한다. 이 모델은 기존 범용 모델보다 휘슬 분류 및 탐지 성능이 뛰어나며, 돌고래 휘슬 카테고리와 정렬되는 해석 가능한 음향 단위를 학습함을 입증한다.
대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 전문화된 에이전트를 조율하기 위해 효과적인 오케스트레이션이 필요하지만, 이러한 오케스트레이터를 학습하는 것은 제한된 감독(supervision)과 높은 계산 비용으로 인해 어렵다. 우리는 인간 어노테이션 없이 오케스트레이션 품질을 평가하는 자기지도(self-supervised) 프레임워크인 오케스트레이션 보상 모델링(Orchestration Reward Modeling, OrchRM)을 제안한다. OrchRM은 다중 에이전트 실행의 중간 산출물(intermediate artifacts)을 활용하여 Bradley-Terry 보상 모델(reward model) 학습을 위한 승-패(win-lose) 쌍을 구성한다. 값비싼 하위 에이전트(sub-agent) 롤아웃(rollout)에 의존하는 기존 MAS 테스트 시점 스케일링(test-time scaling) 및 오케스트레이터 학습 프레임워크와 달리, OrchRM은 오케스트레이션 수준에서 직접 작동하여 효율적이고 고성능의 보상 가이드(reward-guided) 오케스트레이터 학습 및 MAS 테스트 시점 스케일링을 가능하게 한다. OrchRM은 토큰 사용량에서 최대 10배의 학습 효율을 향상시키면서, 정확도에서 MAS 테스트 시점 스케일링 성능을 최대 8%까지 개선한다. 이러한 이득은 수학적 추론, 웹 기반 질의응답, 다중 홉(multi-hop) 추론을 포함한 여러 도메인에서 일관되게 전이되어, 오케스트레이션 수준 보상 모델링이 견고한 다중 에이전트 오케스트레이션을 위한 확장 가능한(scalable) 방향임을 보여준다. 코드는 https://github.com/Wang-ML-Lab/OrchRM 에서 제공될 예정이다.
휴머노이드 로봇이 고유 수용-시각 대응(proprioceptive-visual correspondence)을 통해 별도의 라벨이나 운동학 모델 없이 자기-타인 구별을 학습하여, 관절 설정을 3차원 신체 점유로 매핑하는 예측적 자기 모델을 구축한다. 이를 통해 다중 에이전트 환경에서 로봇은 자신을 식별하고 목표 도달 및 충돌 인식 운동 계획과 같은 후속 작업을 수행할 수 있다.
자기지도 학습 파운데이션 모델(foundation model)은 의료 영상 분야에서 강력한 잠재력을 보여주었습니다. 그러나 기존 MRI 파운데이션 모델 연구는 주로 분할(segmentation) 및 밀집 예측(dense prediction) 작업을 강조해 왔으며, MRI 기반 질병 탐지를 위한 자기지도 학습 파운데이션 모델에 대한 체계적인 조사는 여전히 제한적입니다. 본 연구에서는 MRI 기반 질병 탐지를 위한 두 가지 주요 자기지도 사전학습 패러다임인 Masked Autoencoders(MAE)를 통한 재구성 기반 학습과 Joint Embedding Predictive Architectures(JEPA)를 통한 예측적 표현 학습을 조사합니다. 미세한 해부학적 구조에 대한 민감도를 높이기 위해 MAE에 새로운 주파수 영역(spectral-domain) 재구성 손실을 도입하고, 상관관계가 없는 잠재 표현을 장려하기 위해 JEPA 프레임워크 내에 분산-공분산 정규화(variance--covariance regularization, VCR)를 통합하여 보조 목적함수의 역할을 연구합니다. 본 모델은 모달리티 연결(modality concatenation) 없이, 조영 불가지론적(contrast-agnostic) 설정에서 이질적인 단일 조영(single-contrast) MRI 볼륨에 대해 사전학습되었습니다. 5가지 다운스트림 질병 탐지 작업에 걸친 결과는 의료 파운데이션 모델 사전학습을 위한 자기지도 목적함수 설계의 중요성을 강조하며, 각 목적함수의 다운스트림 효용은 작업 구조와의 관련성에 의해 결정됨을 보여줍니다. 구체적으로, 주파수 정규화(spectral regularization)는 다운스트림 판별 신호가 강한 고주파 해부학적 구조로 특징지어질 때 가장 큰 개선을 이끌어내는 반면, 공분산 정규화(covariance regularization)는 판별 정보가 여러 상관관계가 없는 특징 차원에 걸쳐 있을 때 가장 유리합니다. 주파수 영역 감독(spectral-domain supervision)을 적용한 MAE는 MRI 기반 질병 탐지에서 일관되게 우수한 다운스트림 성능을 달성했습니다. 이러한 발견은 의료 영상의 자기지도 목적함수가 특정 편향(bias)을 인코딩하며, 그 다운스트림 효용은 근본적으로 작업 구조에 의존함을 시사합니다.