PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23512v1cs.CL

공격적 언어 탐지의 교차 도메인 일반화 비용

The Cross-Domain Generalization Cost of Offensive Language Detection

공격적 언어 탐지 모델은 일반적으로 데이터셋 간 및 언어 간에 배포될 때 성능 저하를 겪지만, 기존 연구의 대부분은 이 현상을 보고하는 데 그치며, 성능 저하의 원인을 기여 요인으로 분해하고 개선 비용을 정량화하는 체계적인 방법론이 부족하다. 본 논문은 세 가지 조율된 기술 구성 요소로 이루어진 진단 및 최적화 프레임워크를 제안한다. 첫째, OLID에서 MLMA로의 제로샷(zero-shot) 전이 손실 분해로, 성능 저하를 데이터셋 효과와 언어 효과라는 두 가지 독립적으로 측정 가능한 구성 요소로 분리한다. 둘째, 지속적 미세조정과 콜드스타트(cold-start) 시작점에서의 퓨샷(few-shot) 학습 곡선을 비교하여 적응 효율성과 원본 과제에 가해지는 숨겨진 손상을 모두 정량화하는 통제된 미세조정 프로토콜. 셋째, 온도 샘플링(temperature sampling)과 경험 재생(experience replay)을 포함하는 세 가지 공동 학습(joint training) 전략으로, 다국어 능력 향상과 원본 과제 성능 보존 사이의 조절 가능한 파레토(Pareto) 트레이드오프를 제공한다. 이 프레임워크를 기반으로 한 실험은 데이터셋 효과가 제로샷 전이 손실을 지배하며 언어 효과를 실질적으로 능가함을 보여준다. 재생(replay) 메커니즘이 없는 퓨샷 적응은 데이터 효율적이지만, 공동 학습 전략에 비해 원본 과제 손상을 4~9배 더 가하며, 그 손상의 크기는 매우 불안정하다. 세 가지 공동 학습 전략은 원본 과제 성능 3.2~4.1%p를 다국어 능력 향상 8.1~42.6%p와 교환하며, 명확하고 조절 가능한 파레토 트레이드오프를 형성한다.

arXiv:2607.23972v1cs.CV

컬러 안저 사진 분석: 멀티모달 AI를 향한 데이터, 전처리, 모델링의 공진화

Color Fundus Photography Analysis: Co-evolution of Data, Preprocessing, and Modeling toward Multimodal AI

컬러 안저 사진(Color Fundus Photography, CFP)은 안과 및 전신 질환의 대규모 스크리닝을 위한 주요 비침습적 영상 방식이다. 기존 서베이는 주로 과제별 알고리즘, 데이터셋, 또는 전처리 기법을 각각 독립적으로 요약하며, 현대 인공지능과의 공진화에 대한 통합적 관점이 부족하다. 본 리뷰는 데이터셋 진화, 전처리 패러다임, 모델링 프레임워크의 상호작용을 통해 CFP AI에 대한 통합적 개관을 제공한다. CFP 데이터셋이 과제별 라벨을 갖춘 소규모 단일 기관 수집물에서 멀티모달 페어링과 종단 임상 기록을 특징으로 하는 대규모 다기관 자원으로 진화해 왔음을 보인다. 전처리는 기존의 이미지 향상에서 신경망 기반 데이터 엔지니어링 파이프라인, 하드웨어 인식 토큰 최적화, 불완전한 전자 건강 기록(EHR)에 대한 자기지도 보간(self-supervised imputation)으로 발전해 왔다. 한편, 모델링은 합성곱 신경망(CNN)에서 비전 기반 모델(vision foundation models), 상태 공간 모델(SSM), 멀티모달 전문가 아키텍처로 발전해 왔다. 멀티모달 최전선에서 CFP는 EHR 및 종단 환자 정보와 점점 더 통합되어, 고립된 이미지 분석을 넘어 더 포괄적인 임상 추론을 가능하게 한다. 향후 발전은 데이터셋, 전처리, 멀티모달 모델링의 협력적 최적화에 달려 있으며, 이는 견고한 임상 배포, 향상된 교차 도메인 일반화, 자원 효율적인 엣지 지능을 향한 로드맵을 제공한다.

arXiv:2607.22973v1cs.CV

mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습

mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction

밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.

arXiv:2607.22861v1cs.CV

미세조정을 통한 병리학 파운데이션 모델 강건화

Robustifying pathology foundation models via fine-tuning

병리학 파운데이션 모델(FM)은 강력한 타일 수준 표현을 생성하지만, 스캐너 및 염색 변동성에 여전히 민감하여 실험실 간 배포를 저해한다. 우리는 획득 요인에 대한 병리학 FM의 견고성(robustness)을 향상시키는 새로운 미세조정 방법을 개발했다. 10가지 서로 다른 FM에 적용했을 때, 우리의 미세조정 전략은 관찰된 트레이드오프 없이 모든 모델의 견고성과 다운스트림 성능을 일관되게 향상시킨다. 평균적으로 PathoROB 견고성 지수를 23%(0.72에서 0.87) 향상시키며, Patho-Bench, HEST, THUNDER를 통합한 전체 크로스-벤치마크 성능을 43% 증가시킨다. 개별적으로는 견고성에서 최대 72%(Phikon-v2), 성능에서 최대 76%(Midnight-12k)의 향상에 이른다. Phikon-v2(Phaet)와 Midnight-12k(Mascaret)의 미세조정 버전을 https://huggingface.co/wearewaiv/models 에서 공개한다.

arXiv:2607.22749v1cs.CV

손실 안정화, 정규화 및 부분공간 어텐션을 통한 수술 후 교모세포종 분할

Post-Operative Glioma Segmentation via Loss Stabilization, Normalization and Subspace Attention

수술 후 잔존 종양을 추적하는 것은 재발을 조기에 발견하는 데 필수적이지만, 수술 후 교모세포종 분할을 자동화하는 것은 여전히 어려운 과제이다. SwinUNETR과 같은 트랜스포머 기반 아키텍처가 인상적인 결과를 달성했지만, 임상 프로토콜 간 일반화 성능을 검증하는 연구는 거의 없다. 본 논문에서는 MU-GLIOMA-POST 및 UCSF-ALPTDG 데이터셋에 대한 절제 연구(ablation study)를 수행하고, 표준 Generalized Dice Loss(GDL)가 도메인 이동(domain shift) 하에서 불안정함을 보임을 밝힌다. Whole Lesion(WL) Dice는 내부 검증 세트에서 0.88이었으나 외부 UCSF 테스트 세트에서는 0.73으로 하락한다. 이를 해결하기 위해 뇌 마스크 기반 백분위 정규화(percentile normalization)를 복셀 수준 대조 학습(voxel-level contrastive learning)과 결합한다. 또한 보틀넥(bottleneck) 특징을 재보정하고 내부 검증에서 Enhancing Tumor(ET) 민감도를 8%(상대적 9.1% 향상) 높이는 Subspace-Aware Class Attention(SACA) 모듈을 제안한다. 이러한 개선 사항을 nnU-Net과 앙상블하면 모든 안정적인 구성이 WL Dice 0.94에 도달하며, SACA 변형 앙상블은 MU-GLIOMA-POST에서 최고의 경계 오류(HD95) 2.92 mm를 달성한다.

arXiv:2607.22746v1cs.CV

전천후 건물 피해 매핑의 인스턴스 수준 고도화: 2026 Bright Challenge의 성과와 시사점

Advancing All-Weather Building Damage Mapping to the Instance Level: Outcomes and Insights from the 2026 Bright Challenge

재난 발생 후 신속한 대응을 위해서는 구조물이 온전한지, 손상되었는지, 파괴되었는지에 대한 시의적절한 건물 수준의 정보가 필요하다. 그러나 사후 광학 영상은 구름, 연기, 또는 어둠으로 인해 이용할 수 없을 수 있다. Bright Challenge는 미터 이하 해상도의 사전 사건 광학 영상과 사후 SAR 영상을 이용한 전천후 건물 피해 매핑을 평가했다. 참가자들은 각 건물을 탐지하고 경계를 설정하며, 세 가지 상호 배타적인 피해 라벨 중 정확히 하나를 할당해야 했다. 본 챌린지는 전 세계에 분포된 Bright 데이터셋을 7가지 재난 유형에 걸친 16건의 재난 사건에서 약 291,000개 건물에 대한 인스턴스 수준 주석으로 확장했다. 최종 단계는 학습에 포함되지 않은 2025년 두 건의 사건, 즉 캘리포니아의 산불 사건과 자메이카의 허리케인 사건에 대해서만 평가되었다. 총 157명의 참가자가 1,289건의 제출을 했으며, 46개 팀이 최종 단계에 진출했다. 두 우승 솔루션은 각각 0.182와 0.181의 테스트 mAP을 달성했으며, 이는 공개 기준선 0.021의 약 8.7배이지만, 최고의 in-domain 홀드아웃 점수 0.513에는 크게 미치지 못했다. 양 단계 모두에서 순위가 매겨진 팀들을 비교하면, 성능은 급격히 하락했고 순위도 크게 바뀌었다. 두 선두 솔루션은 독립적으로 모달리티별 인코딩, 단계적 또는 후기(late) 광학-SAR 융합, 그리고 건물 위치 추정과 피해 인식의 광학 우선 분리를 채택했다. 우승 방법은 추가로 장면 인식(scene-aware) 임계값 조정과 의사 라벨(pseudo-label) 적응을 사용했다. 이 결과는 교차 사건 일반화와 안정적인 심각도 구분을 핵심적인 남은 과제로 식별한다. 모든 데이터, 주석, 기준선 코드, 우승 솔루션은 https://github.com/ChenHongruixuan/BRIGHT 에서 공개적으로 이용할 수 있다.

arXiv:2607.22736v1cs.CV

도메인 격차 벤치마킹: 비디오 캡슐 내시경에서 도메인 이동 하의 모델 선택 불안정성

Benchmarking the Domain Gap: Model Selection Instability Under Domain Shift in Video Capsule Endoscopy

비디오 캡슐 내시경(VCE) 분류는 일반적으로 단일 데이터셋 내에서 평가되지만, 임상 배포는 촬영 소스, 라벨링 정책, 환자 집단에 걸친 견고성을 요구한다. 본 연구는 Kvasir-Capsule, Capsule Vision 2024(CV2024), Galar의 공유 라벨 부분집합을 사용하여 이 격차를 조사한다. 표준화된 프로토콜 하에 공식 Kvasir-Capsule 폴드에서 일반 도메인 사전학습 백본(backbone) 모음을 파인튜닝하고, 문서화된 공유 라벨 의사결정 공간 내에서 동일한 체크포인트를 두 개의 비원천(non-source) 타깃에서 평가한다. 도메인 내(in-domain) 순위의 예측 가치가 타깃에 따라 달라짐을 발견한다. Kvasir-Capsule 순위는 CV2024보다 Galar와 더 밀접하게 일치하지만, 두 비원천 타깃 간의 일치는 약하다. 결과적으로, 도메인 내에서 가장 강한 백본은 한 타깃에서는 1위를 차지하지만 다른 타깃에서는 중위권으로 떨어지며, 어떤 단일 평가 타깃도 다른 타깃을 신뢰할 수 있게 예측하지 못한다. CV2024로 학습한 두 번째 구성 세트도 이 타깃 의존적 불안정성을 재현한다. 캡슐 내시경 모델 선택은 단일 데이터셋의 최고 성능이 아니라 교차 타깃 순위 안정성을 보고해야 한다고 결론짓는다.

arXiv:2607.22719v1cs.CV

$γ$-Bridge: Look-파라미터 확산 브리지

$γ$-Bridge: A Look-Parametric Diffusion Bridge

곱셈 감마(Gamma) 노이즈는 코히런트 영상에서 신호 의존적 열화이며, 합성 개구 레이더(SAR)의 스펙클 제거(despeckling)가 그 가장 두드러진 실세계 사례이다. 기존 확산 디노이저는 물리적 look 수 $L$이 아닌 추상적인 신호 대 잡음비(SNR) 스케줄로 순방향 과정을 파라미터화하므로, 배포 시나리오마다 별도로 학습된 모델이 일반적으로 필요하며, 깨끗한 ground truth 없이는 합성 감마 학습에서 실제 SAR로의 전이가 여전히 어렵다. 우리는 look-파라미터 브리지인 $γ$-Bridge를 제안한다. 이 브리지의 스케줄 $L(t)$는 $L_{obs}$에서의 노이즈 관측을 정확한 곱셈 감마 주변분포(marginal)를 통해 깨끗한 한계로 연결한다. 폐형식 감마-레비(Lévy) 역방향 사후분포는 확률적 및 결정론적 과정을 모두 허용하며, 관측 조건화와 2단계 일관성 손실이 저 SNR 단일-look 영역에서 다단계 추론을 안정화한다. 브리지 시간이 $L$을 직접 나타내므로, 하나의 조건화된 네트워크가 허용 가능한 임의의 입력 look에서 스마트 시작(smart-start)하여 목표 look 수에서 중단할 수 있다. 이 두 직교 제어는 자연 영상에 합성 감마 손상을 적용하여 $L_{obs} = 1$에서만 학습한 후에도 전체 허용 격자에 걸친 제로샷 복원을 가능하게 한다. 동질 패치(homogeneous-patch) look 추정기와 결합하면, $γ$-Bridge는 센서별 미세조정 없이 6개의 우주·항공 SAR 센서 데이터를 처리하며, 표준 합성 벤치마크에서 선도적인 결과를 달성하는 동시에 기존 디노이저에는 없던 물리적으로 해석 가능한 입력·출력 제어를 제공한다. 코드는 https://github.com/Teriri1999/GammaBridge 에서 공개되었다.

arXiv:2607.22705v1cs.CV

EditCLEVR: 객체 중심 표현의 구성적 충실성을 위한 전후 쌍 장면 개입 벤치마크

EditCLEVR: A Paired-Scene Intervention Benchmark for Compositional Faithfulness of Object-Centric Representations

객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.

arXiv:2607.24031v1cs.AI

장기 뇌-기계 인터페이스를 위한 불확실성 기반 자기 주도 학습 기반 순환 적응-일반화 프레임워크

A Cyclic Adaptation-Generalization Framework with Uncertainty-Guided Self-Paced Learning for Long-Term Brain-Machine Interfaces

뇌-기계 인터페이스(BMI)는 뇌와 외부 장치를 연결하여 재활, 인간 성능 증강, 인간 중심 로봇공학에서 큰 잠재력을 지닌다. 그러나 침습적 BMI는 신경 드리프트(neural drift)로 인해 장기 배치에 있어 중대한 과제에 직면한다. 신경 드리프트는 시간이 지남에 따라 디코딩 성능을 저하시키고 빈번한 재보정을 필요로 한다. 신경 드리프트를 완화하기 위해 설계된 기존 방법들은 일반적으로 도메인 적응(DA) 또는 도메인 일반화(DG) 중 하나에만 의존하며, 신경 서브도메인에 걸친 세밀한 분포 변화를 포착하지 못하는 경우가 많아 성능이 제한된다. 이러한 한계를 극복하기 위해, 우리는 불확실성 기반 자기 주도 의사 라벨링(UnSPL) 메커니즘 하에서 목표 도메인 정제를 위해 DA와 DG를 시너지하는 강건한 프레임워크인 Uncertainty-guided Self-paced Cycling(UnSPC)를 제안한다. 도메인 간 서브도메인 신경 드리프트를 처리하기 위해 UnSPL은 노이즈에 강건한 순위 전략으로 신뢰할 수 있는 의사 라벨 샘플을 반복적으로 탐색하여 추가 미세조정을 수행하도록 제안된다. 이러한 고품질 샘플을 활용하여, 우리는 DA와 DG를 반복적 순환 내에서 통합하여 전역 및 서브도메인 드리프트를 점진적으로 완화하는 새로운 Cycling Adaptation and Generalization(CycAG) 전략을 도입한다. 이 순환 과정은 진화하는 목표 분포에 대한 효과적인 정렬을 가능하게 하면서 강건하고 전이 가능한 표현을 보존하여, 장기 신경 드리프트 하에서의 성능 저하를 완화한다. 다수의 신경 디코딩 데이터셋에 대한 광범위한 실험은 UnSPC의 효과와 강건성을 입증한다. 우리가 아는 한, 제안한 UnSPC는 의사 라벨링과 DA 및 DG를 순환적으로 통합한 최초의 방법으로, 안정적인 장기 BMI 제어를 향한 길을 열어준다.

arXiv:2607.24023v1cs.AI

뇌-기계 인터페이스에서 신경 디코딩 일반화를 위한 자기지도 일관성 강화 분리 학습

Self-Supervised Consistency Enhanced Disentangled Learning for Neural Decoding Generalization in Brain-Machine Interface

뇌-기계 인터페이스(BMI)는 뇌와 외부 장치 간의 직접적인 통신 경로를 제공하여, 인간이 보조 및 로봇 기술을 제어할 수 있게 하며, 재활, 인간 운동 기능 증강, 인간 중심 로봇 공학 분야에 적용될 잠재력을 지닌다. 그러나 신경 표류(neural drift)로 인해 BMI의 성능은 시간이 지남에 따라 저하되어, 특히 침습적 BMI(iBMI)의 장기적 실용성에 어려움을 초래한다. 기존 해결책은 두 가지 주요 한계를 갖는다: (i) 견고한 신경 표현(representation) 학습의 어려움, (ii) 신경 표류가 운동 파라미터(예: 속도, 방향, 속력)에 따라 달라진다는 점을 간과함. 이러한 한계를 극복하기 위해, 우리는 두 가지 핵심 혁신을 바탕으로 한 신경 디코딩 일반화 프레임워크인 자기지도 일관성 강화 분리 학습(SSCDL)을 제안한다. 먼저, 시뮬레이션된 신경 신호 교란과 함께 새로운 teacher-student 일관성 제약을 사용하여 신경 표류에 불변인 견고한 표현을 학습하는 백본 모델인 일관성 강화 신경 디코더(CND)를 설계한다. 다음, 신경 선호 이론(neural preference theory)에서 영감을 받아 운동 신호를 속도, 방향, 속력으로 분리하는 상보적 분리 일반화(CDG) 메커니즘 하에서 세 개의 전용 CND를 사용한다. 이 분리 학습을 통해 SSCDL은 다양한 신경 선호 관점에서 불변 신경 표현을 포착하여, 일간(cross-day) 일반화를 크게 향상시킨다. 광범위한 실험 결과, SSCDL은 최첨단 디코딩 성능을 달성하며, 높은 견고성과 일간 안정성을 보인다. 이러한 역량은 인간 중심 로봇 및 세밀한 보조 응용 분야에서의 장기 상호작용에 대한 강한 잠재력을 시사한다.

arXiv:2607.23258v1cs.AI

CAPT: 칼슘 군집 역학의 데이터셋 간·종 간 전이를 가능하게 하는 다중 과제 연속 자기회귀 트랜스포머

CAPT: A Multi-task Continuous Autoregressive Transformer enabling Cross-dataset and Cross-species Transfer for Calcium Population Dynamics

대규모 칼슘 이미징은 신경 군집 역학을 위한 파운데이션 스타일 모델을 구축할 기회를 만들었지만, 한 가지 핵심 질문은 여전히 해결되지 않았다: \textbf{한 기록 모음으로 사전학습한 모델이 새로운 데이터셋, 실험 패러다임, 심지어 종까지 일반화할 수 있는지 여부이다.} 기존 접근법은 종종 특정 과제에 맞춰 설계되고 단일 데이터셋에서 평가되어, 학습된 표현이 새로운 칼슘 trace 데이터셋에 재사용 가능한지 불분명하다. 이 공백을 해소하기 위해, 칼슘 군집 역학을 위한 \textbf{C}ontinuous \textbf{A}utoregressive \textbf{P}opulation \textbf{T}ransformer인 \textbf{CAPT}를 제안한다. CAPT는 연속 패치 토큰화 전략을 통해 연속 칼슘 trace를 직접 모델링하며 자기회귀적으로 학습되어, 엔드투엔드 사전학습과 다양한 다운스트림 과제에의 적응을 가능하게 한다. 먼저 대규모 마우스 칼슘 이미징 데이터셋에서 CAPT를 사전학습하고, 서로 다른 연구실에서 수집한 독립적인 마우스, 유충기 제브라피시, \textit{C. elegans} 데이터셋에 걸친 전이 가능성을 평가한다. 이러한 전이 설정에서, 사전학습된 백본은 고정하고 적응 모듈만 업데이트한다. 신경 군집 예측 및 행동 디코딩 과제 전반에 걸쳐, CAPT는 특화 및 범용 베이스라인을 일관되게 능가한다. 예측 성능과 함께, \textit{C. elegans} 데이터셋의 NeuroPAL 주석을 이용한 다중모달 분석은 CAPT 임베딩이 데이터셋 간 공유 기능 공간을 형성하고 해부학적 세포 동일성 관련 구조를 포착함을 보여준다. 이 결과는 연속 자기회귀 모델링이 데이터셋, 실험 패러다임, 종에 걸쳐 일반화할 수 있는 칼슘 이미징용 범용 신경 파운데이션 모델을 향한 단순한 경로의 가능성을 열어준다는 것을 시사한다.

arXiv:2607.22215v1cs.LG

제한된 데이터로 다양한 기하학에 걸친 효율적 물리 정보 기반 학습을 위한 잠재 PDE 매핑

Latent PDE mapping for efficient physics-informed learning across geometries with limited data

본 연구에서는 희소 학습 데이터로 효율적인 기하학적 일반화를 가능하게 하도록 설계된, 폭넓게 적용 가능한 물리 정보 기반 학습 기법인 잠재 PDE 매핑(latent PDE mapping)을 제안한다. 잠재 PDE 매핑은 변형 그래디언트(deformation gradient)를 통해 형상별 PDE 잔차와 경계 조건을 미리 정의된 잠재 기하학으로 당겨(pull back)옴으로써, 기존 물리 정보 기반 기계학습 공식화에서 누락된 기하학적으로 일관된 형상 그래디언트의 자동 계산을 가능하게 한다. 우리는 물리 정보 기반 신경망(physics-informed neural networks)과 물리 정보 기반 딥 오퍼레이터 네트워크(physics-informed deep operator networks)를 모두 사용하여 심장 전기생리학의 이방성 Aliev-Panfilov PDE를 풀 때 잠재 PDE 매핑의 유용성을 입증한다. Aliev-Panfilov PDE는 도전적인 사례로, 전통적인 수치 솔버로 포착하기 비용이 큰 급격한 그래디언트를 갖는 비선형 시간 의존 PDE 벤치마크이다. 제한된 데이터 체제를 나타내기 위해, 우리는 2차원 및 3차원 공간에서 매개변수화된 분포로부터 추출한 단 15개의 기하학적 샘플만을 사용하여 네트워크를 학습한다. 아핀 및 전단 변형으로 매개변수화된 기하학에서는 완만한 개선만 나타나지만, 잠재 PDE 매핑은 특정 기하학군에서 유의미한 이점을 보이며 평균 상대 L2 오차를 약 4~6배 감소시킨다. 또한 결과는 네트워크 학습 중 잠재 PDE 매핑 적용의 계산 비용이 적었고, 추론 시에는 무시할 수 있을 정도였음을 보여준다. 종합하면, 본 연구는 잠재 PDE 매핑이 제한된 수의 학습 형상으로부터 일반화 가능한 물리 정보 기반 기계학습 모델의 구축을 어떻게 촉진하는지 강조한다.

arXiv:2607.21842v1cs.SI

플랫폼 간 분석을 위한 정치적 당파성 정량화

Quantifying Political Partisanship for Cross-Platform Analyses

소셜 미디어상 정치적 양극화 연구는 사용자 생성 콘텐츠에서 당파성을 신뢰성 있게 측정할 수 있는 능력에 달려 있다. 그러나 기존 접근법은 일반적으로 구조적 affordance나 언어적 관습과 같은 플랫폼 특유의 속성에 맞춰져 있어, 플랫폼 간 일반화 가능성을 저해한다. 소셜 미디어 생태계가 분열하고 주류 플랫폼과 함께 fringe 및 alt-tech 플랫폼이 등장하면서 이 한계는 점점 더 중요해지고 있다. 우리는 외부 뉴스 신뢰도 신호에 기반한, 텍스트 기반의 플랫폼 이식 가능(platform-portable) 방법론을 제안하여 소셜 미디어 게시물에서 정치적 당파성을 측정한다. 게시물은 트랜스포머 기반 문장 인코더로 임베딩되고 주제 그룹으로 클러스터링되며, 인용된 뉴스 매체의 집계된 AllSides 미디어 바이어스 점수를 사용하여 레이블이 부여된다. 이후 임베딩 공간에서 상반된 레이블의 클러스터 중심점(centroid) 간 차이로 당파성 축을 구성하고, 개별 게시물은 이 축에 대한 투영으로 점수화한다. 우리는 이 방법을 2024년 미국 대선 직전 6개월 동안 Bluesky와 Truth Social에서 수집한 약 130만 개의 게시물 코퍼스에 적용하여, 이념적으로 비대칭적인 이 두 플랫폼에서 당파성 분포에 대한 최초의 플랫폼 간 비교를 제공한다. 그 결과로 얻은 당파성 점수는 독립적인 Twitter 코퍼스에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 모두에서 보류(hold-out)된 AllSides 미디어 바이어스 점수와 유의미하게 상관관계를 보이며, 플랫폼 정체성만으로는 설명할 수 없는 플랫폼 내 당파적 역학을 복원한다.

arXiv:2607.22422v1physics.flu-dyn

PRIMS: 다중모달 센싱을 위한 물리 유도 표현 기반 유체 식별

PRIMS: Physics-guided Representation for Fluid Identification in Multimodal Sensing

정확한 온디바이스(on-device) 유체 식별은 미세유체(microfluidic) 응용에 필수적이지만, 변화하는 유량, 압력, 온도 조건에서 신뢰성을 유지하는 것은 여전히 핵심 과제이다. 기존 학습 기반 방법들은 종종 센서 신호를 도메인 불변(domain-agnostic) 특징으로 취급하여 유체 거동을 지배하는 근본적인 물리적 관계를 간과함으로써 일반화와 해석 가능성을 제한한다. 이를 해결하기 위해, 우리는 물리적 지식을 표현 학습과 어텐션 메커니즘에 통합하는 물리 인식(physics-aware) 다중모달 트랜스포머인 PRIMS를 제안한다. 이는 세 가지 전용 모듈을 통해 이루어진다: (1) Physics-based Token Vectorization은 원시 Coriolis 및 압력 센서 신호를 물리적으로 의미 있는 토큰 임베딩으로 변환한다; (2) Physical Component Synthesizer는 유량, 압력, 밀도 간의 점도 관련 의존성을 모델링한다; (3) Physics-guided Fusion은 어텐션 기반 통합을 통해 물리 간 상호 상관관계를 포착한다. 이러한 물리 기반 관계를 모델 아키텍처에 직접 내장함으로써, PRIMS는 해석적 유체 역학과 심층 학습을 연결하여 해석 가능하고, 데이터 효율적이며, 회복력 있는 유체 분류를 가능하게 한다. 동적 유량, 압력, 온도 조건 하의 5종 유체 벤치마크에 대한 평가 결과, PRIMS는 단 0.46백만 개의 파라미터만으로 평균 F1-score 98.92%를 달성하였으며, 이는 최신(state-of-the-art) 트랜스포머 기반 방법 대비 14배 감소한 수준이다. PRIMS는 또한 보지 못한 온도 범위 및 보지 못한 유량 범위에 대한 분포 외(out-of-distribution) 이동에서도 기존 SOTA 모델들을 지속적으로 능가하여, 학습 중 관찰되지 않은 운전 조건에 대한 강한 견고성을 보여준다. 이러한 결과는 지배적 물리적 관계를 명시적으로 반영하는 아키텍처를 설계하면 전이 가능하고 환경 독립적인 표현을 학습하게 하여, 미세유체 센싱의 실세계 신뢰성을 향상시킬 수 있음을 시사한다.

arXiv:2607.21932v1cs.CE

매개변수 및 경계값 문제를 위한 일반화 신경 연산자

Generalized Neural Operator for Parametric and Boundary-Value Problems

편미분방정식(PDE)을 위한 기초 신경 시뮬레이터를 개발하려면 다양한 물리적 매개변수와 경계 조건에 걸친 강건한 일반화가 필요하다. 그러나 현재의 심층 학습 접근법은 대부분 조건 비의존적 배포와 물리적 충실도 사이의 구조적 트레이드오프에 직면한다. 순수 데이터 기반 연산자는 기저 물리를 암묵적으로 추론하므로, 변화하는 영역에서 물리적으로 유효한 해를 보장하는 데 필요한 명시적 제약이 부족하여 학습 문제를 부적정(ill-posed)하게 만든다. 한편, 물리 정보 신경망(PINN)은 엄격한 물리적 제약을 강제하지만, 비용이 큰 인스턴스별 최적화가 필요하다. 또한 등장하는 기초 연산자의 대규모화는 추론 속도를 심각하게 저하시켜, 전통적인 수치 솔버와 계산적으로 경쟁력을 잃게 만든다. 조건 비의존적 배포, 물리적 엄밀성, 추론 효율성 사이의 이 병목을 해결하기 위해, 우리는 Generalized Neural Operator를 제안한다. 신경 연산자 내에서 적정성(well-posedness)에 대한 고전적 조건을 형식화함으로써, 우리 프레임워크는 PDE 매개변수와 경계 조건에 명시적으로 조건화하는 것의 이론적 이점을 보여준다. 계산 속도를 희생하지 않고 이 통합을 구현하기 위해, 우리는 세 가지 새로운 아키텍처 구성 요소를 도입한다: 효율적인 매개변수 일반화를 위한 매개변수 게이트 커널 혼합(mixture of kernels), 임의의 경계 제약을 통합된 잠재 Dirichlet 표현으로 투영하는 일반화된 경계 전달 연산자, 그리고 안정성을 보장하기 위한 특화된 학습 목적 함수. 광범위한 실험은 우리의 이론적으로 기반을 둔 접근법이 이질적인 물리 체계에 걸쳐 우수한 일반화를 달성하면서, 기존 수치 기준선과 비교 가능한 엄격한 추론 효율성을 유지함을 보여준다.

arXiv:2605.14667v2cs.AI

촬영 매개변수에 대한 방사선학 AI 모델 민감도 평가를 위한 통계적 다목적 프레임워크

A Statistical Multi-Objective Framework for Assessing Sensitivity of Radiomic AI Models to Acquisition Parameters

임상 일상에서 AI 방사선학 시스템의 배포를 가로막는 주요 장벽은 이질적인 다기관 촬영 프로토콜 하에서 성능이 저하되는 것이다. 본 연구는 방사선학 AI 모델의 스캔 매개변수 민감도를 정량화하고, 교차 데이터셋 견고성 향상과 관련된 임상적으로 유의미한 매개변수 영역을 식별하는 성능 중심 프레임워크를 제안한다. 혼합효과 모델링(mixed-effects modelling)과 계층적 파레토(Pareto) 기반 전략을 결합하여 촬영 매개변수의 영향을 정량화하고, 예측 모델의 낮은 성능과 관련된 임계값을 선택한다. 본 프레임워크를 CT 스캔 기반 폐암 진단에 적용하며, 두 개의 독립적인 다기관 데이터셋(공개 데이터셋과 자체 수집 비공개 데이터) 및 여러 최신(state-of-the-art) 아키텍처를 사용한다. 결과의 전이 가능성(transferability)을 평가하기 위해 CT 매개변수는 비공개 데이터로 선택하고 공개 데이터셋에서 검증하였다. 선택된 구성에서, 낮은 성능 조건에서의 검증은 정확도 0.72([0.59, 0.86], 95% CI) 및 F1Score 0.71([0.58, 0.84], 95% CI)를 보였으며, 높은 성능 조건에서는 정확도 0.88([0.7, 1.0], 95% CI)와 F1Score 0.87([0.69, 1.0], 95% CI)를 얻었다.

arXiv:2607.22087v1cs.CV

FAIR: AI 생성 가짜 이미지 탐지를 위한 특징 증강 암시적 정규화

FAIR: Feature-Augmented Implicit Regularization for AI-generated Fake Image Detection

AI 생성 이미지 탐지에서 일반화는 여전히 핵심 병목이다. 많은 최신 생성기가 독점적이거나 적대적으로 수정되어 있기 때문에, 기존 탐지기는 접근 가능한 학습 데이터의 저수준 텍스처 패턴에 과적합되어, 보지 못한 도메인에서 심각한 실패를 초래한다. 기존 정규화 기법(예: $L_1$/$L_2$ 노름, 드롭아웃)은 무차별적인 파라미터 제약을 적용하며, 생성기 간 견고성에 필요한 도메인 불변 구조를 제공하지 못한다. 이를 해결하기 위해, 우리는 Feature-Augmented Implicit Regularization(FAIR)을 제안한다. FAIR은 학습 중에 직교적이고 거시적 구조 사전(prior), 구체적으로 Scene Composition Structure(SCS)를 도입하여 모델의 최적화 궤적을 기하학적으로 제약한다. 도메인 불변 SCS 특징으로 주요 특징 공간을 증강함으로써, FAIR은 텍스처 편향 단축 학습을 명시적으로 억제한다. 중요하게도, 이 구조적 사전은 추론 시 완전히 폐기되어, 아키텍처 또는 계산 오버헤드 없이 평활화되고 일반화된 결정 경계를 제공한다. 다섯 개의 대규모 벤치마크에 걸친 광범위한 평가는 FAIR을 최신 탐지기에 통합하면 생성기 간 일반화가 크게 향상되어 정확도가 최대 8.04%까지 증가하고, 제로샷 전이 시나리오에서 새로운 최첨단 견고성을 확립함을 보여준다.

arXiv:2607.21973v1cs.CV

비전 기초 모델 적응을 위한 층별 정보 할당 재고

Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation

비전 기초 모델은 하위 시각 인식을 위해 동결된 백본으로 점점 더 재사용되고 있어, 매개변수 효율적 적응이 핵심 과제가 되었다. Visual Prompt Tuning(VPT)을 포함한 프롬프트 기반 적응은 이러한 모델을 특화하는 경량 방법을 제공하지만, 그 층별 동작은 여전히 잘 이해되지 않는다. 성능은 프롬프트 깊이, 배치, 과제 분포에 민감하며, 표준 도메인 내 벤치마크에서의 이득이 항상 강건한 일반화로 이어지지는 않는다. 우리는 이러한 한계가 단순히 최적화 문제가 아니라 층별 정보 할당 문제라고 주장한다. 기존 프롬프트 기반 방법들은 깊이에 걸쳐 프롬프트 조건화 표현이 무엇을 보존, 억제, 전파해야 하는지에 대한 원칙적 통제가 부족하다. 정보 병목(Information Bottleneck) 원리에서 영감을 받아, 우리는 층별 압축-충분성 트레이드오프를 정규화하고 더 일관된 층 간 정보 경로를 촉진하는 프레임워크인 Prompted Information Bottlenecks(PIB)를 제안한다. 핵심 아이디어는 효과적인 적응이 최소적이면서도 충분해야 하며, 초기 층에서는 과제 관련 국소 증거를 유지하고 더 깊은 층에서는 점진적으로 방해 요인과 중복 세부사항을 버려야 한다는 것이다. 광범위한 실험 결과, PIB는 34개 데이터셋에서 강력한 성능을 달성하며, FGVC에서 92.1%, HTA에서 93.01%, VTAB-1k에서 77.33%에 이르며, 주요 설정에서 평균적으로 매개변수의 0.35%만 튜닝한다. 벤치마크 정확도를 넘어, PIB는 프롬프트 용량 스케일링의 비단조적 동작을 설명하는 데 도움이 되며, 지름길(shortcut) 의존을 줄이고 분포 이동(distribution shift) 및 세밀한 인식 설정에서 강건성을 개선한다. 이러한 결과는 PIB를 동결된 비전 기초 모델 적응을 위한 실용적 방법이자 정보 할당 관점으로 자리매김한다. 코드는 https://github.com/itsnotacie/MM-26-PIB 에서 이용 가능하다.

arXiv:2411.19715v4cs.CV공식 코드 · Papers with Code

Forensics Adapter: 일반화 가능한 얼굴 위조 탐지를 위한 CLIP 활용

Forensics Adapter: Unleashing CLIP for Generalizable Face Forgery Detection

본 논문은 CLIP을 효과적이고 일반화 가능한 얼굴 위조 탐지기로 변환하도록 설계된 어댑터 네트워크인 Forensics Adapter를 소개한다. CLIP은 매우 다재다능하지만, 위조 관련 지식이 광범위한 무관한 지식과 얽혀 있어 얼굴 위조 탐지에 맞추는 것은 사소하지 않다. 기존 방법들은 CLIP을 단순히 특징 추출기로만 다루며 작업별 적응이 부족하여 효과가 제한된다. 이를 해결하기 위해, 작업별 목표의 안내 하에 위조된 얼굴에 고유한 블렌딩 경계인 얼굴 위조 흔적을 학습하는 어댑터를 도입한다. 그런 다음 CLIP과 어댑터 간 지식을 교환하는 전용 상호작용 전략으로 CLIP 시각 토큰을 강화한다. 어댑터가 CLIP과 병행하므로 CLIP의 다재다능성이 크게 유지되어, 얼굴 위조 탐지에서 강한 일반화 성능이 자연스럽게 보장된다. 학습 가능한 파라미터가 $\textbf{5.7M}$에 불과함에도, 우리 방법은 6개의 표준 데이터셋에서 우수한 성능을 달성한다. 또한 새롭게 제안한 위조 인식 프롬프트 학습 전략을 통해 텍스트 모달리티를 통합하는 확장 방법인 Forensics Adapter++를 설명한다. 이 확장은 원래 Forensics Adapter 대비 추가로 $\textbf{1.3\%}$의 성능 향상을 가져온다. 제안한 방법들이 향후 CLIP 기반 얼굴 위조 탐지 방법의 기준선이 될 수 있다고 믿는다. 코드는 https://github.com/OUC-VAS/ForensicsAdapter 에 공개되었다.