PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.17562v2cs.LG

정확도를 넘어서: EEG 파운데이션 모델의 견고성, 해석 가능성, 표현력

Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

EEG 파운데이션 모델(EEG-FM)은 주로 깨끗한(clean) 분포 내(in-distribution) 정확도를 기준으로 평가되어 왔으며, 지도학습 기준선(baseline) 및 약한 고정(frozen) 표현에 비해 소폭의 개선만을 보여주었다. 본 연구는 여섯 개의 EEG-FM과 하나의 지도학습 기준선을 열 개의 데이터셋에 대해 세 가지 분석 축에서 평가함으로써, 이러한 결론이 깨끗한 정확도를 넘어서도 유지되는지를 검토한다: (i) 견고성(Robustness): 가산 잡음(additive noise), 무작위 및 영역 기반 채널 드롭아웃(channel dropout), 영역별 잡음 주입을 포함한 테스트 시점(test-time) 교란을 적용한다. 분석 결과, 모든 실패 모드를 압도하는 단일 모델은 없다는 것을 보여준다. 잡음에 가장 견고한 모델이 채널 드롭아웃 하에서는 가장 취약한 모델 중 하나이며, 채널을 제로 패딩(zero-padding)하는 대신 제거할 경우 드롭아웃에 대한 취약성 대부분이 사라진다. (ii) 해석 가능성(Interpretability): EEG-FM에 어트리뷰션(attribution) 기법을 적용하여, 모델들이 알려진 신경생리학(neurophysiology)과 일치하는 과업에 적합한 뇌 영역에 관련도(relevance)를 전반적으로 집중시킨다는 것을 보여준다. (iii) 표현력(Expressiveness): 이전에 저품질 사전학습 표현으로 귀속되었던 저조한 헤드 전용(head-only) 성능이 주로 풀링(pooling) 전략에 의해 설명되며, 토큰(token) 수준 임베딩이 보존될 경우 EEG-FM이 충분한 표현 용량(representational capacity)을 보유하고 있음을 입증한다. 더 나아가 블록 단위 프로빙(block-wise probing)과 어텐션(attention) 분석을 통해, 미세조정(fine-tuning) 과정에서 후반 블록들이 재활용(repurpose)되는 반면 초반 블록들은 이미 과업 관련 정보를 보유하고 있음을 보여준다. 본 연구의 결과는 EEG-FM에 대한 결론이 평가 방식의 선택에 따라 달라짐을 보여주며, 향후 EEG-FM 평가 시 교란 유형별 견고성을 보고하고, 어트리뷰션 맵을 산출하며, 여러 풀링 전략을 검토할 것을 권장한다.

arXiv:2609.18278v2cs.AI

인공지능에 대한 신뢰 구축: 철도 응용 분야를 위한 필수 과제

Building Trust in Artificial Intelligence: A Necessity for Railway Applications

철도 산업의 엄격한 표준과 규제로 인해 현재 인공지능(AI)은 안전과 직결되지 않는 비안전 필수(non-safety critical) 응용 분야에만 적용되고 있습니다. 본 논문에서는 데이터 과학 및 AI 알고리즘에 대한 신뢰를 높이고 규정 준수(compliance)를 달성하는 데 필요한 세 가지 주요 분야인 강건성(robustness), 운용 설계 영역(ODD, Operational Design Domain), 설명가능성(explainability)을 검토할 것을 제안합니다. 강건성은 어떠한 환경에서도 AI 시스템이 성능 수준을 유지할 수 있는 능력입니다(ISO24029). 최근 발표된 DIN DKE SPEC 99004에 따르면, ODD는 시스템이 작동하도록 의도된 운용 조건을 명시적으로 정의할 수 있게 해줍니다. 설명가능성은 AI 시스템의 결과에 영향을 미치는 주요 요인을 인간이 이해할 수 있는 방식으로 표현하는 AI 시스템의 특성입니다. 이러한 3가지 연구 영역은 비철도 분야의 주체들에 의해 이미 활발히 연구되어 왔으며, 철도 응용 분야에 즉시 사용할 수 있는 알고리즘과 방법론들이 갖추어져 있습니다. 안전한 MLOps 환경 내에서 모든 신뢰성 요구사항이 지속적으로 상호작용하도록 보장함으로써 규제 기관, 운영자 및 대중의 수용성을 높이려면 시스템적 관점(system view)이 필수적입니다. 안전 필수 응용 분야를 보호하는 것을 넘어, 현재 전 세계 규제 프레임워크에서 요구하는 바와 같이 AI에 대한 깊은 신뢰를 구축하는 것이 AI의 잠재력을 온전히 실현하고 미션 크리티컬(mission-critical) 도메인 전반에 걸친 도입 속도를 혁신적으로 변화시킬 것임을 보여주고자 합니다.

arXiv:2606.12654v2stat.ME

계산적으로 효율적이고 강건한 차등 프라이버시 평균 추정

Computationally tractable robust differentially private mean estimation

계산적으로 효율적이고 이상치에 강건한 차등 프라이버시 평균 추정기인 balloon mean을 제안하며, 이는 확장되는 마할라노비스 볼에 대한 반복적 클리핑 절차를 기반으로 한다. 무거운 꼬리 분포 및 오염된 모델 하에서 이론적 보장을 제공하고, 시뮬레이션을 통해 오염된 환경에서 기존 방법보다 우수한 성능을 입증했다.

arXiv:2602.04078v2cs.LG

신경망에서의 립시츠 연속성 원리

Principles of Lipschitz continuity in neural networks

심층 학습(deep learning)은 다양한 분야에서 놀라운 성과를 달성하며 인공지능이 가능한 영역의 경계를 크게 확장해 왔다. 그러나 이러한 발전에도 불구하고, 작은 입력 섭동(perturbation)에 대한 강건성(robustness) 확보와 분포 외(out-of-distribution) 데이터에 대한 일반화(generalization)라는 중대한 과제가 남아 있다. 이러한 과제들은 강건성과 일반화를 지배하는 근본적인 원리를 이해할 필요성을 부각시킨다. 이용 가능한 이론적 도구 중에서 립시츠 연속성(Lipschitz continuity)은 강건성과 일반화에 관련된 신경망의 기본 특성을 지배하는 데 핵심적인 역할을 한다. 립시츠 연속성은 작은 입력 섭동에 대한 네트워크 출력의 최악 경우 민감도를 정량화한다. 그 중요성은 널리 인정되고 있으나, 기존 연구는 주로 립시츠 제약에 기반한 경험적 정규화(regularization) 접근 방식에 집중하여 그 이면의 원리는 상대적으로 덜 탐구되었다. 본 논문은 기계 학습 패러다임 내에서 신경망의 립시츠 연속성 원리에 대한 원칙적 이해를 증진하고자 하며, 두 가지 상보적 관점에서 이를 고찰한다. 첫째는 내부적 관점으로, 학습(training) 중 신경망 내 립시츠 연속성의 시간적 변화(즉, 학습 동역학)에 초점을 맞춘다. 둘째는 외부적 관점으로, 립시츠 연속성이 입력 데이터의 특징에 대한 신경망의 동작을 어떻게 조절하는지, 특히 주파수 신호 전파를 지배하는 역할(즉, 주파수 신호 전파의 변조)을 규명한다.