소분자, 결정체, 단백질은 모두 3차원 공간의 원자로 환원되지만, 생성 파이프라인은 여전히 도메인별로 분절되어 있으며 각각 고유한 그래프, 등변(equivariant), 또는 프레임 기반 아키텍처를 사용한다. 교차 도메인 학습은 도메인별 데이터 부족을 완화할 수 있지만, 3차원 좌표 공간에서의 직접 생성은 세 도메인 모두의 이질적인 구조적 사전지식을 쉽게 다루기 어렵고, 기존 잠재 오토인코더 중 무손실이면서 세 도메인 모두에 걸쳐 아키텍처적으로 일반적인 것은 없다. 우리는 분자, 결정체, 단백질을 위한 단일 아키텍처 플로우 매칭 오토인코더인 SinAE를 제안하며, 이는 바닐라 트랜스포머 인코더와 디코더를 사용하고 등변, 그래프, 또는 도메인 특화 연산자를 포함하지 않는다. 인코더가 세밀한 기하를 포착하도록 요구하는 대신, SinAE는 재구성 부담을 반복적 플로우 매칭 디코더로 옮겨 도메인 전반에 걸쳐 거의 무손실 재구성을 달성하고, 기존 잠재 베이스라인 대비 재구성 오차를 여러 차수에 걸쳐 감소시킨다. 동일한 토큰별 잠재는 표준 Diffusion Transformer 사전 모델을 지원하며, 이는 분자, 결정체, 단백질 생성 벤치마크에서 강력한 성능을 달성한다. 분자-결정체 공동 학습은 두 도메인 모두를 뚜렷이 개선하여, 공유 원자 잠재를 통한 교차 도메인 전이의 직접적 증거를 제공한다. 코드는 https://github.com/BlueWhaleLab/SinAE 에서 이용할 수 있다.
표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.
본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.
잠재 생성 모델(latent generative models)에서는 일반적으로 재구성 품질이 생성 성능과 상관관계가 있다고 가정합니다. 그러나 재구성 FID(rFID)는 생성 FID(gFID)와 약한 상관관계를 보이거나 심지어 음의 상관관계를 나타내기도 합니다. 본 연구에서는 이러한 불일치가 잠재 분포 불일치(latent distribution mismatch)에서 기인한다고 봅니다. 즉, 재구성은 인코더가 유도한 잠재 공간에서 디코더를 평가하는 반면, 생성은 생성 모델이 만든 잠재 변수 상에서 동일한 디코더를 사용하기 때문입니다. 이러한 분포 변화를 규명하기 위해, 인코더 잠재 변수에 노이즈를 더해 섭동을 주고 디코딩 전에 생성 모델을 통해 노이즈를 제거함으로써 표준 재구성에서 생성으로 이어지는 연속적인 궤적을 구축하는 생성 인지 재구성(generation-aware reconstruction, GAR)을 제안합니다. GAR은 이 궤적을 따라 디코더의 동작을 탐색하여 인코더 분포에서 생성 시점의 잠재 분포로 전환되는 과정을 관찰하고 진단할 수 있게 합니다. 그 결과 도출된 궤적 기반 진단 지표인 GAR-FID는 다양한 토크나이저와 스케일 전반에서 gFID와 강력한 실증적 상관관계를 보여줍니다. 중요한 점은, 중간 단계의 GAR 잠재 변수가 원본 이미지와의 대응 관계를 보존하면서도 생성 과정을 더 잘 인지하게 되며, 이를 통해 완전 생성된 잠재 변수에는 부재한 쌍(paired) 지도 학습 신호를 유지한다는 것입니다. 이러한 대응 관계 덕분에 중간 GAR 잠재 변수 상에서 디코더 적응(adaptation)이 가능해져, 모델 스케일 전반에서 생성 품질이 일관되게 향상됩니다. 종합적으로, 잠재 분포 불일치는 잠재 생성 모델을 평가하고 개선하기 위한 유용한 관점을 제공합니다.
우주 날씨 조기 경보는 태양풍 과도현상(transients)이 지구에 도달하기 전 제1 태양-지구 라그랑주 점(L1)의 현장(in-situ) 측정치에서 이를 감지하는 데 의존합니다. 고정된 임계값은 복합적인 자기장 및 플라즈마 구조를 놓칠 수 있으며, 많은 학습 방법은 단일 이상 점수만을 제공합니다. 본 논문에서는 물리적 제약 조건 하에서 카탈로그 레이블 없이 OMNI 태양풍 측정 데이터를 학습한 합성곱 오토인코더인 PISCES(Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather)를 제시합니다. 본 모델의 손실(loss)에는 자기장 일관성, 온도와 속도 간의 경험적 관계, 파커 스파이럴(Parker spiral) 각도, 그리고 재구성 결과로부터 계산된 유도 물리량들에서 연속된 1분 단위 샘플 간의 변화에 대한 페널티가 포함됩니다. 추론(inference) 시 PISCES는 이상 점수를 자기장 및 플라즈마 재구성 오차, 물리적 관계, 잔차 보정값으로 분리하여 각 기여도의 크기를 보고합니다. 검증(validation) 데이터를 통해 선택된 스킵 연결(skip connection)의 감쇠는 학습된 모델의 평균 정밀도(precision)를 향상시키는 반면, 학습되지 않은 점수는 거의 동일하게 유지됩니다. 또한 학습된 모델은 이러한 물리적 기여도 간의 보다 일관된 순위를 제공합니다. 후행 중앙값(trailing median)으로 스무딩을 거친 후 경보는 양의 급변 임펄스(positive sudden impulses)를 포함하여 독립적으로 관측된 급성 시작(sudden commencements)보다 앞서 발생할 수 있습니다.
본 연구에서는 고차원 시각 표현을 이산화하여 언어 모델과의 격차를 줄이는 것을 목표로 한다. 이는 사소하지 않은 과제인데, 기존 양자화 방법은 코드북 붕괴(codebook collapse)에 시달려 의미적 일관성을 유지하면서 확장하는 데 실패하기 때문이다. 우리는 근본 원인을 메트릭 불일치(metric mismatch)로 규명한다. 표준 유클리드 코드북 목적 함수는 표현 공간의 이방성(anisotropic) 기하와 근본적으로 맞지 않아, 분산이 큰 크기(magnitude) 스케일과 불균등한 각도 분포를 갖는 코드북 임베딩을 초래하고 이는 확장성을 저해한다. 이를 해결하기 위해 각도 라우팅(angular routing)을 통해 의미적 내용과 특징(feature) 크기를 분리하는 초구면 양자화(Hyper-Spherical Quantization, HSQ)를 제안한다. 이를 통해 코드 할당이 의미가 아닌 스케일에 의해 지배되는 것을 방지한다. 그 결과 얻어진 이산 표현 오토인코더(discrete Representation Autoencoder, dRAE)는 의미적 무결성을 유지하고 확장 가능한 코드북 예산을 지원하면서 고충실도 재구성을 달성한다. 광범위한 실험을 통해 어휘 크기가 131,072까지 확장될 때 일관된 성능 향상, 100% 코드북 활용률, 단순화된 학습 파이프라인, 이해 및 생성 과제 전반에 걸친 강력한 성능이 입증되었다.
반지도 이상 탐지(semi-supervised anomaly detection)는 공정 모니터링, 의료, 금융 등 다양한 분야에서 핵심적인 역할을 한다. 그러나 경량 방법들은 고차원 데이터에서 종종 어려움을 겪으며, 일반적으로 여러 하이퍼파라미터를 세심하게 조정해야 한다. 기존 접근법 가운데 Christoffel 함수(Christoffel Function) 기반 방법들은 단순성으로 인해 매력적인데, 최대 하나의 하이퍼파라미터만 필요하다. 또한 잘 정립된 이론적 기반의 이점을 누려 데이터 과학에서 여러 흥미로운 결과를 제공한다. 그러나 주요 한계는 고차원 설정에서의 낮은 확장성이다. 본 논문에서는 차원 축소를 위한 오토인코더와 잠재 공간(latent space)에 적용된 Christoffel 함수 기반 탐지기를 결합한 새로운 방법인 CLOE를 제안한다. 표현 학습(representation learning)을 이상 탐지와 더 잘 정렬하기 위해, Christoffel 함수를 활용하여 오토인코더가 정상 데이터 분포의 지지(support)를 더 잘 포착하는 표현을 향하도록 유도하는 새로운 손실 함수를 설계한다. 또한 탐지 임계값을 설정하는 원칙적인 절차와 남은 단 하나의 하이퍼파라미터를 조정하는 효율적인 전략을 제안한다. 여러 고차원 표(tabular) 이상 탐지 벤치마크에서의 실험은 CLOE가 Christoffel 함수 기반 접근법의 경량성과 낮은 튜닝 부담이라는 장점을 유지하면서 기존 방법들 대비 우수한 성능을 달성함을 보여준다.
비디오 생성 모델은 일반적으로 3D 변분 오토인코더(3D-VAE)가 학습한 잠재 공간에 의존한다. 그러나 기존 3D-VAE는 주로 픽셀 수준 재구성을 위해 최적화되므로, 잠재 표현이 포착하는 의미적·시공간적 구조가 제한될 수 있다. 한편 V-JEPA 2, VideoMAEv2와 같은 비디오 파운데이션 모델(VFM)은 강력한 비디오 이해 능력을 보이지만, 동결(frozen)된 표현을 압축적이면서 재구성 가능하고 생성에 유리한 비디오 잠재 표현으로 변환할 수 있는지는 대부분 탐구되지 않았다. 우리는 VideoRAE로 이 질문에 답한다. VideoRAE는 동결된 비디오 파운데이션 인코더의 다중 스케일 계층적 특징을 활용하고, 경량 1D 셀프 어텐션(self-attention) 프로젝터로 이를 압축하는 representation autoencoder이다. VideoRAE는 다중 코드북 고차원 양자화를 통해 Diffusion Transformer용 연속 잠재 표현과 자기회귀(autoregressive) 모델용 이산 토큰을 모두 지원한다. 디코딩 과정에서 동결된 VFM teacher와의 국소·전역 표현 정렬(alignment) 목표가 의미 보존을 개선하고 KL 정규화 없이 학습할 수 있게 한다. 실험 결과 VideoRAE는 연속·이산 양쪽 체계에서 강력한 재구성 성능을 달성한다. UCF-101에서 AR 및 DiT 생성기 각각으로 SOTA class-to-video gFVD 40과 93을 기록하며, 경쟁 오토인코더 baseline 대비 약 5배 빠르게 수렴한다. 통제된 20억(2B) 규모 text-to-video 연구에서 LTX-VAE를 VideoRAE로 교체하면 유사한 설정에서 더 빠른 수렴을 보인다. 이 결과는 동결 VFM 표현이 다재다능하고 생성에 유리한 비디오 잠재 표현임을 검증한다. 모델과 코드는 https://zhxie0117.github.io/VideoRAE 에 공개될 예정이다.
시계열 이상 탐지는 IoT 시스템, 센서 네트워크, 엣지 모니터링 애플리케이션에서 점점 더 중요해지고 있으며, 이러한 환경에서는 모델이 메모리, 지연 시간(latency), 전력 소비에 대한 엄격한 제약 하에서 동작해야 한다. 최근 딥러닝 접근법들이 탐지 정확도를 향상시켰지만, 많은 방법은 여전히 계산 비용이 크며 다중 스케일 민감도가 제한되어 미세한 이상을 포착하지 못하는 경우가 많다. 오토인코더(autoencoder)는 정상 패턴을 잘 재구성하므로 이상 탐지에 널리 사용되며, 이상 입력에 대해서는 재구성 오류가 커진다. 그 단순성과 효율성은 다중 스케일 입력을 처리하는 경량 백본으로도 적합하다. 이러한 과제를 해결하기 위해, 우리는 단변량 시계열 이상 탐지를 위한 경량 다중 스케일 오토인코더(Lightweight MultiScale AutoEncoder, LMSAE) 네트워크를 제안한다. 이 모델은 컴팩트하고 계산 효율적으로 설계되었다. LMSAE는 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT)을 활용해 다중 스케일 특징을 추출하고, 미세하거나 숨겨진 이상에 대한 민감도를 높이기 위해 다중 스케일 손실 함수를 사용한다. 벤치마크 데이터셋에서의 실험은 훨씬 적은 파라미터와 500KB 미만의 모델 크기에도 불구하고 경쟁력 있거나 우수한 탐지 성능을 보여준다. LMSAE는 NVIDIA Jetson Nano에서 낮은 지연 시간·낮은 전력의 추론을 달성하며, 추론 지연 시간은 9배, 전력 소비는 2배 감소시켜 엣지 배포에 이상적이다.
우리는 이징(Ising) 모델의 미시적 스핀 구성으로 학습된 비지도 오토인코더가 데이터 생성 과정의 기저에 있는 거시적이고 이론적으로 유의미한 변수를 어떻게 학습하는지 연구한다. 도메인 지식을 임베딩하지 않고 전형적인 발견 환경을 모사하여, 다양한 공간적(거칠기) 스케일에 걸쳐 학습을 정량화하고, 주요 하이퍼파라미터(모델 깊이, 너비, 학습률)에 의해 제어되는 두 가지 뚜렷한 동역학적 체제를 밝힌다. 이는 자화(magnetization) 지배 체제와 표현 품질의 트레이드오프를 특징으로 하는 에너지 지배 체제이다. 첫 번째 체제는 동역학적 스케일링과 순서-스케일을 따르는 요동을 나타내는 일시적 상태이며, 두 번째 체제는 에너지 표현에 관련된 더 작은 스케일 방향으로 해상도를 점진적으로 이동시킨다. 중간 및 빠른 학습률로 학습된 깊은 모델은 이 체제에 도달하기 전에 고착된다. 재귀적-동적 궤적에 대한 새로운 분석을 통해, 예측 오류가 모든 표현 공간에 걸쳐 공통된 궤적 위상을 생성하는 흐름 장을 유도함을 보인다. 학습의 동역학적 관점이 확립되며, 여기서 내재적 특성은 학습 중 강제된 표현 변화의 영향을 드러낸다. 학습이 학습 데이터와 옵티마이저의 요동에 의해 평형에서 멀리 구동되는 과정으로 작동한다는 직관을 활용하여, 물리적 세계와 이를 표현하는 기계 모델 모두에 근거한 해석적 기반을 제공한다.
심층 오토인코더에서 주성분 분석(PCA)의 직교성과 분산 순위 특성을 실현하기 어려운 문제를 해결하기 위해, ODIN(Orthogonal Dendritic Intrinsic Network)은 기하학적 제약 조건을 학습 목표에 직접 통합하고 수상돌기(dendritic) 구조를 통해 잠재 차원의 중요도 순서를 계층적으로 강제함으로써 완전 비선형 체계에서 PCA와 유사한 해석 가능한 잠재 공간을 비지도 방식으로 복원한다. 합성 및 실제 데이터셋 실험에서 직교하고 분산 기준으로 정렬된 잠재 표현을 달성함으로써 차원 축소와 특징 학습의 해석 가능성을 개선했다.
Deep learning methods have vastly expanded the capabilities of motion planning in robotics applications, as learning priors from large-scale data has been shown to be essential in capturing the highly complex behavior required for solving tasks such as manipulation or navigation for autonomous vehicles. At the same time, model-based planning algorithms based on search or optimization remain an essential tool due to their flexibility, efficiency, and the ability to incorporate domain knowledge via expert-designed algorithms and objective functions. We propose a new generative framework to unify these two paradigms. First, we learn an autoencoder with a high compression ratio and a latent space of hierarchically ordered, discrete-valued tokens. Leveraging both the dimensionality reduction and the hierarchical coarse-to-fine structure learned by this autoencoder, we then perform motion planning by directly searching in the latent space of tokens. This search can optimize arbitrary objective functions specified at test time, providing a large degree of flexibility while maintaining efficiency and producing realistic solutions by relying on the generative capabilities of the highly compressed autoencoder. We evaluate our method on nuPlan and the Waymo Open Motion Dataset, showing how latent space search can be used for a variety of guided behavior generation tasks, achieving strong performance for closed-loop motion planning and multi-agent guided scenario synthesis without requiring any task-specific training.
이 연구는 비지도 이상치 탐지에서 심층 모델이 이상치보다 정상 데이터 패턴을 먼저 기억하는 내부 데이터 기억화(Inlier-Memorization, IM) 효과를 오토인코더를 중심으로 이론적으로 분석하여, 데이터 분포와 가중치 초기화가 IM 효과의 강도 및 지속성에 미치는 영향을 규명했다. 이론적 통찰을 바탕으로 임베딩 표현 활용과 EMA 기반 가중치 초기화라는 두 가지 실용적 지침을 제안하여 ADBench 데이터셋에서 최첨단 성능을 달성했다.
관성 측정 장치(IMU) 센서를 이용한 인간 행동 인식(HAR)은 헬스케어 모니터링 및 재활 분야에서 매우 중요하다. 심층 학습(deep learning)의 발전에도 불구하고, 레이블 데이터에 대한 의존성, 다중 센서 융합의 복잡성, 비지도 방법론의 시공간 의존성 포착 능력 한계 등 주요 과제가 여전히 남아 있다. 이러한 문제는 노이즈가 많은 데이터, 중첩 행동, 누락된 레이블이 존재하는 실제 환경에서 더욱 두드러진다. 우리는 메모리 증강 오토인코더를 활용한 완전 비지도 시공간 특징(feature) 융합 프레임워크를 제안한다. 이 프레임워크는 다중 센서 IMU 데이터의 짧은 시간 윈도우를 통해 행동 표현을 향상시켜 실시간 애플리케이션을 가능하게 한다. 우리의 프레임워크는 스택형 오토인코더(Stacked Autoencoder)를 통해 계층적 정적 특징을 추출하고, 센서 내부 및 센서 간에 이를 융합한다. 이어서 시퀀스-투-시퀀스(sequence-to-sequence) LSTM 오토인코더가 레이블 없이 과거 동작 패턴을 반영하여 이러한 특징을 시간적으로 정제한다. 우리는 짧은 윈도우 제약 조건 하에서 특징 분리성을 극대화하는 구성을 식별하기 위해 주요 하이퍼파라미터를 분석한다. 현실적인 클래스 간 윈도우 분할 방식을 적용하여 DaLiAc와 PAMAP2 데이터셋에서 평가한 결과, 우리의 방법은 각각 96.6%와 98.4%의 정확도를 달성하여 지도 학습 기준선과 비지도 접근법을 능가하였다. 우리의 방법은 더 짧은 시간 윈도우에도 불구하고 특징 분리성을 최대 9%까지 향상시킨다. 현실적인 클래스 간 분할 방식은 정확도를 약 7% 감소시키지만, 이는 실제 세계의 행동 전환과 실용적 적합성을 보다 잘 반영하기 위해 의도적으로 채택된 것이다.
웨어러블 기기는 일상적인 러너들을 위한 대규모 고차원 학습 로그를 생성하며, 이제 병목은 데이터 수집보다 해석에 있다. 본 논문은 차원 축소 모델 5개, 오토인코더 변형 3종, PCA, 변분 오토인코더(VAE)를 평가하여 9개 센서 러너 프로필을 단일 스칼라 성능 지표인 잠재 점수(latent score)로 압축하는 능력을 검토한다. 설정이 완전 비지도이므로 모델 품질은 두 가지 상보적인 축을 따라 평가된다: 재구성 오차(Mean Squared Error)와 Spearman 및 Kendall 순위 상관, 상호정보량(Mutual Information), 순열 중요도(Permutation Importance)로 측정한 잠재 점수 해석 가능성. 이들은 재구성 정확도만으로 모델을 선택하는 것을 방지하는 복합 선택 기준으로 결합된다. 네 가지 지표의 특징 순위는 수정 Borda count로 집계되며, 부트스트랩 검증을 통해 안정성이 확인된다. 비교의 기준점으로 2개 특징 선형 기준선이 포함된다. Deep autoencoder는 가장 낮은 재구성 오차와 가장 높은 복합 점수를 달성했다. PCA 은닉층을 확장한 뒤 더 깊은 변형들은 복합 기준에서 Deep AE와 근접하게 경쟁하게 되었으며, 이는 제한 요인이 1차원 병목이 아니라 은닉층 용량이었음을 시사한다. 달리기 페이스, 유산소 디커플링(aerobic decoupling), 평균 심박수가 모든 모델과 재샘플링 실행에서 잠재 점수의 지배적 동인으로 나타났으며, 이는 기존 생리학과 일치한다.
A Multi-Fidelity Convolutional Autoencoder-Transfer Learning Framework for Guided-Wave-Based Damage Diagnosis Using Large Simulated and Limited Experimental Datasets
레이블된 실험 데이터 부족과 고충실도 시뮬레이션 비용 문제를 줄이기 위해, 경량 1D TDSE 시뮬레이션으로 만든 대규모 합성 데이터로 합성곱 오토인코더(CAE)와 피드포워드 신경망을 사전학습하고 소량의 실험 측정값으로 전이학습하는 다중 충실도 프레임워크를 제안한다. 손상 위치 추정 R² 0.93 이상, 손상 크기 추정 R² 0.99 이상을 달성했으며 CNN 기반 전이학습보다 위치 추정 정확도가 높고 사전학습·미세조정에 없던 손상 시나리오에서도 높은 예측 정확도를 보였다.
고전적 강건 최적화(robust optimisation)의 불확실성 집합(uncertainty set)은 고정된 기하학적 형태를 부과하여, 실세계 데이터에 존재하는 복잡한 의존성을 표현할 수 없다. 우리는 딥 생성 모델(deep generative model)이 보정된 잠재 집합(latent set) 위의 신경망(neural network) 디코더의 상(image)으로 불확실성 집합을 정의하는 프레임워크인 생성적 강건 최적화(Generative Robust Optimisation, GRO)를 제안한다. 이는 비선형 상관관계, 비대칭성, 다중모드성을 자연스럽게 수용한다. 5개 항목 평가 프레임워크(재구성 충실도(reconstruction fidelity), 분포 매칭(distribution matching), 잠재 규칙성(latent regularity), 강건 관련성(robust relevance), 계산적 처리 가능성(computational tractability))는 신경망 기반 불확실성 집합을 평가하기 위한 체계적이고 모델 불가지(model-agnostic) 기준을 제공한다. 우리는 잠재 규칙성을 위해 가우시안 혼합 모델(Gaussian mixture model) 기반 학습(training)을, 강건 관련성을 위해 제약 일관성 정규화(constraint-consistency regularisation)를 사용하는 Wasserstein 적대적 오토인코더(Wasserstein Adversarial Autoencoder)로 이 프레임워크를 구현한다. 디코더를 렐루(ReLU) 활성화로 제한하면 혼합 정수 계획법(mixed-integer programming) 임베딩(embedding)을 통해 정확한 최악의 경우(worst-case) 검증이 가능하다. 6가지 불확실성 분포와 6가지 생성적 아키텍처에 걸친 생산 계획 문제(production planning problem)에 대한 광범위한 실험과 다기간 설비 입지(multi-period facility location) 연구를 통해 프레임워크를 검증하며, 5가지 기준 모두에 대한 체계적 고려가 표현력이 있으면서 동시에 잘 보정되고(well-calibrated) 최적화에 처리 가능한(optimisation-tractable) 불확실성 집합을 생성함을 보인다.
레이저 유도 파괴 분광법(LIBS)은 스펙트럼 노이즈와 데이터 부족으로 인해 퓨샷(few-shot) 시나리오에서 고정밀 정량 측정에 어려움을 겪는다. 전통적인 전처리 방법은 미묘한 스펙트럼 특징을 보존하거나 비선형 상관관계를 포착하는 데 종종 실패한다. 본 연구는 확산 기반 노이즈 제거, 차원 축소를 위한 어텐션 기반 오토인코더, 그룹 셔플링 데이터 증강, 및 최소자승 회귀를 통합한 표준화 처리 파이프라인을 제안한다. 확산 모듈은 3D UNet 아키텍처를 활용하여 필수 방출 특징을 보존하면서 스펙트럼 노이즈를 제거한다. 어텐션-오토인코더는 비선형 스펙트럼 상관관계를 포착하여 고차원 스펙트럼 데이터를 압축된 잠재 표현으로 효과적으로 축소한다. 그룹 셔플링 데이터 증강은 특징 그룹 순열을 통해 합성 샘플을 생성함으로써 모델 견고성을 향상시킨다. 여러 원소 농도에 대한 실험 결과, 제안된 Diffusion-DA-AE 파이프라인은 평균 RMAE 0.2847을 달성하여 기준선 오토인코더 및 전통적인 PCA-PLS 회귀 대비 각각 37.7%와 37.6%의 성능 향상을 나타냈다. 프레임워크의 효과성은 범용성을 입증하며 퓨샷 LIBS 회귀에 대한 새로운 벤치마크를 확립한다.
오디오 딥페이크의 확산은 디지털 커뮤니케이션에 대한 신뢰에 점점 더 큰 위협을 제기하고 있다. 탐지 방법은 발전해 왔지만, 오디오 딥페이크를 출처 모델에 귀속(attribution)하는 문제는 여전히 탐구가 부족하면서도 중요한 과제로 남아 있다. 본 논문에서는 LAVA(Layered Architecture for Voice Attribution)를 제안한다. 이는 가짜 오디오만으로 학습된 컨볼루션 오토인코더가 추출한 어텐션 강화 잠재 표현을 활용하는, 오디오 딥페이크 탐지 및 모델 식별을 위한 계층적 프레임워크이다. 두 개의 특화 분류기가 이 특징들 위에서 동작한다: 생성 기술을 식별하는 Audio Deepfake Attribution(ADA), 그리고 특정 생성 모델 인스턴스를 식별하는 Audio Deepfake Model Recognition(ADMR). 오픈셋(open-set) 조건에서의 견고성을 높이기 위해 신뢰도 기반 거부(rejection) 임계값을 도입한다. ASVspoof2021, FakeOrReal, CodecFake에서의 실험은 강력한 성능을 보여준다. ADA 분류기는 모든 데이터셋에서 95%를 넘는 F1-score를 달성했고, ADMR 모듈은 6개 클래스에 걸쳐 96.31% macro F1에 도달했다. ASVspoof2019 LA의 보지 못한(unseen) 공격에 대한 추가 테스트와 오류 전파(error propagation) 분석은 LAVA의 견고성과 신뢰성을 확인한다. 이 프레임워크는 오픈셋 조건에서 딥페이크 귀속 및 모델 식별에 대한 지도 학습(supervised) 접근법을 도입함으로써 해당 분야를 발전시키며, 공개 벤치마크에서 검증되었고 공개된 모델과 코드가 함께 제공된다. 모델과 코드는 https://www.github.com/adipiz99/lava-framework 에서 이용할 수 있다.
깊은 오토인코더(AE)의 적대적 강건성은 판별 모델에 비해 주목을 덜 받아왔으나, 압축된 잠재 표현은 불량 조건 매핑을 유발하여 작은 입력 섭동을 증폭시키고 재구성을 불안정하게 만들 수 있다. AE에 대한 기존의 화이트박스 공격들은 재구성 손상을 최대화하기 위해 노름 제한 적대적 섭동을 최적화하지만, 차선의 섭동으로 수렴하는 경우가 많아 AE의 강건성을 과대평가할 가능성이 있다. 본 연구는 이러한 한계가 불량 조건 레이어를 통한 역전파 과정에서 적대적 손실 그래디언트가 소실되는 현상과 관련이 있으며, 이는 해당 중간 가중치 행렬의 거의 0에 가까운 특잇값과 연관됨을 밝힌다. 이를 해결하기 위해, 인코더-디코더 아키텍처에서 그래디언트 열화를 완화하고 적대적 강건성 평가의 신뢰성을 향상시키도록 설계된 프레임워크인 GRILL(Gradient Signal Restoration in Ill-Conditioned Layers)을 제안한다. GRILL은 최적화 과정에서 적대적 그래디언트 열화를 완화하여, 고정된 노름 제약 조건 하에서 공격이 고왜곡 섭동에 더 잘 근사할 수 있도록 한다. 여러 AE 아키텍처에 걸친 광범위한 실험을 통해, 샘플별 공격과 범용 공격, 그리고 표준 및 적응형 공격 설정 모두에서 GRILL이 공격 효과를 크게 향상시켜 기존 공격의 한계로 인해 숨겨진 취약점을 노출시킴을 보인다. AE를 넘어, 현대적인 멀티모달 인코더-디코더 아키텍처 역시 유사한 취약점을 지님을 보여주는 예비 증거를 제시한다.