Dataset of Random Relaxations for Crystal Structure Search of Li-Si System
원문 초록
Crystal structure search is a long-standing challenge in materials design. We present a dataset of more than 100,000 structural relaxations of potential battery anode materials from randomized structures using density functional theory calculations. We illustrate the usage of the dataset by training graph neural networks to predict structural relaxations from randomly generated structures. Our models directly predict stresses in addition to forces, which allows them to accurately simulate relaxations of both ionic positions and lattice vectors. We show that models trained on the molecular dynamics simulations fail to simulate relaxations from random structures, while training on our data leads to up to two orders of magnitude decrease in error for the same task. Our model is able to find an experimentally verified structure of a stoichiometry held out from training. We find that randomly perturbing atomic positions during training improves both the accuracy and out of domain generalization of the models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
객체 검출에서의 도메인 일반화와 합성 데이터: 조력자, 탐침, 그리고 격차
Domain generalization and synthetic data in object detection: the enabler, the probe, and the gap
객체 검출(object detection) 모델은 예를 들어 날씨 유형, 운용 환경(environment), 객체 외형의 변화 등으로 인해 발생하는 분포 변화(distribution shift) 하에 배포될 때 종종 성능 저하를 겪습니다. 도메인 일반화(Domain Generalization, DG)는 이러한 변화 속에서도 강건함을 유지하고 보지 못한 도메인(unseen domain)으로 잘 일반화되는 모델을 개발하는 것을 목표로 합니다. 객체 검출 모델은 위치 추정(localization) 및 다중 스케일 표현과 관련된 추가적인 문제에 직면함에도 불구하고, 객체 검출 모델에 구체적으로 초점을 맞춘 DG 연구는 부족한 상황입니다. 합성 데이터는 다양하고 새로운 대규모 샘플 생성을 가능하게 함으로써 DG를 지원하는 유망한 도구입니다. 본 논문에서는 객체 검출 중심의 DG 리뷰를 제시하고 상호 보완적인 세 가지 관점에서 합성 데이터의 역할을 살펴봅니다. 첫째, 합성 데이터는 분포 변화에 대한 강건성을 향상시키는 것을 목표로 하는 다양화 및 정렬(alignment) 전략을 통해 DG의 조력자(enabler) 역할을 합니다. 둘째, 실패 모드를 식별하고 이해하기 위한 제어된 실험을 가능하게 하는 탐침(probe) 역할을 합니다. 셋째, 합성 이미지로 학습된 모델을 실제 데이터에 배포할 때 발생하는 특히 까다로운 형태의 도메인 변화인 합성-실제 간 격차(synthetic-to-real gap)에 대해 논의합니다. 이러한 관점들을 검토함으로써 객체 검출을 위한 기존 DG 접근법의 한계를 식별하고, 향후 연구에는 도메인 변화 하에서 위치 추정과 분류(classification)를 모두 명시적으로 다루는 표현 인식(representation-aware) 방법이 필요함을 주장합니다.
DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인
DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline
오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.
FAIR: AI 생성 가짜 이미지 탐지를 위한 특징 증강 암시적 정규화
FAIR: Feature-Augmented Implicit Regularization for AI-generated Fake Image Detection
AI 생성 이미지 탐지에서 일반화는 여전히 핵심 병목이다. 많은 최신 생성기가 독점적이거나 적대적으로 수정되어 있기 때문에, 기존 탐지기는 접근 가능한 학습 데이터의 저수준 텍스처 패턴에 과적합되어, 보지 못한 도메인에서 심각한 실패를 초래한다. 기존 정규화 기법(예: $L_1$/$L_2$ 노름, 드롭아웃)은 무차별적인 파라미터 제약을 적용하며, 생성기 간 견고성에 필요한 도메인 불변 구조를 제공하지 못한다. 이를 해결하기 위해, 우리는 Feature-Augmented Implicit Regularization(FAIR)을 제안한다. FAIR은 학습 중에 직교적이고 거시적 구조 사전(prior), 구체적으로 Scene Composition Structure(SCS)를 도입하여 모델의 최적화 궤적을 기하학적으로 제약한다. 도메인 불변 SCS 특징으로 주요 특징 공간을 증강함으로써, FAIR은 텍스처 편향 단축 학습을 명시적으로 억제한다. 중요하게도, 이 구조적 사전은 추론 시 완전히 폐기되어, 아키텍처 또는 계산 오버헤드 없이 평활화되고 일반화된 결정 경계를 제공한다. 다섯 개의 대규모 벤치마크에 걸친 광범위한 평가는 FAIR을 최신 탐지기에 통합하면 생성기 간 일반화가 크게 향상되어 정확도가 최대 8.04%까지 증가하고, 제로샷 전이 시나리오에서 새로운 최첨단 견고성을 확립함을 보여준다.
스트리밍 비디오 게임에서 강건하고 효율적인 모방 학습을 위한 증강
Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games
모방 학습은 인간 시연으로부터 시각적 관측을 행동에 매핑하는 정책을 학습함으로써, 복잡한 3D 환경에서 게임 플레이 에이전트를 확장할 수 있는 매력적인 방법이다. 그러나 이러한 시연은 수집 비용이 높고, 현대 게임 플레이는 종종 스트리밍을 통해 이루어지는데, 네트워크 지연과 압축이 시공간적으로 상관된 시각적 아티팩트를 유발하여 테스트 시점에 공분산 이동(covariance shift)을 일으킬 수 있다. 이러한 과제를 해결하기 위해, 저대역폭 네트워크 연결 하의 스트리밍 중 흔히 발생하는 네 가지 유형의 아티팩트—픽셀화된 블록 및 스크럽, 전역 블러, 고스팅—을 모방하는 스트리밍 증강을 제안한다. 우리는 학습된 잠재 공간에서 미래 상태 조건화와 역동역학 정책을 결합하는 예측적 역동역학 모델(PIDM) 위에 접근법을 구현하고, 현대 3D 비디오 게임의 세 가지 과제에서 증강의 영향을 평가한다. 안정적인 스트리밍 조건에서, 시공간 증강으로 학습된 에이전트는 동일한 데이터 예산 하에서 증강 없이 학습된 에이전트 대비 평가 성능이 최대 41% 더 높다. 네트워크 지연이 도입되면, 증강으로 학습된 에이전트는 성능이 7.45%만 저하되는 반면, 원본 데이터만으로 학습된 에이전트는 원래 성능의 49.82%에 그친다. 이러한 결과는 스트리밍 환경에 맞춘 시공간 증강이 강건하고 효율적인 게임 플레이 에이전트를 학습하기 위한 단순하면서도 강력한 도구임을 분명히 보여준다.
교차 노이즈 주입이 클린·손상·OOD 성능을 향상시킨다
Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance
노이즈 주입은 확률적 최적화(stochastic optimization)에서 잘 알려진 기법이다. 우리는 일반적인 단조 감쇠(monotonic decay) 스케줄 대신 교차(on-off-on-off...) 스케줄을 사용할 때 놀라울 정도의 효과가 있음을 보고한다. 노이즈 주입에 대한 이론적 분석을 제시하며, 임펄스 노이즈(impulse noise)에 의한 손상은 야코비안 정규화를 근사하고, 가우시안 노이즈(Gaussian noise)는 곡률 페널티(curvature penalty)로 작용함을 확인한다. 이러한 정규화 거동은 노이즈 주입이 모델 견고성(robustness)을 높이는 이유를 설명하는 데 사용되어 왔다. 그러나 우리가 제안한 스케줄의 교차적 특성은 최적화 목적 함수에서조차 더 나은 결과를 낸다. 노이즈가 있는 데이터 단계를 섞으면 옵티마이저가 국소 최솟값(local minima)에서 벗어나 탐험을 늘릴 수 있으며, 클린 데이터의 중요한 특징을 치명적으로 망각(catastrophically forgetting)할 위험 없이 학습할 수 있다. 클린 데이터와 노이즈 데이터 사이를 전환할 때 손실의 급격한 변화에 대해 이 학습 방식을 안정화하기 위해, 클린 그래디언트 크기에 따라 노이즈 업데이트를 스케일링하는 그래디언트 노름(gradient-norm) 안정화 기법을 도입한다. 이 방법을 다른 일반적인 증강(augmentation) 방법들과 비교한 결과, ResNet 및 ViT 아키텍처에서 CIFAR-100-C, ImageNet-C, ImageNet-R에 대한 손상 내성(corruption tolerance)과 실세계 분포 이동(distribution shift)에 대한 견고성에서 상당한 개선을 확인했으며, 다른 증강 위에 우리 방법을 쌓았을 때 최고의 결과를 얻었다. 시각적 중요도(saliency) 및 어텐션 맵을 통해, 교차 노이즈 주입의 효과가 모델의 귀납적 바이어스(inductive bias)가 장려하는 실패 모드(failure mode)에 페널티를 부과하는 데서 기인함을 보인다. 임펄스 노이즈는 합성곱(ResNet) 아키텍처의 지역성 바이어스(locality bias)에 대항하고, 가우시안 노이즈는 어텐션 기반 모델이 대규모 가짜(spurious) 특징을 포착하려는 경향을 줄인다. 따라서 교차 노이즈 주입은 사실상 추가 계산 비용 없이 클린, 노이즈, 분포 외(out-of-distribution) 데이터에 대한 테스트 성능을 향상시키는 효과적인 도구이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.