arXiv:2306.09998

SLACK: Stable Learning of Augmentations with Cold-start and KL regularization

Juliette Marrie, Michael Arbel, Diane Larlus, Julien Mairal

제출 2023-06-16

원문 초록

Data augmentation is known to improve the generalization capabilities of neural networks, provided that the set of transformations is chosen with care, a selection often performed manually. Automatic data augmentation aims at automating this process. However, most recent approaches still rely on some prior information; they start from a small pool of manually-selected default transformations that are either used to pretrain the network or forced to be part of the policy learned by the automatic data augmentation algorithm. In this paper, we propose to directly learn the augmentation policy without leveraging such prior knowledge. The resulting bilevel optimization problem becomes more challenging due to the larger search space and the inherent instability of bilevel optimization algorithms. To mitigate these issues (i) we follow a successive cold-start strategy with a Kullback-Leibler regularization, and (ii) we parameterize magnitudes as continuous distributions. Our approach leads to competitive results on standard benchmarks despite a more challenging setting, and generalizes beyond natural images.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.00642v3cs.AI공통 태그 Data Augmentation

인터랙티브 게임플레이를 위한 코칭 가능한 에이전트

Coachable Agents for Interactive Gameplay

강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.

arXiv:2607.20790v2cs.CV공통 태그 Data Augmentation

가상현실을 위한 안구 검증

Ocular Verification for Virtual Reality

가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2610.15908v1cs.AI공통 태그 Data Augmentation

LURE: 단계별로 라벨링된 온라인 그루밍 대화 합성 코퍼스

LURE: a Phase-Labelled Synthetic Corpus of Online-Grooming Exchanges

단계 주석이 달린 대화형 데이터는 미성년자 대상 온라인 그루밍(online grooming)의 진행 과정을 연구하고 조기 경보 도구를 개발하는 데 필수적입니다. 그러나 공개적으로 접근 가능한 유일한 출처인 Perverted-Justice 아카이브(ChatCoder를 사용해 코딩된 부분집합 포함)는 규모가 작고, 오래되었으며, 추가 업데이트가 중단된 상태입니다. 본 연구에서는 기관 내 하드웨어에서 실행되는 검색-증강 파이프라인을 사용해 생성한 그루머-피해자 대화 합성 코퍼스를 제시합니다. 이 파이프라인은 공개적으로 사용 가능한 80억 개 매개변수(parameter) 규모의 거부 완화(refusal-ablated) 언어 모델(language model)을 활용합니다. 해당 코퍼스는 합성 데이터셋을 위한 책임 있는 생성 프로토콜의 5단계를 따라 구축되었습니다: ChatCoder 유인 소통 체계 기반의 온톨로지 주도 설계(4개 그루밍 단계에 매핑된 8개 소통 태그), 다중 모델 프롬프트(prompt) 테스트, 인간 참여형(human-in-the-loop) 감독, 의미 및 특징(feature) 수준의 검증(validation), 모달리티 인식 문서화. 공개된 코퍼스는 7개 태그와 4개 단계에 걸친 2,121개의 고유한 대화로 구성되며, 각각 플루치크(Plutchik) 감정 필드가 함께 제공됩니다. 검증을 통해 코퍼스의 무결성과 어휘 프로파일뿐만 아니라 실제 시드 대화의 재현 여부, 도메인 내 레이블 복원력(태그 정확도: 0.85, 단계 정확도: 0.93), 그리고 8개 태그 수준에서 자동 코딩된 대화(31,640행) 및 3개 구성 개념 수준에서 인간 코더가 코딩한 대화(10,876개 게시글)인 실제 ChatCoder 가해자 대화로의 전이 능력을 정량화했습니다. 어휘 및 문장 임베딩(embedding) 특징에 대해 정확도를 측정했으며, 실제-합성 판별기(discriminator)는 두 도메인을 91%의 정확도로 구분할 수 있었습니다. 본 코퍼스의 활용 범위에는 통제된 단계 조건부 실험, 파이프라인 개발, 실제 데이터 및 인식 제고 자료와 병행한 데이터 증강이 포함됩니다. 코퍼스와 데이터시트, 감사 코드는 심사를 거친 접근 권한 하에 공개됩니다.

arXiv:2610.13693v1cs.LG공통 태그 Bilevel Optimization

단 한 번의 과정으로 수행하는 캘리브레이션: 정확하고 잘 보정된 신경망의 결합 학습

Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks

신경망(NN)은 매우 유연하고 다재다능하지만 신뢰도 보정(calibration)이 제대로 이루어지지 않는 경우가 많습니다. 사후 캘리브레이션(post-hoc calibration) 방식은 별도의 캘리브레이션 데이터셋과 추가 파라미터를 사용하여 이미 학습된 모델의 출력을 조정합니다. 그러나 이러한 과정은 캘리브레이터의 독립적인 최적화와 후속 모델 선택을 필요로 하여 오버헤드를 가중시킵니다. 본 논문에서는 표준 사후 캘리브레이터를 이단계 슈타켈버그(bilevel Stackelberg) 정식화를 통해 백본과 함께 엔드투엔드(end-to-end)로 학습할 수 있음을 보입니다. 이 정식화는 교차 엔트로피를 사용해 정확도와 캘리브레이션을 결합 최적화함으로써 별도의 캘리브레이션 셋이나 전용 캘리브레이션 손실 없이도 동작하며, 캘리브레이터 학습률이라는 단 하나의 추가 하이퍼파라미터만을 도입합니다. 본 프레임워크는 온도 스케일링(temperature scaling) 및 행렬 스케일링(matrix scaling)부터 신경망 층에 이르는 다양한 캘리브레이터를 지원하지만, 실험 결과 최종 분류 층 자체를 캘리브레이터로 사용하는 것만으로도 추가 파라미터 없이 정확하면서도 잘 보정된 모델을 얻을 수 있음을 보여줍니다. 제안하는 접근법은 최소한의 복잡도 추가만으로 최신 최고 수준(SOTA)의 캘리브레이터들을 능가하며, 멀티태스크 학습과 같은 설정에서 별도 캘리브레이션 컴포넌트로 인해 발생하는 곱절의 오버헤드 또한 방지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.