Improving the performance of weak supervision searches using data augmentation
원문 초록
Weak supervision combines the advantages of training on real data with the ability to exploit signal properties. However, training a neural network using weak supervision often requires an excessive amount of signal data, which severely limits its practical applicability. In this study, we propose addressing this limitation through data augmentation, increasing the training data's size and diversity. Specifically, we focus on physics-inspired data augmentation methods, such as $p_{\text{T}}$ smearing and jet rotation. Our results demonstrate that data augmentation can significantly enhance the performance of weak supervision, enabling neural networks to learn efficiently from substantially less data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EDGEGEN: 합성 엣지 케이스 생성으로 행복 경로(happy path)를 넘어서는 도구 호출 에이전트 개선
EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation
도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.
공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성
Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification
정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.
에이전트형 AI와 호환되는 심층 학습을 위한 메트릭 기반 합성 이미지 데이터 렌더링
Metric-Guided Synthetic Image Data Rendering for Deep Learning compatible with Agentic AI
과학 응용을 위한 심층 학습 컴퓨터 비전은 대규모 데이터셋을 수집하고 주석을 달아야 하는데, 이 과정은 힘들고 비용이 많이 들며 오류가 발생하기 쉽다. 3D 모델링과 렌더링을 통한 합성 데이터 생성은 주석을 프로그래밍 방식으로 생성함으로써 이 과정을 단순화하고 주석 정확도를 높일 수 있다. 그러나 실제 이미지와 합성 이미지 사이의 도메인 격차(domain gap)를 시각적으로 최소화하는 것은 주관적이며 체계적인 정량적 가이드가 부족하다. 우리는 렌더링된 장면의 개선을 안내하는 메트릭을 포함한 Python 패키지 GraNatPy를 제시한다. 렌더링된 데이터셋의 사실성, 다양성, 규모가 정량적으로 증가하는 것이 장면에 대한 시각적 인식 개선 및 객체 검출 모델의 제로샷 성능 향상과 상관관계가 있음을 보인다. 또한 바이러스학적 플라크 분석 사진을 이용해 그래디언트 유사성이 소형 객체 검출 성능에 영향을 미친다는 것을 보였으며, 이는 실제 데이터와 합성 데이터를 혼합하면 개선할 수 있다. 마지막으로 절차적 매개변수 최적화를 자동화하기 위해 절차적 데이터 렌더링을 에이전트형 기술(SynthClaw)로 전환한다.
동질-이질 분할을 통한 합성 이미지의 생성 후 큐레이션
Post-Generation Curation of Synthetic Images via Homogeneous-Heterogeneous Splitting
최근 생성 모델은 고품질 합성 이미지를 생성할 수 있어, 데이터가 많이 필요한 모델에 확장 가능한 학습 데이터를 제공한다. 이러한 잠재력을 활용하는 기존 접근법은 일반적으로 1) 생성기를 학습하거나 미세조정하거나, 2) 프롬프트 엔지니어링이나 추론 시점 가이던스와 같은 경량 사후 적응을 사용하는 방식으로, 생성기에 종속적이고 전문 지식을 필요로 한다. 본 연구는 이에 상보적인 질문을 다룬다: 고정된 생성 이미지 풀이 주어졌을 때, 유익한 부분 집합을 선택하는 것만으로 다운스트림 유용성을 향상시킬 수 있는가? 답은 그렇다이다. 우리는 효과적인 선택이 현대 생성기의 구조적 바이어스에 대응해야 함을 보인다: 생성기는 각 클래스의 전형적인 모드를 과잉 생성하는 경향이 있는 반면, 클래스 내 변이는 충분히 표현하지 못한다. 이 통찰을 바탕으로, 우리는 각 실제 클래스를 전형적인 동질(HO) 부분 집합과 비중복적인 이질(HE) 부분 집합으로 분할한 뒤, 의미적 정렬에는 보상을 주고 전형적 중복에는 패널티를 부과하는 충실도-다양성 기준으로 합성 이미지에 점수를 매긴다. 이 방법은 생성기에 무관하며 재학습을 필요로 하지 않는다. 여러 벤치마크에서 최신 데이터 선택 기준선을 일관되게 능가하며, 합성 샘플을 최대 40% 줄인 상태에서도 실제 데이터 수준의 성능에 도달한다. 동일한 기준은 더 강력한 태스크 튜닝 생성기 위에 적용했을 때도 효과적이며, 분류와 분할 태스크 모두에서 성능 향상을 보인다. 따라서 생성 후 선택은 더 나은 생성기의 대안이 아니라, 합성 데이터의 유용성을 향상시키는 상보적 메커니즘이다.
텍스트를 위한 충실도-다양성 지표
Fidelity-Diversity Metrics for Text
언어 모델링 기술이 성숙해짐에 따라, 이러한 모델을 학습하는 데 사용되는 데이터셋의 구성과 큐레이션에 대한 연구 관심이 높아지고 있다. 예를 들어, 실무자들은 일반적으로 고품질 데이터셋에 추가 텍스트를 보완하여 해당 데이터로 학습된 모델의 성능을 향상시키고자 한다. 그러나 데이터 증강에 대한 합리적인 의사결정을 위해서는 데이터 품질에 대한 보다 세밀한 평가가 필요하다. 본 연구는 생성 모델의 정밀도와 재현율을 측정하는 기존 연구를 기반으로, (1) 충실도(fidelity)—후보 텍스트가 참조 데이터와 얼마나 유사한지를 포착—와 (2) 다양성(diversity)—후보 텍스트가 참조 데이터셋의 모드를 얼마나 잘 포괄하는지를 포착—를 정량화하는 한 쌍의 지표를 개발한다. 제안하는 지표는 이산 텍스트 요약 간의 최적 수송(optimal transport) 발산 범함수(divergence functional)에 기반한다. M2D2 텍스트 데이터셋을 대상으로 한 실험에서, 이 지표들이 결함 있는 후보 텍스트에서 충실도 부족과 다양성 부족을 분리하여 진단할 수 있음을 보인다. 추가 실험에서는, 합성 GSM8K 방식의 수학 데이터셋에서 다양성 결핍을 탐지하며, 이는 해당 합성 데이터로 파인튜닝된 언어 모델의 다운스트림 정확도 저하와 상관관계를 보인다.
When Does Generating More Help? Disentangling Fixed-Source Synthesis from Source Expansion in Synthetic Data Scaling
토론
이 논문과 연결된 포럼 글이 아직 없습니다.