PyTorchKR Papers

최신 논문

총 66편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01378v1cs.AI

행동 귀속 이전의 생성 출처: 합성 음성 연구 대상 감사하기

Generation Provenance Before Behavior Attribution: Auditing Synthetic Speech Research Objects

모델 행동을 합성 학습(training) 데이터의 탓으로 귀속시키기 위해서는, 각 학습 항목이 무엇을 유발했는지 추정하기에 앞서 무엇이 그 항목을 생성했는지를 알아야 합니다. 파형(waveform)-레이블 쌍은 이러한 정보를 보존하지 못합니다. 본 논문에서는 합성 연구 대상(synthetic research object)이 소스 명세, 생성된 콘텐츠, 파형, 타깃, 사실 요건, 품질 신호, 검토 계보(review lineage), 그리고 불변 매니페스트 식별자를 결합하는 생성 출처(generation provenance) 기반 구조를 제안합니다. 생성자 및 선택 메커니즘이 증거적 의미를 결정하며, 저장 위치나 변수명은 그렇지 않습니다. 저자들은 비공개 일본어 간호 인수인계 파이프라인에서 이 기반 구조를 감사합니다. 113개 자산으로 구성된 검토 대상군은 6개 시나리오 패밀리에 걸쳐 1.552시간 분량의 합성 음성을 포함합니다. 모든 항목은 연결된 오디오, 전사본, 후보 노트, 사실 체크리스트를 갖추고 있으나, 사람에 의한 증거는 선별적이며 소스에 국한됩니다. 두 개의 충실성 전용(faithful-only) 매니페스트는 시나리오 시드가 서로 겹치지 않으며(scenario-seed-disjoint) 불변 버전으로 관리되지만, 유동적인 생성기 별칭(floating generator aliases), 클립별 TTS 및 코드 스탬프 누락, 버전이 지정되지 않은 검사 프롬프트(prompt)로 인해 정확한 상류 귀속(upstream attribution)은 여전히 차단되어 있습니다. 본 논문에서는 생성 출처가 행동 귀속을 위한 필요조건이지만 충분조건은 아니라고 주장합니다. 즉, 생성 출처는 후보 인과 그래프와 감사 단위를 정의할 뿐이며, 기여적 귀속(contributive attribution)을 위해서는 여전히 동결된 학습 실행과 개입 또는 영향력 증거가 필요합니다. 본 연구는 합성 데이터 귀속을 위한 간결한 출처 계약, 감사 프로토콜, 그리고 한정된 사례 연구를 제시합니다. 통제된 연구 목적의 접근은 제공될 수 있으나, 인과적 학습 데이터 귀속, 임상적 유효성, 또는 제한 없는 공개 배포를 주장하지는 않습니다.

arXiv:2603.00059v4cs.CY

확률적 앵무새인가 조화로운 합창인가? 합성 데이터를 통한 인간 설문 조사 재현 능력에 대한 5개 주요 대규모 언어 모델(LLM) 테스트

Stochastic Parrots or Singing in Harmony? Testing Five Leading LLMs for their Ability to Replicate a Human Survey with Synthetic Data

인공지능(AI) 기반 합성 연구 데이터는 인간 참여자의 응답을 얼마나 잘 재현할 수 있을까? 최근 문헌들은 조직 연구 관행에 중대한 시사점을 던지는 이 질문을 다루기 시작했다. 본 논문은 실리콘밸리 코더 및 개발자 420명을 대상으로 한 인간 응답자 설문 조사와 실제 설문 응답자를 시뮬레이션하도록 설계된 5개 주요 생성형 AI 대규모 언어 모델(LLM)(ChatGPT Thinking 5 Pro, Claude Sonnet 4.5 Pro plus Claude CoWork 1.123, Gemini Advanced 2.5 Pro, Incredible 1.0, DeepSeek 3.2)이 생성한 합성 설문 데이터를 비교 제시한다. 연구 결과, AI 에이전트(agent)는 예상보다 재현성과 조화에 치우친 기술적으로 그럴듯한 결과를 생성했으나, 그 어떤 모델도 인간 대상 설문 조사를 가치 있게 만들었던 직관에 반하는 통찰을 포착하지 못했다. 더욱이 모든 모델의 편차는 서로 유사하게 군집화되어 실제 데이터가 이상치(outlier)로 남게 되었다. 본 연구의 핵심 발견은 주요 LLM이 연구에서 인간의 설문 응답을 확장, 재현 및 대체하는 데 점점 더 많이 사용되고 있지만, 이러한 발전은 새로운 발견을 드러내기보다는 서로 조화를 이루며 통념을 흉내 내는(parrot) 능력이 증가했음을 보여줄 뿐이라는 점이다. 향후 연구에서 합성 응답자를 활용하려면 합성 설문 데이터를 책임감 있게 사용할 수 있는 시기와 장소에 대해 재현 가능한 검증 프로토콜과 보고 표준이 더 많이 필요하며, 본 논문이 이러한 공백을 메운다. 본 연구 결과는 합성 설문 응답이 특히 이전에 문서화된 증거가 부족한 맥락에서 조직 내 실제 인간의 사회적 신념을 유의미하게 모델링할 수 없음을 시사한다. 결론적으로 우리는 합성 설문 기반 연구가 엄밀한 설문 조사 방법론의 대체재가 아니라, 연구 대상 집단에 대한 사회적 가정, 통념 및 기타 기대치를 식별하기 위한 현장 조사 전후의 신뢰할 수 있는 도구로 자리매김해야 한다고 제언한다.

arXiv:2606.18389v2cs.CL

더 나은 합성 데이터를 원하시나요? 스티어링하세요: 저자원 언어 생성을 위한 활성화 스티어링

Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation

저자원 언어 합성 데이터 생성에서 퓨샷 프롬프팅의 추론 비용과 어휘적 앵커링 문제를 피하기 위해, 언어 정체성을 조절하는 Language Steering과 사람이 쓴 텍스트와 역번역 텍스트를 대조해 형식적 적절성을 잡는 Quality Steering 같은 활성화 스티어링(activation steering)을 제안합니다. 11개 언어에서 감정·주제 분류용 합성 데이터를 만들고 소형 분류기를 파인튜닝해 평가한 결과, 초기 레이어 스티어링이 생성 다양성을 높이면서 특히 저자원 언어에서 다운스트림 성능도 자주 개선됩니다.

arXiv:2609.24480v1cs.AI

Fathom-Vaidya: 루브릭 기반 보상을 통한 의료 추론 성능 향상

Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards

의료 분야에 대규모 언어 모델(LLM)을 배포하려면 서로 보완적인 두 가지 차원에서 견고한 성능이 요구된다 - 진단 추론(임상 데이터로부터 환자의 상태를 추론하여 진단을 도출하는 수렴적이고 근거 기반의 과제)과 임상 헬스케어 추론(단일한 정답이 존재하지 않을 수 있는 다중 턴 임상 상호작용에서 소통하고, 계획하고, 적응하는 데 필요한 보다 광범위한 탐색적 판단)이다. HealthBench, MedXpertQA와 같은 최근 벤치마크들은 두 영역 모두에서 지속적인 약점을 드러내며, 복잡한 진단 시나리오에서의 실패와 맥락적이고 환자 중심적인 대화에서의 한계를 보여준다. 우리는 합성 데이터와 루브릭 기반 강화학습을 사용하여 이러한 측면들을 겨냥하는 순차적 학습 프레임워크를 제안한다. 먼저, 규칙 및 루브릭 기반 강화학습(RL)을 통해 MedBullets에서 파생된 문제를 활용하여 진단 추론을 향상시킨다. 이후 5,300개의 합성 다중 턴 시나리오를 생성하여 임상 추론으로 전환하며, 각 시나리오는 응답을 종합적으로 평가하기 위한 다차원 루브릭과 짝을 이룬다. 이 접근법은 MedXpertQA에서 10% 이상의 성능 향상을 가져오며, 우리의 30B 모델은 HealthBench-Hard에서 50.1%의 정확도를 달성하여 GPT-5(thinking)를 포함한 독점(proprietary) 베이스라인들을 능가한다. 우리의 결과는 목적에 맞게 설계된 합성 데이터셋과 루브릭 기반 학습이 의료용 LLM의 진단 추론과 상호작용적 임상 추론을 모두 체계적으로 향상시킬 수 있음을 보여준다.

arXiv:2609.13995v2cs.AI

마케팅 연구에서의 합성 데이터: 평가 방법과 신뢰할 수 있는 시점

Synthetic Data in Marketing Research: How to Evaluate and When to Trust

마케팅 연구에서 합성 데이터(synthetic data)에 대한 논쟁은 대규모 언어 모델(LLM)이 인간 응답자를 불필요하게 만든다는 주장과 이를 전면 배제해야 한다는 요구 사이에서 양극화되어 왔습니다. 우리는 두 입장 모두 합성 응답자가 효과가 있는지 여부가 아니라 '언제' 효과가 있는가라는 더 유용한 질문을 흐린다고 주장합니다. Brand, Israeli, and Ngwe (2026)를 기반으로 하여, 본 연구는 세 가지 기여를 제시합니다. 첫째, 세 가지 유형의 합성 데이터(비그라운딩 LLM 응답, 세그먼트 수준 페르소나, 개인 수준 디지털 트윈)를 구분하고 각각이 지원할 수 있는 의사결정과 매핑합니다. 둘째, 정확도 측정 항목을 네 가지 계열의 분류 체계로 정립하고, 거의 완벽한 수준에서 무작위 확률 수준에 이르기까지 보고된 트윈 정확도의 넓은 범위가 방법론의 질적 차이라기보다는 주로 무엇을 측정하고 있는가의 차이를 반영한다는 점을 시사합니다. 집계 측정 지표는 LLM에 제공된 정보가 거의 없을 때도 좋은 성능을 보이는 경우가 많으며, 응답자 수준의 변별력이 전혀 존재하지 않는 현상을 가릴 수 있습니다. 셋째, 현장 연구에서 질문이 누락되는 '누락된 질문 문제(forgotten question problem)'를 기존 데이터를 트윈 기반으로 증강하는 설정으로 도입합니다. 우리는 그라운드 트루스(ground truth)가 필요 없는 사전 답변 가능성 진단법으로, 트윈을 구축하는 데 사용된 데이터로부터 트윈의 출력을 예측하는 랜덤 포레스트의 R^2을 제안합니다. 전국 대표 표본 설문조사(N = 3,063)의 108개 태도 질문 전반에서 R^2 > 0.7 기준으로 스크리닝하면 트윈-인간 간 개인 수준 평균 상관관계가 15% 상승하고 잘못 답변된 질문의 비율이 25.9%에서 4.3%로 감소합니다. 임베딩 유사도와 숙련된 연구자의 판단 또한 상관관계가 있는 스크리닝 기준을 제공하지만 상대적으로 효과가 더 약합니다.

arXiv:2606.24817v2cs.CV

High-Fidelity Synthetic Transmission Electron Microscopy Image Generation Using Diffusion Probabilistic Models for Data-Limited Semiconductor Metrology

Advanced semiconductor nodes drastically increased demand for Transmission Electron Microscopy (TEM), yet destructive sample preparation, slow imaging and high costs severely limit the availability of diverse datasets needed for downstream machine learning (ML). Synthetic data generation is becoming essential, but current generative models often miss TEM-specific noise, structural detail, and stochastic variability crucial for evaluation. We present a Denoising Diffusion Probabilistic Model (DDPM) framework for synthetic TEM image generation under extreme data scarcity. A progressive patch-based training strategy scales from low-resolution patches to full images, enabling from-scratch training with only 15 samples. We integrate a custom TrivialAugment adaptation, cross-process domain transfer, classifier guidance, and RePaint-style inpainting, culminating in full-image generation that preserves global structural and spatial relationships in compliance with FAB metrology requirements. Beyond synthesis, we repurpose DDPM feature representations for segmentation, partitioning encoder feature maps to obtain coherent region masks. Our synthetic images achieve up to MS-SSIM > 0.98 and qualitative expert assessment consistent with structural similarity results, facilitating downstream ML training for defect detection, segmentation, and metrology while preserving statistical and physical realism.

arXiv:2606.02101v3stat.ML

명시된 대로 작동: 거칠게 처리된 마진으로부터의 안전한 합성 데이터

It does what it says on the tin: safe synthetic data from coarsened margins

공개 위험이 없다고 판단된 마진(margin)에서 합성 데이터를 생성하는 방법을 제안하며, 통계적 공개 제어(SDC)를 거친 후 반복 비례 적합(IPF) 알고리즘으로 데이터를 생성해 변수 간 관계의 투명한 유지와 프라이버시 보장을 동시에 달성한다. 1901년 스코틀랜드 인구조사 데이터로 실증하며, 기존 머신러닝 기반 합성 데이터 방법 대비 공개 위험 없이 고충실도 합성 데이터를 제공할 수 있음을 보인다.

arXiv:2607.24422v1cs.CV

IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회

IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data

본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.

arXiv:2509.22352v3cs.LG

SurvDiff: 생존 분석을 위한 합성 데이터 생성 디퓨전 모델

SurvDiff: A Diffusion Model for Generating Synthetic Data in Survival Analysis

생존 분석은 전이, 질병 재발, 환자 사망과 같은 시간-사건(time-to-event) 결과를 모델링함으로써 임상 연구의 핵심이다. 표준 표 형식(tabular) 데이터와 달리, 생존 데이터는 중도 이탈이나 추적 손실(loss to follow-up)로 인해 종종 불완전한 사건 정보를 동반한다. 이는 합성 데이터 생성에 독특한 과제를 제기하며, 임상 연구에서는 사건 시간 분포와 검열(censoring) 메커니즘을 모두 충실히 재현하는 것이 중요하다. 본 논문에서는 생존 분석에서 합성 데이터를 생성하기 위해 특별히 설계된 end-to-end 디퓨전 모델인 SurvDiff를 제안한다. SurvDiff는 생존 분석에 맞춘 손실 함수의 안내 하에 혼합형 공변량, 사건 시간, 우측 검열(right-censoring)을 공동 생성함으로써 데이터 생성 메커니즘을 포착하도록 맞춤 설계되었다. 이 손실은 시간-사건 구조를 인코딩하고 하류 생존 과제를 직접 최적화하여, SurvDiff가 (i) 현실적인 사건 시간 분포를 재현하고 (ii) 검열 메커니즘을 보존하도록 보장한다. 여러 데이터셋에서 SurvDiff가 여러 의료 데이터셋에 걸쳐 분포 충실도와 생존 모델 평가 지표 모두에서 최신 생성 기준선들을 일관되게 능가함을 보인다. 우리가 아는 한, SurvDiff는 합성 생존 데이터 생성을 위해 명시적으로 설계된 최초의 end-to-end 디퓨전 모델이다.

arXiv:2607.20443v1cs.CL

GLAN-QnA-KR: 시드 없는 분류체계 기반 한국어 인스트럭션 코퍼스

GLAN-QnA-KR: A Seedless Taxonomy-Driven Korean Instruction Corpus

우리는 GLAN-QnA-KR을 공개합니다. 이는 303,581행 규모의 공개적으로 재배포 가능한 한국어 인스트럭션-QA 코퍼스로, Microsoft의 Phi-3.5-MoE-instruct를 생성 모델로 사용하는 시드 없는 분류체계 기반 GLAN 합성 파이프라인을 통해 생성되었습니다(생성: 2024-12; 공개: 2024-12; 라이선스: OpenRAIL). 이 코퍼스는 1,084개의 영어 라벨 분야로 구성된 평면 분류체계, 한국어 질문/답변 텍스트, 100–900 난이도 척도, 그리고 레코드당 질문 313자·답변 1,098자의 중앙값을 포함합니다. 이 규모의 합성 인스트럭션 데이터에서 비정상적인 두 가지 특성이 있습니다: (i) 303,581행 중 정확히 중복된 질문은 단 1개뿐이며, Jaccard >= 0.9인 문자 trigram 근접 중복 클러스터는 5,000개 표본 탐색에서 0개이고, (ii) KMMLU, KoBEST(5개 하위 과제), HAE-RAE-Bench에 대한 2층 오염 감사는 20,000개의 GLAN 질문 표본과 7개 평가 세트 전체에서, 테스트 대 코퍼스 질문 수준의 문자 trigram Jaccard 최대값이 0.163이며 Jaccard >= 0.7인 테스트 항목은 0개이고, multilingual-E5 코사인 유사도 최대값은 0.901이며 코사인 >= 0.90인 테스트 항목은 1개, >= 0.95인 항목은 0개임을 보여줍니다. 공개 시점 기준, 우리가 알기로 Hugging Face Hub에서 검증 가능한 단일 파이프라인 합성 한국어 인스트럭션 코퍼스 중 최대 규모이며, 시드 없는 분류체계 기반 프로토콜 하에 구축된 유일한 10만 행 이상 한국어 코퍼스입니다. 본 노트는 후속 인용에 적합한 형태로 생성 프로토콜, 코퍼스 통계, 오염 감사, 라이선스 경계를 기술합니다.

arXiv:2503.13969v2cs.CV

SoccerSynth Field: enhancing field detection with synthetic data from virtual soccer simulator

Field detection in team sports is an essential task in sports video analysis. However, collecting large-scale and diverse real-world datasets for training detection models is often cost and time-consuming. Synthetic datasets, which allow controlled variability in lighting, textures, and camera angles, will be a promising alternative for addressing these problems. This study addresses the challenges of high costs and difficulties in collecting real-world datasets by investigating the effectiveness of pretraining models using synthetic datasets. In this paper, we propose the effectiveness of using a synthetic dataset (SoccerSynth-Field) for soccer field detection. A synthetic soccer field dataset was created to pretrain models, and the performance of these models was compared with models trained on real-world datasets. The results demonstrate that models pretrained on the synthetic dataset exhibit superior performance in detecting soccer fields. This highlights the effectiveness of synthetic data in enhancing model robustness and accuracy, offering a cost-effective and scalable solution for advancing detection tasks in sports field detection.

arXiv:2607.20385v1cs.CV

Persian Pixel: 페르시아어 대규모 합성 OCR 데이터셋

Persian Pixel: A large-scale synthetic OCR dataset for Persian language

페르시아어에 대한 광학 문자 인식(OCR)은 여러 국가에서 1억 1천만 명 이상이 사용하는 언어임에도 불구하고, 라틴 문자 언어에 비해 아직 크게 덜 성숙한 상태이다. 이러한 격차는 두 가지 근본적인 도전에서 비롯된다: 페르시아-아랍 문자 체계의 고유한 복잡성과 대규모·고품질 주석 데이터셋의 제한적 가용성이다. 페르시아 문자는 필수적인 연속 필기(cursive) 연결, 문맥 의존적 글리프 형태, 광범위한 합자(ligature), 모음 기호(diacritic) 배치, Naskh·Nastaliq와 같은 서체 간의 스타일 변화를 보이며, 이는 모두 문자 인식을 상당히 복잡하게 만든다. 동시에 수동 주석의 높은 비용과 노동 집약적 특성은 지속적인 데이터 병목을 초래하여, 견고한 OCR 시스템 개발을 제한하고 페르시아 문서 디지털화의 진전을 늦추고 있다. 본 논문에서는 이러한 과제를 해결하기 위해 특별히 설계된 포괄적인 합성 OCR 데이터셋인 Persian Pixel을 소개한다. 34만 3천 개 이상의 고품질 이미지-텍스트 쌍으로 구성된 이 데이터셋은, SynthOCR-Gen 렌더링 프레임워크를 사용해 신중하게 구축한 700만 단어 규모의 페르시아어 코퍼스로부터 생성된 문장, 단락, 전체 페이지 문서 레이아웃을 포괄한다. 생성 파이프라인은 문맥적 문자 결합, 위치별 글리프 변형, 모음 기호 배치, 여러 대표적 페르시아어 활자체 등 페르시아 문자의 조판학적 특성을 충실히 모델링한다. 합성-실제(synthetic-to-real) 도메인 격차를 줄이기 위해, 렌더링된 이미지는 잉크 번짐, 종이 노화, 흐림, 조명 변화, 스캐너 결함, 압축 아티팩트, 다양한 노이즈 과정 등 현실적인 문서 취득 아티팩트를 모사하는 25개 이상의 확률적 열화(degradation) 모델로 추가로 풍부화된다. 오랫동안 지속된 주석 페르시아어 OCR 데이터 부족을 극복함으로써, Persian Pixel은 TrOCR, Donut과 같은 트랜스포머 기반 모델을 포함한 최신 OCR 아키텍처의 학습과 미세조정을 위한 확장 가능하고 공개적으로 이용 가능한 자원을 제공한다. 이 데이터셋은 페르시아 문서 분석, 역사적 필사본 디지털화, end-to-end 문서 이해 연구를 위한 견고한 토대를 마련하는 동시에, 프로그래밍 방식의 합성 데이터 생성이 저자원·조판학적으로 복잡한 문자에서 OCR을 발전시키기 위한 수동 주석의 실용적이고 비용 효율적이며 확장 가능한 대안이 될 수 있음을 보여준다.

arXiv:2607.19942v1cs.CV

G-MAD: 멀티뷰 RGB-T 항공 객체 검출을 위한 게임 기반 데이터 생성 프레임워크

G-MAD: A Game-Based Data Generation Framework for Multi-View RGB-T Aerial Object Detection

본 연구는 Arma3를 사용하여 항공 객체 검출을 위한 동기화된 멀티뷰 RGB-T 데이터를 생성하는 오픈소스 프레임워크인 G-MAD를 소개한다. G-MAD는 제한적인 시점 제어, 불완전한 RGB-T 정렬, 높은 주석 비용 등 실세계 항공 데이터셋 구축의 주요 한계를 해결한다. 이 프레임워크는 구조화된 시나리오 지정, 제어 가능한 멀티뷰 카메라 배치, 가시광/열화상 동시 촬영, 엔진 수준 기하 메타데이터를 이용한 자동 경계 상자 주석을 지원한다. 이러한 기능은 항공 객체 검출에서 시점 변화, 멀티모달 융합, synthetic-to-real 전이에 대한 통제된 연구를 가능하게 한다. 또한 G-MAD를 사용하여 새로운 대규모 멀티뷰 항공 RGB-T 객체 검출 벤치마크인 AMOD를 구축하고 공개한다. 소스 코드와 데이터셋은 https://unique-chan.github.io/G-MAD-Project 에서 이용할 수 있다.

arXiv:2607.08122v2cs.LG

최대 엔트로피 보정을 통한 인과 추론용 워크로드 보존 차분 프라이버시 합성 데이터

Workload-Preserving Differentially Private Synthetic Data for Causal Inference via Maximum-Entropy Calibration

차분 프라이버시(DP) 합성 데이터에서 평균 처리 효과(ATE) 추정 시 범용 워크로드가 인과 추정에 필요한 모멘트를 보존하지 못하는 문제를 해결하기 위해, 이중 강건 추정기의 직교 모멘트를 기반으로 설계된 인과 워크로드(causal workload)와 최대 엔트로피 보정(maximum-entropy calibration)을 제안한다. 실험 결과, 인과 워크로드와 노이즈 인식 다중 대체(NA+MI)를 결합한 방법이 엄격한 프라이버시 예산(ε≤1)에서 99.8~100%의 신뢰 구간 커버리지를 달성한 반면, 기존 합성 데이터 방법은 35.2% 이하에 그쳤다.

arXiv:2604.23904v3stat.ME

인과 추론을 위한 생성적 합성 데이터: 함정, 해결책, 그리고 기회

Generative Synthetic Data for Causal Inference: Pitfalls, Remedies, and Opportunities

표 형식 합성 데이터는 종종 분포 유사성, 프라이버시 거리, 또는 합성 데이터로 학습하고 실제 데이터로 테스트하는(train-on-synthetic-test-on-real) 예측 성능으로 평가되지만, 이러한 기준은 인과 추론에 대한 타당성을 보장하지 않는다. 우리는 생성적 적대 신경망(GAN) 및 대규모 언어 모델(LLM) 기반 모델을 포함한 완전 생성적 표 형식 합성기가 예측 유용성은 유지하면서도 평균 처치 효과(ATE) 추정을 왜곡할 수 있음을 보인다. 이 실패는 구조적인 것이다: ATE 보존에는 현실적인 공변량 분포와 정확한 처치 효과 대비가 모두 필요한 반면, 예측 손실은 처치 효과 오류에 대해 중첩(overlap) 가중 항을 통해서만 패널티를 부과한다. 따라서 불균형이나 제한된 중첩 하에서 생성기는 개입과 관련된 대비를 과소학습하면서 지배적인 관측 결과를 재현할 수 있다. 우리는 민감도 및 손실 분해 결과를 통해 이러한 불일치를 형식화한다. 이 인과 분석과 직관에 기초하여, 우리는 공변량을 생성하면서 처치 및 결과 메커니즘을 별도로 모델링하는 인과 추론을 위한 하이브리드 합성 데이터 프레임워크를 제안한다. 우리는 세 가지 설정에서 이 프레임워크를 평가한다: 완전 생성적 합성 대 하이브리드 합성 하에서의 ATE 보존, 실용적 양성(positivity) 문제에 대한 증강(augmentation), 그리고 실제 데이터 분석 전 OR, IPW, AIPW, TMLE을 비교하기 위한 진단 시뮬레이션 엔진. 또한 중첩, 공변량 차원, 시드 샘플 크기, 처치 효과 복잡성을 변화시키는 설정—로지스틱 결과 모델 오지정(misspecification) 검증을 포함하여—전반에 걸쳐 하이브리드 구성을 스트레스 테스트한다. 통제된 시뮬레이션 실험 전반에 걸쳐, 하이브리드 합성은 완전 생성적 기준선 대비 인과 충실도를 개선한다; ACTG 적용은 예측 충실도가 개선되었고 유한 표본 추정량 벤치마킹의 잠재력을 보여준다. 인과 충실도를 평가할 수 있는 설정에서 LLM 기반 하이브리드 합성은 종종 CTGAN보다 더 충실하다.

arXiv:2510.16657v3stat.ML

합성 데이터 검증을 통한 모델 붕괴 탈출: 단기적 개선과 장기적 수렴

Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence

프론티어 생성 모델을 학습하는 데 합성 데이터가 점점 더 많이 사용되고 있다. 그러나 최근 연구들은 생성 모델이 자기 생성 합성 데이터로 반복 재학습할 때 모델 성능이 계속 악화될 수 있다는 핵심 우려를 제기하며, 이 현상은 종종 모델 붕괴(model collapse)라고 불린다. 본 논문에서는 모델 붕괴를 피하기 위해 합성 재학습 과정을 수정하는 방법을 조사하고, 붕괴에서 개선으로의 추세를 역전하는 데 도움이 될 수 있는지까지 탐구한다. 우리의 핵심 발견은 인간이든 더 나은 모델이든 외부 합성 데이터 검증기(verifier)를 통해 정보를 주입하면 합성 재학습이 모델 붕괴를 일으키지 않는다는 것이다. 구체적으로, 우리는 이론적 분석을 기본적인 선형 회귀 설정에 두고, 검증기가 안내하는 재학습이 단기적으로는 개선을 가져올 수 있지만 궁극적으로는 장기적으로 매개변수 추정치를 검증기의 "지식 중심(knowledge center)"으로 이끈다는 것을 보인다. 우리의 이론은 검증기가 완전히 신뢰할 수 있는 경우가 아니라면, 이러한 초기 이득이 정체되고 심지어 역전될 수 있음을 추가로 예측한다. 실제로 선형 회귀, MNIST로 학습한 변분 오토인코더(VAE), XSUM 태스크에서 SmolLM2-135M 파인튜닝에 걸친 실험들이 이러한 이론적 통찰을 확인한다.

arXiv:2607.15092v1cs.CL

Rubrics on Trial: 합성 순쌍 증거를 통한 단일 쿼리 기반 루브릭 진화

Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence

루브릭은 대규모 언어 모델(LLM)의 학습과 평가를 위한 구조화된 세밀한 신호를 제공한다. 그러나 신뢰할 수 있는 쿼리별 루브릭을 구축하기는 어렵다. 기존 접근법은 종종 사람이 작성한 루브릭, 선호도 데이터, 또는 샘플링된 응답에서 지도 신호를 도출한다. 직접적인 쿼리-대-루브릭 생성은 이러한 자원을 피하지만, 그럴듯한 루브릭이 유용한지에 대한 명시적 검증을 제공하지 않는다. 이러한 루브릭은 답변 품질을 구분하지 못하거나, 선택적 스타일을 보상하거나, 유효한 대안 전략에 페널티를 줄 수 있다. 우리는 Rubrics on Trial을 제안한다. 이는 외부 주석이나 모델 학습 없이 빈 집합에서 루브릭 집합을 진화시키는 쿼리 전용 프레임워크이다. 이는 합성 루브릭 조건부 응답 쌍에서만 지도 신호를 도출하고, 각 제안된 루브릭을 추가하기 전에 검증하여, 비판별적·과도하게 구체적·스타일 전용 후보 루브릭을 걸러낸다. 다섯 개의 선호도 벤치마크 스위트에 걸친 실험은 Rubrics on Trial의 효과를 보여주며, 최고 평균 정확도를 달성하고 7개 평가 세트 중 6개에서 1위를 기록한다.

arXiv:2604.09091v2cs.LG

완전 연결 신경망으로 고차원 가우시안 노이즈로부터 실세계 분포 합성

Synthesizing real-world distributions from high-dimensional Gaussian Noise with Fully Connected Neural Network

머신러닝 응용 및 연구에서 합성 데이터의 사용은 데이터 증강을 통한 성능 향상과 원본 샘플의 프라이버시 보호 등 많은 이점을 제공한다. 본 연구는 고차원 무작위 가우시안 분포를 변환하여 목표 실세계 데이터셋을 근사하는 완전 연결 신경망 기반의 효율적인 합성 데이터 생성 방법을 제안한다. 제안된 방법은 표 형식 데이터를 위해 설계된 데이터 전처리와 분포 모델링, PCA 차원 축소를 결합하여 데이터 프라이버시를 더욱 향상시킨다. 또한 본 연구는 Wasserstein 거리와 특징 공분산을 결합한 두 가지 전용 무작위화 손실 함수, 그리고 무작위화 쌍별 오류 감소 손실 함수를 정의한다. 25개의 다양한 표 형식 실세계 데이터셋에서 수행된 실험은 제안 방법이 최신 생성 방법 대비 유사성 및 프라이버시 점수를 달성하고, 현대 심층 학습 솔루션보다 수 orders of magnitude 빠르게 기준 MMD 점수를 달성함을 확인한다. 실험에서는 분포 유사성, 프라이버시 보호, 분류 작업에서의 합성 데이터 유용성을 분석하였다.

arXiv:2606.19817v2cs.CV

합성 객체 검출 데이터를 위한 학습 없는 지표: 검출기 성능의 대리 지표

Training-Free Metrics for Synthetic Object Detection Data: A Proxy for Detector Performance

합성 이미지는 객체 검출을 위해 부족한 실제 데이터를 보강하는 데 점점 더 많이 사용되고 있다. 그러나 모든 합성 데이터셋이 동일하게 도움이 되는 것은 아니며, 데이터셋의 가치를 알 수 있는 유일한 방법은 이를 사용해 검출기를 학습하는 것인데, 이는 느리고 조밀한 어노테이션이 필요하다. 우리는 대신 학습 없는 지표가 후보 합성 학습 데이터셋을 하류 유용성에 따라 순위를 매길 수 있는지 묻는다. FID, KID, MMD와 같은 기존 이미지 집합 지표는 두 특징 분포를 단일 전역 통계로 비교하는데, 우리는 이것이 객체 검출 데이터 선택에 대해 두 가지 측면에서 잘못 지정되어 있음을 보인다. 즉, 이미지별 구성(객체 수, 박스 스케일, 클래스 혼합)에 눈이 멀어 있고, 구성이 고정되어 있더라도 전역 평균화가 높은 mAP 풀과 낮은 mAP 풀을 구분하는 외관 차이를 희석시킨다. 우리는 임의의 특징 공간 거리를 구성별 계층화 비교로 변환하여, 검출기를 학습하지 않고도 메타데이터로 정의된 계층 내에서 후보와 타깃을 매칭하는 Conditional-Composition Domain Match(CCDM)를 제안한다. COCO와 VisDrone-DET에서 최상의 CCDM 변형은 19개의 후보 학습 데이터셋을 YOLOv8 mAP와 강한 일치로 순위화하며(Spearman \rho = 0.97 및 0.96), FID, KID, MMD보다 우수하다. 또한 CCDM은 참조 메타데이터가 ground-truth 박스가 아니라 검출기 pseudo-label에서 나올 때에도 유효하다.