arXiv:2406.19951

Mining Reasons For And Against Vaccination From Unstructured Data Using Nichesourcing and AI Data Augmentation

Damián Ariel Furman, Juan Junqueras, Z. Burçe Gümüslü, Edgar Altszyler, Joaquin Navajas, Ophelia Deroy, Justin Sulik

제출 2024-06-28

원문 초록

We present Reasons For and Against Vaccination (RFAV), a dataset for predicting reasons for and against vaccination, and scientific authorities used to justify them, annotated through nichesourcing and augmented using GPT4 and GPT3.5-Turbo. We show how it is possible to mine these reasons in non-structured text, under different task definitions, despite the high level of subjectivity involved and explore the impact of artificially augmented data using in-context learning with GPT4 and GPT3.5-Turbo. We publish the dataset and the trained models along with the annotation manual used to train annotators and define the task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09751v1cs.AI공통 태그 Data Augmentation, In-Context Learning

농업 예측 작업에서 머신러닝 성능 향상을 위한 작업 조건부 합성 데이터 생성

Task-Conditioned Synthetic Data Generation for Improving Machine Learning Performance in Agricultural Prediction Tasks

머신러닝(ML) 알고리즘은 다양한 맥락에서 농업 변수를 추정하는 데 널리 활용되어 왔다. 그러나 학습 데이터의 양과 질이 ML 알고리즘의 성능에 큰 영향을 미치기 때문에, 참조 데이터가 부족하거나 불완전한 경우 그 활용이 제한될 수 있다. 합성 데이터 생성(SDG)은 원본 데이터의 주요 특성을 보존하는 인공적이지만 현실적인 샘플을 생성함으로써 이 문제를 해결하는 실용적인 접근법을 제공한다. 본 연구는 교사-학생 지식 증류(knowledge transfer)와 표 형식 데이터에 대한 문맥 내 학습(ICL)을 기반으로, 베이지안 네트워크 생성기와 트랜스포머 기반 표 형식 파운데이션 모델(TabICL)을 결합한 작업 조건부 SDG(TCSDG) 알고리즘을 제안한다. 제안된 알고리즘은 작물 수확량 예측과 작물 유형 분류(classification)의 두 가지 농업 예측 작업에서 평가되었다. 또한 6가지 벤치마크 SDG 알고리즘을 활용하여 TCSDG와의 성능을 비교하였다. 12개 연구 지점, 2가지 학습(training) 데이터 비율, 4가지 증배 비율, 3가지 예측 ML 알고리즘에 걸쳐, 원본 데이터에 TCSDG 생성 합성 데이터를 증강하면 작물 유형 분류 실험의 89%, 작물 수확량 예측 실험의 74%에서 ML 성능이 향상되었다. TCSDG는 벤치마크 SDG 알고리즘들을 크게 능가했으며, 집계 수준에서 두 작업 모두에 걸쳐 일관되게 ML 성능을 향상시킨 유일한 방법이었다. 본 연구는 신중하게 설계되고 처리된 합성 데이터가 정밀 농업(precision-agriculture) 응용 분야에서 ML 성능을 향상시킬 수 있음을 입증한다. TCSDG는 농업 ML 예측의 다운스트림 작업을 지원하는 합성 데이터를 생성하기 위한 실용적이고 확장 가능한 프레임워크를 제공한다. TCSDG의 전체 구현은 https://github.com/HamidEbrahimy/TCSDG 에서 오픈 소스로 공개되어 있다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2608.13545v3cs.CL공통 태그 In-Context Learning

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.