arXiv:2411.18242

Thai Financial Domain Adaptation of THaLLE -- Technical Report

KBTG Labs, Atthakorn Petchsod, Pornchanan Balee, Danupat Khamnuansin, Anuruth Lertpiya, Chanatip Saetia, Tawunrat Chalothorn, Thadpong Pongthawornkamol, Monchai Lertsutthiwong

제출 2024-11-27

원문 초록

Large Language Models (LLMs) excel in general tasks but struggle with domain-specific challenges, such as specialized terminology and localized regulations. Existing financial LLMs, like FinGPT and BloombergGPT, lack support for the Thai financial domain. We developed a Thai Financial LLM using the Investment Consultant (IC) exam dataset from the Stock Exchange of Thailand. To address dataset limitations, we applied data augmentation, ReLoRA for efficient training, Continued Pretraining (CPT) for domain knowledge, and Rank-Stabilized LoRA (rsLoRA) for fine-tuning. Supervised Fine-Tuning (SFT) simulated exam scenarios, while Direct Preference Optimization (DPO) refined the model using feedback. The model achieved scores of 72%, 72%, and 84% on IC exam levels P1, P2, and P3, respectively, demonstrating its effectiveness in Thai financial advisory tasks and its potential for specialized applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation, Domain Adaptation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2609.24312v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학

AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.

arXiv:2607.23680v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

견고하고 주석 효율적인 식물 스트레스 표현형 분석을 위한 섭동 인식 확산 가이드 하이브리드 분할

Perturbation-Aware Diffusion-Guided Hybrid Segmentation for Robust and Annotation-Efficient Plant Stress Phenotyping

농업 영상에서의 의미 분할(semantic segmentation)은 종종 도메인 내(in-domain) 프로토콜 하에서 평가되지만, 실제 배포에서는 외관 섭동, 제한된 주석, 교차 도메인(cross-domain) 이동에 대한 견고성이 필요하다. 본 논문은 U-Net, DeepLabV3+, SegFormer 백본이 거친 마스크를 생성하고, 이를 Denoising Diffusion Probabilistic Models (DDPM), 잠재 확산(latent diffusion), 또는 의미 가이드 확산(semantic-guided diffusion)으로 정제하는 확산 가이드 하이브리드 분할 프레임워크를 제안한다. 해당 프레임워크는 PlantSegV3에서 3x3 아키텍처 스크리닝 연구를 통해 평가되며, 이어 경계 제약 최적화, 섭동 가이드 재학습, 저데이터 평가, 제약 하이퍼파라미터 스크리닝, 통제된 교차 도메인 적응을 수행한다. PlantSegV3에서 최고로 선정된 하이브리드 모델은 정제된 평균 Intersection-over-Union (mIoU) 71.83%와 정제된 Boundary-F1 26.10%를 달성하며, 선정된 모델들은 감독을 대폭 줄인 조건에서도 안정성을 유지하여 강한 주석 효율성을 보여준다. 섭동 분석은 그레이스케일 변환, 안개, 거친 드롭아웃, 그림자를 가장 파괴적인 외관 변화로 식별하며, 그에 따른 증강 정책이 재학습 동안 견고성을 크게 향상시킨다. 적응된 모델은 제한된 타깃 감독 하에서 외부 농업 데이터셋으로의 효과적인 전이를 추가로 보여주며, 이는 확산 정제와 경계 인식 최적화가 전이 가능한 구조적 사전(prior)을 제공함을 시사한다. 전반적으로, 결과는 섭동 인식 재학습과 결합된 신중하게 매칭된 백본-정제기 쌍이 현실적인 자원 및 분포 제약 하에서 구조적 윤곽화와 견고성을 개선할 수 있음을 보여준다.

arXiv:2607.21137v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

스마트폰 기반 보조 내비게이션을 위한 안전 지향 인도 및 도로 분할

Safety-oriented sidewalk and road segmentation for smartphone-based assistive navigation

독립적인 인도 이동은 시각장애 및 저시력 보행자(BVIP)에게 필수적이지만, 스마트폰 기반 보조 내비게이션은 보행 가능한 인도와 인접한 위험 구역을 구분하는 지각 모델이 필요하다. 본 연구는 미래 모바일 안내를 위한 안전 지향 의미 분할(semantic segmentation) 프레임워크를 제시한다. 우리는 2,752개의 이미지-마스크 쌍과 9개 클래스의 내비게이션 관련 분류 체계를 갖춘 가슴 높이 보행자 시점 데이터셋 SENSATION-DS를 소개한다. 외부 도시 및 인도 데이터셋을 이 레이블 공간에 맞게 조화했으며, 마스크 조건 합성 이미지와 Segment Anything Model 2(SAM2) 의사 레이블을 사용한 단계적 타깃 도메인 적응(staged target-domain adaptation)으로 5가지 분할 아키텍처를 평가했다. 모델은 평균 교차율(mIoU), 도로 및 인도 특화 지표, 대리 거짓 안전(proxy false-safe) 척도인 Road-as-Sidewalk Error Rate, Android Open Neural Network Exchange(ONNX) 벤치마킹으로 평가되었다. 합성 증강은 일반적으로 분할 정확도를 향상시켰으며, SAM2 의사 레이블은 Road-as-Sidewalk 오류를 더 일관되게 감소시켰다. UPerNet-MobileNetV3는 최고 오프라인 mIoU(0.715 ± 0.006)를 달성했으며, DeepLabV3Plus-MobileNetV3는 최저 Road-as-Sidewalk Error Rate(0.079)와 512×384 해상도에서 최고 Android 런타임(7.383 FPS)을 달성했다. 이 결과는 보조 인도 지각이 분할 정확도, 대리 거짓 안전 행동, 스마트폰 배포 가능성을 함께 평가해야 함을 보여주며, 실제 세계적 이득은 BVIP 사용자와의 검증이 필요하다. 이 평가는 정확한 지각, 보수적 오류 행동, 실용적 런타임의 균형을 맞추는 모델 선택을 뒷받침한다.

arXiv:2607.20385v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

Persian Pixel: 페르시아어 대규모 합성 OCR 데이터셋

Persian Pixel: A large-scale synthetic OCR dataset for Persian language

페르시아어에 대한 광학 문자 인식(OCR)은 여러 국가에서 1억 1천만 명 이상이 사용하는 언어임에도 불구하고, 라틴 문자 언어에 비해 아직 크게 덜 성숙한 상태이다. 이러한 격차는 두 가지 근본적인 도전에서 비롯된다: 페르시아-아랍 문자 체계의 고유한 복잡성과 대규모·고품질 주석 데이터셋의 제한적 가용성이다. 페르시아 문자는 필수적인 연속 필기(cursive) 연결, 문맥 의존적 글리프 형태, 광범위한 합자(ligature), 모음 기호(diacritic) 배치, Naskh·Nastaliq와 같은 서체 간의 스타일 변화를 보이며, 이는 모두 문자 인식을 상당히 복잡하게 만든다. 동시에 수동 주석의 높은 비용과 노동 집약적 특성은 지속적인 데이터 병목을 초래하여, 견고한 OCR 시스템 개발을 제한하고 페르시아 문서 디지털화의 진전을 늦추고 있다. 본 논문에서는 이러한 과제를 해결하기 위해 특별히 설계된 포괄적인 합성 OCR 데이터셋인 Persian Pixel을 소개한다. 34만 3천 개 이상의 고품질 이미지-텍스트 쌍으로 구성된 이 데이터셋은, SynthOCR-Gen 렌더링 프레임워크를 사용해 신중하게 구축한 700만 단어 규모의 페르시아어 코퍼스로부터 생성된 문장, 단락, 전체 페이지 문서 레이아웃을 포괄한다. 생성 파이프라인은 문맥적 문자 결합, 위치별 글리프 변형, 모음 기호 배치, 여러 대표적 페르시아어 활자체 등 페르시아 문자의 조판학적 특성을 충실히 모델링한다. 합성-실제(synthetic-to-real) 도메인 격차를 줄이기 위해, 렌더링된 이미지는 잉크 번짐, 종이 노화, 흐림, 조명 변화, 스캐너 결함, 압축 아티팩트, 다양한 노이즈 과정 등 현실적인 문서 취득 아티팩트를 모사하는 25개 이상의 확률적 열화(degradation) 모델로 추가로 풍부화된다. 오랫동안 지속된 주석 페르시아어 OCR 데이터 부족을 극복함으로써, Persian Pixel은 TrOCR, Donut과 같은 트랜스포머 기반 모델을 포함한 최신 OCR 아키텍처의 학습과 미세조정을 위한 확장 가능하고 공개적으로 이용 가능한 자원을 제공한다. 이 데이터셋은 페르시아 문서 분석, 역사적 필사본 디지털화, end-to-end 문서 이해 연구를 위한 견고한 토대를 마련하는 동시에, 프로그래밍 방식의 합성 데이터 생성이 저자원·조판학적으로 복잡한 문자에서 OCR을 발전시키기 위한 수동 주석의 실용적이고 비용 효율적이며 확장 가능한 대안이 될 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.