Autocorrect for Estonian texts: final report from project EKTB25
원문 초록
The project was funded in 2021-2023 by the National Programme of Estonian Language Technology. Its main aim was to develop spelling and grammar correction tools for the Estonian language. The main challenge was the very small amount of available error correction data needed for such development. To mitigate this, (1) we annotated more correction data for model training and testing, (2) we tested transfer-learning, i.e. retraining machine learning models created for other tasks, so as not to depend solely on correction data, (3) we compared the developed method and model with alternatives, including large language models. We also developed automatic evaluation, which can calculate the accuracy and yield of corrections by error category, so that the effectiveness of different methods can be compared in detail. There has been a breakthrough in large language models during the project: GPT4, a commercial language model with Estonian-language support, has been created. We took into account the existence of the model when adjusting plans and in the report we present a comparison with the ability of GPT4 to improve the Estonian language text. The final results show that the approach we have developed provides better scores than GPT4 and the result is usable but not entirely reliable yet. The report also contains ideas on how GPT4 and other major language models can be implemented in the future, focusing on open-source solutions. All results of this project are open-data/open-source, with licenses that allow them to be used for purposes including commercial ones.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.