PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.13279v2cs.CV

MODA General Attribute Suite: 패션 속성 추출을 위한 4트랙 평가 벤치마크

The MODA General Attribute Suite: A Four-Track Evaluation Benchmark for Fashion Attribute Extraction

패션 속성 추출(fashion attribute extraction)은 일관성 없이 평가되고 있다: 결과는 서로 다른 문제를 제기하는 이미지 유형 전반에 걸쳐 단일 집계 수치로 보고되고, 이미지에 보이지 않는 필드는 일반적인 음성(negative)으로 채점되며, 데이터셋 간 어휘 불일치(vocabulary mismatch)의 영향은 인정되지만 측정되지는 않는다. 우리는 이러한 문제들을 설계상 분리하여 유지하는 4트랙 벤치마크인 MODA General Attribute Suite를 공개한다. 각 트랙(국소화된 의류 크롭(localized garment crop), 카탈로그 제품 이미지, 적용 가능성(applicability)을 고려한 전신 사진, 제품 텍스트)은 각각 고정된(frozen) 테스트 세트, 입력 계약(input contract), 지표(metric), 누출 단위(leakage unit)를 가지며, 트랙 간에는 결코 평균을 내지 않는다. 프로토콜은 레이블을 보지 않는(label-blind) 예측, 레이블을 공개하기 전 예측 파일의 SHA-256 커밋(commitment), 폐쇄 실패형(fail-closed) 채점기, 그리고 각 트랙의 고유한 누출 단위에서의 10,000-샘플 페어드 클러스터 부트스트랩(paired cluster bootstrap)을 요구한다; 승급(promotion)에는 유리한 평균이 아니라 모든 트랙에서 양의 구간(positive interval)이 요구된다. 우리는 채점기(scorer), 분할 빌더(split builder), 주요 결과에 포함된 모든 이미지 트랙 시스템과 성능이 뒤처진 실행(run)에 대해서도 해시를 포함한 자체 예측 파일, 그리고 4개 트랙 중 3개에 대한 MODA_NER(V) 모델 체크포인트를 공개한다. 텍스트 모델은 배포되지 않으나 그 벤치마크는 배포된다. 우리는 기준선(baseline) 결과, 이를 개선하지 못한 6가지 개입(intervention), 그리고 근거의 한계를 보고한다. 의류 크롭(garment-crop) 트랙에서는 헤드라인 결과가 벤치마크 자체의 설계에 얼마나 의존하는지도 측정한다: 두 최상위 시스템의 순위는 필드를 마이크로 평균(micro-average)할지 매크로 평균(macro-average)할지에 따라 달라지며, 프로토콜이 판정하는 셀(cell)의 3분의 2는 어노테이션(annotation)이 전혀 없고, 적용 가능성 판단(applicability decision)을 비활성화하면 속성 마이크로 F1(micro-F1)이 0.63에서 0.27로 떨어진다. 따라서 이 점수의 대부분은 원본 레이블로는 판정할 수 없는 부재(absence) 판단에 의존하고 있다. 이 버전에서는 또한 추론(inference) 전처리 결함이 영향을 미쳤던 외부 비교의 수치 하나를 수정하였다.

arXiv:2607.01293v1cs.CL

RuleChef: Grounding LLM Task Knowledge in Human-Editable Rules

RuleChef는 텍스트 분류, 개체명 인식(NER), 관계 추출 등 자연어 처리(NLP) 작업을 위해 대규모 언어 모델(LLM)이 학습 시점에만 관여하여 실행 가능한 규칙을 자동 생성하고, 인간 피드백과 반복적 패치를 통해 이를 개선하는 프레임워크다. 추론 시에는 LLM 없이 결정론적 규칙만으로 동작하여 빠르고 투명한 시스템을 구현하며, 텍스트 분류 및 NER 실험에서 프롬프팅 기반 방식과 신경망 기반 추출기에 대응하는 성능을 보인다.

arXiv:2606.29054v1cs.LG

컨포멀 리스크 제어는 언제 LLM 출력을 인증할 수 있는가? 구조화 생성을 위한 경계, 불가능성, 및 적응

When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation

구조화 생성(NER, JSON 추출, QA, 분류)에 배포된 대규모 언어 모델(LLM)은 공식적인 신뢰성 보장이 부재하며, 표준 휴리스틱 기권 정책은 사용자 지정 리스크 목표를 7.5--12.5% 초과한다. 우리는 컨포멀 리스크 제어(CRC)가 구조화된 LLM 출력을 인증할 수 있는 경우와 증명 가능하게 인증할 수 없는 경우를 규명한다. 첫째, 불가능성 결과를 증명한다: 기저 리스크(μ> α)일 때, 분포 무관 방법은 적어도 ((μ-α)/(1-α)) 비율의 예시에서 반드시 기권해야 하며, 이는 CRC 실행 전에 작동 여부를 확인할 수 있는 폐형(closed-form) 실현 가능성 검정을 도출한다. 둘째, Hoeffding, 경험적 Bernstein, 베팅 기반 e-CRC 경계에 걸친 인증 계층 구조를 분석하며, 저분산/대표본 체제에서 엄격한 성능 향상을 확인한다: Hoeffding에서 Bernstein으로의 전환이 가장 큰 향상(+37% 인증 구성)을 제공하고, e-CRC는 보정 데이터가 희소할 때 가치를 더한다(데이터 20% 수준에서 10% 인증 달성, Hoeffding은 0%). 셋째, 교차 데이터셋 분포 이동 하에서 적응형 컨포멀 추론(ACI)을 검증하여 리스크 목표 위반을 71%에서 21%로 감소시키며, 잔류 실패는 불가능성 경계가 예측하는 바로 그 지점에 집중됨을 확인한다. 6개의 오픈 가중치 모델(3B--72B 파라미터), 8개의 데이터셋, 4개의 태스크, 6개의 비적합성 점수에 걸쳐, 난이도 높은 NER/QA/분류 구성은 (α= 0.10)에서 인증 불가능하며; (α= 0.30--0.40)으로 완화하면 실용적인 인증이 가능해진다(NER 47%, QA 40%, 분류 60%). 이 프레임워크는 세 단계 배포 방법론을 제시한다: 실현 가능성 확인, 경계 및 점수 선택, 그 후 분포 이동 완화.

arXiv:2606.28999v1cs.CL

BERTomelo: 포르투갈어 인코더의 최강 파트너

BERTomelo: Your Portuguese Encoder Best Friend

인코더는 특히 깊은 문맥적 이해가 요구되는 다양한 자연어 처리(NLP) 태스크에서 최신 기술 수준을 대표하게 되었다. 다국어 모델이 폭넓은 언어 커버리지를 제공하는 반면, 특정 언어의 고유한 어휘적·통사적 특성을 포착하기 위해서는 단일 언어 전용 인코더가 필수적이다. 그러나 포르투갈어의 경우, BERTimbau와 Albertina 같은 기존 단일 언어 옵션들은 최근의 아키텍처 혁신을 따라가지 못하고 있으며, 확장성과 효율성 면에서 영어 벤치마크에 비해 뒤처지는 경우가 많다. 본 연구는 포르투갈어에 특화하여 처음부터 사전학습된 차세대 단일 언어 인코더 BERTomelo를 소개한다. BERTomelo는 ModernBERT 아키텍처를 활용하여 기존 모델의 한계를 극복하며, 1,024 토큰 컨텍스트 윈도우와 FlashAttention 및 교번 어텐션(alternating attention) 메커니즘과 같은 하드웨어 수준의 최적화를 갖춘 Base 및 Large 버전을 제공한다. 이 모델은 1억 600만 건의 문서로 구성된 대규모 고품질 포르투갈어 코퍼스 ClassiCC-PT로 학습되어 해당 언어의 현대적 용법과의 우수한 정렬을 보장한다. 실험 결과, BERTomelo는 기존 포르투갈어 인코더를 능가할 뿐만 아니라, STS 및 NER 등의 다운스트림 태스크에서 대규모 다국어 모델에 비해 더욱 견고하고 효율적인 대안을 제공함을 입증한다.

arXiv:2606.28002v1cs.CL

대화에서 탐지까지: 보험 사기 탐지를 위한 멀티모달 하이브리드 NLP 파이프라인

Dialogue to Detection: A Multimodal Hybrid NLP Pipeline for Insurance Fraud Detection

보험 사기 조기 탐지를 위해 GPT-2 기반 대화 전사본 생성, xTTS 2화자 오디오 합성, WhisperX ASR·화자 분리, NER·RAG·화자 임베딩을 결합한 규칙 기반 위험 점수화를 하나로 통합한 합성 멀티모달 파이프라인을 제안한다. 서사 재사용, 구조적 불일치, 사례 간 음성 반복을 탐지하는 재현 가능한 FNOL 기준선을 제공하며, 텍스트 전용 방식의 한계를 넘어 공개 멀티모달 데이터셋 부재 문제를 해결한다.

arXiv:2606.19852v2cs.CL

Prompt, Plan, Extract: 임상 서술에서 폐 병리 정보 추출을 위한 제로샷 에이전트 LLM 워크플로

Prompt, Plan, Extract: Zero-Shot Agentic LLMs Workflows for Lung Pathology Extraction from Clinical Narratives

병리 보고서에서의 정보 추출은 암 병기(staging)와 종양 등록(tumor registry) 데이터 구축에 필수적이다. 그러나 핵심 데이터는 여전히 서술형 보고서에 묻혀 있어, 수동 추출은 노동 집약적이고 오류가 발생하기 쉽다. 전통적인 지도 학습 자연어 처리(NLP) 파이프라인은 완전 지도 학습 방식의 개체명 인식과 관계 추출로 이 문제를 다루지만, 값비싼 수동 주석이 필요하고 상류 개체를 놓칠 때 연쇄적 실패가 발생한다. 본 연구에서는 제로샷 에이전트 워크플로를 개발하고, 폐 절제술 병리 보고서에서 College of American Pathologists(CAP)의 13개 synoptic 필드를 채우기 위해 5개의 오픈소스 생성형 대규모 언어 모델(LLM)을 평가했다. 새로운 등록(registry) 정렬 평가 프레임워크를 사용하여 최신 지도 학습 GatorTron NER-RE 기준선과 비교했다. 기준선은 Micro-F1 0.960을 달성했고, 최고의 제로샷 모델(GPT-OSS-20B)은 Micro-F1 0.893(재현율: 0.949)을 달성하여, 과제별 학습 없이 Pathologic Stage와 같은 복잡한 관계를 정확히 추출했다. 이러한 결과는 오픈소스 제로샷 에이전트 LLM이 폐 병리 정보 추출을 위한 저비용 솔루션으로 큰 잠재력을 보인다는 것을 시사한다.

arXiv:2602.17663v3cs.AI

CLEF HIPE-2026: Evaluating Accurate and Efficient Person-Place Relation Extraction from Multilingual Historical Texts

CLEF HIPE-2026는 노이즈가 많은 다국어 역사 텍스트에서 인물-장소 연관을 추출하는 평가 실험으로, 과거 방문 여부(at)와 게재 시점 위치(isAt) 두 유형을 시간·지리적 단서로 분류하도록 설계되었다. 정확도, 계산 효율, 도메인 일반화를 함께 평가하며, 지식 그래프 구축과 역사 전기 재구성·공간 분석 등 디지털 인문학 응용을 지원하는 것을 목표로 한다.

arXiv:2606.18780v1cs.CV

SAMA: 통합 저자원 멀티모달 정보 추출을 위한 시맨틱 앵커 정렬 데이터 증강

SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction

멀티모달 정보 추출(MIE)은 멀티모달 개체명 인식(MNER), 관계 추출(MRE), 이벤트 추출(MEE)와 같은 작업을 포함하며, 멀티미디어 콘텐츠 이해에 필수적이지만 심각한 데이터 희소성으로 인해 여전히 제약이 있습니다. 데이터 증강은 유망한 해결책이지만, 기존 접근 방식은 조잡한 모달 간 정렬과 공유 시맨틱 지식을 활용하지 못하는 파편화된 작업 특화 설계로 인해 한계가 있습니다. 이러한 한계를 극복하기 위해, 우리는 고품질의 태스크 인식 합성 데이터를 생성하는 통합 프레임워크인 시맨틱 앵커 정렬 멀티모달 증강(SAMA)을 소개합니다. SAMA는 ground-truth 레이블에서 구조화된 시맨틱 앵커를 구성하여 협업형 다중 전문가 멀티모달 대규모 언어 모델(CME-MLLM)을 안내하며, 이 모델은 공유 시맨틱을 위한 유니버설 어댑터와 태스크 특화 어댑터를 통합하여 다양하면서도 제약 조건을 준수하는 텍스트 샘플을 생성합니다. 이미지 합성을 위해 SAMA는 앵커 가중치 프롬프트와 잠재 조건을 사용하여 시각적 맥락을 다양화하는 동시에 핵심 시맨틱 앵커를 유지하는 앵커 보존 디퓨전(Anchor-Preserving Diffusion) 메커니즘을 사용합니다. 수동 검증의 필요성을 제거하기 위해 SAMA는 모달 간 일관성과 앵커 충실도를 기반으로 합성 샘플을 선택하는 이중 제약 필터링(Dual-Constraint Filtering) 모듈을 추가로 도입합니다. MNER, MRE, MEE에 대한 벤치마크 데이터셋에서 수행한 광범위한 실험을 통해 SAMA가 완전 지도 및 저자원 설정 모두에서 최첨단 증강 기준선을 일관되게 능가함을 입증하였으며, 이는 그 다양성, 견고성, 그리고 효과성을 강조합니다.

arXiv:2606.10725v2cs.LG

Pre-AF 13: 퇴원 보고서에서 도출한 해석 가능한 심방세동 위험 점수

Pre-AF 13: An Interpretable Atrial Fibrillation Risk Score Mined from Discharge Reports

기존 심방세동(AF) 위험 점수의 한계를 극복하기 위해 전자 건강 기록(EHR)의 퇴원 보고서에서 자연어 처리(NLP)와 트랜스포머 기반 개체명 인식(NER)을 활용하여 특징을 추출하고 LightAutoML로 해석 가능한 모델을 개발했습니다. 13개의 특징을 사용하는 Pre-AF 13 모델은 기존 임상 위험 점수보다 우수한 성능을 보이며 심혈관 질환(CVD) 환자의 심방세동 발생 위험을 효과적으로 예측했습니다.

arXiv:2605.04221v2cs.CL

프라이버시 민감 임상 정보 추출을 위한 자기 프롬프팅 소형 언어 모델

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

치과 경과 기록에서의 임상 개체명 인식(named entity recognition)은 문서화가 매우 비구조적이고 도메인 특화적이며 종종 프라이버시에 민감하기 때문에 어렵습니다. 우리는 치과 기록에서 여러 임상 개체를 추출하기 위해 소형 언어 모델이 개체별 프롬프트를 자체 생성, 검증, 정제 및 평가할 수 있게 하는 로컬 배포 가능한 프레임워크를 개발했습니다. 1,200개의 주석이 달린 기록을 사용하여 다중 프롬프트 앙상블 추론(multi-prompt ensemble inference)으로 후보 오픈 가중치 모델을 평가했으며, QLoRA 기반 지도 미세조정(supervised fine-tuning)과 직접 선호 최적화(direct preference optimization)를 사용하여 선택된 모델을 추가로 적응시켰습니다. 모델 성능은 크게 달라졌으며, 이는 일반적인 벤치마크에 의존하기보다는 작업별 평가의 필요성을 강조합니다. Qwen2.5-14B-Instruct가 가장 강력한 기준선 성능을 달성했습니다. DPO 후, Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct는 각각 0.864/0.837과 0.806/0.797의 마이크로/매크로 F1 점수를 달성했습니다. 이러한 발견은 자동화된 프롬프트 최적화와 경량의 선호 기반 사후 학습(post-training)을 결합하면 로컬 배포된 소형 언어 모델을 사용한 확장 가능한 임상 정보 추출을 지원할 수 있음을 시사합니다.