arXiv:2609.27457v1 cs.CV

균형 정확도를 넘어서: 무인 항공기 전력선 점검에서 비전-언어 및 비전 전용 결함 평가를 위한 해상도 및 동등성 제어 벤치마크

Beyond Balanced Accuracy: A Resolution and Parity-Controlled Benchmark for Vision-Language and Vision-Only Defect Assessment in UAV Power-Line Inspection

Linghao Zhang, Siyu Xiang, Junwei Kuang, Peiyu Yi

제출 2026-09-24

한국어 초록

무인 항공기(UAV) 전력선 결함 평가에서 비전-언어 모델(VLM)이 작업 특화 비전 백본의 성능을 능가한다고 종종 보고됩니다. 본 연구에서는 공개 InsPLAD 데이터셋에서 파생된 56,972개 항목의 벤치마크인 ElecVQA-Bench를 대상으로, 분할(partition), 평가 항목 세트, 레이블 공간, 반복 검증(replication), 입력 해상도, 부가 정보라는 6가지 평가 선택에 걸쳐 해당 주장을 검증합니다. 일치된 분할 조건에서 Swin 트랜스포머(Swin Transformer)와 가장 우수한 적응형 VLM 간의 이진 선별 차이는 0.03포인트에 불과합니다. 7개 클래스 결함 분류에서 비전 백본의 해상도를 224px에서 VLM 전처리기의 측정된 픽셀 예산으로 증가시키면 InternVL3.5-8B 대비 성능 격차가 ResNet-50의 경우 +20.53포인트에서 -0.57포인트로, Swin-T의 경우 +23.67포인트에서 +4.70포인트로 좁혀집니다. 픽셀 예산 감사를 통해 Qwen3-VL-8B의 매크로 재현율(macro recall)이 10.78포인트 변화하지만, 소스 픽셀을 일치시킨 InternVL 대조군에서도 Qwen은 56% 더 적은 시각적 토큰을 사용하면서도 여전히 7.43~13.61포인트 앞서므로, 소스 픽셀이나 토큰 예산 모두 두 VLM 간의 차이를 설명하지 못합니다. 2개 시드에 대한 전역 반복 검증 결과 Qwen의 이진 정확도와 7개 클래스 매크로 재현율은 각각 0.86포인트와 1.02포인트 변동합니다. 분할별 재학습 후 Qwen은 크롭 또는 이미지 수준에서 우위를 점하지 못하며, 14개 타워 및 3개 시드 반복 검증에서는 시드 간에 부호가 역전되어 ResNet-50의 평균 공통 6개 클래스 매크로 재현율 0.9509 대비 Qwen은 0.9085를 기록합니다. 어떤 분할 체제에서도 다중 비교 보정(multiple-comparison correction)을 거치고 살아남는 모델 패밀리 수준의 이점은 나타나지 않습니다. 본 연구는 VLM의 전반적인 우월성에 대한 주장보다는 벤치마크 감사 기여를 뒷받침합니다.

원문 초록

Vision-language models (VLMs) are often reported to outperform task-specific vision backbones for unmanned aerial vehicle (UAV) power-line defect assessment. We test that claim on ElecVQA-Bench, a 56,972-item benchmark derived from the public InsPLAD dataset, across six evaluation choices: partition, evaluated item set, label space, replication, input resolution, and side information. On a matched partition, a Swin Transformer and the strongest adapted VLM differ by only 0.03 points at binary screening. At seven-way defect typing, increasing the vision backbones from 224 px to the measured pixel budget of the VLM preprocessor narrows the gap against InternVL3.5-8B from +20.53 to -0.57 points for ResNet-50 and from +23.67 to +4.70 points for Swin-T. A pixel-budget audit shifts Qwen3-VL-8B macro recall by 10.78 points, yet a source-pixel-matched InternVL control still leaves Qwen ahead by 7.43 to 13.61 points while using 56% fewer visual tokens, so neither source pixels nor token budget explains the difference between the two VLMs. A two-seed global replication changes Qwen binary accuracy and seven-way macro recall by 0.86 and 1.02 points. After split-specific retraining, Qwen does not lead at crop or image level, and a 14-tower, three-seed replication reverses the sign across seeds, giving mean common-six macro recall of 0.9085 for Qwen against 0.9509 for ResNet-50. No split regime yields a family-level advantage that survives multiple-comparison correction. The study supports a benchmark-audit contribution rather than a general claim of VLM superiority.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27457v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13675v1eess.IV공통 태그 Image Classification, Binary Classification, Benchmarking

멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹

Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets

멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.

arXiv:2610.15818v1cs.LG공통 태그 Anomaly Detection, Benchmarking

실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹

Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry

현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.

arXiv:2610.15870v1cs.CL공통 태그 Binary Classification, Benchmarking

검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가

Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh

AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.

arXiv:2610.13610v1cs.CV공통 태그 Anomaly Detection, Image Classification

CUBE: 오픈셋 곤충 종 인식을 위한 클래스 조건부 미지 경계 증거

CUBE: Class-conditioned Unknown Boundary Evidence for Open-Set Insect Species Recognition

오픈셋(open-set) 곤충 종 인식은 실제 생물다양성 시나리오에 적용될 때, 특히 학습(training)에 사용된 기지(known) 클래스와 시각적으로 매우 유사한 미지(unknown) 종을 마주할 경우 심각한 어려움에 직면합니다. 일반적인 분포 외(OOD, out-of-distribution) 샘플과 달리, 세밀한(fine-grained) 미지 곤충은 시각적으로 이상 징후를 보이지 않는 경우가 많습니다. 대신 특정 기지 종의 결정 경계(decision boundary) 근처에 나타나는 경향이 있어 신뢰할 수 없는 닫힌 집합(closed-set) 예측을 초래합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 미지성을 단일 글로벌 미지 클래스로 다루는 대신 각 기지 종 주변에서 모델링하는 새로운 증거 기반 프레임워크인 Class-conditioned Unknown Boundary Evidence(CUBE)를 제안합니다. 우리의 핵심 아이디어는 테스트 샘플을 가장 유사한 기지 종과 비교하여 평가함으로써, 시각적으로 혼동하기 쉬운 미지 곤충에 대한 국소적 거부(local rejection)를 가능하게 하는 것입니다. CUBE는 보조 종(auxiliary species)으로부터 클래스 조건부 경계 증거를 학습하고, 추론(inference) 중에는 보조 종을 섀도우 레퍼런스(shadow reference)로 보존하며, 생물학적 타당성을 검증하기 위해 분류학적 후보 보정(taxonomic candidate calibration)을 통합합니다. 생태학적 메타데이터를 사용할 수 있는 경우, 시각 백본을 수정하지 않고 경량의 위치 일관성(location-consistency) 항을 추가하는 CUBE-E를 추가로 도입합니다. Open-Insect C-America 벤치마크 실험 결과, CUBE는 94.9%의 닫힌 집합 정확도를 유지하면서 국소(local), 비국소(non-local), 비나방(non-moth) 미지 분할에서 각각 95.8%, 98.7%, 99.1%의 AUROC로 최첨단(SOTA) 베이스라인을 능가하는 우수한 성능을 달성함을 보여줍니다. 생태학적 메타데이터를 활용한 CUBE-E는 이를 더욱 향상시켜 95.2%의 닫힌 집합 정확도와 함께 96.0%, 99.7%, 99.5%의 AUROC를 기록합니다.

arXiv:2610.13627v1cs.CL공통 태그 Binary Classification, Benchmarking

AMLworld-Compact: 비용 효율적인 LLM 평가 및 오류 진단을 위한 중요도 가중치 다운샘플링

AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis

AMLworld의 가장 작은 테스트 분할에서 대규모 언어 모델(LLM)을 평가하는 것은 100만 개가 넘는 타깃 각각에 별도의 그래프 프롬프트(prompt)가 필요하기 때문에 비용이 많이 듭니다. 샘플링을 통해 이러한 비용을 줄일 수 있지만, 크기가 작은 균형 잡힌 서브셋은 가중치가 적용되지 않은 정밀도(precision)와 F1 점수를 변화시킵니다. 본 논문에서는 모든 불법 테스트 거래를 보존하면서 지도학습 점수 층(strata)에서 정상 거래를 샘플링하는 평가 셋인 AMLworld-Compact를 소개합니다. 이 세트의 HT-Coreset 프로토콜은 HI-Small 및 LI-Small에서 평가 타깃을 각각 271배 및 611배 줄입니다. 호비츠-톰슨(Horvitz-Thompson) 가중치(weight)는 고정된 예측에 대해 편향되지 않은 전체 테스트 오차 행렬 카운트 추정치를 제공하며, 재현율(recall)은 정확하고 정밀도와 F1은 비율 추정치입니다. Graph Feature Preprocessor(GFP) 특징(feature)을 사용한 홀드아웃 연구에서, 한 부스팅 트리 계열이 구성당 500회 추출에 걸쳐 다른 부스팅 트리 계열을 평가하기 위한 층을 정의합니다. 공개된 크기에서 HT 가중치를 적용한 균일 샘플링의 F1 RMSE가 4.44~7.41%포인트인 것에 비해, 본 방식은 0.00~2.58%포인트였으며 보수적 구간은 여전히 넓게 유지됩니다. 평가된 그래프 프롬프트 하에서, 7개의 오픈 가중치 LLM은 모두 불법으로 예측하는 기준선(baseline)에 근접한 가중 정밀도를 보였습니다. 모델(model)당 1회 실행에서 추출한 1,000개의 HI-Small 퓨샷 출력에 대한 결과 층화 감사에서, 어휘 검사는 정답인 이진 판정의 84.5%와 오답인 이진 판정의 56.2%를 통과했으므로 이러한 표식이 정확성을 입증하지는 못합니다. 저자들은 평가 셋, 구축 코드 및 감사 도구를 https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval 및 https://github.com/nat-nischw/AMLworld-Compact 에 공개합니다.

arXiv:2610.03193v1cs.CV공통 태그 Image Classification, Benchmarking

연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가

Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification

최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.