MODA General Attribute Suite: 패션 속성 추출을 위한 4트랙 평가 벤치마크
The MODA General Attribute Suite: A Four-Track Evaluation Benchmark for Fashion Attribute Extraction
한국어 초록
패션 속성 추출(fashion attribute extraction)은 일관성 없이 평가되고 있다: 결과는 서로 다른 문제를 제기하는 이미지 유형 전반에 걸쳐 단일 집계 수치로 보고되고, 이미지에 보이지 않는 필드는 일반적인 음성(negative)으로 채점되며, 데이터셋 간 어휘 불일치(vocabulary mismatch)의 영향은 인정되지만 측정되지는 않는다. 우리는 이러한 문제들을 설계상 분리하여 유지하는 4트랙 벤치마크인 MODA General Attribute Suite를 공개한다. 각 트랙(국소화된 의류 크롭(localized garment crop), 카탈로그 제품 이미지, 적용 가능성(applicability)을 고려한 전신 사진, 제품 텍스트)은 각각 고정된(frozen) 테스트 세트, 입력 계약(input contract), 지표(metric), 누출 단위(leakage unit)를 가지며, 트랙 간에는 결코 평균을 내지 않는다. 프로토콜은 레이블을 보지 않는(label-blind) 예측, 레이블을 공개하기 전 예측 파일의 SHA-256 커밋(commitment), 폐쇄 실패형(fail-closed) 채점기, 그리고 각 트랙의 고유한 누출 단위에서의 10,000-샘플 페어드 클러스터 부트스트랩(paired cluster bootstrap)을 요구한다; 승급(promotion)에는 유리한 평균이 아니라 모든 트랙에서 양의 구간(positive interval)이 요구된다. 우리는 채점기(scorer), 분할 빌더(split builder), 주요 결과에 포함된 모든 이미지 트랙 시스템과 성능이 뒤처진 실행(run)에 대해서도 해시를 포함한 자체 예측 파일, 그리고 4개 트랙 중 3개에 대한 MODA_NER(V) 모델 체크포인트를 공개한다. 텍스트 모델은 배포되지 않으나 그 벤치마크는 배포된다. 우리는 기준선(baseline) 결과, 이를 개선하지 못한 6가지 개입(intervention), 그리고 근거의 한계를 보고한다. 의류 크롭(garment-crop) 트랙에서는 헤드라인 결과가 벤치마크 자체의 설계에 얼마나 의존하는지도 측정한다: 두 최상위 시스템의 순위는 필드를 마이크로 평균(micro-average)할지 매크로 평균(macro-average)할지에 따라 달라지며, 프로토콜이 판정하는 셀(cell)의 3분의 2는 어노테이션(annotation)이 전혀 없고, 적용 가능성 판단(applicability decision)을 비활성화하면 속성 마이크로 F1(micro-F1)이 0.63에서 0.27로 떨어진다. 따라서 이 점수의 대부분은 원본 레이블로는 판정할 수 없는 부재(absence) 판단에 의존하고 있다. 이 버전에서는 또한 추론(inference) 전처리 결함이 영향을 미쳤던 외부 비교의 수치 하나를 수정하였다.
원문 초록
Fashion attribute extraction is evaluated inconsistently: results are reported as single aggregate numbers across image types that pose different problems, fields that are not visible in an image are scored as ordinary negatives, and the effect of vocabulary mismatch between datasets is acknowledged but not measured. We release the MODA General Attribute Suite, a four-track benchmark that keeps these problems separate by construction. Each track (localized garment crops, catalogue product images, applicability-aware full-body photographs, and product text) carries its own frozen test set, input contract, metric, and leakage unit, and the tracks are never averaged. The protocol requires label-blind prediction, SHA-256 commitment of prediction files before any label is opened, a fail-closed scorer, and a 10,000-sample paired cluster bootstrap at each track's natural leakage unit; promotion requires a positive interval on every track rather than a favourable mean. We release the scorers, the split builders, our own prediction files with their hashes for every image-track system in the main results and for runs we lose, and the MODA_NER(V) model checkpoints for three of the four tracks. The text model is not distributed; its benchmark is. We report baseline results, six interventions that did not improve them, and the limitations of the evidence. On the garment-crop track we also measure how far the headline depends on the benchmark's own design: the order of the two strongest systems depends on whether fields are micro- or macro-averaged, two thirds of the cells the protocol judges carry no annotation, and disabling the applicability decision cuts attribute micro-F1 from 0.63 to 0.27, so most of that score rests on absence decisions the source labels cannot adjudicate. This version also corrects one figure in an external comparison that an inference preprocessing defect had affected.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.13279v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NegT2IBench: 부정이 그림을 바꿀 때. 텍스트-이미지 모델을 위한 극성 벤치마크
NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models
텍스트-이미지(T2I) 모델은 주로 요청된 콘텐츠의 생성 여부를 측정하는 벤치마크로 평가되지만, 이러한 벤치마크는 "빨간색이 아닌 컵"을 생성하는 것과 같이 부정 제약 조건을 충족하는 상보적 능력을 대체로 간과합니다. 부정 측정은 긍정 기반 벤치마크에서는 직면하지 않는 과제를 제기하며 신중한 프롬프트(prompt) 및 평가(evaluation) 설계를 필요로 합니다. 본 연구에서는 두 가지 속성 유형과 네 가지 관계 범주를 다루는 4,800개의 프롬프트로 구성된 벤치마크인 NegT2IBench를 소개합니다. 프롬프트는 극성(polarity)에 따라 구성되며, 충족되어야 하는 긍정 진술과 충족되어서는 안 되는 부정 진술의 개수가 각각 0개에서 2개까지 주어집니다. 두 요소를 독립적으로 변화시킴으로써 부정의 효과와 프롬프트 복잡성의 효과를 분리합니다. 본 연구의 검출기 기반 채점은 재현 가능하고 감사 가능하며 어떤 요구 사항이 실패했는지 정확히 짚어냅니다. 3명의 작업자 라벨이 부여된 600개의 이미지에서, 최대 30배 더 큰 비전-언어(vision-language) 평가자만큼이나 인간과 가깝게 일치하면서도 GPU 메모리는 일부만 사용합니다. 11개의 T2I 모델과 211,200개의 이미지 전반에서 9개 모델이 단일 긍정 진술보다 단일 부정 진술에서 더 낮은 점수를 기록했습니다. 진술별 채점 분석 결과 색상에서 성능 손실(loss)이 가장 컸고 근접성에서는 거의 0에 가까웠으며, 실패한 진술의 41.5%는 프롬프트가 금지한 대상을 정확히 렌더링한 것으로 나타났습니다. 프롬프트가 요구하는 것을 렌더링하는 것과 금지하는 것을 배제하는 것은 종합적인 구성 점수로는 구별할 수 없는 별개의 능력입니다. NegT2IBench는 후자를 직접 측정하여 부정 실패를 진단하고 이를 극복하는 방법을 개발하기 위한 통제된 테스트베드를 제공합니다.
SGML: A Symmetric Graph Metric Learning Framework for Efficient Hyperspectral Image Classification
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
토론
이 논문과 연결된 포럼 글이 아직 없습니다.