MetricOpt: Learning to Optimize Black-Box Evaluation Metrics
원문 초록
We study the problem of directly optimizing arbitrary non-differentiable task evaluation metrics such as misclassification rate and recall. Our method, named MetricOpt, operates in a black-box setting where the computational details of the target metric are unknown. We achieve this by learning a differentiable value function, which maps compact task-specific model parameters to metric observations. The learned value function is easily pluggable into existing optimizers like SGD and Adam, and is effective for rapidly finetuning a pre-trained model. This leads to consistent improvements since the value function provides effective metric supervision during finetuning, and helps to correct the potential bias of loss-only supervision. MetricOpt achieves state-of-the-art performance on a variety of metrics for (image) classification, image retrieval and object detection. Solid benefits are found over competing methods, which often involve complex loss design or adaptation. MetricOpt also generalizes well to new tasks and model architectures.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SUT: a new multi-purpose synthetic dataset for Farsi document image analysis
A Robust Feature Downsampling Module for Remote Sensing Visual Tasks
Semantic Structure Enhanced Contrastive Adversarial Hash Network for Cross-media Representation Learning
Label Consistent Fisher Vectors for Supervised Feature Aggregation
LENS-GRF: 여드름 중증도 등급 분류 및 다중 평가자 임상 오라클 분석을 위한 게이트 잔차 융합 기반 순열 불변 병변 근거 네트워크
LENS-GRF: Permutation-Invariant Lesion Evidence Network with Gated Residual Fusion for Acne Severity Grading and Multi-Rater Clinical Oracle Analysis
국소 병변 증거는 자동 여드름 중증도 등급 판정을 개선할 수 있으나, 검출기 오류와 임상 등급 기준의 차이가 일반화를 제한할 수 있다. 우리는 전역 Vision Transformer와 YOLO11s 제안에서 얻은 병변 영역 임베딩을 결합하는, 순열 불변 집계와 게이트 잔차 융합을 갖춘 병변 증거 네트워크인 LENS-GRF를 평가하였다. 완전 자동 4-클래스 등급 판정은 ACNE04의 보류 이미지 292장에서 평가하였고, 외부 적응 없이 600개 안면 뷰로 표현되는 PLSBRACNE01 참여자 200명에서도 평가하였다. 주석 보조 추론은 148명의 일치된 부분집합에서 피부과 전문의 3인의 정합된 병변 상자를 사용하였다. 성능 지표로는 정확도, 매크로 평균 정밀도, 민감도, 일대다 특이도를 사용하였다. 쌍체 비교에는 Holm 보정을 적용한 정확 McNemar 검정을 사용하였다. ACNE04에서 자동 LENS-GRF는 정확도 80.82%, 매크로 정밀도 78.80%, 민감도 78.92%, 특이도 92.78%를 달성하였다. 병변 상자를 제공한 경우 내부 정확도는 세 시드 평균 95.89%였다. 전체 외부 코호트에서 자동 LENS-GRF의 정확도는 35.00%로, 독립적으로 학습한 전역 기준선의 42.50%보다 낮았다. LENS-GRF의 외부 매크로 정밀도, 민감도, 특이도는 각각 50.52%, 34.31%, 78.19%였다. 일치된 부분집합에서 의사 A의 병변 주석을 사용한 정확도는 47.97%로, 자동 추론의 35.14%와 비교되었다(비보정 $p = 0.0094$; Holm 보정 $p = 0.0846$). 병변 주석을 제공했을 때의 우수한 내부 성능은 외부 코호트에서의 신뢰할 만한 자동 등급 판정으로 이어지지 않았다. 임상 사용 전에는 더 신뢰할 수 있는 병변 검출, 등급 기준 차이를 고려한 모델링, 독립적 검증이 필요하다.
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.