Maximum Entropy Regularization and Chinese Text Recognition
원문 초록
Chinese text recognition is more challenging than Latin text due to the large amount of fine-grained Chinese characters and the great imbalance over classes, which causes a serious overfitting problem. We propose to apply Maximum Entropy Regularization to regularize the training process, which is to simply add a negative entropy term to the canonical cross-entropy loss without any additional parameters and modification of a model. We theoretically give the convergence probability distribution and analyze how the regularization influence the learning process. Experiments on Chinese character recognition, Chinese text line recognition and fine-grained image classification achieve consistent improvement, proving that the regularization is beneficial to generalization and robustness of a recognition model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Cross-Part Learning for Fine-Grained Image Classification
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
Performing Image Classification for 10 Different Monkey Species using CNN
Are These Birds Similar: Learning Branched Networks for Fine-grained Representations
억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화
Inhibited Self-Attention: Sharpening Focus in Vision Transformers
비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.
망막 OCT 분류를 위한 보정된 하이브리드 CNN-트랜스포머
Calibrated Hybrid CNN-Transformer for Retinal OCT Classification
망막 광학 간섭 단층 촬영(OCT) 분류를 위한 딥 모델들은 높은 정확도를 보고하지만, 해당 신뢰도(confidence)를 믿을 수 있는지는 거의 보고하지 않는다. 이는 잘못되었지만 확신에 찬 판독이 시력 보존 치료를 지연시킬 수 있다는 점에서 중요한 문제이다. 우리는 하이브리드 합성곱-트랜스포머 인코더에 그래디언트 부스팅(XGBoost) 분류 헤드를 결합하고, 신뢰도 보정, 분포 외(OOD) 거부, 예측별 불확실성 플래깅으로 구성된 세 가지 임상 안전성 층을 적용한다. 4클래스 OCT(84,495개 스캔)에서 모델은 95.4% 정확도를 달성하는 동시에 보정 오류를 12배 줄여(기대 보정 오류, ECE = 0.0024), 보고되는 신뢰도가 실제 정확도를 충실히 반영한다. 우리가 아는 한, 이는 세 가지 안전성 메커니즘 모두를 공동으로 검증한 최초의 OCT 분류기이며, 공개 가중치와 재현 가능한 다중 시드 평가를 함께 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.