arXiv:2401.12340

Contrastive Learning and Cycle Consistency-based Transductive Transfer Learning for Target Annotation

Shoaib Meraj Sami, Md Mahedi Hasan, Nasser M. Nasrabadi, Raghuveer Rao

제출 2024-01-22

원문 초록

Annotating automatic target recognition (ATR) is a highly challenging task, primarily due to the unavailability of labeled data in the target domain. Hence, it is essential to construct an optimal target domain classifier by utilizing the labeled information of the source domain images. The transductive transfer learning (TTL) method that incorporates a CycleGAN-based unpaired domain translation network has been previously proposed in the literature for effective ATR annotation. Although this method demonstrates great potential for ATR, it severely suffers from lower annotation performance, higher Fr\'echet Inception Distance (FID) score, and the presence of visual artifacts in the synthetic images. To address these issues, we propose a hybrid contrastive learning base unpaired domain translation (H-CUT) network that achieves a significantly lower FID score. It incorporates both attention and entropy to emphasize the domain-specific region, a noisy feature mixup module to generate high variational synthetic negative patches, and a modulated noise contrastive estimation (MoNCE) loss to reweight all negative patches using optimal transport for better performance. Our proposed contrastive learning and cycle-consistency-based TTL (C3TTL) framework consists of two H-CUT networks and two classifiers. It simultaneously optimizes cycle-consistency, MoNCE, and identity losses. In C3TTL, two H-CUT networks have been employed through a bijection mapping to feed the reconstructed source domain images into a pretrained classifier to guide the optimal target domain classifier. Extensive experimental analysis conducted on three ATR datasets demonstrates that the proposed C3TTL method is effective in annotating civilian and military vehicles, as well as ship targets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24031v2cs.CV공통 태그 Transfer Learning, Contrastive Learning

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2608.08090v2cs.CL공통 태그 Translation, Transfer Learning

통합 속의 지혜: 속담 내 비유적 언어 식별에서 다국어 학습의 역할

Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.

arXiv:2609.27758v1cs.CL공통 태그 Translation, Transfer Learning

Hard Negatives Reveal What Easy Negatives Hide: Cross-Lingual Harmfulness Representations Degrade with Resource Tier Under Hard Negatives

대규모 언어 모델(LLM)의 안전성 정렬(alignment)은 주로 영어로 학습되며, 최근 연구는 번역 후에도 기저의 유해성 표현이 유지된다고 보고한다. 영어로 학습된 프로브(probe)는 저자원 언어에서도 영어와 거의 동일하게 유해한 프롬프트와 무해한 프롬프트를 구분한다. 이는 다국어 거부(refusal) 실패가 표현 품질보다는 보정(calibration) 문제를 주로 반영한다는 증거로 해석되어 왔다. 우리는 이 결론이 부정 예(negative) 선택에 의존함을 보인다. 세 자원 등급에 걸친 아홉 개 언어에서, 무해한 프롬프트가 무관한 분포에서 온 경우(쉬운 부정 샘플, easy negatives)에는 전이가 거의 완벽함(AUROC > 0.98)을 재현한다. 유해 요청과 표면적으로 유사하지만 실제로는 무해한 XSTest 대조 프롬프트(어려운 부정 샘플, hard negatives)를 사용하면, 저자원 언어에서는 전이가 붕괴하는 반면 고자원 언어에서는 대체로 안정적이다. Qwen2.5-7B-Instruct에서 평균 AUROC 하락은 영어 0.003, 고자원 0.017, 중간 자원 0.042, 저자원 0.276까지 증가한다. 이 패턴은 Aya Expanse에서도 재현된다. 역번역 chrF 통제와 세 언어에 걸친 chrF 매칭 비교는 번역 품질이 효과를 설명할 가능성을 낮춘다. chrF를 통제한 뒤에도 붕괴는 남으며(partial r = 0.70, p = 0.03). 토크나이저 fertility는 붕괴와 상관하며 자원 등급 효과의 일부를 설명하지만 전부는 아니다. 결과는 쉬운 부정 샘플에서의 전이와 어려운 부정 샘플 하의 상당한 퇴화가 공존할 수 있음을 보여준다. 따라서 쉬운 부정 샘플만으로 평가하는 것만으로는 유해성 표현이 번역을 견디는지 확립할 수 없다.

arXiv:2609.28395v1cs.CL공통 태그 Translation, Transfer Learning

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2609.28199v1cs.LG공통 태그 Transfer Learning, Contrastive Learning

종단적 혈당 표현을 위한 전이 가능한 근거 재구성

Transferable Evidence Reconstruction for Longitudinal Glucose Representations

긴 생체 신호 기록에는 일상적인 측정값이 다수 포함되어 있지만, 예측 정보는 희귀 사건, 지속적인 부담, 반복적인 시계열 패턴에 집중되어 있는 경우가 많습니다. 마스크드 오토인코딩(masked autoencoding)은 측정값을 복원하고, 대조 학습(contrastive learning)은 뷰(view)를 정렬합니다. 본 연구에서는 구조화된 신호 근거를 명시적으로 우선시하는 자기지도학습(self-supervision)을 연구합니다. 저자들은 레이블이 지정되지 않은 기록에서 근거를 구축하고, 한 기록 그룹에 새로운 저용량 리더(reader)를 적합(fit)시킨 뒤, 해당 리더가 재적합 없이 다른 그룹에서도 동일한 근거를 복원하도록 요구하는 전이 가능한 근거 재구성(transferable evidence reconstruction, TER)을 도입합니다. 이러한 교차 그룹 테스트를 통해 역전파 미분을 수행함으로써 전이 가능한 근거 디코딩 규칙을 갖는 표현을 학습하며, 이때 근거는 자기지도학습을 유도하지만 다운스트림 특징(feature)으로는 사용되지 않습니다. 연속 혈당 측정(CGM)을 위해 관측 인지 일간 인코더와 시계 인지 다일 메모리는 최대 7일간의 기록을 정리하면서 혈당 수치 및 변화를 기록된 시간과 결합합니다. 14개 작업으로 구성된 리더보드에서 TER은 기존 최강 모델의 전반적인 PR-AUC/ROC-AUC/Macro-F1 점수를 각각 5.51/4.43/2.80%포인트 향상시키고 12/14개 작업에서 최고 지표를 경신했습니다. 이러한 리더보드 성능 향상은 상위 두 베이스라인 간 격차의 각각 2.0~2.9배에 달합니다. 공개 사전학습(pre-training) 데이터, 폴드, 선형 프로브(linear probe) 조건을 일치시켰을 때, TER은 저자들이 재현한 GlucoFM 대비 6.09/5.52/2.72포인트 더 우수한 성능을 보였습니다. 타깃 리더 소거 연구(ablation), 동일 이력 대조군, 교차 개인 판독 실험은 구조화된 근거, 교차 그룹 리더 적합, 학습된 다일 정리의 결합을 뒷받침합니다.

arXiv:2609.26920v1cs.CV공통 태그 Transfer Learning, Contrastive Learning

자동 신세포암 등급 분류를 위한 조직병리학 및 CT 기반 교차 모달 대조 학습

Cross-Modal Contrastive Learning from Histopathology and CT for Automated Renal Cell Carcinoma Grading

배경: 투명세포 신세포암(ccRCC)은 상당한 임상적 이질성을 보이며, 위험 계층화 및 치료 계획 수립을 위해서는 정확한 등급 평가가 필수적이다. 그러나 기존의 등급 평가는 침습적인 조직 채취를 필요로 한다. 본 연구에서는 비침습적인 CT 기반 ccRCC 등급 예측을 개선하기 위해 학습(training) 중 쌍을 이룬 조직병리학 및 컴퓨터 단층촬영(CT) 데이터를 활용하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크인 RCC-Align을 개발했다. 방법: RCC-Align은 대조 교차 모달 목적함수를 통해 쌍을 이룬 전체 슬라이드 조직병리학 이미지(WSI)와 CT 스캔을 정렬하여 미시적인 조직 형태학으로부터 거시적인 방사선학적 표현으로 등급 판별 정보를 전달한다. 이 프레임워크는 환자 수준의 5겹 교차 검증(validation)을 사용하여 쌍을 이룬 TCGA 및 CPTAC 코호트에서 학습 및 평가되었다. 저등급 대 고등급 ccRCC 분류(classification) 성능을 CT 전용 베이스라인(DINOv2-Base 및 DINOv2-Finetuned)과 WSI 기반 참조 모델(model)(GigaPath-Finetuned)과 비교했다. 교차 모달 정렬은 코사인 유사도 분석을 사용하여 평가되었다. 결과: RCC-Align은 0.601의 AUC(95% CI, 0.524-0.673) 및 0.599의 AUPRC(95% CI, 0.541-0.676)를 달성하여 유의하게 향상된 저등급 예측 성능(p = 0.004)과 함께 DINOv2-Finetuned(AUC 0.545, AUPRC 0.543)를 능가했다. 또한 RCC-Align은 베이스라인과 비교하여 더 강력한 쌍 WSI-CT 임베딩(embedding) 정렬을 보였다. WSI 기반 GigaPath 참조 모델은 0.719의 AUC를 달성했다. 결론: 병리학 유도 대조 학습은 추론(inference) 시 CT만 필요로 하면서도 CT 기반 ccRCC 등급 분류를 개선한다. 이러한 접근법은 생검이 안전하지 않거나 불가능하거나 종양 내 이질성으로 인해 제한될 때 조직 진단을 보완할 수 있다. 임상적 적용 전 외부 테스트를 포함한 더 크고 다기관인 코호트에서의 검증이 필요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.