am.amrita.edu

이 이메일 도메인이 관측된 논문 4건

arXiv:2605.14605v3cs.CR

몇 걸음 더 나아가기: 지속적인 학습 하에서 악의적 미세조정 방어가 무력화되는 이유

A Few Steps Further: Why Defenses Against Malicious Finetuning Erode Under Continued Training

모델 제공자들은 대규모 언어 모델(LLM)의 가중치를 점점 더 많이 공개하고 있습니다. 이러한 모델들은 배포 전에 안전성 정렬(safety alignment)을 거치지만, 유해한 데이터로 미세조정(fine-tuning)하면 안전장치가 쉽게 제거되는 경우가 많습니다. 점차 늘어나는 방어 기법들은 이러한 악의적인 미세조정에 대해 정렬이 견고하게 유지되도록 하는 것을 목표로 하지만, 가중치를 확보한 공격자는 단순히 더 오래 학습시킬 수 있음에도 불구하고 이러한 방어 기법들은 대체로 고정된 학습 예산에 기반한 공격을 대상으로만 평가됩니다. 본 연구에서는 현재의 방어 기법들이 이처럼 가장 단순한 공격 강도 심화에도 견뎌낼 수 있는지 묻습니다. 최근 제안된 15가지 방어 기법을 조사한 결과, 이들이 공통적인 약점을 공유하고 있음을 확인했습니다. 즉, 각 방어 기법은 제한된 섭동(perturbation), 짧은 모의 공격, 또는 유해한 행동과 무해한 행동 간의 학습된 연결과 같이 공격자에 대한 제한적인 모델을 기반으로 구축되어 있으며, 가중치가 배포된 이후에는 그 보호 조치를 강제할 수 있는 수단이 없다는 점입니다. 이어 본 연구는 4개의 공개 가중치 모델을 대상으로 동일한 유해 데이터 전용 미세조정 공격을 3에포크 동안 지속하면서 그 과정에서 유해성과 능력을 측정하여 6개의 대표적인 방어 기법을 테스트했습니다. 방어 기법이 적용된 72회의 모든 실험에서 모델은 배포 시점보다 학습 종료 시점에 더 유해해졌으며, 가장 높은 학습률을 적용한 Llama-3.1에서는 방어된 모델들이 방어되지 않은 모델과 거의 동일한 수준으로 유해해졌습니다. 방어 기법들의 취약한 정도는 동일하지 않았습니다. 한 방어 기법은 특정 모델에서 유해성을 낮게 유지했으며, 일부 공격은 일반적인 성능 저하를 대가로 치르고서야 유해성을 복원할 수 있었습니다. 현재의 방어 기법들은 악의적인 미세조정을 지연시키거나 방해할 수는 있지만, 대부분의 경우 측정된 저항력이 지속적인 학습 하에서는 유지되지 않으므로 아직 지속 가능한 보호 수단으로 간주되어서는 안 됩니다.

arXiv:2609.17068v2cs.CV

분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가

Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation

선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.

arXiv:2609.05334v1cs.CV

자원 제약 농업 현장 조건에서 온디바이스 식물 병해 탐지를 위한 경량 비전 트랜스포머 압축

Lightweight Vision Transformer Compression for On-Device Plant Disease Detection in Resource-Constrained Agricultural Field Conditions

고추(Capsicum annuum)는 인도에서 경제적으로 가장 중요한 작물 중 하나이지만, 생산성은 전문가 개입 없이는 식별하기 어려운 병해로 지속적으로 위협받는다. 비전 트랜스포머(ViT)는 높은 분류 정확도를 달성했으나, 계산 부담이 커 자원이 제한된 장치에 배포하기 어렵다. 기존 압축 접근법은 일반적으로 가지치기, 양자화, 지식 증류를 각각 따로 다루어, 이를 결합했을 때의 잠재적 이점과 상호작용을 충분히 탐구하지 못했다. 우리는 2차 민감도 추정에 기반한 Hessian-Balanced Adaptive Block Pruning(H-BAC)을 양자화 및 어텐션 기반 지식 증류와 결합한 통합 비전 트랜스포머 압축 프레임워크를 제안한다. 각 압축 계열 내에서 가장 효과적인 구성을 체계적으로 찾기 위해, 각 기법을 통제된 ablation 연구를 통해 먼저 독립적으로 평가한 뒤, 성능이 가장 좋은 구성 요소를 실제 농업 제약에 맞춘 순차 배포 파이프라인에 통합한다. 고추 3클래스 village-split 데이터셋과 진정한 마을 간·기기 간 분포 외(OOD) 테스트 분할에서, 결과 압축 모델은 FP32 기준선 95.13% 정확도와 동등하거나 이를 초과하며, 모델 크기는 74–98% 감소한다. 완전히 통합된 압축 파이프라인은 네 가지 테스트 구성에서 95.13 ± 2.32% 정확도로 54.5배 크기 감소(327.42 MB에서 6.01 MB)를 달성한다. 직접 비교 결과, 이 데이터셋에서 가지치기나 증류 없이 동일한 최종 크기로 직접 학습한 student 모델은 동일한 6.01 MB INT8 크기에서 94.87%에 필적하는 정확도에 도달하며, H-BAC와 지식 증류가 계산 비용을 정당화하는 경우와 아직 그렇게 보이지 않는 경우를 보여준다.

arXiv:2609.00073v1cs.AI

MiNER: 임상 텍스트 내 말라리아 질환 개체명 인식을 위한 파인튜닝된 바이오메디컬 자연어 처리

MiNER: Fine-Tuned Biomedical Natural Language Processing for Malaria Disease Entity Recognition in Clinical Texts

말라리아는 여전히 전 세계적인 주요 보건 부담으로 남아 있어, 복잡한 분자 메커니즘, 역학 및 잠재적 치료 중재 방안을 이해하기 위한 지속적인 연구 노력이 필수적이다. 방대하고 끊임없이 증가하는 말라리아 문헌에서 핵심적인 바이오메디컬 정보를 추출하는 것은 혁신적인 접근법을 요구하는 도전적인 과제이다. 최근 사전학습(pre-training)된 언어 모델(language model)은 자연어 처리(NLP) 작업에 혁신을 가져왔으며, 다양한 도메인에서 뛰어난 성능을 입증하고 있다. 본 논문에서는 말라리아 질환에 관한 과학 문헌에서 바이오메디컬 정보를 추출하기 위해 파인튜닝(fine-tuning)된 사전학습 바이오메디컬 언어 모델을 제안한다. 제안된 방법론은 말라리아 관련 과학 논문 대규모 말뭉치를 선별 및 전처리한 후, 임상적으로 유의미한 개체명으로 주석을 부여한다. 그런 다음 최첨단 사전학습 언어 모델인 BioBERT를 활용하여 텍스트 데이터를 문맥을 고려한 표현으로 인코딩한다. 또한 도메인 특화 주석과 지도학습(supervised learning)을 사용하여 모델을 파인튜닝함으로써 관련 바이오메디컬 개체명을 추출하는 능력을 향상시킨다. 다양한 인코딩 기법 및 머신러닝 알고리즘과의 광범위한 실험과 비교를 통해, 제안된 접근법이 정밀도(precision), 재현율(recall), 정확도 측면에서 기존 방식들을 크게 능가함을 보여준다. 아울러 다른 보건정보학 연구자들이 말라리아 정보 추출을 위한 첨단 모델을 학습(training)시킬 수 있도록, 개체 및 관계 추출을 위해 사람이 직접 라벨링한 데이터셋(dataset)을 공개한다.