arXiv:2102.01222

"Is depression related to cannabis?": A knowledge-infused model for Entity and Relation Extraction with Limited Supervision

Kaushik Roy, Usha Lokala, Vedant Khandelwal, Amit Sheth

제출 2021-02-01

원문 초록

With strong marketing advocacy of the benefits of cannabis use for improved mental health, cannabis legalization is a priority among legislators. However, preliminary scientific research does not conclusively associate cannabis with improved mental health. In this study, we explore the relationship between depression and consumption of cannabis in a targeted social media corpus involving personal use of cannabis with the intent to derive its potential mental health benefit. We use tweets that contain an association among three categories annotated by domain experts - Reason, Effect, and Addiction. The state-of-the-art Natural Langauge Processing techniques fall short in extracting these relationships between cannabis phrases and the depression indicators. We seek to address the limitation by using domain knowledge; specifically, the Drug Abuse Ontology for addiction augmented with Diagnostic and Statistical Manual of Mental Disorders lexicons for mental health. Because of the lack of annotations due to the limited availability of the domain experts' time, we use supervised contrastive learning in conjunction with GPT-3 trained on a vast corpus to achieve improved performance even with limited supervision. Experimental results show that our method can significantly extract cannabis-depression relationships better than the state-of-the-art relation extractor. High-quality annotations can be provided using a nearest neighbor approach using the learned representations that can be used by the scientific community to understand the association between cannabis and depression better.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28199v1cs.LG공통 태그 Diagnostic, Contrastive Learning

종단적 혈당 표현을 위한 전이 가능한 근거 재구성

Transferable Evidence Reconstruction for Longitudinal Glucose Representations

긴 생체 신호 기록에는 일상적인 측정값이 다수 포함되어 있지만, 예측 정보는 희귀 사건, 지속적인 부담, 반복적인 시계열 패턴에 집중되어 있는 경우가 많습니다. 마스크드 오토인코딩(masked autoencoding)은 측정값을 복원하고, 대조 학습(contrastive learning)은 뷰(view)를 정렬합니다. 본 연구에서는 구조화된 신호 근거를 명시적으로 우선시하는 자기지도학습(self-supervision)을 연구합니다. 저자들은 레이블이 지정되지 않은 기록에서 근거를 구축하고, 한 기록 그룹에 새로운 저용량 리더(reader)를 적합(fit)시킨 뒤, 해당 리더가 재적합 없이 다른 그룹에서도 동일한 근거를 복원하도록 요구하는 전이 가능한 근거 재구성(transferable evidence reconstruction, TER)을 도입합니다. 이러한 교차 그룹 테스트를 통해 역전파 미분을 수행함으로써 전이 가능한 근거 디코딩 규칙을 갖는 표현을 학습하며, 이때 근거는 자기지도학습을 유도하지만 다운스트림 특징(feature)으로는 사용되지 않습니다. 연속 혈당 측정(CGM)을 위해 관측 인지 일간 인코더와 시계 인지 다일 메모리는 최대 7일간의 기록을 정리하면서 혈당 수치 및 변화를 기록된 시간과 결합합니다. 14개 작업으로 구성된 리더보드에서 TER은 기존 최강 모델의 전반적인 PR-AUC/ROC-AUC/Macro-F1 점수를 각각 5.51/4.43/2.80%포인트 향상시키고 12/14개 작업에서 최고 지표를 경신했습니다. 이러한 리더보드 성능 향상은 상위 두 베이스라인 간 격차의 각각 2.0~2.9배에 달합니다. 공개 사전학습(pre-training) 데이터, 폴드, 선형 프로브(linear probe) 조건을 일치시켰을 때, TER은 저자들이 재현한 GlucoFM 대비 6.09/5.52/2.72포인트 더 우수한 성능을 보였습니다. 타깃 리더 소거 연구(ablation), 동일 이력 대조군, 교차 개인 판독 실험은 구조화된 근거, 교차 그룹 리더 적합, 학습된 다일 정리의 결합을 뒷받침합니다.

arXiv:2609.26920v1cs.CV공통 태그 Diagnostic, Contrastive Learning

자동 신세포암 등급 분류를 위한 조직병리학 및 CT 기반 교차 모달 대조 학습

Cross-Modal Contrastive Learning from Histopathology and CT for Automated Renal Cell Carcinoma Grading

배경: 투명세포 신세포암(ccRCC)은 상당한 임상적 이질성을 보이며, 위험 계층화 및 치료 계획 수립을 위해서는 정확한 등급 평가가 필수적이다. 그러나 기존의 등급 평가는 침습적인 조직 채취를 필요로 한다. 본 연구에서는 비침습적인 CT 기반 ccRCC 등급 예측을 개선하기 위해 학습(training) 중 쌍을 이룬 조직병리학 및 컴퓨터 단층촬영(CT) 데이터를 활용하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크인 RCC-Align을 개발했다. 방법: RCC-Align은 대조 교차 모달 목적함수를 통해 쌍을 이룬 전체 슬라이드 조직병리학 이미지(WSI)와 CT 스캔을 정렬하여 미시적인 조직 형태학으로부터 거시적인 방사선학적 표현으로 등급 판별 정보를 전달한다. 이 프레임워크는 환자 수준의 5겹 교차 검증(validation)을 사용하여 쌍을 이룬 TCGA 및 CPTAC 코호트에서 학습 및 평가되었다. 저등급 대 고등급 ccRCC 분류(classification) 성능을 CT 전용 베이스라인(DINOv2-Base 및 DINOv2-Finetuned)과 WSI 기반 참조 모델(model)(GigaPath-Finetuned)과 비교했다. 교차 모달 정렬은 코사인 유사도 분석을 사용하여 평가되었다. 결과: RCC-Align은 0.601의 AUC(95% CI, 0.524-0.673) 및 0.599의 AUPRC(95% CI, 0.541-0.676)를 달성하여 유의하게 향상된 저등급 예측 성능(p = 0.004)과 함께 DINOv2-Finetuned(AUC 0.545, AUPRC 0.543)를 능가했다. 또한 RCC-Align은 베이스라인과 비교하여 더 강력한 쌍 WSI-CT 임베딩(embedding) 정렬을 보였다. WSI 기반 GigaPath 참조 모델은 0.719의 AUC를 달성했다. 결론: 병리학 유도 대조 학습은 추론(inference) 시 CT만 필요로 하면서도 CT 기반 ccRCC 등급 분류를 개선한다. 이러한 접근법은 생검이 안전하지 않거나 불가능하거나 종양 내 이질성으로 인해 제한될 때 조직 진단을 보완할 수 있다. 임상적 적용 전 외부 테스트를 포함한 더 크고 다기관인 코호트에서의 검증이 필요하다.

arXiv:2609.24677v1cs.AI공통 태그 Diagnostic, Contrastive Learning

TimeLitmus: 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 위한 진단 벤치마크

TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction

대규모 언어 모델(LLM)은 수치 시계열 이력과 텍스트 이벤트로부터 예측을 수행하는 데 점점 더 많이 사용되고 있다. 그러나 정확도만으로는 정답이 두 입력의 효과적인 통합을 반영하는지, 아니면 이벤트 극성(polarity), 단일 모달리티 사전 편향(unimodal prior), 또는 피상적 단서에서 비롯된 것인지 밝힐 수 없다. 마찬가지로, 그럴듯한 설명은 모델 행동을 실제로 이끄는 근거를 충실하게 반영하지 않으면서도 예측을 합리화할 수 있다. 우리는 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 진단하는 벤치마크인 TimeLitmus를 소개한다. TimeLitmus는 금융(Finance)과 교통(Traffic) 두 영역에 걸쳐 4,856개의 평가 레코드를 포함하며, 자연 예측(natural prediction)과 통제된 반사실적(counterfactual) 및 대조적(contrastive) 개입, 설명 대상 충실성 테스트, 그리고 체계적인 지름길(shortcut) 통제를 결합한다. 열 가지의 대표적인 LLM을 대상으로 한 실험에서, 표준 예측 정확도는 신뢰할 수 있는 교차 모달 이해를 상당히 과대평가하는 것으로 나타났다: Hard Paired Contrast(HPC) 쌍 정확도는 금융에서 최고 19.2%, 교통에서 최고 11.7%에 그쳤으며, 열 개 모델 모두 금융 시계열 측 통제에서 기대보다 낮은 일관성을 보였다. 모델들은 시나리오 간 관계를 명시적으로는 인식하면서도 독립적인 예측 시에는 이를 적용하지 못하는 경우가 많았다. 설명 충실성에서도 유사한 격차가 나타났다: 교통 영역에서 대부분의 모델은 90% 이상의 경우 조작된 시간적 요인을 근거로 언급했지만, 행동적 뒷받침(behavioral support)은 22% 미만에 그쳤다. 인간 주석자는 동일한 조건의 통제 및 하드 페어(hard-pair) 진단 과제에서 LLM보다 우수한 성능을 보여, 이러한 구분이 입력으로부터 복원 가능함을 확인시켜 주었다. 자연 예측 데이터만을 이용한 적응(natural-only adaptation)은 증거 선택과 입력 민감도에서는 선택적인 향상을 가져왔지만, 통제 조건이나 하드 페어 행동에서는 일관된 향상을 가져오지 못했다. 벤치마크, 평가 스위트, 지도 적응 데이터는 공개될 예정이다.

arXiv:2609.23397v1cs.CV공통 태그 Diagnostic, Contrastive Learning

심층 학습과 데이터 정제를 통한 지속 가능한 양식업을 위한 새우 질병 탐지 성능 향상

Enhancing Shrimp Disease Detection via Deep Learning and Data Refinement for Resilient Aquaculture

새우 질병은 양식업(aquaculture)에 계속해서 막대한 손실을 초래하고 있어, 견고하고 자동화된 탐지 기술에 대한 필요성이 절실하다. 본 연구는 비전 트랜스포머(Vision Transformer, ViT)와 자기지도학습(Self-Supervised Learning, SSL)을 새우 양식 분야에 최초로 적용하여, 성능 병목 현상과 데이터 레이블링 문제를 동시에 해결한다. 우리는 4,348장의 이미지로 구성된 데이터셋을 사용하여 정상(Healthy), 검은 아가미병(Black Gill, BG), 백점바이러스병(White Spot Syndrome Virus, WSSV), 그리고 두 질병의 동시 감염이라는 4가지 주요 질병 범주를 분류하기 위한 두 가지 심층 학습 파이프라인을 제안한다. 첫째, 우리의 지도 전이학습(supervised transfer-learning) 접근법은 ImageNet으로 사전학습된 ViT-Small/16과 EfficientNet 백본을 활용한다. 둘째, 미세조정(fine-tuning) 이전에 레이블이 없는 이미지로부터 견고한 표현(representation)을 추출하기 위해 ViT-Small 인코더를 사용한 대조학습(contrastive learning) 프레임워크(SimCLR)를 도입한다. 우리의 결과는 지속 가능한 양식업 모니터링을 위한 강력한 새로운 베이스라인을 확립한다. 지도학습 접근법은 빠른 수렴 속도와 함께 96%라는 뛰어난 정확도를 달성하여 기존의 범용 모델들을 능가했으며, 레이블 효율적인 SSL 접근법은 85%의 매우 경쟁력 있는 검증(validation) 정확도에 도달했다.

arXiv:2607.21680v1cs.LG공통 태그 Diagnostic, Relation Extraction

교량 진단 에이전트를 위한 보이지 않는 인과관계 인코딩: QLoRA 기반 트리플 가이드 검색-증강 미세조정

Encoding Invisible Causation for Bridge Diagnostic Agents: Triple-Guided Retrieval-Augmented Fine-Tuning with QLoRA

교량 인프라는 점진적으로 열화되지만, 염분 침투, 동결, 피로 균열 등 그 근본 원인은 육안으로는 확인하기 어렵다. 전문가 진단은 수년간의 실무를 통해 축적된 암묵적 지식에 의존한다. 우리는 이러한 잠재적 인과 추론을 자동화하는 과제를 해결하기 위해, 가시적 손상 설명 $S_i$로부터 10개 클래스의 손상 원인을 분류하는 Damage Cause Encoder를 제안하여 자율 교량 진단 에이전트에 활용한다. 우리의 접근법은 세 가지 구성 요소를 연결한다: (i) 지식 트리플 추출(Knowledge Triple Extraction)---대규모 언어 모델이 15--35개의 진단 PDF 매뉴얼에서 (damage $\xrightarrow{\mathtt{caused\_by}}$ cause) 형태의 인과 트리플을 추출하고 이를 FAISS 벡터 저장소에 색인한다; (ii) 검색-증강 컨텍스트(Retrieval-Augmented Context)---학습 및 추론 시점에 관련 인과 트리플 $\mathcal{C}_i$를 검색하여 $S_i$와 연결함으로써 암묵적 도메인 지식을 명시적 Encoder 컨텍스트로 변환한다; (iii) 체계적 미세조정 비교(Systematic Fine-tuning Comparison)---고정된 Golden Testset(층화된 116개 샘플)에서 LoRA, QLoRA, QA-LoRA를 엄격하게 비교하여, QLoRA가 최적의 절충점을 달성함을 보인다: 전 정밀도(full-precision) LoRA와 동일한 테스트 정확도(87.07%), 11% 더 빠른 추론, 72% 낮은 GPU 메모리, 그리고 다양한 미관측 입력에 대한 우수한 일반화. 통제된 Golden Testset---층화, 중복 제거, 난이도 태깅---을 재사용 가능한 벤치마크 기여로 제안한다. QLoRA는 10개 손상 원인 클래스 전체에 걸친 100개 샘플의 다양한 평가에서 LoRA보다 13%p 더 우수한 성능을 보인다. 이러한 결과는 엣지 배포를 위해 소비자급 하드웨어에서 메모리 효율적이고 고정확도의 진단 에이전트를 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.