PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03447v1cs.IR

TRIAGE: 신뢰할 수 있는 검색 계측 및 그래프 평가

TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation

그래프 기반 검색-증강 생성(Graph-RAG)의 기반이 되는 지식 그래프(KG)는 전문가의 큐레이션이 아닌 LLM 기반 추출에 의해 자동으로 구축되는 경우가 점점 늘어나고 있다. 적절한 평가를 위해서는 추출, 그래프 구축, 추론 등 관련된 모든 단계를 계측하여 오류를 국소화할 수 있어야 하며, 특정 단계에서 발생한 실패가 최종 단계에서 오답으로만 발견되는 일이 없도록 해야 한다. 우리는 자동화된 문서 기반 Graph-RAG를 위한 단계 인식 계측 프레임워크 TRIAGE를 소개한다. TRIAGE는 기반 그래프의 신뢰 가능 여부뿐만 아니라 그래프 질의에 드는 비용까지 함께 묻는다. TRIAGE는 세 단계에 단계별로 독립적으로 해석 가능한 지표를 부착한다: KG 구현 단계(트리플 신뢰도, 출처 커버리지, 스키마 및 정규화 검사), 전문가에 의한 KG 검증 단계(그래프 수준 구조적 품질, 참조가 제공될 때 오프라인 캘리브레이션으로만 계산되는 정확성 및 완전성), KG 활용 단계(검색 커버리지, 충실도, 검색 비용). 배포된 지표는 골드 어노테이션이 필요 없으며, 골드 어노테이션을 요구하는 지표는 오프라인 캘리브레이션 용도로만 사용된다. 활용 시점에 이 지표들은 필요 조건들의 진단 체인을 형성하며, 처음으로 끊어진 연결고리가 실패를 국소화하고, 해당 진단은 이를 해결할 수 있는 단계별 조정 수단—추출, 그래프 및 스키마, 또는 검색—으로 매핑된다. TRIAGE는 개념 증명과 재현 가능한 평가 프로토콜을 갖춘 이론적 프레임워크다.

arXiv:2510.04484v2cs.CL

Psychological Steering in LLMs: An Evaluation of Effectiveness and Trustworthiness

LLM의 감정 상태와 성격 특성을 조절하는 다양한 스티어링(steering) 기법을 종합 평가하기 위해 심리학 기반 벤치마크 PsySET을 제안하며, 프롬프팅, 파인튜닝, 벡터 주입(vector injection) 등 네 가지 모델에 걸친 실험 결과 프롬프팅이 일관되게 효과적이나 강도 제어에 한계가 있고, 긍정적 감정인 기쁨조차 적대적 사실성에 대한 강건성을 저하시키는 등 신뢰성 측면의 부작용이 존재함을 밝혔다.

arXiv:2606.31616v1cs.AI

Scientific Explanations in Health Sciences: Causality, Trust, and Epistemic Adequacy

의학 AI의 설명가능성(XAI) 연구가 인과성, 신뢰, 설명 적절성에 관한 철학적 기반을 충분히 검토하지 않고 있다는 문제의식 하에, 이 논문은 과학철학과 의학철학의 관점에서 의료 XAI의 개념적 토대를 비판적으로 검토하고, 인과적 추론 지원, 이해관계자별 설명, 신뢰의 명시적 평가라는 세 가지 철학적 설계 원칙을 제안한다.