PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21666v2cs.AI

A Contradiction Judge Counted Reported Teammate Errors as Hallucinations: An Assertion-Aware Re-Score of One Multi-Agent LLM Harness

LLM judges that score hallucination flag any statement that contradicts a reference fact. Agents in multi-agent LLM systems quote and dispute each other's claims, so such a judge can count a correct report of a teammate's error as a hallucination. An earlier version of this study, a preprint (arXiv:2606.21666v1), reported that broadcasting raised a hallucination rate from 0.492 to 0.658 (+34%) and called it contamination; this version withdraws that claim, and the preprint's runs cannot be re-scored. An unpublished revision of that harness reported 0.289 to 0.554 (+0.265, 95% CI [0.225, 0.305]), and its saved outputs are re-scored here. Under an analysis plan fixed before any judge call, three judges from three vendors labeled each of six facts in 1,832 outputs as asserted wrong, attributed to another source, asserted correct or absent. On values that outputs assert as their own, the broadcast effect was -0.0208 (95% CI [-0.0458, +0.0041]) on 10 Full-Broadcast trials: not distinguishable from zero, and equivalent to zero only within a post hoc margin of +/-0.0663 and under the plan's prompt. On these LLM-judge labels, reports of a teammate's wrong value accounted for nearly all of the Haiku travel effect. Scored for mentions, the judges reproduced the effect (+0.1996). With Llama agents, 2 of 40 teammate outputs asserted the wrong destination. One of twelve Claude judge-prompt combinations gave an asserted increase (Sonnet 4.6, one paraphrase: +0.0246, 95% CI [+0.0055, +0.0436]). In 40 new trials per arm, judged by Claude models like the agents, the asserted difference was -0.0505 when both judges agreed and +0.0161 (95% CI [+0.0024, +0.0299]) when either did. Main limit: the labels have no human validation; human labels for 120 outputs are pending. The outputs come from one harness and 13 hand-written scenarios, so the shares do not transfer.

arXiv:2607.04907v1cs.AI

Medi-Gemma: 결정론적 EMR 분석과 검색-증강 생성을 통합한 하이브리드 임상 의사결정 지원 시스템

Medi-Gemma: A Hybrid Clinical Decision Support System Integrating Deterministic EMR Analytics and Retrieval-Augmented Generation

고위험 임상 환경에 대규모 언어 모델(LLM)을 배포하는 것은 구조적 환각(hallucination), 표 형식 환자 데이터에 대한 취약한 결정론적 추론, 그리고 벡터 검색의 누락 문제로 인해 여전히 제한적이다. 본 논문은 상처 병리 분류(triage) 및 워크플로 자동화를 위한 임상 의사결정 지원 시스템(CDSS)인 Medi-Gemma의 아키텍처와 검증을 제시한다. 이 플랫폼은 추적 가능한 추론을 보존하면서 임상 인식과 데이터 오케스트레이션을 분리하는 디커플링 프레임워크를 도입한다. Medi-Gemma는 중앙화된 ClinicalOrchestrator가 조율하는 다단계 파이프라인을 사용한다. 데이터 요청은 타입 강제 변환(type coercion)을 통해 비정형 전자의무기록(EMR) 파일을 정제하는 DataManager가 생성형 추론 없이 처리한다. 자연어 쿼리는 계층적 IntentRouter가 처리하며, 이는 요청을 PandasQueryEngine이 실행하는 결정론적 분석 경로 또는 CPU 최적화 벡터 스토어를 사용하는 ClinicalRAGEngine이 관리하는 환자별 추론 경로로 라우팅한다. 주요 기여는 Ground Truth Injection Module로, 이는 환자별 쿼리를 가로채어 수치 식별 토큰을 추출하고, Pandas를 통해 정형 데이터프레임을 조회하며, 최신 검증된 임상 상태를 가져와 생성 전에 이 스냅샷을 LLM 프롬프트의 우선 적용 컨텍스트 블록으로 삽입한다. 안전성 준수는 임상 용어를 고정된 근거 기반 위험 경로에 매핑하는 결정론적 ProtocolManager가 강제하며, SafetyVerifier 구문 필터가 출력 규칙 위반을 방지한다. 검증 결과, 이 아키텍처는 의미론적 컨텍스트 드리프트를 제거하고, 데이터베이스 컴파일 충돌을 방지하며, 백엔드 임상 저장소에 대한 사실적 충실도를 향상시키는 것으로 나타났다. 이러한 결과는 정형 데이터 충실성, 검색 그라운딩(retrieval grounding), 결정론적 안전장치가 필수적인 LLM 기반 임상 의사결정 지원에서 Medi-Gemma가 더 안전한 패턴임을 뒷받침한다.

arXiv:2606.29431v1cs.AI

FADE: Mitigating Hallucinations by Reducing Language-Prior Dominance in Large Vision-Language Models

Despite the impressive capabilities of Large Vision-Language Models (LVLMs), they remain susceptible to hallucination, generating content inconsistent with the input image. Recent studies attribute this to the dominance of language priors over visual inputs and employ contrastive decoding methods to mitigate this dominance, but the mechanistic origin remains unexplored. We investigate the information flow through each transformer layer and find that attention modules consistently aggregate visual evidence, while FFN modules at critical layers act as the source of language priors. These priors can override visual evidence, causing correct predictions in intermediate layers to drift toward incorrect outputs. Based on this insight, we propose FADE (FFN Attenuation for DEcoding), a training-free method that attenuates FFN outputs to reduce language-prior dominance. Evaluations on POPE, CHAIR, and MME benchmarks across LLaVA-1.5, mPLUG-Owl2, and InstructBLIP show that FADE effectively mitigates hallucinations while preserving inference efficiency.

arXiv:2605.01733v3cs.CV

GEASS: 비전-언어 모델을 위한 게이트된 증거 적응형 선택적 캡션 신뢰

GEASS: Gated Evidence-Adaptive Selective Caption Trust for Vision-Language Models

비전-언어 모델(VLMs)은 존재하지 않는 객체를 환각(hallucination)하는 문제가 있으며, 이를 억제하기 위해 모델이 스스로 생성한 캡션을 보조 증거로 제공하는 연구가 증가하고 있습니다. 이는 캡션이 생성되면 이를 활용해야 한다는 가정에 기반합니다. 본 연구는 이 접근 방식이 실패할 수 있음을 보여줍니다. 캡션을 단순히 추가하는 것은 정확도를 높이기는커녕 오히려 낮출 수 있으며, 실제로 HallusionBench에서 Qwen2.5-VL-3B$^\dagger$의 성능을 거의 10포인트나 떨어뜨렸습니다. 이러한 원인을 파악하기 위해 본 연구는 동일한 이미지에 대해 전역 질문과 세부 질문을 쌍으로 구성한 진단 데이터셋인 **GD-Probe**를 구축하여, 캡션 효과의 차이가 오직 질문 자체에만 기인하도록 했습니다. 캡션의 유용성은 질문별(per-query) 속성임이 밝혀졌습니다. 동일한 캡션이 전역 질문에는 도움이 되는 반면 세부 질문에는 해를 끼치는 현상은, 임베드된 캡션이 이미지와 어텐션(attention)을 경쟁하고 모델의 증거를 자신의 텍스트 쪽으로 끌어당기는 단일 메커니즘을 통해 발생하며, 그 효과의 방향은 캡션이 질의된 내용을 포함(cover)하는지 여부에 따라 결정됩니다. 중요하게도, 이러한 특성은 어텐션(attention) 접근이나 그라운딩(grounding) 없이도 디코더가 이미 출력하는 값만으로 판단할 수 있습니다. 본 연구는 이를 **GEASS** (Gated Evidence-Adaptive Selective Caption Trust)라는 추가 학습이 필요 없는 로짓(logit) 수준의 모듈로 발전시켰습니다. GEASS는 질문별로 캡션의 신뢰도를 결정하며, 순수 경로(clean path)의 신뢰도를 기반으로 게이팅(gating)하고, 캡션이 유발하는 엔트로피 감소량에 따라 가중치를 부여하며, 두 경로가 일치하지 않을 때 증거 기준을 높입니다. 4개의 VLM과 2개의 벤치마크(POPE 및 HallusionBench)에서 GEASS는 단일 고정 설정 하에서 기본 추론(vanilla inference)과 대비적 디코딩(contrastive decoding) 모두보다 우수한 성능을 보였으며, 단 두 번의 순전파(forward pass)만 추가될 뿐 파라미터는 필요하지 않습니다.