PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.09492v3cs.CL

APCD: 신뢰할 수 있는 대규모 언어 모델 생성을 위한 적응형 경로 대조 디코딩

APCD: Adaptive Path-Contrastive Decoding for Reliable Large Language Model Generation

신뢰할 수 있는 텍스트 생성은 특히 의료와 같은 고위험 영역의 실제 응용 분야에 대규모 언어 모델(LLM)을 배포하는 데 매우 중요합니다. 사실적 신뢰성을 향상시키기 위해 토큰 확률 분포를 수정하는 로짓(logit) 수준 방법과 중간 모델 표현을 조작하는 표현 수준 방법을 포함하여 다양한 추론 시점 기법들이 제안되었습니다. 그러나 대부분의 기존 접근 방식은 단일 디코딩 궤적에서 작동하므로 대안적 추론 경로를 탐색하는 능력이 제한되며 오류 누적에 취약합니다. 이러한 한계를 해결하기 위해 본 논문에서는 모델 재학습이나 미세조정(fine-tuning) 없이도 사실적 신뢰성을 향상시키는 적응형 다중 경로 대조 디코딩 프레임워크인 APCD(Adaptive Path-Contrastive Decoding)를 제안합니다. APCD는 두 가지 핵심 구성 요소로 이루어져 있습니다. 즉, 불확실성이 높은 결정 시점에서만 디코딩 과정을 적응적으로 확장하는 엔트로피 기반 경로 확장(Entropy-Driven Path Expansion)과, 다양성과 일관성의 균형을 맞추기 위해 분포 발산(divergence)에 기반하여 병렬 디코딩 경로 간의 대조적 상호작용을 동적으로 조절하는 발산 인식 경로 대조(Divergence-Aware Path Contrast)입니다. 일반 도메인 및 의료 질의응답 작업을 모두 아우르는 8개 벤치마크에 걸쳐 4개의 LLM 백본에서 APCD를 평가합니다. 실험 결과에 따르면 APCD는 경쟁력 있는 추론 효율성을 유지하면서 사실적 정확도 측면에서 강력한 추론 시점 베이스라인들을 일관되게 능가합니다. 이러한 결과는 다양한 모델과 작업 전반에 걸친 APCD의 견고성과 일반화 가능성을 입증하며, 특히 의료와 같은 고위험 영역에서 신뢰할 수 있는 LLM 배포를 위한 실용적인 다중 경로 디코딩 프레임워크로서의 효과성을 강조합니다. 코드는 https://github.com/zty-king/APCD 에서 확인할 수 있습니다.

arXiv:2610.02976v1cs.AI

시청각 환각 완화를 위한 관련 증거 디코딩

Relevant Evidence Decoding for Audio-Visual Hallucination Mitigation

시청각 대규모 언어 모델(AV-LLM)은 한 모달리티가 다른 모달리티에 대한 예측에 잘못된 영향을 미치는 크로스 모달 환각(cross-modal hallucination)에 여전히 취약합니다. 대조 디코딩(contrastive decoding)이 비전-언어 모델에서 환각을 줄여주기는 하지만, 이를 AV-LLM에 직접 확장하는 것은 서로 다른 질문이 오디오, 비디오, 또는 이들의 상호작용 등 서로 다른 지각적 증거를 필요로 한다는 핵심 과제를 간과합니다. 특히, 모델이 정보가 풍부한 단일 모달리티로부터 정답을 도출해 낼 수 있는 경우에도 시청각 결합 추론(joint audio-visual inference)이 오히려 예측을 약화시킬 수 있음을 발견했습니다. 예를 들어, 어떤 악기 소리가 들리는지 질문을 받았을 때, 모델은 오디오만으로 바이올린을 올바르게 예측할 수 있습니다. 하지만 기타가 보이는 비디오가 추가되면 바이올린에 대한 확신도(confidence)가 떨어질 수 있습니다. 본 논문에서는 질문과 관련된 증거를 식별하고 그 기여도를 선택적으로 강화하는 학습(training) 불필요 방식인 관련 증거 디코딩(Relevant Evidence Decoding, RED)을 소개합니다. RED는 점별 상호정보량(PMI)을 사용하여 질문 자체를 넘어 오디오와 비디오가 제공하는 예측적 지지도를 정량화합니다. 또한 이들의 결합 기여도를 오디오, 비디오, 그리고 잔여 상호작용 컴포넌트로 분해합니다. 질문 전용 추론 과정을 통해 필요한 증거 유형을 결정한 후, 모델은 원래의 시청각 예측을 해당하는 PMI 기여도로 증강합니다. 3개의 시청각 환각 벤치마크와 3개의 AV-LLM에 걸쳐, RED는 표준 디코딩 대비 정확도를 CMM에서 최대 7%, AVHBench에서 6.3%, SVHalluc에서 3.8% 향상시켰으며, 첫 번째 토큰 생성 시간(time to first token)은 표준 디코딩의 평균 1.5배 수준이었습니다.

arXiv:2607.23067v1cs.CL

대규모 언어 모델에서 대조 디코딩을 위한 어텐션 기반 층 선택

Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models

DoLa와 같은 대조 디코딩(contrastive decoding) 방법은 성숙한 층과 미성숙한 층의 출력 분포를 대조하여 대규모 언어 모델(LLM)의 사실성(factuality)을 향상시킨다. 그러나 DoLa의 동적 층 선택은 출력 어휘 분포의 발산(divergence)에만 의존한다. 본 연구에서는 내부 셀프 어텐션(self-attention) 메커니즘이 담고 있는 구조적 정보를 층 선택 신호로 활용하는 세 가지 어텐션 기반 전략인 Attention-JSD, Attention-Entropy-Max, Attention-Entropy-Min을 제안한다. TruthfulQA에 대한 실험 결과, 특히 Attention-JSD와 Attention-Entropy-Min을 포함한 제안 전략들이 원래 DoLa를 일관되게 능가함을 보여준다. 다중 답변 지표(MC2 및 MC3)에서 유의미한 향상을 관찰하였으며, 이는 어텐션 분포가 출력 어휘 분포보다 사실적 지식 해결에 더 민감한 신호를 제공할 수 있음을 시사한다.

arXiv:2607.00247v1cs.SD

Adaptive Perturbation Selection for Contrastive Audio Decoding

대규모 오디오-언어 모델(LALM)의 환각 문제를 해결하기 위해, 기존의 단순한 마스킹이나 노이즈 대신 시간, 스펙트럼, 주파수, 진폭 영역에 걸친 105개 변환으로 구성된 체계적인 퍼터베이션(perturbation) 라이브러리를 구축하고 대조적 디코딩(contrastive decoding)에 적용하였다. 최적 변환이 태스크별로 상이함을 실험적으로 확인하였으며, 모델의 히든 스테이트(hidden state)로 학습된 경량 선택기를 통해 예시별로 최적 네거티브 브랜치를 동적으로 라우팅하여 AH Existence 태스크에서 추가 +4.3% 성능 향상을 달성하였다.

arXiv:2606.29960v1cs.CL

IHDec: 멀티턴 인스트럭션 계층 구조 보호를 위한 발산 유도 대조 디코딩

IHDec: Divergence-Steered Contrastive Decoding for Securing Multi-Turn Instruction Hierarchies

대규모 언어 모델(LLM)은 다양한 역할 수준 우선순위를 가진 다중 출처 입력을 처리할 때 인스트럭션 계층 구조(IH)를 유지하지 못하는 경우가 많으며, 충돌 시 역설적으로 낮은 우선순위의 지시를 따르는 경향이 있습니다. 기존의 방어 방법들은 이 문제를 완화하지만, 주로 단일 턴 시나리오에 국한되어 있으며 비용이 많이 드는 미세조정이 필요합니다. 본 논문에서는 Jensen-Shannon 발산(JSD) 프레임워크를 통해 멀티턴 컨텍스트에서 이 실패 모드를 공식화하고, 하위 입력이 상위 역할을 재정의하는 광범위한 역할 영향 역전(role-influence inversion) 현상을 발견합니다. 학습 없이 이를 해결하기 위해, 본 논문은 IHDec(Instruction Hierarchy-steered Decoding)를 제안합니다. IHDec는 JSD를 활용하여 토큰 수준의 계층 구조 위반을 자동으로 감지하고, 정렬이 어긋난 하위 역할을 억제하기 위해 대조 디코딩(contrastive decoding)을 동적으로 실행합니다. 광범위한 평가를 통해 IHDec가 멀티턴 충돌에서 학습 기반 베이스라인을 능가하면서도 전반적인 응답 품질을 완전히 유지함을 입증합니다. 또한, IHDec는 적대적 프롬프트 인젝션에 대한 안전성을 강화하고 더 큰 모델과의 강건한 스케일링 시너지를 나타냅니다. 코드는 https://github.com/nxcolelxu/IHDec.git 에서 확인할 수 있습니다.

arXiv:2606.29431v1cs.AI

FADE: Mitigating Hallucinations by Reducing Language-Prior Dominance in Large Vision-Language Models

Despite the impressive capabilities of Large Vision-Language Models (LVLMs), they remain susceptible to hallucination, generating content inconsistent with the input image. Recent studies attribute this to the dominance of language priors over visual inputs and employ contrastive decoding methods to mitigate this dominance, but the mechanistic origin remains unexplored. We investigate the information flow through each transformer layer and find that attention modules consistently aggregate visual evidence, while FFN modules at critical layers act as the source of language priors. These priors can override visual evidence, causing correct predictions in intermediate layers to drift toward incorrect outputs. Based on this insight, we propose FADE (FFN Attenuation for DEcoding), a training-free method that attenuates FFN outputs to reduce language-prior dominance. Evaluations on POPE, CHAIR, and MME benchmarks across LLaVA-1.5, mPLUG-Owl2, and InstructBLIP show that FADE effectively mitigates hallucinations while preserving inference efficiency.

arXiv:2602.01740v3cs.AI

MACD: 반사실적 데이터를 통한 모델 인식 대조적 디코딩

MACD: Model-Aware Contrastive Decoding via Counterfactual Data

비디오 언어 모델(Video-LLMs)은 시각적 증거가 약하거나, 모호하거나, 편향되어 있을 때 그럴듯하지만 근거가 없는 콘텐츠를 생성하는 환각(hallucinations) 현상에 취약합니다. 대조적 디코딩(contrastive decoding, CD)과 같은 기존 방법들은 환각 완화를 위해 무작위 섭동에 의존하여 대조적 데이터를 구성하지만, 환각을 유발하는 시각적 단서를 타겟팅하거나 모델의 약점과 정렬하는 데 종종 실패합니다. 우리는 모델이 안내하는 반사실적 구성과 대조적 디코딩을 결합한 추론(inference) 전략인 모델 인식 반사실적 데이터 기반 대조적 디코딩(MACD)을 제안합니다. MACD는 Video-LLM 자체의 피드백을 사용하여 환각에 가장 큰 책임이 있는 객체 영역을 식별하고, 임의의 프레임이나 시간적 수정 대신 타겟팅된 객체 수준의 반사실적 입력을 생성합니다. 이러한 반사실적 입력은 CD에 통합되어 디코딩 과정에서 증거 기반의 토큰(token) 선택을 강제합니다. EventHallusion, MVBench, Perception-test, Video-MME에 대한 실험 결과, MACD가 Qwen 및 InternVL을 포함한 다양한 Video-LLM에서 환각을 일관되게 줄이면서 작업 정확도를 유지하거나 향상시키는 것으로 나타났습니다. 특히 작거나, 가려지거나, 동시에 발생하는 객체가 포함된 시나리오에서 강력한 개선 효과를 보였습니다.