PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.13911v2cs.AI

혀끝에서 맴도는 정답: LLM이 디코딩할 수 있는 답변에 대해 환각을 일으키는 이유

On the Tip of the Tongue: Why LLMs Hallucinate Answers They Can Decode

언어 모델은 중간 상태에서 정답을 디코딩할 수 있는 경우에도 오답을 출력할 수 있습니다. 이러한 디코딩 가능성(decodability)과 선택(selection) 사이의 간극을 연구하기 위해, 본 연구에서는 첫 번째 답변 토큰에서 읽기(read)와 쓰기(write)를 구분합니다. 읽기는 동일 관계 미끼 대조군(same-relation decoy controls) 하에서 중간 잔차 상태(intermediate residual states)로부터 정답 토큰을 디코딩할 수 있는지를 묻습니다. 쓰기는 최종 판독(final readout)에서 해당 토큰이 내용 토큰(content tokens) 중 1위로 순위가 매겨지는지를 묻습니다. 무작위 레이블 대조군과 함께 세 가지 서로 다른 판독기를 적용했을 때, 상당한 비율의 실패 사례에서 다른 내용 토큰이 선택되는 동안에도 정답은 여전히 읽어낼 수 있는 상태로 남아 있었습니다. 저자들은 이를 정답 로짓과 가장 강력한 대안의 로짓 간의 차이인 최종 판독에서의 선택 마진(selection margin)을 통해 설명합니다. 이 마진은 정답 지지도(answer support)에서 대안 지지도를 뺀 값이며, 토큰 빈도와 연관된 문맥 평균 기준선(context-averaged baseline)과 항목별 항(item-specific term)으로도 분해될 수 있습니다. 정답 지지도를 성공적인 생성에서 전형적으로 나타나는 수준으로 설정하면, 연구 대상 모델 대부분에서 실패 사례의 과반수에 대해 첫 번째 토큰 선택을 복구하기에 충분합니다. 이러한 수정 하에서도 나머지 대부분의 실패 사례에서는 원래 대안이 여전히 앞서 있으며, 이 결과는 판독 기하학(readout geometry)에서 직접적으로 기인합니다. 빈도 방향만을 제거하는 것은 선택을 변화시키지만 정답을 복구하는 경우는 드뭅니다. 동일한 사실에 대해 성공하는 프롬프트 변형은 잔차 스트림(residual stream)과 후기 MLP 출력을 통해 실패하는 변형으로 전이되는 지지도를 제공하지만, 후기 어텐션을 통한 효과는 덜 일관적입니다. 첫 번째 토큰의 복구에도 불구하고 대부분의 전체 답변은 여전히 오답으로 남아 있으며, 이는 이러한 수정을 통해 달성되는 복구를 제한하고 쉽게 혼동되는 세 가지 요소인 디코딩 가능성, 복구 가능성(recoverability), 생성을 구분 짓습니다.

arXiv:2610.03445v1cs.CV

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

arXiv:2509.22415v4cs.CV

멀티모달 대규모 언어 모델의 시각 어트리뷰션을 위한 증거 재구성 및 예측적 맥락 잔차화

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 강력한 비전-언어 성능을 달성했지만, 토큰 수준의 시각적 증거는 여전히 검사하기 어렵다. 최근 로짓 렌즈(logit-lens) 어트리뷰션 방법은 생성된 단어를 설명하기 위해 각 시각 토큰의 은닉 상태를 어휘 공간에 투영하지만, 이러한 토큰별 판독은 불일치를 유발한다: 시각 토큰은 모델에 의해 맥락이 혼합되지만, 어트리뷰션 점수는 각 토큰 위치에서 독립적으로 디코딩된다. 이는 종종 파편화된 어트리뷰션 맵을 만들어내며, 앞선 텍스트 토큰의 자기회귀적 맥락 신호의 영향을 추가로 받을 수 있다. 우리는 증거 재구성(ER)과 예측적 맥락 잔차화(PCR)로 구성된 어트리뷰션 프레임워크인 ERCR을 제안한다. ER는 서로 다른 토큰-영역 할당을 가진 여러 뷰에서 대상 증거를 집계하여, 단일 판독 그리드로 인한 어트리뷰션 파편화를 줄인다. PCR은 RBO 기반 순위 관련성으로 앞선 토큰의 맥락 맵을 추정하고, ER 맵에서 그 피팅된 성분을 빼서 맥락 토큰 간섭을 억제한다. LLaVA, Qwen2-VL, InternVL 계열에 걸친 COCO Caption, GranDf, OpenPSG에서의 실험은 ERCR이 기존 평가 프로토콜 하에서 대상 토큰에 대한 시각적 증거를 개선하고 앞선 토큰 맥락 간섭을 완화함을 보여준다. Qwen2-VL-2B에서 ERCR은 COCO Caption에서 TAM F1-IoU를 39.10에서 44.45로, GranDf에서 30.83에서 37.20으로 향상시킨다. 전반적으로 ERCR은 토큰 수준 시각적 증거 검사를 위한 실용적인 개선을 제공한다.

arXiv:2603.13259v3cs.CL

트랜스포머가 오답을 거부하는 방식: 사실적 제약 처리의 회전 역학

How Transformers Reject Wrong Answers: Rotational Dynamics of Factual Constraint Processing

디코더 전용 트랜스포머가 사실 질의에 대해 정답과 오답 단일 토큰 연속을 강제로 처리할 때, 은닉 상태 공간을 통과하는 두 경로는 발산한다. 질의 단독 표현으로부터의 변위 벡터는 거의 동일한 크기를 유지하면서도 각도적으로 분리되며, 각도 차이는 중간 층에서 증가하다가 후반 층에서 비대칭적 결과로 수렴된다. 오답 실행에서의 로짓 렌즈 선호도는 균등 확률 사전분포보다 훨씬 낮으며(오답 토큰에 약 11.5배 더 많은 확률 질량이 집중됨), 이 패턴, 즉 회전 발산 후 후반 층에서의 비대칭적 고정을 모델이 외부적으로 오답 연속을 거부하는 것처럼 보이는 기하학적 신호로 해석한다. 다만, 이는 관측적 해석이지 인과적 해석이 아님을 명시한다. 오답 실행은 모델이 강제로 주어진 토큰에 순응하는 것을 반영할 수도 있으며, 이는 무작위 토큰 대조군으로만 규명할 수 있다. 이 패턴은 1B에서 13B 파라미터 규모에 걸쳐 네 가지 아키텍처 계열(Llama, Mistral, Gemma, StableLM)을 포괄하는 6개의 디코더 전용 트랜스포머에서 일관되게 나타난다. 7번째 모델(Qwen2 1.5B)은 우리 프로토콜 하에서 평탄한 결과를 보이며, 이는 토크나이저 아티팩트로 추정되어 창발 임계값 문제를 미결로 남긴다. 선형 프로브는 중간 층에서 정답/오답 구분을 복원하며, 크로스 도메인 전이는 구조적으로 비대칭적이어서 금융-의료 방향의 전이가 운송 쌍보다 훨씬 우수하다. 단일 층 활성화 패칭이 명확하게 해석 가능한 경우(LLaMA-2 13B, Mistral 7B)에는 일관된 복원을 보이는 층 구간이 없으며, 세 번째 모델(StableLM-2 1.6B)은 상한선 이상에서 균일하게 복원되는데 이는 코드 경로 아티팩트로 진단하여 제외한다. 이 범위 내 귀무 가설 하에서 후반 층의 비대칭성은 단일 구성 요소에 국소화되지 않으며, 단일 층 국소적 재현율 설명보다는 궤적 분산 설명에 부합한다. 이를 7개 모델, 3개 도메인, 300개 질의에 걸친 강제 완성 프로빙으로 문서화한다.

arXiv:2606.29693v1cs.LG

IG-Lens: 망원경식 적분 그래디언트를 통한 트랜스포머 층 전반의 정확한 가산적 확률 귀인

IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients

디코더 전용 트랜스포머에서 예측 토큰의 확률이 실제로 어느 층에서 생성되는지 정확히 귀인(attribution)하기 위해, 기존 방법들이 로짓 공간에서만 가산성을 보장하거나 층별 합산이 전체 예측 변화량과 불일치하는 문제를 해결하는 IG-Lens를 제안한다. 단일 경로를 따라 망원경식으로 Integrated Gradients를 적용하여 각 층의 기여값 합이 확률 공간에서 정확히 목표 확률 변화량과 일치하며, 역전파 호출 없는 단일 패스 배치 구현으로 전체 토큰×층 귀인 맵을 효율적으로 계산한다.

arXiv:2507.06722v2cs.CL

불확실성이 층별 추론 역학에 미치는 영향

On the Effect of Uncertainty on Layer-wise Inference Dynamics

대규모 언어 모델(LLM)이 내부적으로 예측을 어떻게 표현하고 처리하는지 이해하는 것은 불확실성을 탐지하고 환각을 방지하는 데 핵심적이다. 여러 연구가 모델이 불확실성을 은닉 상태에 인코딩한다는 것을 보여 주었지만, 이것이 그러한 은닉 상태를 처리하는 방식에 어떤 영향을 미치는지는 충분히 탐구되지 않았다. 본 연구에서는 확실한 출력과 불확실한 출력에 대한 층별 출력 토큰 확률의 역학이 대체로 정렬되어 있음을 보여 주며, 불확실성은 추론 역학에 영향을 미치지 않는 것으로 보인다는 점을 드러낸다. 구체적으로, 우리는 Logit Lens의 변형인 Tuned Lens를 사용하여 11개 데이터셋과 5개 모델에 걸쳐 최종 예측 토큰의 층별 확률 궤적을 분석한다. 인식론적(epistemic) 불확실성이 더 높은 경우를 잘못된 예측으로 간주하여, 확실한 예측과 불확실한 예측 모두 유사한 층에서 신뢰도가 급격히 증가하는 정렬된 궤적을 보인다는 결과를 얻었다. 우리는 이러한 발견과 균형을 맞추기 위해, 더 유능한 모델은 불확실성을 다르게 처리하도록 학습할 수 있다는 증거를 제시한다. 우리의 발견은 추론 시점에 불확실성을 탐지하기 위해 단순한 방법을 활용하는 것의 타당성에 의문을 제기한다. 더 넓게 보면, 본 연구는 해석 가능성(interpretability) 방법이 불확실성이 추론에 미치는 영향을 조사하는 데 어떻게 활용될 수 있는지를 보여 준다.

arXiv:2606.22473v1cs.CL

교차 음성-텍스트 언어 모델은 잠재적으로 텍스트 공간에서 작동한다

Interleaved Speech Language Models Latently Work In Text

로짓 렌즈(logit lens)로 다양한 교차(interleaving) 음성-텍스트 SLM을 분석한 결과, 음성 인식을 위한 학습 없이도 중간 레이어에서 발화 단어가 텍스트 토큰으로 암시적 전사되고, 이후 텍스트 공간에서 다음 단어를 예측한 뒤 다시 음성 영역으로 되돌아가는 내부 동작이 확인되었다. 이 전사는 최대 77%의 사례에서 상위 후보로 나타나며, 텍스트 LM 초기화와 교차 학습 데이터가 모두 필요하고 구어적 사실 지식 능력과도 양의 상관을 보인다.