PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.16017v2cs.CL

대규모 언어 모델의 도덕적 추론 궤적 이해: 프로빙 기반 설명가능성을 향하여

Understanding Moral Reasoning Trajectories in Large Language Models: Toward Probing-Based Explainability

대규모 언어 모델(LLM)이 도덕적으로 민감한 의사결정에 참여하는 경우가 점점 늘어나고 있지만, 추론 단계 전반에서 윤리적 체계를 어떻게 구성하는지는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 중간 추론 단계 전반에 걸친 윤리적 체계 호출 시퀀스인 '도덕적 추론 궤적(moral reasoning trajectories)'을 도입하고, 6개 모델과 3개 벤치마크에 걸쳐 그 역학을 분석합니다. 연구 결과 도덕적 추론에는 체계적인 다중 체계 숙의 과정이 수반되는 것으로 나타났습니다. 즉, 연속된 추론 단계의 55.4~57.7%에서 체계 전환이 발생하며, 체계 일관성을 유지하는 궤적은 16.4~17.8%에 불과했습니다. 불안정한 궤적은 설득 공격(persuasive attacks)에 1.29배 더 취약한 상태를 보였습니다(p=0.015). 표현 수준에서 선형 프로브(linear probe)는 체계별 인코딩을 모델별 층(Llama-3.3-70B의 경우 81개 층 중 63번 층, Qwen2.5-72B의 경우 81개 층 중 17번 층)에 국소화하여, 단계 사전(step-prior) 기준선 대비 16.8~22.2% 더 낮은 KL 발산을 달성했습니다. 생성 과정에서 적용된 활성화 스티어링(activation steering)은 체계 일관성과 정확도 간의 관계를 변화시켜, Qwen2.5-72B에서는 그 격차를 넓히고 Llama-3.3-70B에서는 이를 상쇄했으며, 프로브 공간 층 탐색(layer sweep)을 통해 달성 가능한 드리프트 감소폭을 6.7~8.9%로 제한했습니다. 나아가 본 연구는 기저의 체계 귀속이 인간 평가자에 의해 검증된(평균 코사인 유사도 = 0.859) 도덕적 표현 일관성(MRC) 지표를 제안하고, 자동화된 일관성 평가기가 이에 대해 무엇을 입증하고 입증하지 못하는지 보고합니다.

arXiv:2603.04317v2cs.CL

세계 모델 없는 세계 속성: 분포적 연관성과 언어 모델의 디코딩 결과 해석

World Properties without World Models: Distributional Associations and the Interpretation of Decoding Results from Language Models

대규모 언어 모델(LLM)의 활성화(activation)로부터 변수들을 선형적으로 디코딩할 수 있음을 보여주는 연구가 점점 늘어나고 있습니다. 이러한 변수는 도시의 위치나 역사적 인물의 생애와 같은 세계의 속성부터 감정과 고통에 이르기까지 다양합니다. 이러한 발견은 종종 언어 모델이 표면적인 텍스트 통계를 넘어 세계에 대한 내부 모델을 형성한다는 증거로 받아들여집니다. 본 연구에서는 동일하거나 대응되는 자극에 대한 정적 단어 임베딩(말뭉치 통계로부터 학습된 고정적이고 문맥에 무관한 표현) 역시 동일한 디코딩의 상당 부분을 지원함을 보입니다. 발표된 4가지 사례(장소, 시간, 고통, 감정) 전반에서 정적 벡터는 좌표와 사망 연도를 예측하고(R^2 = 0.42-0.59), 대응되는 대조군 문장에서 고통을 분리하며(홀드아웃 AUC 0.85-0.88), 해당 감정을 직접 언급하지 않도록 작성된 이야기에서 12가지 감정을 분류합니다(AUC 0.84-0.88). 정적 임베딩은 각 단어에 문맥 독립적인 단일 벡터를 할당하므로, 이러한 결과는 단어 연관성만으로 지원할 수 있는 하한선에 해당합니다. LLM은 표현력 테스트에서 분명한 우위를 유지하며, 인과적 및 행동적 발견은 여전히 기준선의 범위를 벗어납니다. 원저자들의 엔티티에 대해 Llama-2 결과를 재현한 실험에서, 트랜스포머의 우위는 주로 역사적 인물을 올바른 세기에 배치하고 장소를 올바른 국가에 배치하는 등 더 풍부한 단어 연관성을 통해 향상될 것으로 기대되는 대략적인 분류에 있었습니다. 해당 그룹 내에서는 모든 표현이 항목들을 제대로 순서화하지 못했습니다. 이름의 단어가 아닌 특정 장소나 인물의 연관성을 담고 있는 모호성이 해소된 위키백과 엔티티에 대한 정적 벡터는 좌표에서는 Pythia-2.8B와 일치하고 사망 연도에서는 Llama-2-7B와 일치하며 남은 격차의 대부분을 좁힙니다. 이러한 결과는 디코딩 가능성만으로는 속성에 대한 표현과 고정된 분포적 연관성에서 이미 얻을 수 있는 정보를 구별할 수 없음을 나타냅니다.