본 연구에서는 어텐션 그래프 내 정보 흐름 패턴의 위상을 조사하여 환각이 있는 응답과 없는 응답을 효과적으로 구분한다. Forman-Ricci 곡률을 분석해 어텐션 그래프에서 정보 병목을 나타내는 구조적 패턴을 식별한다. 이어서 환각 응답과 연관된 어텐션 헤드의 반국지(semi-local) 및 전역 정보 흐름 특성을 모두 포착하는 방법을 제안한다. 여러 대규모 언어 모델(LLM)과 기존 벤치마크에 걸쳐 제안 방법을 광범위하게 평가한다. 실험 결과, 제안한 단일 패스(single-pass) 접근법은 두 환각 탐지 벤치마크에서 기존 어텐션 기반 및 다중 응답(multi-response) 베이스라인 대비 일관된 개선을 제공하며, 다양한 LLM 아키텍처에서 경쟁력 있는 성능을 달성함을 보여준다. 추가 분석 결과, 인과적 생성 과정에서 토큰 간 손상된 컨텍스트 공유가 LLM에서의 환각 발생과 강하게 연관됨을 드러낸다. 특히 환각 응답은 마지막 트랜스포머 층에서 두드러지게, 셀프 어텐션(self-attention)에 대한 과의존, 이전 토큰으로부터의 분산된 컨텍스트 검색, 또는 정보 과압축(information over-squashing)으로 일관되게 특징지어진다.
본 연구는 ``소규모 대 대규모 격차(small-vs-large gap)''를 조사한다. 더 적은 샘플에 대한 반복이 더 큰 데이터셋을 쓰는 것보다 학습 시 연산량을 줄일 수 있는 현상이다. 이는 알고리즘적 과제, 아키텍처, 옵티마이저 전반에서 관찰되며 기존 이론으로는 설명되지 않는다. 우리는 가속이 샘플링 편향에 의해 가능해지는 적절한 층별(layer-wise) 성장에서 비롯된다고 주장하며, 데이터셋 크기가 작을수록 이 효과가 더 두드러진다고 본다. 다양한 개입에 대한 이론적 분석과 실증적 근거를 제시한다. 결과에 따르면, 더 작은 데이터셋을 더 많이 반복하는 것은 데이터 부족 시의 차선책에 그치지 않고, 특히 추론(reasoning) 과제에서 최적화를 위한 유리한 귀납적 편향(inductive bias)으로 적극 활용할 수 있다.
PHQ-8로 측정된 우울 증상 수준에 따라 766명 참가자의 ChatGPT 대화 187,093건을 분석한 결과, 증상이 높은 집단은 정신건강·외로움·자기중심적 주제의 대화와 심야 시간대 이용이 유의미하게 많고 1인칭 대명사 및 절대적 표현도 더 자주 사용하였다. 그러나 ChatGPT의 전문가 연계 안내 비율은 증상 수준과 무관하게 일정했으며, 언어 기반 예측 성능(AUROC 0.591)이 낮아 임상 선별 도구로 활용하기에는 부적합하다고 결론지었다.