비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.
3D-CT 비전-언어 모델(VLM)에서 고정(frozen) 이미지 인코더와 그 위의 토큰 압축(token-compression) 방식을 고르는 일은 수많은 후보를 탐색하는 것이다. 인코더가 여러 개 있고, 토큰을 압축하는 방법도 여러 가지이며, 토큰 예산(token budget)도 여러 단계가 있어 조합은 빠르게 늘어난다. 이들을 평소 방식으로 비교하려면 각 조합마다 대규모 언어 모델(LLM)을 미세조정해야 하며, 전체 스윕(sweep)을 이 방식으로 돌리면 대부분의 연구 그룹이 감당할 수 있는 연산량을 훨씬 넘어선다. 우리는 인코더의 캐시된 임베딩(cached embeddings) 위에서 수행하는 저비용 프로브가 그 비교를 대신할 수 있는지 묻는다. (encoder × compression) 셀에 걸친 이미지 그라운딩(grounded) 프로빙 벤치마크를 구축하고, 임상 속성(attribute) 패밀리와 두 가지 검증 게이트인 scale-sanity와 probe-separability를 두어 각 속성이 잘 스케일링되고 디코딩 가능하게 유지한다. 이 게이트들이 주요 방법론적 기여이다. 이 벤치마크에서 다양한 read-out head를 비교하고, 예비 연구에서는 각 프로브를 대응하는 다운스트림 태스크와 짝짓는다. 초기 신호는 고무적이다: 저비용 프로브는 후보들의 순서를 고비용 미세조정과 매우 잘 일치시키며, 지금까지 측정한 셀에서 약 $r\approx0.95$이다. 우리는 이를 서열(ordinal) 주장, 즉 정확한 추정이 아니라 순위 예측기(ranking predictor)로 해석하며, 어디까지가 예비 단계인지 명시한다. 이것이 성립하면 인코더와 압축 선택을 고정 토큰(frozen-token) 프로브로 몇 분 만에 선별할 수 있고, 전체 학습은 최종 후보에만 쓸 수 있다.
대규모 언어 모델(LLM)의 기만적 출력을 탐지하기 위한 프로브(probe) 학습은 여전히 미해결 문제이다. 최근 연구는 탐지 프로브가 특히 도메인 외(out-of-domain) 시나리오에서 실패함을 보여주었다 — 한 유형의 거짓말에 대해 학습한 것은 다른 유형의 거짓말을 포함하는 기만 시나리오로 잘 전이되지 않는다. 본 연구에서는 탐지 성능에 영향을 미치는 다양한 요인에 대해 체계적으로 조사한다: 표현 깊이, 프로브 표현력, 희소 특징 표현, 그리고 학습 데이터의 거짓말 유형. 이를 위해 표준 벤치마크 학습 데이터에 허구(fabrication), 누락(omission), 과장(exaggeration) 사례를 포함한 다양한 유형의 기만을 담은 보조 데이터셋을 추가한다. 7가지 프로브 유형에 걸쳐 이러한 요인을 분석한 실험 결과, 최적의 표현 깊이는 데이터셋에 크게 의존하며, 더 표현력 있는 프로브는 선형 기준선 대비 선택적인 이득만을 제공하고, 희소 오토인코더 특징은 밀집 은닉 상태와 유사한 성능을 보인다. 궁극적으로 학습 데이터와 거짓말 유형의 선택이 탐지 가능성을 실질적으로 바꾼다는 것을 보여주며, 기만 탐지가 표현에 크게 의존하는 문제임을 강조한다.
대규모 비전-언어 모델은 3D 의료 영상 해석에서 점점 더 지배적이 되고 있지만, 어떤 내부 유닛이 임상 소견을 인코딩하는지, 또는 그 정보가 표현의 어디에 존재하는지는 거의 알려져 있지 않다. 우리는 먼저 3D 흉부 비전-언어 모델(Pillar-0)에서 고정된 비전 임베딩을 프로빙하여 이를 연구한다. (i) 각 방사선학적 소견은 전체 특징 분류 성능과 동등하고 제로샷 텍스트 프롬프팅을 훨씬 능가하는 약 10개의 비전 인코더 채널의 희소 집합에 의해 인코딩됨을, (ii) 한 소견에 연결된 채널을 끄면 해당 소견의 점수는 붕괴하지만 관련 없는 레이블은 안정적으로 유지됨을, (iii) 동일한 희소 프로브가 구조적으로 무관한 3D 복부 VLM(Merlin)에서도 재현되어 고정된 의료 인코더의 일반적 특성을 시사함을 보인다. 코퍼스 기반 보고서 템플릿과 결합한 학습 없는 개념 채널 프로브(CCP) 방법은 임상 효능 및 NLG(자연어 생성) 지표에서 공개된 CT-CHAT을 능가하며(F1 0.549 vs. 0.184; BLEU 0.483 vs. 0.373), 지연 시간은 22배 낮다. 우리 결과는 고정된 의료 인코더가 소견을 어떻게 표현하는지에 대한 명확하고 재현 가능한 특성화를 제공하며, 모델 전반에 걸친 직접적 적용 가능성을 입증한다.
히든 상태 프로브는 불완전 정보 시퀀스 모델에서 잠재 레이블을 종종 복원하지만, 이것만으로 모델이 히든 상태에 대한 사후 신념 분포를 유지한다고 확립되지는 않는다. 본 논문은 상대의 핸드나 레인지가 아닌 행동 및 가치 타깃만으로 학습된 no-range Limit Hold'em 자기회귀 모델에서 이러한 모호성을 연구한다. 행동/가치 통제 이후 세 시드 중 두 시드에서 상대 레인지 프로브가 양성이며, 행동 헤드는 관측 가능한 공개 이력만으로 보류 행동을 기준선보다 약 5퍼센트포인트 높게 예측한다. 그러나 가시적인 공개 베팅 구성이 잔차 히든 상태보다 더 많은 상대 레인지 신호를 설명하며, 복원 가능한 정보의 대부분이 베팅 요약에서 나온다는 것을 시사한다. 행동/가치+구성 기준선은 top-10 정확도 16.5–16.7%에 도달하는 반면, 구성 잔차 히든 프로브는 11.4–12.2%로 떨어지고, 구성 일치 비교는 모든 시드에서 부정적이다. 우리는 이 증거 패턴을 구성 제한 예측 지지(composition-bounded predictive support)라고 부른다: 히든 상태는 여전히 행동 예측적이고 상대 레인지와 상관되어 있지만, 복원 가능한 레인지 정보의 대부분은 잔차 히든 상태 구조가 아니라 가시적인 베팅 구성에 의해 설명된다. 이는 정확한 베이지안 사후 추적이나 인과적 신념 메커니즘에 관한 주장이 아니라 상대 레인지 표현 증거에 관한 사례 연구 주장이다. 합성 통제 및 오라클 검증은 동일한 진단이 사후 민감 상태는 수용하고 일치하는 통제 하에서 원시 구성 상태는 거부함을 보여준다. 따라서 양성 신념 프로브는 신념 추적의 증거로 취급되기 전에 표적 대안을 통해 해석되어야 한다.
신경 언어 모델(NLM)이 문법성에 따라 문자열을 구별할 수 있는지 여부는 계산언어학 문헌에서 여전히 논쟁적인 주제이다. 기존 증거는 대부분 확률 기반 측정에 의존해 왔으며, 모델이 문법적인 문자열보다 비문법적인 문자열에 더 높은 확률을 부여하는지를 검증했다. 그러나 확률 비교는 문법성이 본질적으로 가능도와 얽혀 있다는 가정에 근거해 문법 지식의 측정 방법으로 비판받아 왔다. 모델이 부여하는 확률은 어휘 빈도, 타당성, 세계 지식 등 여러 관련 문장 속성의 함수이다. 본 연구에서는 확률 기반 평가를 넘어 문법성이 NLM의 내부 표현에 인코딩되는지 조사한다. mass-mean probing을 사용해 문법적 문장과 비문법적 문장이 표현 공간에서 체계적으로 분리되는지 검증한다. 또한 이러한 표현이 문법성과 상관관계가 있는 문장 속성으로부터 얼마나 독립적인지, 그리고 다양한 문법 현상과 언어에 걸쳰 일반화되는 정도를 추가로 조사한다. 결과는 문법성이 다양한 사전학습 NLM의 문장 표현에 견고하게 인코딩되어 있으며, 대안적인 문장 수준 요인만으로는 완전히 설명할 수 없는 문법성 차원에서의 명확한 표현적 분리를 산출한다는 증거를 제공한다. 게다가 이 인코딩은 광범위한 문법 현상에 걸쳐 일반화되며, 어느 정도는 언어 간에도 일반화되어, 문법성이 현대 NLM에서 일관된 표현 차원을 구성함을 시사한다. 이러한 발견은 언어 모델에서 구문 지식의 본질에 관한 논쟁에 새로운 증거를 제공하며, 문자열 확률에만 의존하지 않는 문법 능력 평가를 위한 보완적 프레임워크를 제시한다.
우리는 언어 모델에서 사실적-반사실적 MLM 및 CLM 그래디언트로부터 특징 방향을 학습하기 위한 GRADIEND 방법론을 구현한 오픈소스 파이썬 패키지인 gradiend를 소개한다. 이 패키지는 특징 관련 데이터 생성, 학습, 평가, 시각화, 제어된 가중치 업데이트를 통한 영구적인 모델 재작성, 그리고 다중 특징 비교를 위한 통합 워크플로를 제공한다. 우리는 영어 대명사 실행 예시, 보류된 타겟 단어에 대한 어휘 일반화를 평가하는 의미론적 감성 활용 사례, 그리고 대규모 특징 비교를 통해 gradiend를 시연한다.
사전학습된 코드 모델(SantaCoder-1.1B, CodeLlama-7B)의 잔차 스트림(residual stream)에 선형 탐침(linear probe)을 적용해 Java와 Python 간 타입 표현이 내부적으로 인코딩되는 방식을 분석한 결과, 타입 어노테이션이 없는 코드에서도 교차 언어적 타입 표현이 창발적으로 나타났다. 한 언어로 학습한 탐침이 다른 언어의 인자 타입 및 함수 적용 결과 타입을 유의미하게 추론할 수 있었으며, 이 구조는 어휘적 변형(lexical perturbation)에 대해 부분적으로 견고함을 보였다.
사람이 언어 모델과 무언가를 공유할 때, 모델은 종종 발신자가 그것을 보낸 행위가 아닌 메시지의 표면에 답한다: 완성된 프로젝트를 공유하면 코드를 비평하고, 깊은 밤에 쓴 날 것의 글을 공유하면 정서 상태를 점검한다. 우리는 발신자의 의사소통 의도—그라이스식 '의미된 것(what-was-meant)'—를 일급 해석 가능성 객체로 취급하며, 이 실패가 견고한 표상 위에서의 판독(readout) 문제임을 보인다. 선형 프로브는 모델의 기본 패스 은닉 상태로부터 발신자의 의도—인식을 원하는지 평가를 원하는지—를 깔끔하고 표면과 무관하게 디코딩하며, 이는 6개 모델과 4개 계열에 걸쳐, 그리고 기본 체크포인트에서도 성립한다. 이 표상은 화용론적으로만 추론되는 의도와, 어휘적으로 명확한 두 번째 의도(지지 vs. 도움)로도 일반화된다. 행동 측면과 모든 인과 검증은 인식/평가 대조에서 확립되며, 여기서 변하는 것은 기본 출력이 의도에 따라 행동하는지 여부이다. 판독은 모델 내 층 깊이에서 표상보다 뒤처지며(의도는 출력을 구동하기 몇 층 전부터 디코딩 가능하다); 모델 간에는 기본적으로 의도에 따라 행동하는지 여부가 모델마다 달라, 우리가 스케일링 법칙으로 해석하지 않는 관찰된 계층화(6개 중 3개가 실패를 보임)가 나타난다. 격차가 있는 경우, 표상과 긴밀하게 연결된 방향—탐색된 층에서의 판별 방향—이 인과적 제어 수단이 된다: 이를 조향하면 명시적 지시와 동등하게, 프롬프트 없이도 의도된 행동이 회복된다. 이 방향은 피드백 제공 축에 거의 직교하므로, 일반적인 피드백 조절 장치가 아닌 표상된 의도를 경유하지만, 회복 용량에서 경유된 의도는 명시적 요청을 무효화할 수 있다. 우리는 명백한 무효화에 대한 통제를 통해 각 연결을 뒷받침하고, 귀무 결과를 확인 결과만큼 명확하게 보고한다.
사용자 만족도의 정확한 평가는 대화형 AI의 반복적 개발에 있어 매우 중요하다. 그러나 개방형 어시스턴트의 경우, 전통적인 A/B 테스팅은 신뢰할 수 있는 지표가 부족하다: 명시적 피드백은 희소하고, 암묵적 지표는 모호하다. 이러한 간극을 해소하기 위해, 우리는 고충실도 만족도 평가를 위한 확장 가능한 프레임워크인 BoRP(Bootstrapped Regression Probing)를 소개한다. 생성적 접근 방식과 달리, BoRP는 대규모 언어 모델(LLM) 잠재 공간의 기하학적 특성을 활용한다. 이는 루브릭 생성을 자동화하기 위한 편극 지수(polarization-index) 기반 부트스트래핑 메커니즘을 채택하고, 은닉 상태를 연속적 점수로 매핑하기 위해 편최소제곱법(Partial Least Squares, PLS)을 활용한다. 산업용 데이터셋에 대한 실험 결과, BoRP(Qwen3-8B/14B)는 인간 판단과의 정렬 측면에서 생성적 기준선(Qwen3-Max 포함)을 크게 능가하는 것으로 나타났다. 나아가, BoRP는 추론 비용을 수십 배에서 수백 배까지 절감하여, CUPED를 통한 전규모 모니터링과 고민감도 A/B 테스팅을 가능하게 한다.
트랜스포머 표현 공간에서 인간의 심리적 상태(state of mind)가 스펙트럼 형태의 기하학적 구조를 형성하는지 탐구하기 위해, 붕괴에서 통합까지 7단계 계층으로 분류된 636개 문장 데이터셋을 구축하고 5개의 동결된 트랜스포머 표현(BGE, MPNet, MiniLM, Qwen3-Embedding, Qwen2.5-3B-Instruct)에 대해 프로빙(probing), UMAP 시각화, 순열 검정, 방향성 절제(directional ablation) 분석을 수행하였다. 모든 표현에서 연속 점수와 이산 계층 레이블이 유의미하게 복원되었으며, UMAP 투영에서 저-고 방향의 그라디언트가 관찰되고 오분류가 인접 계층 사이에 집중되는 등, 트랜스포머 표현 공간이 주석된 심리적 상태 구조와 통계적으로 유의한 스펙트럼형 조직을 포함함을 보였다.
대규모 언어 모델(LLM)은 임상 근거를 요약하는 데 점점 더 많이 활용되고 있으며, 여기서 주장의 가중치는 그것이 얼마나 강하게 뒷받침되느냐에 달려 있다. 그러나 이러한 모델들은 신뢰도를 제대로 전달하지 못하며, 진실성처럼 모델이 명시하지 않는 속성들은 종종 활성화 값에서 읽어낼 수 있다. 임상 모델이 진실성과 구별되는 근거 강도를 내부적으로 인식하고 요청 시 이를 명시하는지는 검증된 바 없으며, 그러한 신호가 어휘적일 가능성도 존재한다. 우리는 여섯 개의 공개 출처에서 45,134개의 임상 주장을 수집하고, 20,611개를 세 가지 독립적인 프레임워크 하에서 4단계 근거 등급으로 조화시킨 뒤, 여러 개발사의 22개 로컬 오픈 가중치 LLM(0.6~700억 파라미터; 범용, 의료, 추론 모델)을 어휘적·진실성·프레임워크 간 통제 조건하에 테스트하였다. 선형 추정기는 모든 모델에서 등급을 복원하였으나(중앙값 AUROC 71.8), 디코딩 가능성은 스케일과 함께 증가하지 않았으며 추론 모델에서 가장 낮았다. 모델이 명시한 등급은 우연 수준에 그쳐 추정기보다 25~27퍼센트 포인트 낮았다. 복원 가능한 신호는 대부분 어휘적이었으며 주제나 프레임워크 간에 전이되지 않았으나, 사실적 진실성과는 구별되었고 약하게 뒷받침된 주장을 여전히 식별하였다(AUROC 69.2). 따라서 임상 LLM은 표현하지 않는 순서화된 근거 강도 신호를 내포하고 있으며, 그 결과 모델이 명시한 등급은 표현과 텍스트에서 복원 가능한 경우에도 주장의 뒷받침 정도를 전달하지 못한다.
LLM 내부 확률적 지식의 진위를 탐칭하는 기존 방법의 세 가지 결함 있는 가정을 분석하고, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 sAwMIL로 진술을 참·거짓·둘 다 아님으로 분류하는 다중 클래스 탐칭 프레임워크를 제안한다. 16개 오픈소스 LLM 평가에서 일반 탐칭은 신뢰 가능하고 전이 가능한 진위 방향을 제공하지 못하며, 진실과 거짓은 대칭적으로 인코딩되지 않고 참·거짓과 구별되는 제3의 신호가 존재함을 확인했다.