talan.com

이 이메일 도메인이 관측된 논문 4건

arXiv:2609.00374v1cs.LG

그래디언트 없는 적응: 아핀 통계량 수송 및 보증서가 알려줄 수 있는 것

Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You

테스트 시점 적응(TTA)은 일반적으로 추론 시점에 모델 파라미터를 업데이트할 수 있다고 가정합니다. 이러한 가정은 추론 전용 가속기, 동결(frozen)되었거나 서드파티 모델, 메모리가 제약된 배포 환경에 제한적이며, 표준 배치 정규화(BatchNorm) 기반 TTA 구성은 BatchNorm이 없는 아키텍처에서 비활성화될 수도 있습니다. 본 연구에서는 학습된 모델이 반드시 동결된 상태를 유지해야 하는 환경에서의 적응을 다룹니다. 우리는 식별 부분공간(discriminative subspace)에 소스 클래스 통계량을 저장하고, 타깃 배치 모멘트로부터 클래스 공유 아핀 변환(affine transformation)을 추정한 뒤, 분류 전에 소스 클래스 분포를 해석적으로 수송하는 무그래디언트(gradient-free) 방법인 CASTER를 제안합니다. CASTER는 역전파(backward pass), 옵티마이저 상태, 저장된 소스 특징 뱅크(feature bank)를 전혀 필요로 하지 않습니다. 4개의 백본과 7개의 데이터셋에 걸쳐, 동일한 동결 특징에 대한 k-NN과 비교했을 때 28개 백본-데이터셋 설정 중 27개에서 우수한 성능을 보였으며, 유지하는 상태 크기는 중앙값 기준 18배 더 적었습니다. 아핀 수송이 항상 신뢰할 수 있는 것은 아닙니다. 1,000개 클래스에 대해 배치가 64개 샘플만을 포함하는 ImageNet-C에서 무조건적 수송은 top-1 점수가 21.2포인트 하락합니다. 이에 따라 우리는 실증적인 잔차 대 마진(residual-to-margin) 수송 가능성 보증서(certificate)를 제안합니다. 307개 평가 셀 전반에서 10포인트 이상 손실되는 모든 수송은 보증서 값이 3.9를 초과했으나, 유익한 구간과 파괴적인 구간이 완벽하게 분리되지는 않았습니다. 게이팅(gating)을 적용하면 무조건적 수송의 평균 -3.35포인트 효과가 +1.69포인트의 이득으로 전환되며, 넓은 임계값 범위에 걸쳐 성능이 최적 임계값의 0.3포인트 이내로 유지됩니다. 마지막으로, 우리는 이 보증서가 메커니즘에 특화되어 있음을 보입니다. Tent에 적용했을 때 업데이트의 4.3%만 수락하여 Tent가 얻을 수 있는 이득의 0.6%만을 보존했습니다. 이러한 결과는 CASTER가 동결된 모델 배포를 위한 경량 적응 메커니즘으로 자리매김하도록 하며, 안전성 신호가 유익한 시점과 그렇지 않은 시점에 대한 명시적인 설명을 함께 제공합니다.

arXiv:2608.29210v1cs.AI

Imag-Eval: 해석 가능한 텍스트-이미지 지시 수행 평가를 위한 언어 그라운딩 기반 프레임워크

Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation

텍스트-이미지(Text-to-Image, T2I) 모델은 최근 인상적인 시각적 충실도를 달성했지만, 이들에 대한 평가는 해석하기 어렵고 진단력이 충분하지 않은 벤치마크에 여전히 제약받고 있습니다. 기존의 스킬 기반 평가는 사용성에 큰 영향을 미치면서도 표준 분류 체계에서 벗어나는 중요한 실패 유형을 간과하는 경향이 있습니다. 예를 들어 일부 부분이 누락되거나 물리적으로 그럴듯하지 않은 구성(예: 공중에 떠 있는 물체)에서 비롯되는 전역적 비일관성이 이에 해당합니다. 또한 프롬프트의 난이도는 일반적으로 프롬프트 길이 또는 생성할 요소의 수라는 단일 차원을 따라서만 통제됩니다. 이러한 한계를 해결하기 위해, 우리는 T2I 모델이 구성적(compositional) 자연어 지시를 시각적 출력으로 얼마나 잘 그라운딩하는지 평가하도록 설계된 통제형 벤치마크 Imag-Eval을 제안합니다. 표면적인 언어적 복잡성과 구성적 난이도를 혼동하는 기존 연구와 달리, Imag-Eval은 인스턴스의 수와 제약 조건(규칙)의 조합을 독립적으로 변화시키고 오류 전파를 피함으로써 이 두 요인을 명시적으로 분리하고자 합니다. 이러한 설계를 통해 교차 모달 지시 수행이 어디에서 실패하는지를 세밀하고 해석 가능하게 분석할 수 있습니다. 우리의 벤치마크는 1,140개의 프롬프트와 8,842개의 결합 규칙으로 구성되며, 여러 최신(state-of-the-art) 모델을 대상으로 평가를 수행합니다. 동시대 벤치마크의 2,000개가 넘는 프롬프트에 대한 추가 연구로 이 분석을 보완한 결과, 구조화된 스킬의 경우 구성적 난이도는 프롬프트 길이만이 아니라 주로 그라운딩되어야 하는 규칙의 수와 그 규칙들이 인스턴스에 결합(binding)되는 방식에 의해 좌우된다는 점을 시사합니다.

arXiv:2606.19404v1cs.LG

추론의 열역학적 서명: 대규모 언어 모델에서의 환각 감지를 위한 자유 에너지 및 스펙트럼 형식 인자 진단

Thermodynamic Signatures of Reasoning: Free-Energy and Spectral-Form-Factor Diagnostics for Hallucination Detection in Large Language Models

대규모 언어 모델(LLM)에서의 환각(hallucination) 감지는 배포에 있어 매우 중요하며, 최근 연구에서는 어텐션(attention) 유래 그래프 라플라시안(graph Laplacian)의 스펙트럼이 추론(reasoning) 품질에 대한 강력한 신호를 담고 있음을 보여줍니다. 그러나 기존의 스펙트럼 진단 방식은 라플라시안 스펙트럼을 소수의 고유값(eigenvalue)이나 수동으로 선택한 스칼라 값으로 요약하여 대부분의 구조를 활용하지 못합니다. 우리는 각 층(layer)의 어텐션 라플라시안을 해밀토니안(Hamiltonian)으로 취급하고, 그 열역학적 퍼텐셜(thermodynamic potentials)인 분할 함수(partition function), 자유 에너지(free energy), 스펙트럼 엔트로피(spectral entropy), 열용량(heat capacity)을 무작위 행렬 이론(RMT) 스펙트럼 형식 인자(spectral form factor)와 함께 추출하는 스펙트럼 기술자(descriptor)인 자유 에너지 서명(Free-Energy Signatures, Fes)을 제안합니다. 우리는 세 가지 결과를 증명합니다: (i) 어텐션 섭동(perturbation) 하에서의 Fes의 립시츠 안정성(Lipschitz stability); (ii) Fes가 유한한 스펙트럼 요약을 풍부하게 하며, 명시적인 규칙성(regularity) 및 그리드 해상도(grid-resolution) 가정 하에서 모멘트 유래 스펙트럼 기능(spectral functionals)을 근사함을 보여주는 표현력(expressiveness) 결과; (iii) Fes로 구축된 학습(training) 없는 감지기의 AUROC에 대한 유한 샘플 PAC 한계(PAC bound). 경험적으로, 6개의 오픈 가중치(open-weight) LLM과 6개의 벤치마크(benchmark)에 걸쳐, Fes 기술자에 대한 경량 프로브(probe)는 어텐션 스펙트럼 기준선(baseline) 중 가장 강력한 집계 AUROC를 달성하여, 기본 LLM의 업데이트 없이 평균적으로 LapEig보다 $+6.5$ AUROC 포인트, GoR-4보다 $+2.4$ 포인트 향상되었습니다. 완전 비지도 설정(unsupervised setting)에서, RMT 편차 점수(RMT-deviation score)는 평균 AUROC $0.71$을 달성하여 레이블 없는(label-free) 하지만 약한 감지기를 제공합니다. 보완적인 RMT 분석은 올바른 생성(correct generations)은 더 위그너-다이슨(Wigner-Dyson) 유사 스펙트럼 통계를 나타내는 반면, 환각은 더 푸아송(Poisson) 유사 통계를 나타냄을 보여줍니다. 익명화된 코드와 설정(config)은 보충 자료에 제공됩니다.