Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning
원문 초록
Nonparametric learning is a fundamental concept in machine learning that aims to capture complex patterns and relationships in data without making strong assumptions about the underlying data distribution. Owing to simplicity and familiarity, one of the most well-known algorithms under this paradigm is the $k$-nearest neighbors ($k$-NN) algorithm. Driven by the usage of machine learning in safety-critical applications, in this work, we shed new light on the traditional nearest neighbors algorithm from the perspective of information theory and propose a robust and interpretable framework for tasks such as classification, regression, density estimation, and anomaly detection using a single model. We can determine data point weights as well as feature contributions by calculating the conditional entropy for adding a feature without the need for explicit model training. This allows us to compute feature contributions by providing detailed data point influence weights with perfect attribution and can be used to query counterfactuals. Instead of using a traditional distance measure which needs to be scaled and contextualized, we use a novel formulation of $\textit{surprisal}$ (amount of information required to explain the difference between the observed and expected result). Finally, our work showcases the architecture's versatility by achieving state-of-the-art results in classification and anomaly detection, while also attaining competitive results for regression across a statistically significant number of datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과
Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result
전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.
GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬
GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection
본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.
스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델
Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations
토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.
매개변수 예산 하에서 루프 추정의 통계적 이득
Statistical Gains from Looped Estimation under Parameter Budgets
인공지능에서 메모리 수요가 증가함에 따라 더 적은 학습 가능 매개변수로 학습하려는 동기가 커지고 있다. 본 연구는 반복(iteration)마다 매개변수를 공유하며 하나의 적합된 연산자를 반복 적용하는 루프 추정기(looped estimator)가 동일한 매개변수 예산 하에서 통계적 정확도를 향상시킬 수 있는지 묻는다. 이에 대응하는 기존의 비공유(untied) 추정기는 각 반복마다 별도의 매개변수를 사용한다. 일반적인 가능도(likelihood) 모델에 대해, 루프 시브(sieve) 최대 가능도 추정에 대한 제곱 Hellinger 위험의 상한과, 튜닝된 비공유 모델군에 대한 미니맥스 하한을 확립한다. 이 경계들은 매개변수-반복-정확도 간의 트레이드오프를 드러낸다. 즉, 반복 계산은 매개변수를 추가하지 않고도 근사를 개선할 수 있으나, 계산 비용과 적합된 함수 클래스의 복잡도를 증가시킨다. 알려진 Hölder 매끄러움을 갖는 목표 함수에 대해, 루프 잔차 순방향 신경망(residual feedforward network)과 특정한 post-layer-normalized 트랜스포머(Transformer)는 유계 실수 매개변수의 개수를 고정한 채로 로그 인자를 제외하고 미니맥스 다항 수렴률을 달성한다. 충분히 큰 고정 예산에서는 표본 크기가 증가함에 따라 루프 방식의 최악 사례 위험이 0으로 수렴하는 반면, 최적의 비공유 방식의 최악 사례 위험은 0으로부터 일정 수준 이상 떨어진 채로 유지된다. 명시된 예산 증가 조건 하에서는 루프 대 비공유 위험 비율 또한 0으로 수렴한다. 가우시안 및 라플라스 회귀, 이진 응답, 에너지 기반 밀도 추정을 통해 이론을 예시한다.
CrowdCue: 비전-언어 군중 계수를 위한 전문가-단서 조건화
CrowdCue: Specialist-Cue Conditioning for Vision-Language Crowd Counting
생성형 비전-언어 모델(VLM)은 하나의 모델이 군중 수와 장면에 대한 자연어 설명을 모두 생성하는 계수 패러다임을 제공하지만, 이들의 순수 계수 정확도는 100만 개 미만의 매개변수를 가진 전문가 회귀 모델 수준에 머물러 있습니다. 여기서 핵심적인 미해결 과제는 사전학습된 전문가의 보조 가이드가 VLM을 유의미한 수준으로 끌어올릴 수 있는지, 그리고 그 가이드를 어떤 채널을 통해 전달하는 것이 최적인지 여부입니다. 본 연구에서는 네 가지 널리 사용되는 군중 계수 벤치마크(ShanghaiTech A 및 B, UCF-QNRF, NWPU-Crowd)에서 Qwen2.5-VL-7B를 평가합니다. 제로샷 프롬프팅은 파싱 가능한 계수 값을 거의 생성하지 못하므로, LoRA 지도 미세조정을 통해 전체 MAE 81.64의 기준선을 확립했습니다. P2PNet에서 파생된 밀도 히트맵을 보조 시각적 신호로 조건화하는 방식은 테스트한 모든 인코딩에서 실패했으며, 적대적 교체 프로토콜을 통해 모델이 히트맵을 읽기는 하지만 이를 역효과가 나도록 적용함을 확인했습니다. 이에 따라 본 연구는 동일한 전문가의 이미 통합된 정수 계수 값을 이산 기호로서 VLM에 제공하는 접근 방식인 CrowdCue를 제안합니다. 텍스트 채널 변형은 MAE 72.04에 도달했습니다. 정수를 인쇄된 숫자로 렌더링하여 두 번째 이미지로 제공하는 시각적 채널 변형은 본 논문에서 가장 우수한 결과인 MAE 62.65에 도달하며, 단서를 제공한 전문가 단독 성능(동일 분할 기준 84.45)을 크게 앞질렀습니다. 본 연구에서 다룬 후기 융합 VLM에서 구속 제약이 되는 것은 채널 자체가 아니라 전문가 신호가 전달되는 추상화 수준입니다.
SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계
SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.