고차원 데이터로부터 이질성을 학습하는 것은 다양한 데이터 기반 분야에서 근본적인 과제가 되었다. 군집 분석은 이 목적에 널리 쓰이는 비지도 도구이며, 기존의 많은 방법이 희소성 제약을 통해 고차원 환경에 맞게 조정되었다. 알고리즘적 접근과 달리 모형 기반 군집화는 명확한 이론적 보장과 계산상의 단순성을 제공하지만, 특정 모수적 분포에 의존하므로 실제로는 제약이 될 수 있다. 본 연구는 관측 데이터가 잠재적인 좌표별 단조 변환 이후 가우시안 혼합을 따르는 새로운 잠재 준모수 혼합 군집화 모형을 제안한다. 나아가 잠재 공간에서 희소한 최적 군집화 규칙을 가정하여, 고차원 군집화에 맞춘 새로운 방법인 CESME를 개발한다. 변환을 특정하지 않고 허용함으로써, 본 프레임워크는 전통적인 모형 기반 접근보다 훨씬 유연하고 강건하다. CESME의 군집화 오류는 참 변환을 알고 있을 때 얻어지는 속도와 일치하는 속도로 최적 군집화 오류에 근접함을 보인다. 광범위한 시뮬레이션과 실제 데이터 분석을 통해, CESME가 단일세포 RNA 시퀀싱 데이터를 위해 설계된 방법을 포함한 다양한 기존 고차원 군집화 방법보다 우수함을 확인한다. 온라인 보충 파일에는 기술적 증명, 추가 논의, 더 많은 수치 결과가 수록되어 있다.
전체 영역에 대한 단일 함수형 주성분 분해에 기반한 함수형 랜덤 포레스트는 짧은 구간에 국한된 특징을 희석시킬 수 있으며, 그러한 구간의 위치는 미리 알려져 있는 경우가 드물다. 본 연구는 윈도우별 함수형 주성분에 기반한 두 가지 랜덤 포레스트를 제안한다. 전역-국소 함수형 랜덤 포레스트(GL-FRF)는 튜닝된 전체 곡선 포레스트와 윈도우마다 하나씩의 포레스트를 벌점이 부과된 볼록 가중치로 스태킹하는 후기 융합 방법이며, 전체 곡선 포레스트를 실행 가능해로 포함하고, 그 가중치는 영역의 어느 부분이 예측을 이끄는지 나타낸다. 윈도우 결합 함수형 랜덤 포레스트(WC-FRF)는 윈도우별 점수를 연결한 것에 대해 튜닝된 단일 포레스트를 학습하는 초기 융합 방법이다. 20개의 UCR 데이터셋에서 GL-FRF는 동일한 수의 트리를 가진 튜닝된 전체 곡선 포레스트보다 16개 데이터셋에서 개선되었고, Brier 점수는 최대 0.21 감소하였으며, Holm 보정 후에도 유의하였다. 어떤 방법도 여섯 개를 초과하는 데이터셋에서 최고가 아니었다. WC-FRF는 13개 데이터셋에서 GL-FRF보다 정확했으나 신호가 전체 곡선을 필요로 할 때는 실패한 반면, GL-FRF는 시뮬레이션과 실제 데이터를 합친 32개 모든 설정에서 최고 방법 대비 평균 및 최대 초과 오차가 가장 작았으며, 이는 신호의 위치를 모를 때 GL-FRF를 더 안전한 선택으로 만든다.
링크 예측(LP)은 그래프 신경망(GNN)의 표준 사전학습 목적이다. 간선을 숨기고, 인코더-디코더가 이를 예측하도록 학습한 뒤, 노드 임베딩을 하위 노드 과제에 재사용한다. 경험적 성공에도 불구하고, 간선 수준의 목적이 왜 노드 분류에 선형적으로 유용한 임베딩을 만들어내는지 설명하는 정량적 이론은 거의 없다. 본 연구는 이 문제를 유한 표본 확률 블록 모형(SBM)에서 다룬다. 대칭 쌍선형 디코더와 짝지어진 임의의 유계 GNN 인코더에 대해, 모집단 수준의 홀드아웃 LP 초과 위험이 작으면 학습된 임베딩에 대한 전이적 선형 분류기의 커뮤니티 분류 오류도 작다는 조건부 환원을 증명한다. 이 한계는 최적화 잔차, 구조적 근사 잔차, 그리고 유계 밀집 영역에서 $\tilde{O}(\sqrt{d/n})$ 차수의 명시적 통계 항으로 분해된다. 나아가 양의 준정부호 이차형식 $G = W Z^\top Z W$ 하에서의 최근접 중심 분류라는 구성적 소수 레이블 분류기를 제시하며, 그 레이블 오류는 LP 품질과 결합된다. 이 프레임워크는 근사 잔차를 통해 아키텍처에 무관하며, 스펙트럼 위치 인코딩과 쌍선형 디코더를 갖춘 그래프 동형 네트워크(GIN)에 대해 이 잔차를 $O(\log n / n)$으로 구체화한다. 합성 SBM 실험은 LP 위험에서 점수 오차, 분류 오차에 이르는 정리의 연쇄를 검증하고, 최악의 경우 상수가 언제 보수적이 되는지를 보여준다.
본 논문에서는 병원 밖 생존 기간이나 관해 상태로 보낸 기간과 같이 다중 상태 경로의 일반적인 요약량에 대한 개별 예측을 다룬다. 이러한 결과는 부분적으로만 관측될 수 있으므로 우측 중도 절단이 보정을 복잡하게 만든다. 추적 관찰이 뒷받침하는 고정된 임상 기간에 대해 스칼라 및 벡터 요약량에 대한 컨포멀 예측 접근법을 개발한다. 각 후보 영역에 대해, 결과 자체는 아직 알려지지 않았더라도 관측된 이력으로 결과가 해당 영역에 속하는지 확정되는 가장 이른 시점을 커버리지 결정 시간으로 정의한다. 관측된 커버리지 판정에는 해당 시점까지 중도 절단되지 않을 확률의 역수로 가중치를 부여하고, 미해결 이력에 대해서는 조건부 커버리지 확률로 추정량을 보강한다. 고정된 영역에 대해 이 커버리지 추정량은 중도 절단 모형과 조건부 커버리지 모형에 대해 이중 강건성을 가지며, 두 모형이 적절한 속도로 일치할 때 준모수적 효율성 한계에 도달한다. 보정된 영역에 대해서는 커버리지 확률의 유한 표본 하한을 유도하고, 두 모형 중 하나가 올바르면 점근적 타당성이 성립함을 보인다. 모의실험에서 부분 이력을 사용하면 비슷한 커버리지에서 더 좁은 예측 구간이 얻어진다. HF-ACTION 시험에서 병원 내 일수와 병원 밖 일수의 결합 예측과, German Breast Cancer Study Group 코호트에서 무재발 기간의 예측을 통해 이를 예시한다.
인과 추론과 물리적 컴퓨팅 시스템에 동기를 받아, 우리는 공유되는 상호작용 파라미터 행렬과 혼합 성분별 선형 파라미터 벡터를 갖는, 두 개의 유계 지지집합 지수족 분포의 혼합을 학습하는 문제를 고찰한다. 알려지지 않은 성분 레이블의 열은 알려진 구조적 클래스에 속한다. 우리는 로그 분배 함수를 피하는 볼록 손실에 기반한 추정량을 제안하며, 각 고정된 레이블 할당에 대해 추정은 볼록 최적화 문제가 된다. 우리는 조건부 모집단 손실이 상호작용 행렬과 각 표본에 대응하는 선형 파라미터를 유일하게 식별함을 보인다. 전역 경험적 최소화자에 대해, 프로베니우스 노름에서의 상호작용 오차와 평균 제곱 선형 파라미터 오차에 대한 유한 표본 경계를 수립한다. 이 경계는 허용 가능한 레이블 할당 개수의 로그에 의존하며, 차원과 모델 경계가 고정된 경우 이 복잡도가 표본 크기에 대해 준선형적으로 증가할 때 일치성을 함의한다. 추가적인 점유 및 분리 조건 하에서는 성분 및 레이블의 복원이 가능하다.
계층 모델은 응용 베이즈 통계의 핵심이지만, 이들이 의존하는 분산 구조는 해밀턴 몬테카를로(HMC)를 사용하더라도 탐색하기 어려운 사후분포 기하를 만들 수 있다. HMC는 이제 크고 점점 더 이질적인 알고리즘 계열을 가리키는 명칭이 되었다. 본 서베이는 일반화 HMC(Generalized HMC)를 조직 틀로 사용하여 HMC의 다양한 변형, 그 방법론적·계산적 특성, 그리고 경험적 결과를 기술한다. 궤적 길이, 운동량 갱신의 정도, 메트로폴리스 보정의 유무를 달리하면 익숙한 여러 해밀턴 및 랑주뱅 샘플러가 특수한 경우로 복원된다. 나머지 문헌의 상당 부분은 대체로 독립적인 세 방향으로 설명된다. 리만 HMC와 같이 계량(metric)을 수정하는 것, 수정 HMC 또는 섀도 HMC와 같이 채택 검정에 사용되는 해밀토니안을 수정하는 것, 다단계 분할 기법과 같이 수치 적분기를 수정하는 것이다. 우리는 이러한 변형을 이를 조정하고 진단하는 절차와 함께 검토하며, 특히 유효 표본 크기에 주목한다. 그 표준 추정량은 일반화 및 수정 샘플러에는 없는 가역성을 가정하며, 수정 해밀토니안이 도입하는 중요도 가중치를 무시한다. 끝으로 종단 및 사건 발생 시간 결합 모델을 동기 사례로 삼아, 이러한 방법이 계층 모델에서 직면하는 미해결 문제로 논의를 맺는다.
정형 데이터셋의 회귀 및 분류 작업에서 머신러닝 설명에 관한 문헌(예: SHAP, 순열 중요도)의 대부분은 예측적 기여도, 즉 특성 $X_i$가 결과 $Y$를 예측하는 데 도움이 되는가에 초점을 맞추어 왔다. 예측적 기여도는 본질적으로 인과관계가 아닌 상관관계를 포착한다. 본 논문은 이와 달리 인과적 질문, 즉 특성 $X_i$를 조작하면 결과 $Y$가 변하는가를 묻는다. 이 질문에 답하기 위한 자연스러운 양으로 특성 개입 효과 $\Delta_i = E[Y\mid do(X_i=+1)]-E[Y\mid do(X_i=-1)]$를 정의한다. 일반적으로 관측 데이터만으로 이 양을 추정하려면 강한 인과적 가정이 필요하다. 본 논문은 구조적 인과 모델로 생성한 합성 정형 데이터셋으로 학습한 사전 적합 네트워크를 사용하는 상각 추론 방법인 FADO(Feature-wise Amortized Do-Operators)를 제안한다. 학습 중에는 합성 데이터 생성 과정을 알고 있으므로 실제 정답 개입 효과 $\Delta_i$를 계산할 수 있으며, 테스트 시에는 순수한 관측 정형 데이터셋으로부터 이를 예측하도록 모델을 학습한다. 폭넓은 실험으로 보인 바와 같이, 제안한 인과적 설명 가능성 방법은 학습이 쉬우며, 대리 변수, 교란 변수, 충돌 변수, 플라세보를 포함하여 표준 예측적 기여도가 실패하는 다양한 설정에서 더 나은 설명을 제공한다. 숨은 교란 변수가 있는 경우와 없는 경우를 포함하여 실제, 합성, 준합성 데이터셋에서 평가하고, 기존의 예측적 기여도 방법 및 최신 인과 추론 방법과 비교한다.
Sequential testing avoids some of the many controversies and drawbacks related to traditional batch testing with p-values. In particular, the testing by betting paradigm has developed rapidly in recent years; it frames the level of evidence against the null as the wealth of a player in a betting game. Naturally, how much a player should bet is a key consideration, and should reflect their confidence in what they know about the next observed data point. Much current work uses standard betting strategies developed for adversarial problems. In the stochastic setting, where the observed data is independent and stationary, these approaches may be suboptimal. We propose a simple betting strategy, follow the leave-one-out e-power (FLOE), that exploits the i.i.d. nature of a data stream to estimate the e-power of our current test on the underlying distribution. We average not over the historical evidence collected so far, as generic online learning-based methods do, but instead over the equally-likely possible data sequences we might have seen based on shuffling the data. With an additional principled regularization technique, this simple drop-in method yields substantial improvements in testing performance on a variety of kernel two-sample and independence testing problems.
신경망에서는 서로 다른 파라미터 구성이 동일한 입출력 매핑을 구현하는 경우가 많아, 명목상의 파라미터 수가 함수적 복잡도를 과대평가할 수 있음을 시사한다. 본 논문에서는 완전연결, 합성곱, 잔차 아키텍처에 걸쳐 ReLU 및 Leaky ReLU 신경망의 파라미터 공간 대칭성을 규명한다. 신경망 함수를 보존하는 모든 준해석적 파라미터 사상이 양의 채널 스케일링과 채널 순열의 합성임을 증명한다. 두 대칭성을 모두 몫으로 나눔으로써 균등 커버링 수 상계를 도출하는데, 양의 스케일링은 복잡도 지수를 전체 파라미터 수 $S$에서 $S-H$로 감소시키고($H$는 스케일 가능한 채널의 수), 순열 대칭성은 채널 순열의 팩토리얼 개수 $G$로 상계를 나눈다. 또한 지수 $S-H$가 일반적으로 엄밀하며 제수 $G$가 은닉층이 하나인 신경망과 일반적으로 식별 가능한 신경망에서 달성됨을 보이는 일치하는 하계를 확립한다. 나아가 이 결과들을 일반적인 연속 구간별 선형 활성화 신경망으로 확장한다. 마지막으로 커버링 수 상계를 적용하여 경험적 위험 최소화에 대한 통계적 위험 보장과 i.i.d.를 넘어선 설정에서의 용량 제어를 도출하고, 이러한 대칭성이 함수 근사에서의 가중치 재균형과 경험적 위험 최적화에서의 평탄한 방향을 설명하는 데 어떻게 도움이 되는지 보인다.
Federated multi-view clustering (FedMVC) has recently attracted increasing attention for its ability to exploit complementary clustering structures across multiple clients while preserving data privacy. However, existing FedMVC methods often suffer from high communication overhead due to the repeated transmission of high-dimensional representations, which limits their scalability in practical federated systems. Moreover, different views may contribute unequally to the clustering performance, calling for adaptive communication strategies. In this paper, we propose a view-aware quantization algorithm for communication-efficient FedMVC. By dynamically assigning quantization bits based on iteratively updated view importance scores, the proposed algorithm effectively balances clustering performance and communication efficiency under a global bit budget constraint. To validate its generality, we integrate our approach into four state-of-the-art FedMVC methods. Extensive experiments on multiple benchmark datasets demonstrate that view-aware quantization achieves up to 6.59x communication reduction while maintaining and in some cases surpassing baseline clustering performance, confirming the effectiveness and scalability of the proposed approach.
지속 가능한 농업 집약화를 위해서는 토지 이용 결정이 다양한 환경 조건에서 토양 유기탄소(SOC) 격리에 어떻게 영향을 미치는지에 대한 정확한 이해가 필요하다. 우리는 인과 기계학습을 적용하여 리투아니아 전역의 필지 수준에서 겨울밀 기반 윤작이 SOC에 미치는 이질적 영향을 평가한다. 작물 유형, 관리 방식, 토양 특성, 환경 조건을 포함하여 5년간(2018-2022) 수집된 전국 데이터셋을 사용해, 겨울밀 기반 윤작의 효과가 공간과 기후에 따라 어떻게 달라지는지 추정한다. 결과는 겨울밀이 일반적으로 SOC 수준을 높이지만 그 효과는 기후에 의해 조절됨을 보여준다. 더 서늘한 지역에서는 SOC 증가가 더 크고, 더 따뜻한 지역에서는 효과가 감소하거나 심지어 음의 효과가 나타난다. 미래 기후 전망은 고배출 시나리오에서 겨울밀의 탄소 격리 잠재력이 감소할 수 있음을 시사한다. 이러한 결과는 SOC 격리를 극대화하고 장기적인 토양 지속 가능성을 보장하기 위해 기후 변동성을 고려한 지역화된 농업 전략이 중요함을 강조한다.
본 논문은 그래프 데이터로부터 위상적 특징을 추출하고 통합하여 분류 및 회귀 과제의 성능을 향상시키는 것을 목표로, 위상 데이터 분석(TDA)을 활용하는 중첩 앙상블 학습 프레임워크를 제안한다. 제안하는 접근법은 근접 중심성(closeness), 매개 중심성(betweenness), degree2 중심성이라는 세 가지 필터 함수로 유도된 하위 별 필트레이션(lower-star filtration)을 사용하여 지속성 다이어그램(PD)을 계산한다. 단일 필터에 의존하는 한계를 극복하기 위해, 이러한 PD는 데이터 기반의 3단계 구조를 통해 통합된다. Level-0에서는 각 필터 함수별로 추출된 위상적 특징에 대해 다양한 기반 모델을 독립적으로 학습시킨다. Level-1에서는 메타 학습기가 각 필터에 대한 기반 모델들의 예측을 결합하여 필터별 앙상블을 구성한다. 마지막으로 Level-2에서는 메타 학습기가 이러한 필터별 앙상블의 출력을 통합하여 최종 예측을 생성한다. 본 방법을 시뮬레이션 그래프 데이터셋과 실제 그래프 데이터셋 모두에서 평가한다. 실험 결과, 제안한 프레임워크는 기반 모델과 표준 스태킹 방법을 일관되게 능가하며 더 높은 분류 정확도와 더 낮은 회귀 오차를 달성한다. 또한 기존의 최신 접근법도 능가하여 모든 벤치마크에서 상위 세 모델에 포함된다.
유클리드 $k$-means 문제에서는 $\mathbb{R}^d$의 $n$개 점 집합이 주어지며, 각 점에서 가장 가까운 대표점까지의 제곱 거리 합을 최소화하도록 공간에서 $k$개의 대표점을 찾는 것이 목표이다. 알고리즘 측면에서, de la Vega, Karpinski, Kenyon, Rabani [STOC'03]와 Kumar, Sabharwal, Sen [JACM'10]은 고차원 유클리드 $k$-means에 대해 시간 $2^{(k/\varepsilon)^{O(1)}} \cdot dn^{O(1)}$의 $(1+\varepsilon)$-근사를 얻었고, 이는 이후 Feldman, Monemizadeh, Sohler [SoCG'07]에 의해 $2^{\tilde{O}(k/\varepsilon)} + O(ndk)$로 개선되었다. 하한 측면에서, Cohen-Addad, Karthik, Saulpic, Schwiegelshohn [SoCG'26]의 최근 연구는 정점 확장자(vertex expander) 상의 Vertex Cover에 대한 $(1+\varepsilon)$-근사의 지수 시간 난해성을 주장하는 확장자 지수 시간 가설(XXH)을 제안하고, 이를 이용해 $k=\tilde{\omega}(1/\varepsilon)$일 때마다 거의 일치하는 실행 시간 하한을 증명하였다. 본 논문은 XXH가 위 결과에 필요한 매개변수 영역에서는 성립하지 않음을 관찰하고, 더 표준적인 가정 하에서 그들의 환원을 어떻게 수정할 수 있는지 보인다. 보다 정확히, 3-SAT에 대한 거의 지수 시간 가설(Almost ETH)을 가정하면, 모든 상수 $\beta\in(0,1)$에 대하여 $k=\tilde{\omega}(1/\varepsilon)$일 때 $\mathbb{R}^d$에서의 유클리드 $k$-means는 시간 $2^{(k/\varepsilon)^{1-\beta}}\text{poly}(n,d)$에 동작하는 $(1+\varepsilon)$-근사 알고리즘을 갖지 않음을 보인다. 구성을 수정하여 유클리드 $k$-median 문제의 근사에 대해서도 유사한 결과를 얻는다.
대규모 언어 모델은 타당성-폭 사이의 상충 관계를 더욱 날카롭게 만든다. 생성기는 타당한 출력의 좁은 집합으로 붕괴하지 않으면서도 환각을 피해야 한다. 본 연구는 Kleinberg–Mullainathan 모델에서 임의의, 적대적일 수도 있는 순서와 분포적 또는 계산적 가정 없이, 미지의 목표에 대한 양의 예시로부터의 생성을 연구한다. 폭은 하 Banach 밀도로 측정하며, 이는 접두사 기반의 하 점근 밀도와 달리 임의로 큰 희소한 구멍을 배제한다. 1. 1차원에서의 정확한 최적값: 가산 족의 각 목표 $K$에 대해, 동치인 조합론적 및 위상적 정식화를 통해 최적 하 Banach 밀도 $b(K)$를 특성화한다. 결국에는 유효한 하나의 생성기가 모든 $b(K)$를 동시에 달성한다. 모든 $\alpha\in[0,1/2]$는 어떤 가산 족에서 $b(K)$로 나타나며, 유한한 Cantor–Bendixson 점 순위는 균일한 순위 한계가 없더라도 $b(K)=1/2$을 보장한다. 2. 고차원에서의 불가피한 상충 관계: $d\ge2$에서는 단일한 최선의 생성기가 존재하지 않을 수 있다. 한 목표에 대한 밀도를 최적화하면 다른 목표에 대한 보장이 악화될 수 있다. 명시적인 족이 이 본질적으로 다목적적인 상충 관계를 정량화한다. 3. 밀도 프로파일의 완전한 특성화: 기하학적으로 퇴화한 직사각형을 제외한 뒤, 동치인 조합론적 및 위상적 정식화와 함께 동시에 달성 가능한 보장들의 전체 영역을 특성화한다. $\alpha_i\in[0,1/2]$인 모든 지정된 곱 $\prod_i[0,\alpha_i]$는 어떤 언어 컬렉션에 대한 정확한 달성 가능 영역으로 나타날 수 있다. 4. 1/2에 가까운 보장과 날카로운 끝점: 근로그적 비퇴화 조건 하에서, 하나의 생성기가 모든 $\varepsilon>0$에 대해 모든 유한 점 순위 목표에서 필터링된 밀도 $1/2-\varepsilon$ 이상을 달성하며, 이는 이전의 다로그 임계값을 개선한다. 정확한 $1/2$ 끝점은 순위 0의 단일 원소 족에서조차 실패할 수 있다.
민감 집단과 클래스 레이블에 걸친 데이터 불균형은 분류 문제에서 흔하며 상당한 공정성 격차의 원인이 될 수 있다. 본 연구는 이러한 불균형이 균등 기회(Equal Opportunity)에 어떤 영향을 미치는지, 그리고 합성 데이터 증강이 그로 인한 불공정을 어떻게 완화할 수 있는지를 연구한다. 먼저 학습 분포의 변화가 학습된 결정 경계를 이동시키고 집단별 참양성률의 격차를 유발하는 두 가지 메커니즘, 즉 유병률 불균형과 집단 크기 불균형을 규명한다. 이 분석에 착안하여 모든 집단-레이블 셀을 균등하게 만드는 정확한 완전 균형 증강을 연구한다. 완전 균형화가 오라클 균형 분포 하의 예측 오차 비교와 함께 균등 기회를 엄밀하게 개선하는 조건을 정립하고, 표본 크기가 커지고 생성기 오차가 소멸함에 따라 합성 데이터 분류기의 균등 기회 격차가 오라클 균형 분류기의 격차로 수렴함을 보인다. 유한 표본 수렴 속도는 해당 정칙성 영역에서 로그 인자와 생성기 근사 오차를 제외하고 정보이론적 하한 속도와 일치한다. 정확한 균형화가 실제로 최선의 공정성-정확도 절충을 제공하지는 않을 수 있으므로, 예측 정확도에 대한 제약 하에서 추정된 공정성 격차를 최소화하여 어디에 얼마나 증강할지를 모두 학습하는 정확도 제약 적응적 합성 증강(ACASA)을 추가로 제안한다. 선택된 증강 할당을 모집단 최적의 정확도 실현 가능 할당과 비교하는 유한 표본 보장을 제시한다. 시뮬레이션 연구와 실제 데이터 응용은 이론적 결과를 뒷받침하며, 합성 증강이 유리한 경험적 공정성-정확도 절충을 달성하면서 공정성 격차를 상당히 줄일 수 있음을 보여준다.
본 연구에서는 볼록하고 $\beta$-매끄러운 손실 함수에 대한 확률적 경사 하강법(SGD)의 마지막 반복점 수렴 한계를 연구하며, 보간 영역에서 그 한계를 $\cO((\log T)^3/T)$에서 $\cO((\log T)^3/(T\log\log T))$로 개선한다. 이 개선은 궤적 비교에 지평(horizon)에 의존하는 기울기의 다중 스케일 추정을 적용함으로써 얻어진다. 이 한계는 한 번의 패스 내에서 복원 추출과 비복원 추출 모두에 적용된다.
실제 환경의 기계학습 시스템은 불완전한 측정값을 다루는 경우가 많다. 센서에는 잡음이 있고, 주석은 비전문가가 생성하며, 과학적 관측은 간접적인 경우가 많다. 이러한 환경에서 최대 평균 불일치(MMD)와 같은 고전적인 분포 비교 도구는 체계적으로 편향되어, 관심 대상인 근본 메커니즘이 아니라 측정 과정의 인공물을 맞추게 될 수 있다. 우리는 잡음이 섞인 관측은 풍부하지만 정답 측정값을 포함하는 감사(audit) 부분집합은 소수에 불과한 실용적 상황을 연구한다. 우리는 잡음 모델 없이 커널 평가값의 편향을 제거하는 감사 기반 추정량인 측정오차 보정 MMD(MEC-MMD)를 제안한다. MEC-MMD는 단순 무작위 감사 하에서 오라클 MMD에 대해 정확히 불편(unbiased)이며, 명시적인 분산 분해를 허용하고, 모집단 MMD에 대해 일치성을 가지며, 감사 크기가 데이터셋에 비례하여 증가할 때 표준 $O_p(N^{-1/2})$ 수렴률을 달성한다. 우리는 MEC-MMD 손실을 이용한 분포 매칭이 파라미터 추정과 비지도 응용 모두에서 유용함을 보이며, MEC-MMD가 MMD 및 대안 방법을 일관되게 능가함을 보인다. 이러한 결과는 잡음이 있는 실제 기계학습 파이프라인에서의 강건한 분포 비교, 시뮬레이션 기반 추론, 학습을 위한 원리적 토대를 제공한다.
공정성 개입은 흔히 이진 분류 과제에서 단일 민감 속성과 관련된 격차를 대상으로 한다. 그러나 한 데이터 주체에 여러 민감 속성이 연관되어 있을 때, 한 속성에 대한 공정성을 개선하는 것이 모든 속성에 걸쳐 반드시 개선으로 이어지는 것은 아니며, 실무자가 이용할 수 없는 속성을 포함한 다른 민감 속성과 관련된 격차를 악화시킬 수도 있다. 우리는 이러한 의도치 않은 효과를 공정성의 교차 속성 외부효과라고 부른다. 우리는 처음에 불공정한 분류 또는 회귀 모델을 다른 속성에 대해 보정할 때, 한 민감 속성에 대한 공정성이 어떻게 변하는지를 연구한다. 우리는 Wasserstein 무게중심 격차를 이용해 이러한 외부효과를 특성화하고, 주변 및 결합 공정성 척도 모두의 변화를 포착하는 분포적 프레임워크를 개발한다. 이는 개입의 성공을 주로 그것이 표적으로 하는 속성에 대해서만 평가하는 기존 공정성 평가의 한계를 부각한다. 결합 가우시안 모델에서 우리는 주변 및 결합 격차의 명시적 궤적을 유도하고, 개입이 표적 속성에 대한 격차를 제거하면서 다른 속성과 관련된 격차를 증가시키는 조건을 규명한다. 또한 민감 속성을 이용할 수 없을 때 그 결과로 나타나는 외부효과에 대한 날카로운 부분 식별 경계를 유도하고, 결과를 범주형 민감 속성으로 확장한다. 우리는 분류 및 회귀 실제 데이터를 사용해 이러한 외부효과를 예시한다. 분류 실험에서는 고려한 데이터셋의 절반 이상에 걸쳐 대부분의 시나리오에서 개입이 숨겨진 속성에 대한 불공정성을 증가시켰고, ACSIncome 데이터셋에 대한 회귀 실험에서는 인종을 보정하면 성별 격차가 줄어드는 반면 이후 연령을 보정하면 그 격차가 증가한다.
대규모 언어 모델(LLM)이 인간과 함께 중대한 결정을 내리고 문제를 해결하는 일이 늘어남에 따라, 모델이 어떻게 결론에 도달하는지 이해해야 한다. LLM의 동작을 이해하려면 여러 입력에 걸친 관찰이 필요하지만, 생각의 연쇄(CoT)와 같은 자유 형식 텍스트 설명은 인스턴스별로 생성되어 새로운 입력에 대해 쉽게 검증할 수 없다. 본 논문은 LLM 설명이 생성되는 방식과 평가되는 방식 사이의 불일치를 해결하기 위해 코드 설명을 제안한다. 프로그램은 입력 데이터셋 전반에 걸친 LLM의 동작을 설명하며, 그 실행을 통해 자동 검증이 가능하다. 프로그램이 LLM의 출력을 재현하는 입력의 비율을 측정하는 일관성(Consistency) 지표를 정의하고, 이를 후보 프로그램의 평가와 선택에 사용한다. 코드 생성이 가능한 세 개의 오픈소스 LLM과 여덟 개의 과제에 걸쳐, LLM이 여러 설정에서 매우 일관된 코드 설명을 생성할 수 있음을 확인하였다. 또한 코드 설명은 CoT보다 6$\times$에서 100$\times$ 짧으며, 24개 설정 중 9개에서 모델 동작과 더 잘 일치한다. 그러나 언어적 요소가 더 복잡한 과제에서는 일관성이 유의하게 낮았으며, 이러한 과제에서 생성된 프로그램은 정보가 없는 설명 기준선보다 더 자주 모델 출력을 재현하지 못했고 종종 더 긴 하드코딩된 패턴에 의존한다. Claude Opus 5.5를 사용한 실험에서는 모델에 일관성 피드백과 코드 실행을 제공하면 과제 전반에서 설명의 일관성이 향상되지만, 더 복잡한 과제에서는 일관성이 여전히 유의하게 낮다. 본 연구 결과는 실행 가능한 코드가 LLM 동작을 설명하는 새롭고 검증 가능하며 간결한 접근법임을 보여 주고, 검증 피드백이 설명 일관성을 개선하는 유망한 방향임을 시사한다. 본 논문의 코드는 https://github.com/rajesh-lab/code-as-explanations 에서 확인할 수 있다.
톰슨 샘플링은 미지의 함수를 블랙박스 방식으로 최적화하기 위한 자연스러운 무작위화 전략이다. 연속 전역 최적화에서 톰슨 샘플링은 사후분포 계산이 실제로 다룰 만한 사실상 유일한 부류인 가우시안 过程 사전분포에 주로 국한되어 왔다. 본 연구는 사전 적합 네트워크 패러다임으로 사전 학습한 뒤 추론 시점에 문맥 내에서 톰슨 샘플링을 수행하는 확산 모델인 \emph{사전 적합 확산 트랜스포머}를 도입한다. 이 모델을 적용하기 위해, 단봉 함수에 대한 사전분포처럼 가우시안성 하에서는 달성할 수 없는 특성을 갖는 것을 포함하여, 일반적인 블랙박스 함수를 위한 실용적인 비가우시안 사전분포 집합을 개발한다. 또한 모델 크기와 사전 학습 반복 횟수 간의 상충 관계를 정량화하고, 이 모델들이 다른 양식에 대해 정의된 트랜스포머에서 관찰되는 것과 유사한 스케일링 법칙을 따름을 보인다. 일련의 전역 최적화 벤치마크에서, 비가우시안 사전분포를 갖는 사전 적합 확산 트랜스포머가 가우시안 过程에 기반한 전통적 파이프라인보다 향상된 성능을 달성할 수 있음을 보인다.