Theoretically informed selection of latent activation in autoencoder based recommender systems
원문 초록
Autoencoders may lend themselves to the design of more accurate and computationally efficient recommender systems by distilling sparse high-dimensional data into dense lower-dimensional latent representations. However, designing these systems remains challenging due to the lack of theoretical guidance. This work addresses this by identifying three key mathematical properties that the encoder in an autoencoder should exhibit to improve recommendation accuracy: (1) dimensionality reduction, (2) preservation of similarity ordering in dot product comparisons, and (3) preservation of non-zero vectors. Through theoretical analysis, we demonstrate that common activation functions, such as ReLU and tanh, cannot fulfill these properties jointly within a generalizable framework. In contrast, sigmoid-like activations emerge as suitable choices for latent activations. This theoretically informed approach offers a more systematic method for hyperparameter selection, enhancing the efficiency of model design.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
재학습 없는 추천을 위한 가변 저랭크 스케치
Mutable Low-Rank Sketches for Retrain-Free Recommendation
2단계 추천에서 흔한 병목은 임베딩 노후화(staleness)입니다. 사용자가 새 항목을 평가하면, 다음 재학습 주기까지 그들의 임베딩은 고정된 채로 남습니다. 우리는 mutable sketch를 제안합니다. 이는 각 사용자의 선호도를 KP-tree(합 집계를 갖는 희소 세그먼트 트리)에 저장하고, 저랭크 투영을 한 번 적합한 뒤, 평가가 도착할 때마다 임베딩을 즉석에서 재계산합니다. 각 새 관측이 예측 오차 범위를 단조적으로 좁힌다는 것을 증명합니다(Theorem 1). 이는 FunkSVD와 eALS에는 없는 보장입니다. KuaiRec에서 mutable sketch는 데이터 읽기 1.8%로 RMSE 0.810을 달성한 반면, ALS는 100%에서 0.822를 기록했으며, 배치당 업데이트는 8배 더 빠릅니다. 새 사용자는 첫 평가 이후 1 ms 미만 만에 개인화된 추천을 받을 수 있으며, 모델 재학습은 필요하지 않습니다. 밀도 구간별 샘플링 전략 비교에 따르면, KP-tree의 노름 비례(norm-proportional) 샘플링은 희소 데이터(밀도 <1%)에서 항목 커버리지를 40–130% 더 높이는 반면, 밀집 행렬에서는 균등 샘플링으로 충분합니다.
부분 관측 행동을 갖는 확률적 선형 밴딧
Stochastic Linear Bandits with Partially Observed Actions
확률적 선형 밴딧(stochastic linear bandit)은 행동을 벡터로 표현하고 보상이 선형인 순차적 의사결정의 핵심 패러다임이다. 본 연구에서는 학습 에이전트가 각 행동에 대해 좌표의 무작위 부분집합만을 관측하는 부분 관측(partially observed) 변형 문제를 다룬다. 이러한 부분 관측 가능성은 추천 및 의료와 같이 전체 행동 기술(description)을 얻는 것이 비용이 많이 들거나 불가능한 환경에서 자연스럽게 발생한다. 일반적으로 이는 준선형 후회(sublinear regret)를 정보이론적으로 불가능하게 만든다. 그러나 행동 벡터의 내재적 차원(intrinsic dimension)이 낮을 경우 이 장벽을 극복할 수 있음을 보인다. 우리는 마스킹된 행동으로부터 잠재 행동 부분공간(latent action subspace)을 추정하고, 에포크 단위로 고정된 표현을 이용해 현재 행동을 대체(impute)하며, 그 결과 얻어진 저차원 좌표에서 OFUL을 실행하는 알고리즘 TOFU-POV를 제안한다. 이론적으로 TOFU-POV는 주변 차원(ambient dimension)이 아닌 내재적 행동 부분공간 차원에 비례하는 $\sqrt{T}$ 후회를 달성하며, 이들 수량과 결측률, 결정 집합 크기, 부분공간 조건화(subspace conditioning) 간의 상호작용을 정량화한다. 또한 내재적 차원에 대한 사전 지식 없이도 동작하는 랭크 적응형(rank-adaptive) 알고리즘도 고안한다. 이러한 보장을 보완하기 위해, 통상적인 보상 학습 불확실성과 부분 관측에 내재된 결측 의존적 비용을 분리하는 새로운 곱 구성(product construction)에 기반한 하한을 제시한다. 합성 및 실제 데이터 실험을 통해 이론을 뒷받침하고, TOFU-POV가 이 어려운 문제에서 자연스러운 베이스라인에 비해 상당한 성능 향상을 달성할 수 있음을 보인다.
문맥적 밴딧을 위한 그래프 차원 축소: 근사 평활성과 노이즈 고유공간 하의 구조 특화 후회 한계
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
그래프 구조 arm을 갖는 문맥적 밴딧(contextual bandits)은 추천, 인용 검색, 소셜 광고 등에서 등장하며, 그래프상에서 연결된 arm들은 보상(reward) 신호를 공유하는 경향이 있다. 표준 차원 축소(dimensionality reduction)는 이러한 구조를 무시하여 탐험(exploration) 비용을 $d/k$배 만큼 증가시킨다. 우리는 arm 특징을 그래프의 저주파 스펙트럴 부분공간(spectral subspace)에 투영하고, 그 결과 얻은 $k$차원 공간에서 선형 UCB를 실행하는 GraphDR-LinUCB를 제안한다. 스펙트럴 투영(spectral projection) 기반 문맥적 밴딧에 대해 최초의 $\wtO(k\sqrt{T})$ 후회(regret) 한계를 증명하며, 차원 의존성을 $d$에서 $k$로 줄인다; 섭동(perturbation) 논증으로 이를 노이즈 그래프까지 확장하고, 보상 평활성(reward smoothness) 불일치와 그래프 추정 오류에 대한 명시적 페널티를 제시한다. 핵심 이론적 발견은 고주파 보상 성분이 최악의 $T$에 선형인 페널티를 반드시 받을 필요는 없다는 것이다: 그 실제 비용은 총 에너지(total energy)가 아니라 실제 플레이 경로(played path)를 따른 실현된 영향(realized impact)에 달려 있다. 부분공간($\Gamma_k$) 간의 단순한 스펙트럴 비교는 주어진 데이터셋(dataset)에서 어떤 축소기(reducer)가 이길지 예측하며, 임계값을 학습하지 않고도 6개 실제 데이터셋 중 5개의 결과를 올바르게 맞춘다. 합성 벤치마크(benchmark)와 6개 실제 데이터셋(MovieLens, Amazon, LastFM, ogbn-arxiv, MIND)에 걸쳐, GraphDR-LinUCB는 전체 차원 LinUCB 대비 누적 후회(cumulative regret)를 $15\times$ 줄이고, 6개 중 5개에서 경쟁 그래프 인지(graph-aware) 방법을 능가한다; 유일한 실패는 바로 그래프의 스펙트럴 부분공간이 보상과 어긋난 경우이다.
만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습
Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being
추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
추론의 기하학적 특징: 과제 난이도에 대한 스펙트럼적 관점
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
사고의 연쇄(CoT) 추론은 대규모 언어 모델(LLM)이 중간 추론 단계를 생성하여 복잡한 문제를 풀 수 있게 한다. 이러한 추론 사슬의 길이와 내용에는 많은 관심이 기울여져 왔지만, 그 내부 기하에 대해서는 훨씬 덜 알려져 있다. 우리는 트랜스포머 모델의 은닉 상태 공간에서 CoT 궤적의 기하를 연구하며, 각 추론 사슬을 $\mathbb{R}^d$ 상의 이산 곡선으로 형식화하고 스펙트럼, 위치, 운동학적 기하 범함수를 통해 특성화한다. 궤적 복잡도의 척도로 유효 차원 $d_\rho$를 도입하고, 더 어려운 과제일수록 더 큰 유효 차원을 보임을 실험적으로 보인다. 마지막으로 궤적의 운동학적 특징, 즉 평균 위치, 위치 분산, 초기 및 최종 은닉 상태, 평균 속도, 평균 속력, 속력 분산이 생성이 완료되기 전에 풀이의 정답 여부를 예측하는 데 사용될 수 있음을 탐구하며, 이는 향후 조기 종료 전략에 활용될 수 있다. 실험적으로 MATH500 데이터셋의 86개 수학 추론 문제와 세 가지 Qwen2.5 모델 규모(0.5B, 1.5B, 7B)에서 $d_\rho$는 각각 $0.90$, $0.94$, $0.96$의 난이도 예측 AUROC를 달성한다. 일곱 가지 운동학적 및 위치 특징은 생성된 토큰의 처음 $20\%$만으로 정답 여부를 예측하며, 규모 전반에서 AUROC는 $0.77$에서 $0.88$ 사이이다. 이러한 정답성 특징은 보류된 질문 간에도 전이되어, 모델의 내부 추론 궤적의 형태가 과제 난이도와 풀이 품질 모두를 들여다볼 수 있는 원리적 창임을 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.