미분 가능한 가우시안 표현을 통한 집단 동역학 학습
Learning Collective Dynamics with Differentiable Gaussian Representations
한국어 초록
집단적 반응은 개인차, 접촉 기회, 그리고 누적된 경험에 따라 달라집니다. 총합된 집계 카운트로부터 이러한 동역학을 학습하려면 집단의 반응 분포를 현재 관측치 및 미래 행동 모두와 연결해야 합니다. 본 논문에서는 세 가지 구성 요소를 통해 이러한 연결을 학습하는 Differentiable Gaussian Dynamics(DGD)를 소개합니다. 이는 이질적인 반응 성향을 나타내는 가우시안 혼합(Gaussian mixture), 접촉 강도 및 행동 확률의 미분 가능한 집계, 그리고 후속 반응을 업데이트하는 피드백 순환입니다. 재매개변수화된 적분과 시간적 순환을 통해 집계된 예측 오차가 분포, 관측 함수, 피드백 파라미터를 공동으로 학습(training)할 수 있게 합니다. KuaiRand-Pure 및 Online Retail II의 4개 윈도우에서 DGD는 결합 행동 헤드를 갖춘 DeepAR 변형보다 더 낮은 결합 행동 음의 로그 가능도(negative log-likelihood)를 달성합니다. Retail 2010에서 DGD의 1일 행동 카운트 MAE는 해당 변형의 6.88 대비 4.71입니다. KuaiRand의 표준 추천 윈도우에서 분포를 학습하면 고정된 가우시안 대비 행동 음의 로그 가능도가 10.82% 감소하며, 통제된 실험에서 피드백 동역학을 제거하면 결합 KL이 0.0340에서 0.2577로 증가합니다. 이러한 결과는 집계된 관측치로부터 집단 표현과 그 피드백 과정을 학습하는 것의 가치를 입증합니다. 코드는 https://github.com/OranAi-Ltd/oransim 에서 이용할 수 있습니다.
원문 초록
Collective responses depend on individual differences, contact opportunities, and accumulated experience. Learning their dynamics from aggregate counts requires connecting a population's response distribution to both current observations and future behavior. We introduce Differentiable Gaussian Dynamics (DGD), which learns this connection through three components: a Gaussian mixture representing heterogeneous response propensities, differentiable aggregation of contact intensity and behavioral probabilities, and feedback recurrence that updates subsequent responses. Reparameterized integration and temporal recurrence let aggregate prediction errors jointly train the distribution, observation functions, and feedback parameters. On four windows from KuaiRand-Pure and Online Retail II, DGD achieves lower joint behavioral negative log-likelihood than a DeepAR adaptation with a joint-behavior head. In Retail 2010, its one-day behavioral-count MAE is 4.71 versus 6.88 for this adaptation. Learning the distribution reduces behavioral negative log-likelihood by 10.82% relative to a fixed Gaussian in KuaiRand's standard-recommendation window; removing feedback dynamics raises joint KL from 0.0340 to 0.2577 in a controlled experiment. These results establish the value of learning population representations and their feedback process from aggregate observations. Code is available at https://github.com/OranAi-Ltd/oransim.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28405v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AIS 데이터를 활용한 트랜스포머 모델 기반 확률적 선박 궤적 예측
Probabilistic Ship Trajectory Forecasting using Transformer Models on AIS Data
선박 궤적 예측은 해상 항해 시 필수적인 작업입니다. 이는 인간 항해사와 무인 수상정(autonomous surface vessel) 모두에 적용됩니다. 궤적 예측을 통해 충돌 회피와 같은 서브루틴이 상황을 파악하고 제때 적절히 대응할 수 있습니다. 본 논문에서는 협수로에서 수상정의 궤적 예측을 위한 트랜스포머(Transformer) 및 퍼포머(Performer) 모델을 연구합니다. 널리 활용되는 선박 자동 식별 장치(AIS)의 위치 데이터를 사용하여 후보 모델들을 학습(training)하고 평가(evaluation)합니다. 각 에이전트(agent) 주변 국소 영역에서 다른 선박들이 어떻게 이동했는지에 대한 과거 정보는 위치 히트맵을 통해 전달됩니다. 이 히트맵은 커널 밀도 추정(KDE)을 사용하여 생성되며, 트랜스포머 모델에 입력되기 전에 합성곱 신경망(CNN)으로 인코딩됩니다. 시의적절한 충돌 회피에 결정적인 모델 인식 예측 구간(prediction interval)을 효율적으로 도출하기 위해 모델은 분위수 손실(quantile loss)로 학습됩니다. 제안된 모델 구조는 이전 연구보다 크게 뛰어난 성능을 보이는 것으로 나타났으며, 국소 히트맵을 포함함으로써 이전 위치 정보만으로는 알 수 없는 선박의 움직임을 예측할 수 있게 됩니다.
전자상거래 검색에서 페이지 수준 레이아웃 결정을 위한 언어 모델
Language Models for Page-Level Layout Decisions in E-commerce Search
전자상거래(E-commerce) 검색 페이지는 수백만 명의 온라인 쇼핑객에게 중요한 접점입니다. 전통적인 검색 엔진은 순위가 매겨진 검색 결과 목록을 반환하는 반면, 최신 전자상거래 검색 페이지는 특정 위치에 대안적 상품 그룹을 노출하는 보조 스택(secondary stack)과 같은 추천 시스템 모듈을 점차 더 많이 통합하고 있습니다. 적절하게 도입될 경우 보조 스택은 사용자 참여도를 향상시킬 수 있지만, 최적화되지 않은 배치는 탐색 흐름을 방해하고 주요 검색 결과를 저하시킬 수 있습니다. 인터리빙(interleaving)과 같은 평가 기법이 잘 정립되어 있는 전통적인 검색 랭킹과 달리, 특정 위치와 시점에 보조 스택을 삽입하는 것과 같은 페이지 수준의 레이아웃 변경을 평가하는 것은 비용이 많이 드는 온라인 A/B 테스팅 없이는 여전히 어려운 과제입니다. 이를 해결하기 위해, 본 연구에서는 특정 위치에 보조 스택을 포함하는 것과 같은 주어진 레이아웃 결정이 사용자에게 유익한지 여부를 평가하기 위한 오프라인 방법을 연구합니다. 저자들은 직접적인 프롬프트(prompt) 기반 방식, 프롬프트에서 유도된 특징(feature) 방식, 표현(representation) 기반 방식을 비교하여 확장 가능한 평가자로서 언어 모델을 조사합니다. 실험 결과, 사용자 참여도를 예측하는 데 있어 표현 기반 접근 방식이 프롬프트 기반 평가보다 일관되게 우수한 성능을 보였으며, 이는 해당 방식이 전자상거래 검색에서 오프라인 레이아웃 평가를 위한 신뢰할 수 있는 기반을 제공함을 시사합니다.
기후 모델에서 강제력이 기온에 미치는 영향에 대한 계층적 인과 표상 학습
Learning Hierarchical Causal Representations of the Effects of Forcings on Temperature in Climate Models
머신러닝(ML) 에뮬레이터는 지구 시스템 모델(Earth System Models) 예측을 기반으로 학습(training)된 후 기후 변화 시나리오를 시뮬레이션할 수 있는 빠르고 비용 효율적인 방법을 제공합니다. 그러나 이러한 데이터 주도적 접근 방식의 블랙박스 특성은 출력값의 사용성과 신뢰성을 제한하며, 특히 인과적 귀인(causal attribution) 도구로서의 활용을 제한합니다. 본 연구에서는 최첨단 전지구 기후 모델의 해수면 온도 장에 적용되는 계층적 인과 표상 학습(hierarchical causal representation learning) 프레임워크를 개발합니다. 이전 연구 대비 주요 진보로서, 본 프레임워크는 내부 기후 변동성에서 발생하는 대기 역학적 상호작용과 대기 중 온실가스 및 에어로졸 농도 변화로 인한 강제 반응(forced responses)을 모두 명시적으로 모델링합니다. 미래 기후 변화 시나리오로 학습했을 때, 본 방법은 장기 전지구 평균 및 지역 기온 변화를 정확하게 예측하며, 미확인 시나리오에 대해 평가(evaluation)했을 때 온실가스 및 에어로졸 농도 섭동에 대해 물리적으로 현실적인 반응을 보여줍니다. 본 연구 결과는 기후 모델 에뮬레이션을 발전시키는 데 있어 인과 표상 학습 프레임워크의 잠재력을 강조합니다.
기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포
Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions
소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.
흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형
Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)
생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.
스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델
Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations
토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.