주민 신고로부터 도시 이벤트를 복원하기 위한 다중 태스크 반인과 학습
Multi-Task Anti-Causal Learning for Reconstructing Urban Events from Residents' Reports
한국어 초록
많은 실제 머신러닝 태스크는 관찰된 결과로부터 잠재적 원인을 추론(inference)해야 하는 반인과적(anti-causal) 성격을 띱니다. 실제로 우리는 구조적 의존성이 태스크 불변(task-invariant) 메커니즘과 태스크 특화(task-specific) 메커니즘의 결합으로 이루어진 여러 관련 태스크를 마주하는 경우가 많습니다. 본 논문에서는 이러한 태스크 간 불변성을 명시적으로 활용하여 결과와 교란 요인으로부터 원인을 추정하는 프레임워크인 다중 태스크 반인과 학습(Multi-Task Anti-Causal learning, MTAC)을 제안합니다. MTAC는 태스크 특화 편차를 가진 공유 백본을 통해 결과 생성 과정을 (i) 태스크 불변 메커니즘과 (ii) 태스크 특화 메커니즘으로 분해하는 구조 방정식 모델(SEM)을 학습합니다. 학습된 순방향 모델을 기반으로, MTAC는 학습된 구조 모델 하에서 잠재 메커니즘 변수와 원인 크기를 공동 최적화하여 원인을 복원하는 최대 사후 확률(MAP) 기반 추론을 수행합니다. 주차 위반, 방치된 부동산, 비위생적 환경이라는 세 가지 태스크에 걸쳐 주민 신고로부터 도시 이벤트를 복원하는 응용 분야에서 MTAC를 평가합니다. 맨해튼과 뉴어크에서 수집된 실제 데이터에서 MTAC는 강력한 베이스라인 대비 복원 정확도를 일관되게 향상시켜 최대 33.04%의 MAE 감소를 달성하였으며, 태스크 간 전이 가능한 메커니즘을 학습하는 것의 이점을 입증했습니다.
원문 초록
Many real-world machine learning tasks are anti-causal: they require inferring latent causes from observed effects. In practice, we often face multiple related tasks where the structural dependencies are a hybrid of task-invariant and task-specific mechanisms. We propose Multi-Task Anti-Causal learning (MTAC), a framework for estimating causes from outcomes and confounders by explicitly exploiting such cross-task invariances. MTAC learns a structural equation model (SEM) that factorizes the outcome-generation process into (i) a task-invariant mechanism and (ii) task-specific mechanisms via a shared backbone with task-specific deviations. Building on the learned forward model, MTAC performs maximum A posteriori (MAP) based inference to reconstruct causes by jointly optimizing latent mechanism variables and cause magnitudes under the learned structural model. We evaluate MTAC on the application of urban event reconstruction from resident reports, spanning three tasks: parking violations, abandoned properties, and unsanitary conditions. On real-world data collected from Manhattan and Newark, MTAC consistently improves reconstruction accuracy over strong baselines, achieving up to 33.04\% MAE reduction and demonstrating the benefits of learning transferable mechanisms across tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습
Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research
알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.
ChipMEM: EDA 에이전트를 위한 검증 기반 메모리
ChipMEM: Verification-Grounded Memory for EDA Agents
대규모 언어 모델(LLM) 기반 에이전트는 합성 및 검증 피드백 하에서 레지스터 전송 수준(RTL) 설계를 생성·수정하기 위해 전자 설계 자동화(EDA) 도구를 사용한다. 최근 방법들은 실행 추적에서 재사용 가능한 스킬을 지식 증류(distillation)하거나 EDA 도구에서 파생된 보상으로 학습하여 이 피드백으로부터 학습한다. 두 방법 모두 일반적으로 해당 경험을 생성한 태스크에서 평가된다. 동일 태스크에 대한 벤치마크 피드백에 반복적으로 접근하면 전이 가능한 재사용 지식을 만드는 것보다 태스크 특화 수정을 보상할 수 있다. 우리는 EDA 에이전트를 위한 검증 기반 메모리 층인 ChipMEM을 제안한다. ChipMEM은 태스크 간 절차적 메모리와 궤적 내 통계적 안내를 결합한다. 절차적 구성요소는 모델 자기 평가에 의존하지 않고, 합성·시뮬레이션 또는 형식(formal) 검사를 통과한 뒤에만 스킬을 증류하여 저장한다. 베이지안 구성요소는 도구 호출 결과에 대한 계층적 Beta 추정을 유지하고, 유사한 오류 조건에서 성공한 복구 전략을 순위화한다. 공통 어댑터는 각 도메인의 도구와 수용 기준을 보존하면서 동일한 메모리 인터페이스를 RTL 최적화 및 테스트벤치 생성 에이전트에 적용한다. 우리는 학습 태스크에서 성능을 측정하고, 학습된 스킬이 보지 못한 태스크로 전이되는지 평가한다. RTLRewriter-Bench에서 일치하는 모델·도구 설정 하에 ChipMEM은 메모리 없을 때 35/54 대비 채점된 54개 설계 중 39개에서 동등성 통과 출력을 낸다. 49개 설계 단축 스위트에서는 평균 면적(area) 개선이 5.66% 대비 8.69%이다. 보류(hold-out) CVDP 태스크에서 고정(frozen) 절차적 라이브러리를 사용한 ChipMEM은 설정당 단일 평가에서 메모리 없을 때 18/20 대비 20/20의 수용 결과를 달성한다.
더 많은 근거가 오히려 독이 될 때: 생물의학 인과 탐색을 위한 출판 편향 표류와 원칙적 탐색 중단
When More Evidence Hurts: Publication-Bias Drift and Principled Stopping for Biomedical Causal Search
자동화된 생물의학 근거 합성은 출판된 연구들을 검색하는 것에 의존하지만, 생물의학 문헌은 체계적으로 긍정적인 결과 쪽으로 편향되어 있습니다. 따라서 검색을 더 깊이 수행할수록 실제 효과가 없을 때(null) 시스템이 이점이 있다고 잘못 추론할 가능성이 오히려 \emph{더} 높아질 수 있습니다. 본 연구에서는 이러한 현상을 \emph{근거 표류(evidence drift)}로 정의하고, 표준적인 출판 바이어스(publication-bias) 모델 하에서 영효과(null-effect) 질의에 대한 위양성 확률이 검색 깊이에 따라 엄격히 증가하는 대표본 포락선을 따르며 1에 가까워짐을 증명합니다. 실증적으로 140개의 코크란(Cochrane) 기반 질의로 구성된 홀드아웃 테스트 세트에서 검색 예산이 3단계에서 20단계로 증가함에 따라 표류는 7.9\%에서 15.7\%로 단조 증가하며 영효과 클래스에 집중됩니다. 본 논문에서는 PubMed 초록으로부터 인과 지식 그래프를 점진적으로 구축하고 상호 보완적인 역할을 수행하는 2계층 중단 정책을 적용하는 표류 인식 인과 그래프 에이전트(agent)인 DACG-agent를 제시합니다. 이 정책은 사후 수렴(convergence)을 감지하는 KL-발산 모니터(정확도 층)와 근거 품질이 정점에 도달하면 검색을 중단시키는 온라인 저하 감지 브래들리-테리(Bradley--Terry) 프로세스 보상 모델(PRM, 효율성 층)로 구성됩니다. 전체 예산을 사용하는 검색 대비, DACG-agent는 검색 단계를 67\% 적게 사용하면서도 근거 표류를 15.7\%에서 6.4\%로 줄이고 영효과 정확도를 21%포인트(40.0\%$\to$61.4\%) 향상시키며, 전반적인 정확도는 61.4\%에서 69.3\%(95\% CI 61--77)로 증가합니다. 시뮬레이션을 통해 표류 결과가 분석에 사용된 투표 집계(vote-counting) 애그리게이터에서 실제 배포된 noisy-OR 애그리게이터로도 전이됨을 확인했습니다.
베이지안 불확실성 추정이 의료 AI 에이전트의 임상 의사결정을 개선한다
Bayesian uncertainty estimation improves clinical decision making in medical AI agents
의료 영상 분석을 위한 머신러닝 모델은 일반적으로 신뢰할 수 있는 확신도 측정치가 부족하여, 모호하거나 비전형적인 사례에서의 활용을 제한한다. 여기서 우리는 Monte Carlo 드롭아웃을 다중 과제 흉부 방사선 사진 분류기(8가지 흉부 소견, 137,593장의 학습 이미지)에 적용했을 때, 학습 세트 규모에 따른 일반화를 추적하고 확신은 높지만 오류에 취약한 예측을 표시하는 인식론적(epistemic) 불확실성 신호를 제공함을 보여준다. 점 예측에 이 신호를 추가하면 오류 탐지 AUROC가 0.74에서 0.77로 상승했다($Δ$AUROC +0.023, 95% CI [+0.014, +0.033]). 통제된 2×2 요인 실험에서, 임상 의사결정 지원 에이전트는 불확실성을 원시 점수가 아닌 이진 오류 위험 플래그로 전달받았을 때만 이를 활용하여, 예측 신뢰도가 낮은 소견에서의 확신적 오진율을 8.5%에서 2.7%로 줄였다. 따라서 인식론적 불확실성 추정은 점 예측을 넘어 의사결정에 관련된 정보를 담고 있지만, 하류 에이전트에 대한 그 가치는 전달 방식에 달려 있다.
온라인 추천을 위한 확률적 잔차 학습
Probabilistic Residual Learning for Online Recommendations
현대 추천 시스템은 일반적으로 심층 학습(DL) 모델을 기반으로 하며, 밀집 인코더(dense encoder)가 사용자와 아이템의 표현(representation)을 학습한다. 그 결과 이러한 시스템은 기반 모델의 블랙박스 특성과 계산 복잡성으로 인해 추천 성능을 체계적으로 향상시키기 어려운 경우가 많다. 이 문제를 해결하기 위해, 우리는 Probabilistic Residual Learning(PRL)을 제안한다. 이는 실제값(ground-truth)과 기본 예측(base prediction) 사이의 잔차(residual)를 모델링하여 기존 시스템의 목표 지향적 정제(refinement)를 가능하게 하는 인과적 베이지안 추천 모델이다. 구체적으로 PRL은 (1) 국소적 잔차 모델링을 위해 사용자를 확률적으로 그룹화하고, (2) 사용자 및 아이템 표현에 영향을 미치는 도메인 수준 교란 변수(domain-level confounder)를 모델링하며, (3) do-calculus를 사용하여 교란 변수에 대한 클러스터별 잔차 예측을 집계한다. 실험 결과, 플러그앤플레이(plug-and-play) 방식의 PRL이 다양한 기본 심층 학습 추천 시스템과 호환되며 성능을 향상시키는 동시에 의미 있는 사용자 클러스터를 자동으로 발견함을 보여준다.
규칙이 인과 지식을 어떻게 표현하는가: 확률 논리 프로그래밍을 통한 인과 모델링
How Rules Represent Causal Knowledge: Causal Modeling with Probabilistic Logic Programming
Pearl은 유명하게 인과 지식이 개입 효과의 예측을 가능하게 한다고 주장한다. 반면 순수 서술적 지식은 관찰로부터 도출되는 결론만을 지지한다. 그러나 그의 인과성 이론은 베이지안 네트워크와 인과 모델이라는 틀 안에서만 전개되었다. 그 결과 이 이론은 대체로 비순환 인과 관계에 국한되며, 다른 형식 체계로 그 아이디어를 옮기면 오해 또는 불일치가 생길 위험이 있다. 본 논문은 Pearl의 인과성 접근을 확률 논리 프로그래밍(PLP)으로 가져온다. 이를 위해 해당 프로그램들을 시간 개념에 의존하지 않는 선행 연구의 철학적 기반에 맞춘다. 즉, 관련된 모든 사건이 동시에 발생한다고 가정한다. 이러한 프로그램에 대한 형식적 인과 의미론과 함께 개입 개념 및 구현을 제안한다. 이 의미론이 층화(stratified) ProbLog 프로그램에 대한 P-log 의미론과 일치함을 보이며, 비층화 경우와 다른 PLP 형식에서는 둘이 달라질 수 있음을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.