arXiv:1705.03751

A Survey of Distant Supervision Methods using PGMs

Gagan Madan

제출 2017-05-10

원문 초록

Relation Extraction refers to the task of populating a database with tuples of the form $r(e_1, e_2)$, where $r$ is a relation and $e_1$, $e_2$ are entities. Distant supervision is one such technique which tries to automatically generate training examples based on an existing KB such as Freebase. This paper is a survey of some of the techniques in distant supervision which primarily rely on Probabilistic Graphical Models (PGMs).

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22305v2cs.AI공통 태그 Survey

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2609.26142v2stat.ME공통 태그 Survey

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.

arXiv:2607.23335v2cs.CV공통 태그 Relation

게이트는 항상 닫힌다: 동결된 비전-언어 모델에 보조 신호를 주입하는 것에 대하여

The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models

VLM의 보조 신호 경로에는 최적화기가 신호를 얼마나 받아들일지 결정할 수 있도록 학습 가능한 게이트가 일상적으로 적용된다. 본 연구는 최적화기가 무엇을 결정하는지, 그리고 모델이 이후 그 신호를 실제로 사용하는지를 쌍곡 시각 관계 그래프를 실험 수단으로 삼아 연구한다. 교차 엔트로피 미세조정 하에서 최적화기는 0을 선택하며, 우리가 학습시킨 모든 설계에서 게이트가 닫힌다는 것을 확인하였다. 이는 LLaVA-1.5-7B에서의 다섯 가지 주입 설계, 네 가지 과제군에 걸친 Qwen2-VL-7B의 15회 중 15회 실행, InternVL3-8B의 3개 시드 중 3개, 그리고 모든 선형 계층에 LoRA를 적용한 경우에서 모두 나타났다. 우리는 이 억제 현상을 두 가지 체제로 설명한다. 하나는 이미지에서 유래한 신호의 캡션 불변성을 통해 정식화하고 직접 측정한 기울기 소실 체제이며, 다른 하나는 보조 신호가 손실을 오히려 악화시키는 음의 효용 체제이다. 게이트가 닫혀 있다고 해서 그 경로가 비활성 상태인 것은 아니므로, 실제 영역 제안을 사용하는 단일 프로토콜 하에서 추론 시 각 경로를 절제하였다. 그 결과 노름 정렬 설계는 행동 면에서 닫혀 있는 반면(학습된 게이트에서 변화가 최대 1.5pp), 정규화되지 않은 게이트 프리픽스는 열려 있으며 해롭다. 학습된 게이트 값 +0.005에서 관계형 GQA에서 6.7pp의 손실을 초래하면서 SugarCrepe에는 도움이 된다. 모든 구성을 단일 추론 모드로 평가한 결과, 활성화된 주입 경로는 관계형 GQA에서 최대 15pp, 분포 외 VSR에서 7-12pp의 손실을 초래하고, 경로를 제거하면 기하학적 학습 손실은 분포 내에서 측정 가능한 이득을 주지 않으며, 유클리드 포함 관계 대조군이 쌍곡 방식과 대등한 성능을 보인다. 임베딩 노름 정렬은 생성을 보존하는 프리픽스 주입에 여전히 필요하다. 우리는 게이트 값이나 어텐션 질량을 읽는 대신 절제를 통해 신호 사용 여부를 검증할 것을 권고한다. 모든 표의 기반이 되는 구현, 체크포인트, 결과 파일을 https://github.com/mrfarazi/the-gate-always-closes 에 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.