arXiv:2012.12124

Non-autoregressive electron flow generation for reaction prediction

Hangrui Bi, Hengyi Wang, Chence Shi, Jian Tang

제출 2020-12-16

원문 초록

Reaction prediction is a fundamental problem in computational chemistry. Existing approaches typically generate a chemical reaction by sampling tokens or graph edits sequentially, conditioning on previously generated outputs. These autoregressive generating methods impose an arbitrary ordering of outputs and prevent parallel decoding during inference. We devise a novel decoder that avoids such sequential generating and predicts the reaction in a Non-Autoregressive manner. Inspired by physical-chemistry insights, we represent edge edits in a molecule graph as electron flows, which can then be predicted in parallel. To capture the uncertainty of reactions, we introduce latent variables to generate multi-modal outputs. Following previous works, we evaluate our model on USPTO MIT dataset. Our model achieves both an order of magnitude lower inference latency, with state-of-the-art top-1 accuracy and comparable performance on Top-K sampling.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28414v1cs.CV공통 태그 Decoder, Prediction

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2607.14191v1cs.LG공통 태그 Decoder, Prediction

TEDDY: ICD 코드화 진단 이력 기반 소아 위험 조기 예측 파운데이션 모델

TEDDY: A Pediatric Foundation Model for Risk Forewarning from ICD-Coded Diagnostic Histories

소아 전자 건강 기록(EHR)은 발달 단계에 따라 구조화된 임상 궤적을 담고 있지만, 생성형 헬스케어 파운데이션 모델 관점에서 그 잠재력은 아직 거의 탐색되지 않았다. 본 연구에서는 TEDDY(Temporal Event Decoder for Disease in Youth)를 제안한다. TEDDY는 단일 소아 의료 기관의 160만 명 아동으로부터 수집한 약 7,300만 건의 ICD-10 진단 데이터로 학습한 184만 매개변수 디코더 트랜스포머이다. TEDDY는 종단적 진단 궤적과 내원 시점을 모델링한다. 예측은 내원 코드가 공개되기 전에 수행했으며, 최초 발생 사례로 한정했고, 성별 및 연령이 매칭된 대조군과 비교하여 평가했다. 16개 ICD-10 장(chapter)에 걸친 797개 질병 발병 예측 과제에서 TEDDY는 중앙값 AUC 72.0%를 달성했으며, 동일 데이터 기반 DenseNet(50.0%), CNN(57.2%), RNN(60.1%), LSTM(62.7%) 베이스라인을 96-99%의 과제에서 능가했다. 성능은 성별과 연령 전반에서 유지되었고, 유병률이 낮은 진단에서 가장 두드러졌다. 가장 희귀한 225개 질환 중 202개(90%)에서 95% 신뢰구간이 우연 수준을 상회했다. 예측 신호는 최초 기록된 진단보다 2년 이상 앞서서도 탐지 가능했으며, 제한 없는 분석에서 중앙값 AUC 59.7%, 고정 코호트 민감도 분석에서 64.4%였다. 천식 및 주의력결핍/과잉행동장애(ADHD) 벤치마크에서 AUC는 각각 79.3%와 84.7%였고, 매개변수 규모가 3자릿수 더 큰 범용 언어 모델을 포함한 최강 비교 모델의 62.7%와 71.7%를 상회했다. 내원 시점 예측은 365일에 걸친 제한 평균 생존시간(restricted mean survival time) 오차의 평균 절대값이 3.0일이었으나, 중앙값 및 장꼬리(long-tail) 재내원 간격은 여전히 보정되지 않았다. 이 결과들은 종합하여, 소아 진단 이력이 인구 규모 데이터나 수십억 매개변수 모델 없이도 광범위하고 희귀 질환 및 장기 예측 위험 예측을 지원하는 소형 생성 모델의 기반이 될 수 있음을 보여준다.

arXiv:2608.24707v3cs.CL공통 태그 Decoder

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.