arXiv:2112.06759

Hformer: Hybrid CNN-Transformer for Fringe Order Prediction in Phase Unwrapping of Fringe Projection

Xinjun Zhu, Zhiqiang Han, Mengkai Yuan, Qinghua Guo, Hongyi Wang

제출 2021-12-13

원문 초록

Recently, deep learning has attracted more and more attention in phase unwrapping of fringe projection three-dimensional (3D) measurement, with the aim to improve the performance leveraging the powerful Convolutional Neural Network (CNN) models. In this paper, for the first time (to the best of our knowledge), we introduce the Transformer into the phase unwrapping which is different from CNN and propose Hformer model dedicated to phase unwrapping via fringe order prediction. The proposed model has a hybrid CNN-Transformer architecture that is mainly composed of backbone, encoder and decoder to take advantage of both CNN and Transformer. Encoder and decoder with cross attention are designed for the fringe order prediction. Experimental results show that the proposed Hformer model achieves better performance in fringe order prediction compared with the CNN models such as U-Net and DCNN. Moreover, ablation study on Hformer is made to verify the improved feature pyramid networks (FPN) and testing strategy with flipping in the predicted fringe order. Our work opens an alternative way to deep learning based phase unwrapping methods, which are dominated by CNN in fringe projection 3D measurement.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28414v1cs.CV공통 태그 Decoder, Prediction

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2607.14191v1cs.LG공통 태그 Decoder, Prediction

TEDDY: ICD 코드화 진단 이력 기반 소아 위험 조기 예측 파운데이션 모델

TEDDY: A Pediatric Foundation Model for Risk Forewarning from ICD-Coded Diagnostic Histories

소아 전자 건강 기록(EHR)은 발달 단계에 따라 구조화된 임상 궤적을 담고 있지만, 생성형 헬스케어 파운데이션 모델 관점에서 그 잠재력은 아직 거의 탐색되지 않았다. 본 연구에서는 TEDDY(Temporal Event Decoder for Disease in Youth)를 제안한다. TEDDY는 단일 소아 의료 기관의 160만 명 아동으로부터 수집한 약 7,300만 건의 ICD-10 진단 데이터로 학습한 184만 매개변수 디코더 트랜스포머이다. TEDDY는 종단적 진단 궤적과 내원 시점을 모델링한다. 예측은 내원 코드가 공개되기 전에 수행했으며, 최초 발생 사례로 한정했고, 성별 및 연령이 매칭된 대조군과 비교하여 평가했다. 16개 ICD-10 장(chapter)에 걸친 797개 질병 발병 예측 과제에서 TEDDY는 중앙값 AUC 72.0%를 달성했으며, 동일 데이터 기반 DenseNet(50.0%), CNN(57.2%), RNN(60.1%), LSTM(62.7%) 베이스라인을 96-99%의 과제에서 능가했다. 성능은 성별과 연령 전반에서 유지되었고, 유병률이 낮은 진단에서 가장 두드러졌다. 가장 희귀한 225개 질환 중 202개(90%)에서 95% 신뢰구간이 우연 수준을 상회했다. 예측 신호는 최초 기록된 진단보다 2년 이상 앞서서도 탐지 가능했으며, 제한 없는 분석에서 중앙값 AUC 59.7%, 고정 코호트 민감도 분석에서 64.4%였다. 천식 및 주의력결핍/과잉행동장애(ADHD) 벤치마크에서 AUC는 각각 79.3%와 84.7%였고, 매개변수 규모가 3자릿수 더 큰 범용 언어 모델을 포함한 최강 비교 모델의 62.7%와 71.7%를 상회했다. 내원 시점 예측은 365일에 걸친 제한 평균 생존시간(restricted mean survival time) 오차의 평균 절대값이 3.0일이었으나, 중앙값 및 장꼬리(long-tail) 재내원 간격은 여전히 보정되지 않았다. 이 결과들은 종합하여, 소아 진단 이력이 인구 규모 데이터나 수십억 매개변수 모델 없이도 광범위하고 희귀 질환 및 장기 예측 위험 예측을 지원하는 소형 생성 모델의 기반이 될 수 있음을 보여준다.

arXiv:2607.13929v1cs.LG공통 태그 Decoder, Prediction

VAIOM: 연속 입력·이산 출력 디코더 전용 금융 시퀀스 모델링

VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling

금융 관측값은 연속적이고 이질적이며 노이즈가 많은 반면, 디코더 전용 next-token 모델은 보통 이산적 기호 입력을 중심으로 구축된다. 우리는 1시간 외환 바에서 다음 수익률의 확률적 모델링을 위한 디코더 전용 트랜스포머인 순서형 수익률 모델링을 위한 벡터 입력 자회귀 추론(Vector-Input Autoregressive Inference for Ordinal-Return Modeling, VAIOM)을 제안한다. VAIOM은 입력 표현과 출력 가능도를 분리한다. 연속 다변량 금융 이벤트 벡터는 입력에서 수치 구조를 보존하고, 다음 변동성 정규화 수익률 버킷에 대한 범주형 분포는 교차 엔트로피 학습과 가능도 평가를 지원한다. 선별된 0.9M Hybrid Continuous Input 모델은 연속 이벤트 특징과 범주형 자산 메타데이터, Mixture-of-Market-States 수익률 헤드, Gap·변동성 체제·Ordinal 보조 목적 함수, 및 전체 시퀀스 지도 학습을 결합한다. 모델과 전처리는 2024년 이전 Train 데이터로 적합되며, 모델은 2024H2 Validation에서 선택되고 두 2025 Test 기간에서 재적합 없이 평가된다. 세 개의 독립적 학습 시드에 걸쳐 모든 모델은 두 Test 반기 모두에서 고정 단일 바 LightGBM 기준선을 능가한다. 표준 체크포인트에서 LightGBM 대비 쌍(pair) 이득은 이벤트당 0.029 및 0.043비트이다. 검증 실험은 동일한 범주형 수익률 목적 함수 하에서 연속 입력이 이산 토큰 입력보다 우수하고, 전체 시퀀스 지도 학습이 마지막 위치 학습보다 우수하며, 통제된 비교에서 보조 표현 형성과 혼합 구조화 수익률 헤드가 수익률 가능도를 향상시킴을 보여준다. 뒷받침 용량 연구는 현재 코퍼스에서 평가된 가장 작은 완전 아키텍처 단계가 가장 높은 검증 가능도를 달성함을 밝힌다.

arXiv:2608.24707v3cs.CL공통 태그 Decoder

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.