단일 이미지 디헤이징(single-image dehazing)은 헤이즈로 열화된 이미지에서 선명한 장면을 복원하는 것을 목표로 한다. 대기 산란(atmospheric scattering)과 실세계 헤이즈 분포의 복잡성으로 인해 여전히 어려운 문제로 남아 있다. 최근의 엔드-투-엔드 네트워크들이 유망한 성능을 달성했음에도 불구하고, 두 가지 문제가 여전히 그 효과를 제한한다: 병목 단계에서의 불충분한 특징(feature) 정제와 인코더-디코더 구조에서의 취약한 지역 구조 표현이다. 이에 우리는 단일 이미지 디헤이징을 위한 헤이즈 인식 이중 도메인 정제 네트워크(DDR-Net)를 제안한다. 우리의 방법은 세 가지 모듈로 구성된다: 헤이즈 사전 추출기(HPE, Haze Prior Extractor)는 다운샘플링된 헤이즈 이미지에 직접 연산하여 다중 스케일의 헤이즈 인식 사전 정보를 제공하고, 세부 향상 블록(DE Blocks, Detail-Enhanced Blocks)은 핵심 특징 추출 단위로서 다중 스케일 구조 정보를 포착하고 그래디언트(gradient) 인식 합성곱을 통해 에지 및 텍스처 복원을 강화하며, 공간-주파수 병목 정제(SFBR, Spatial-Frequency Bottleneck Refinement)는 병목 지점에서 공간 및 주파수 정보를 공동으로 활용하여 병목 특징을 정제한다. DDR-Net은 헤이즈 제거를 위한 보다 효과적인 특징 표현 및 재구성을 달성한다. 실세계 벤치마크에 대한 광범위한 실험을 통해 우리의 방법이 기존 디헤이징 기법들을 능가함을 입증한다. 또한 합성 데이터셋에서도 경쟁력 있는 성능을 달성한다.
인과 매개 분석(causal mediation analysis)은 처리 효과를 매개변수를 통한 간접 경로와 이를 통하지 않는 직접 경로로 분해한다. 현대 생의학 연구에서는 저차원 잠재 생물학적 과정에 대한 잡음이 있는 대리 변수인 고차원 공변량과 매개변수가 흔히 등장한다. 기존 방법들은 대개 희소성(sparsity), 선형 인자 모델에 의존하거나, 측정이 비선형이고 공변량 및 매개변수 인자가 구조적으로 종속되어 있는 경우 제한적일 수 있는 방식으로 학습된 표현 내 변수들 간의 연결을 무시한다. 본 논문에서는 비선형 고차원 매개 분석을 위한 표현 학습 프레임워크인 MediEncoder를 제안한다. MediEncoder는 처리 및 공변량 표현을 매개변수 표현과 연결하는 교차 인자 네트워크(cross-factor network)를 갖춘 결합된 인코더-디코더 아키텍처를 통해 저차원 공변량 및 매개변수 표현을 공동으로 학습한다. 이렇게 학습된 특징들은 자연 직접 효과(natural direct effect) 및 자연 간접 효과(natural indirect effect)의 교차 적합(cross-fitted) 효율적 영향 함수 기반 추정량에 활용된다. 결과적인 추정량은 적절한 정칙성 조건 하에서 다중 강건(multiply robust)하고 점근적 정규성을 지닌다. 시뮬레이션을 통해 MediEncoder가 경쟁하는 차원 축소 접근법들에 비해 추정 정확도를 향상시킴을 확인하였으며, 알츠하이머병 신경영상 이니셔티브(Alzheimer's Disease Neuroimaging Initiative) 데이터에 대한 적용 사례는 고차원 생의학 인과 매개 분석에서의 실용성을 보여준다.
FlexTab은 표 형식 데이터의 문맥 내 학습(ICL)을 위해 단일 태스크 무관 인코더와 태스크별 디코더를 결합한 유연한 인코더-디코더 아키텍처로, 기존 모델의 타겟 의존적 표현 문제를 해결하여 target-agnostic 행 임베딩을 생성한다. 분류, 회귀, 이상 탐지, 클러스터링, 엔티티 매칭 등 여섯 가지 태스크에서 최첨단 또는 경쟁력 있는 성능을 달성하며, 단일 공유 인코더가 다양한 표 형식 예측 문제의 범용 백본으로 기능할 수 있음을 입증한다.
Prompt-based learning has emerged as a dominant paradigm in natural language processing. This study explores the impact of diverse pre-training objectives on the performance of encoder-decoder pre-trained language models across generation and question answering tasks, with a focus on commonsense knowledge retrieval and completion. We highlight the benefits of incorporating multiple objectives during both pre-training and fine-tuning stages. We introduce the Match Task to Objective (MTO) framework and methods for determining the appropriate objective for a given task. This framework offers automated methods to prepare task-related data for adaptation through unsupervised training, based on the identified objective. In the fine-tuning stage, we design novel templates that align with the objectives of the pre-training and adaptation stages. When aligned with task requirements, these strategies can achieve a performance gain of over 120\% compared to conventional methods in few-shot settings. They significantly outperform related works in few-shot settings and exceed the baseline even in full-dataset scenarios. Furthermore, we extend this approach to include prompt-tuning methodologies, providing guidance for more effective soft prompt engineering and optimization. Our strategies significantly enhance prompt-tuning performance as well. These insights hold substantial value, precisely guiding the selection and optimization of models customized for specific tasks. Code is available at https://github.com/puraminy/MTO/