arXiv:1908.03858

Efficient Structurally-Strengthened Generative Adversarial Network for MRI Reconstruction

Wenzhong Zhou, Huiqian Du, Wenbo Mei, Liping Fang

제출 2019-08-11

원문 초록

Compressed sensing based magnetic resonance imaging (CS-MRI) provides an efficient way to reduce scanning time of MRI. Recently deep learning has been introduced into CS-MRI to further improve the image quality and shorten reconstruction time. In this paper, we propose an efficient structurally strengthened Generative Adversarial Network, termed ESSGAN, for reconstructing MR images from highly under-sampled k-space data. ESSGAN consists of a structurally strengthened generator (SG) and a discriminator. In SG, we introduce strengthened connections (SCs) to improve the utilization of the feature maps between the proposed strengthened convolutional autoencoders (SCAEs), where each SCAE is a variant of a typical convolutional autoencoder. In addition, we creatively introduce a residual in residual block (RIRB) to SG. RIRB increases the depth of SG, thus enhances feature expression ability of SG. Moreover, it can give the encoder blocks and the decoder blocks richer texture features. To further reduce artifacts and preserve more image details, we introduce an enhanced structural loss to SG. ESSGAN can provide higher image quality with less model parameters than the state-of-the-art deep learning-based methods at different undersampling rates of different subsampling masks, and reconstruct a 256*256 MR image in tens of milliseconds.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10592v2cs.CL공통 태그 Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2607.05721v3cs.CL공통 태그 Decoder

SpanUQ: 대규모 언어 모델 생성을 위한 스팬 수준 불확실성 정량화

SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

불확실성 추정은 LLM의 신뢰할 수 있는 배포에 필수적이다. 이는 자기 정제를 뒷받침하고, 검증기에서 협업 에이전트에 이르는 하위 시스템의 의사결정 신호로 쓰인다. 그러나 기존 접근법은 최적이 아닌 단위에서 동작한다. 토큰 수준 점수는 의미적 일관성이 부족하고, 시퀀스 수준 점수는 오류를 국소화하지 못한다. 우리는 불확실성에 자연스러운 단위, 즉 각각 평가 가능한 하나의 의미 단위를 전달하는 의미적으로 일관된 텍스트 스팬을 대상으로 하는 새로운 과제인 스팬 수준 불확실성 추정(SLUE)을 정식화한다. 이 과제를 해결하기 위해, 비용이 큰 다중 샘플 추론의 불확실성 지식을 LLM 은닉 상태에 대한 단일 순전파로 증류하는 경량 프로브 SPANUQ를 제안한다. SPANUQ는 DETR 방식의 스팬 디코더를 사용하여 스팬을 검출하는 동시에 베타 분포 혼합을 통해 그 불확실성을 추정하며, 베타 NLL 회귀와 대조적 순위 목적함수를 원칙적으로 결합하여 학습된다. 우리는 다중 샘플 주장 검증에서 도출한 연속적인 소프트 레이블과 함께 2만 개의 프롬프트와 29만 3천 개의 주석된 스팬으로 구성된 최초의 스팬 수준 불확실성 벤치마크 SPANUQ-BENCH를 구축한다. 다섯 가지 LLM 백본에 대한 실험에서 SPANUQ는 일관되게 최고의 스팬 수준 불확실성 품질을 달성하여, 가장 강력한 프로브 기준선과 모든 샘플링 기반 방법을 능가하면서도 10~20배 빠르다. DETR 기반 스팬 검출기는 0.910 F1을 달성하여 최고의 휴리스틱을 39.4% 앞서며, 시퀀스 수준 방법이 제공할 수 없는 정밀한 오류 국소화를 가능하게 한다. 동일한 아키텍처는 두 모델 계열에 걸친 다섯 가지 LLM에 적용되며 백본마다 프로브를 하나씩 학습한다. 또한 시퀀스 수준 불확실성이 부분적으로 분해 가능함을 관찰하였으며, 이는 스팬 수준 추정이 시퀀스 수준 추정을 특수한 경우로 포함함을 시사한다. 프로젝트 페이지는 damon-demon.github.io/SpanUQ 에서 확인할 수 있다.

arXiv:2608.24707v3cs.CL공통 태그 Decoder

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.