arXiv:1909.10690

Analysis of Generalized Entropies in Mutual Information Medical Image Registration

Vinicius Pavanelli Vianna, Luiz Otavio Murta Junior

제출 2019-09-24

원문 초록

Mutual information (MI) is the standard method used in image registration and the most studied one but can diverge and produce wrong results when used in an automated manner. In this study we compared the results of the ITK Mattes MI function, used in 3D Slicer and ITK derived software solutions, and our own MICUDA Shannon and Tsallis MI functions under the translation, rotation and scale transforms in a 3D mathematical space. This comparison allows to understand why registration fails in some circumstances and how to produce a more robust automated algorithm to register medical images. Since our algorithms were designed to use GPU computations we also have a huge gain in speed while improving the quality of registration.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22588v1cs.AI공통 태그 GPU, Translation

ParBench: LLM 병렬 코드 번역의 신뢰성 있는 평가를 위한 벤치마크

ParBench: A Benchmark for Reliable Evaluation of LLM Parallel Code Translation

현대의 연산 집약적 소프트웨어는 CUDA, OpenMP, OpenCL, OpenMP target offload를 포함하여 가속기, 프로그래밍 API, 컴파일러 스택, 이식성 계층이 계속 변하는 생태계 전반으로 이전해야 한다. 대규모 언어 모델(LLM)과 자율 코딩 에이전트(agent)가 이러한 이전을 위해 점점 더 제안되고 있지만, 이 분야는 스레드 인덱싱, 동기화, 메모리 관리, 호스트-디바이스 조율, API별 실행 구조를 포함하여 번역을 행동적으로 유효하게 만드는 저수준 병렬 의미론을 보존하는지 측정할 신뢰할 수 있는 방법이 부족하다. 우리는 실행 가능하고 재현 가능한 조건에서 LLM 기반 병렬 API 번역을 평가하기 위한 커널 중심 벤치마크 프레임워크인 ParBench를 제시한다. ParBench는 선언적 벤치마크 명세를 통해 주변 빌드, 실행, 검증 인프라를 고정하고 모델에게 계산 커널만 번역하도록 요구한다. 이는 여러 오픈소스 HPC 스위트를 활용하며 CUDA, OpenMP, OpenCL, OpenMP target offload 간 대표적인 교차 API 번역 방향을 다룬다. 성공이 표면적 형태의 암기가 아닌 견고한 번역을 반영하는지 검증하기 위해 ParBench는 AST 기반, 의도된 동작 보존, 기준선 검증된 소스 증강을 포함한다. 최신 오픈소스 및 독점 LLM에 대한 평가는 방향 비대칭성, 다중 파일 조율, 불완전한 API 적응, 소스 수준 교란에 대한 불균등한 견고성을 포함하여 신뢰할 수 있는 병렬 코드 번역에 지속적인 장벽이 있음을 보여준다. 코드는 https://github.com/Scientific-Computing-Lab/ParBench 에서 이용할 수 있다.

arXiv:2607.03836v2cs.CV공통 태그 Translation

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.

arXiv:2606.21023v2cs.LG공통 태그 GPU

LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성

Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL

대규모 언어 모델(LLM)이 금융, 의료, 법률과 같은 미션 크리티컬 영역에 배포되면서 출력 재현성은 엄격한 시스템 요구사항이 되었다. 실무자들은 알고리즘적 확률성을 제거하기 위해 탐욕적 디코딩을 사용하지만, 16비트 정밀도를 사용하는 실제 배포 환경에서는 이기종 GPU 간에 치명적인 출력 불일치가 여전히 나타난다. SASS 수준 프로파일링을 통해 이러한 불일치가 근본적으로 커널 경계에서 다운캐스팅 중 발생하는 절단 오차에 의해 유발됨을 밝힌다. 그러나 전역 FP32 파이프라인으로 재현성을 확보하면 과도한 시스템 비용이 발생한다. 16비트 하드웨어 가속기를 우회하면 연산 효율이 떨어지고, KV 캐시를 상향 캐스팅하면 메모리 오버헤드가 두 배가 된다. 이러한 간극을 메우기 위해 FP32 정밀도를 근사하면서 두 가지 표적 메커니즘으로 하드웨어 제약을 해결하는 표적 개입 기법인 하이브리드 오차 완화(Hybrid Error ALleviation, HEAL)를 제안한다. 첫째, 부동소수점 형식이 Q, K, V 텐서에 대해 비트 폭을 충분히 활용하지 못한다는 점에 착안하여, HEAL은 KV 캐시 점유량을 늘리지 않으면서 수치 안정성을 보존하는 INT16 양자화를 적용한다. 둘째, HEAL은 대수적 오차 보상 전략을 통해 고정밀 행렬 곱셈을 합성하며, 이를 전적으로 고처리량 16비트 텐서 코어에서 실행한다. 접근법을 실용적으로 평가하기 위해 미션 크리티컬 작업의 재현성을 겨냥한 벤치마크인 MCR-Bench를 소개한다. HEAL은 다운스트림 작업에서 FP32 기준선과 동일한 수준의 재현성을 달성하면서 성능 오버헤드를 최대 6.0$\times$까지 줄인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.