alumni.kntu.ac.ir

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.00196v1cs.CV

GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.

arXiv:2609.22060v1cs.CV

분기형 YOLOv2와 기하 특징을 이용한 자율주행 교통 표지판 인식

Traffic Sign Recognition for Autonomous Driving Using Branched YOLOv2 and Geometric Features

교통 표지판 인식(TSR)은 자율주행 및 고급 운전자 보조 시스템에서 중요한 지각(perception) 과제로, 시스템이 교통 표지판을 효율적으로 국소화(localize)하고 의미적 클래스를 판별해야 한다. 본 연구는 동시 검출 및 분류를 위해 YOLOv2 기반 TSR 시스템을 제안한다. 두 가지 상보적 수정을 연구한다. 첫째, YOLOv2에 중간 예측 층을 추가하여 분기형(branched) 아키텍처로 확장하였으며, 이를 통해 쉬운 사례에서는 추론을 조기에 종료하여 연산 시간을 줄일 수 있다. 전체 이미지 단위와 셀 단위 분기 전략을 모두 조사한다. 둘째, 시각적으로 유사한 표지판 간 분류 오류를 줄이기 위해 기하 정보를 도입한다. 비지도 베이지안 이미지 분할(segmentation) 방법으로 이진 표현을 생성하고, 이를 YOLOv2 바운딩 박스 내부에서 클래스별 기하 템플릿과 비교한다. 이 정보는 추론 중에 사용하거나 학습 시 추가 신호로 사용한다. GTSDB와 GTSRB 샘플을 seamless cloning 및 제어된 이미지 변환으로 결합하여 전용 데이터셋을 구축하였다. 실험은 열 개의 교통 표지판 클래스에 대해 수행하였으며, 학습 3,000개와 테스트 300개 샘플을 사용한다. 선택된 분기형 아키텍처는 0.647 s 실행 시간과 0.680 mAP를 보고하며, 기준선 YOLOv2의 0.6607 s 및 0.680 mAP와 비교된다. 추론 중 기하 검증은 mAP를 0.713으로 높이고, 기하 특징 학습 변형은 보고된 실행 시간 0.6608 s로 0.697 mAP를 달성한다.