Papers with Code 아카이브
Image Captioning
태스크의 하위 분류와 논문·코드·평가·기법·데이터셋을 탐색하세요.
- 하위 태스크
- 8
- 평가표
- 34
- 보존된 평가 기록
- 419
Image Captioning is the task of describing the content of an image in words. This task lies at the intersection of computer vision and natural language processing. Most image captioning systems use an encoder-decoder framework, where an input image is encoded into an intermediate representation of the information in the image, and then decoded into a descriptive text sequence. The most popular benchmarks are nocaps and COCO, and models are typically evaluated according to a BLEU or CIDER metric.
( Image credit: Reflective Decoding Network for Image Captioning, ICCV'19)
논문
이 태스크와 하위 분야의 관련 논문입니다. 실제 성능 비교는 평가 결과에서 확인하세요.
CogRad: 방사선 보고서 생성을 위한 인지 기반 멀티 에이전트 프레임워크
SeeMe: 효과적인 시각 토큰 엔지니어링을 통한 대규모 비전-언어 모델의 환각 완화
인터랙티브 글로벌 지오로케이션 어시스턴트를 향하여
일대일에서 다대다로: 심층 비전-언어 융합을 위한 동적 교차 층 주입
TimeChat-Captioner: 시간 인식 및 구조적 오디오-비주얼 캡션을 활용한 다중 장면 비디오 스크립팅
향상된 오디오비주얼 비디오 캡셔닝을 위한 시간적·크로스모달 정렬
픽셀 차이를 넘어서: 웹 UI 시각적 회귀 테스팅을 위한 이미지 변경 캡셔닝 벤치마크
Surfacing Variations to Calibrate Perceived Reliability of MLLM-generated Image Descriptions
긴 꼬리 분포 다중 장기 병리 보고서 생성을 위한 사전 앵커 기반 바이어스 제거
DFM: 원격 탐사 이미지 변화 캡셔닝을 위한 텍스트 유도 게이트 대조 손실 기반 차이 특징 모델링
토큰 활성화 맵을 이용한 MLLM의 예술 작품 묘사 방식 이해
RSICCLLM: 원격 탐사 영상 변화 캡셔닝을 위한 멀티모달 대규모 언어 모델
PerceptionRubrics: 인간 지각에 맞춘 다중모달 평가 보정
구조에서 시너지로: 멀티모달 대규모 언어 모델의 비전-언어 인식 패러다임 진화 서베이
GAVEL: 그라운딩 캡션 오류 검증 및 국소화
TAVR-VLM: 환각 저항 보고서 생성을 위한 위험 조건부 인과 그라운딩
지각 검증 자기학습을 통한 비전-언어 모델의 추론 개선
도전적 조건에서 견고한 수술 다중 태스크 학습을 위한 시간적 일관성 레이블 보간
자기 진화형 대규모 멀티모달 모델에서 시각 토큰에 더 많은 어텐션을
묻고, 풀고, 생성하기: 자기 일관성 보상을 통한 자기 진화형 통합 멀티모달 이해 및 생성
PhaseWin: 충실한 시각적 귀속을 위한 효율적인 검색 알고리즘
Jolia: 3D CT 대조 학습을 위한 개념 수준 비전-언어 정렬
우리는 목표에 도달했는가? 보조 AI 응용에서 다중모달 대규모 언어 모델의 역량 탐구
When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models
VisChronos: 실세계 사건을 활용한 이미지 캡셔닝의 혁신
UniDrive: A Unified Vision-Language and Grounding Framework for Interpretable Risk Understanding in Autonomous Driving
CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning
언어 모델 기반 세밀한 인간 동작 이해
MEDLAYXPLAIN: 의료 비전-언어 모델의 전문가-일반인 격차 벤치마킹
희소 오토인코더를 통한 비전-언어 모델의 다중모달 개념 추출 및 분석
MIRCaps: 세밀한 비전-언어 학습을 위한 이미지 수준 및 영역 수준 캡션이 포함된 대규모 혼합 도메인 데이터셋
GTA-Net: 흉부 X-ray 보고서 생성을 위한 비전-언어 정렬의 협력 게임 이론
CapRiCorn-1K: 다양한 시간 척도에 걸친 비디오 캡셔닝 및 주체 참조 일관성 종합 벤치마크
SAGE: 멀티모달 학습 및 환각 분석을 위한 전문가 주석 남아시아 GI 내시경 데이터셋
T-IMPACT: 문맥적 이미지-텍스트 조작을 위한 심각도 인식 벤치마크
출처: Papers with Code · CC BY-SA 4.0. 아카이브 자료와 새로 수집한 논문은 별도로 관리합니다.