Papers with Code 아카이브
Image Captioning
태스크의 하위 분류와 논문·코드·평가·기법·데이터셋을 탐색하세요.
- 하위 태스크
- 8
- 평가표
- 34
- 보존된 평가 기록
- 419
Image Captioning is the task of describing the content of an image in words. This task lies at the intersection of computer vision and natural language processing. Most image captioning systems use an encoder-decoder framework, where an input image is encoded into an intermediate representation of the information in the image, and then decoded into a descriptive text sequence. The most popular benchmarks are nocaps and COCO, and models are typically evaluated according to a BLEU or CIDER metric.
( Image credit: Reflective Decoding Network for Image Captioning, ICCV'19)
논문
이 태스크와 하위 분야의 관련 논문입니다. 실제 성능 비교는 평가 결과에서 확인하세요.
VLM 기반 설명 비교와 비디오 내 자기 유사도를 이용한 이상 프레임 탐지로 전문가 특유 동작 및 맥락적 의사결정 장면 추출
TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP
Medical-Checklist: 다중모달 모델의 의료 영상 이해 평가
CommandLM: 데이터 기반 자차 행동 수준 서술자
MELLA: Bridging Linguistic Capability and Cultural Groundedness for Low-Resource Language MLLMs
고정된 3D CT 비전 인코더의 희소 개념 채널
ProCap: 충실하고 포괄적인 비디오 캡셔닝을 위한 돌출성 기반 객체 보정
암시적·명시적 기하를 갖춘 3D 인식 VLM
포인팅 기반 객체 인식
SHOVIR: 방사선 보고서 생성에서 비전 숏컷 학습 평가를 위한 벤치마크
BLUE: 효율적인 비전-언어 감시 분석을 위한 의미 보존 비디오 압축
전립선 조직병리학을 위한 병리학자 어텐션 정렬 보고서 생성
LaViDa: 멀티모달 이해를 위한 대규모 디퓨전 언어 모델
Symbal: 모델 생성 캡션의 체계적 불일치 탐지
러시아 대내·대외 정책 연설의 연계 멀티모달 데이터
멀티모달 대규모 언어 모델의 시각 어트리뷰션을 위한 증거 재구성 및 예측적 맥락 잔차화
GTASA: 비디오 모델의 시공간 분석, 평가 및 학습을 위한 정답 주석
AVSCap: 옴니모달 비디오 캡셔닝을 위한 오디오-비주얼 시너지 조율
Open-KNEAD: 에이전트 분해 기반 지식 그라운딩 영양 추정
REVA-PO: 흉부 X선 보고서 생성을 위한 강화학습 안정화
LaGuadia: 병리 기반 모델로부터의 언어 기반 적응적 지식 증류
StoryTeller: 장편 오디오 설명을 위한 학습 없는 내러티브 그라운딩
강건한 오디오 인식으로 장문 옴니모달 이해 강화
10년간 비전-언어 AI 모델의 정확도 및 시각-인지 오류 변화 연구
UniICL: 능력 지향 분류체계를 통한 통합 멀티모달 문맥 내 학습의 체계화
PVCap: PseudoCap과 VoxelCapNet을 통한 정확한 3D 밀집 캡셔닝
Andha-Dhun: 힌디어 오디오 설명에 대한 첫 번째 고찰
MonoIR-RS: CLIP 및 VLM 적응을 통한 적외선 원격 탐사 비전-언어 학습
MLLM-LLaVA-FL: 멀티모달 대규모 언어 모델 보조 연합학습
루마니아어 비전-언어 모델을 위한 매개변수 효율적 멀티모달 지시 미세조정
GRCD: 다중 소견 흉부 X선 쌍에 대한 그라운디드 영역 변화 감지
Holo-Captioning: 3D 장면의 텍스트 등가물을 향하여
옴니-모달 밀집 비디오 캡셔닝을 위한 병렬화된 자기회귀 디코딩
LBTCap: 실시간 원격 탐사 이미지 변화 캡셔닝을 위한 경량 양방향 트랜스포머
기하학적 레이블에서 멀티모달 대규모 언어 모델을 활용한 실내 건물 구성 요소의 의미론적 이해로
출처: Papers with Code · CC BY-SA 4.0. 아카이브 자료와 새로 수집한 논문은 별도로 관리합니다.