Measuring Machine Intelligence Through Visual Question Answering
원문 초록
As machines have become more intelligent, there has been a renewed interest in methods for measuring their intelligence. A common approach is to propose tasks for which a human excels, but one which machines find difficult. However, an ideal task should also be easy to evaluate and not be easily gameable. We begin with a case study exploring the recently popular task of image captioning and its limitations as a task for measuring machine intelligence. An alternative and more promising task is Visual Question Answering that tests a machine's ability to reason about language and vision. We describe a dataset unprecedented in size created for the task that contains over 760,000 human generated questions about images. Using around 10 million human generated answers, machines may be easily evaluated.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 비전-언어에서 정렬에서 융합으로
From Alignment to Fusion in 3D Vision-Language
통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.
LININ: Logic Integrated Neural Inference Network for Explanatory Visual Question Answering
Few-Shot Multimodal Explanation for Visual Question Answering
OVQA: A Clinically Generated Visual Question Answering Dataset
Focal Visual-Text Attention for Memex Question Answering
OneStreamer: 스트리밍 비디오 상호작용에서 인식, 메모리 및 능동적 응답의 통합
OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.