arXiv:2211.13087

Can Machines Imitate Humans? Integrative Turing Tests for Vision and Language Demonstrate a Narrowing Gap

Mengmi Zhang, Giorgia Dellaferrera, Ankur Sikarwar, Caishun Chen, Marcelo Armendariz, Noga Mudrik, Prachi Agrawal, Spandan Madan, Mranmay Shetty, Andrei Barbu, Haochen Yang, Tanishq Kumar, Shui'Er Han, Aman RAJ Singh, Meghna Sadwani 외 6명

제출 2022-11-23

원문 초록

As AI algorithms increasingly participate in daily activities, it becomes critical to ascertain whether the agents we interact with are human or not. To address this question, we turn to the Turing test and systematically benchmark current AIs in their abilities to imitate humans in three language tasks (Image captioning, Word association, and Conversation) and three vision tasks (Object detection, Color estimation, and Attention prediction). The experiments involved 549 human agents plus 26 AI agents for dataset creation, and 1,126 human judges plus 10 AI judges, in 25,650 Turing-like tests. The results reveal that current AIs are not far from being able to impersonate humans in complex language and vision challenges. While human judges were often deceived, simple AI judges outperformed human judges in distinguishing human answers from AI answers. The results of imitation tests are only minimally correlated with standard performance metrics in AI. Thus, evaluating whether a machine can pass as a human constitutes an important independent test to evaluate AI algorithms. The curated, large-scale, Turing datasets introduced here and their evaluation metrics provide new benchmarks and insights to assess whether an agent is human or not and emphasize the relevance of rigorous, systematic, and quantitative imitation tests in these and other AI domains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.07780v3cs.CV공통 태그 Object Detection, Image Captioning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2607.10575v2cs.CV공통 태그 object-detection, Object Detection

도메인이 중요한 이유: 수중 객체 검출 및 어노테이션 품질의 도메인 인식 벤치마킹

Why Domain Matters: Domain-Aware Benchmarking of Underwater Object Detection and Annotation Quality

수중 물체 탐지는 도메인 변화의 영향을 크게 받으며, 성능은 위치, 서식지, 배치 조건에 따라 크게 달라질 수 있다. 그러나 탐지기 성능은 일반적으로 특정 환경에서의 실패를 가리는 종합 지표로 평가되며, 기존 도메인 일반화 벤치마크는 실제 조건을 반영하지 못하는 합성 변형에 의존하는 경우가 많다. 이러한 한계를 해결하기 위해 우리는 외관, 장면 구성, 획득 기하를 기준으로 수중 이미지를 특성화하여 도메인 레이블을 부여하는 프레임워크를 도입한다. 이 프레임워크를 사용하여, 도메인 요인이 수중 물체 탐지 데이터셋에서의 사람의 주석 품질과 딥러닝 기반 탐지기 성능에 어떻게 영향을 미치는지에 대한 최초의 체계적 연구를 수행했으며, 도메인에 따른 상당한 불일치를 밝혀냈다. 물리적으로 의미 있는 도메인 레이블을 도입함으로써, 도메인 변화는 우리가 특성화하고, 측정하고, 벤치마크하고, 대응할 수 있는 대상이 된다. 우리는 이 프레임워크가 데이터 수집과 주석 작업을 안내하고, 더 유익한 벤치마크를 설계하며, 다양한 수중 환경에서 탐지기의 견고성을 평가하는 데 어떻게 활용될 수 있는지 강조한다.

arXiv:2607.15942v2cs.CV공통 태그 Object Detection, Image Captioning

적은 것으로 더 많이: 단순한 레시피 기반의 대규모 원격 탐사 VLM

More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe

원격 탐사 비전-언어 모델(VLM)은 지구 관측(Earth Observation) 데이터와 다양한 태스크에 대해 개방형 추론(open-ended reasoning)을 지원하도록 점점 더 요구받고 있습니다. 이 분야의 최근 진전은 대부분 새로운 인코더, 정렬(alignment) 모듈 또는 태스크별 융합 메커니즘을 도입하는 원격 탐사 특화 아키텍처 설계를 통해 주도되었습니다. 본 연구에서는 이러한 아키텍처적 특화의 필요성에 의문을 제기합니다. 우리는 일반적인 능력을 갖춘 비전-언어 모델이라도 다양한 데이터와 태스크 전반에 걸쳐 충분한 규모로 학습(training)된다면, 까다로운 원격 탐사 벤치마크에서 경쟁력 있거나 최고 수준(SOTA)의 성능을 달성할 수 있음을 보여줍니다. 우리 모델은 텍스트로 직접 답변하거나 분할(segmentation) 및 그라운딩(grounding)을 위한 위치 특정 도구를 호출할 수 있는 단일 언어 정책을 사용합니다. 이러한 이종 동작을 학습시키기 위해, 우리는 매우 다양한 입력 유형에 걸친 객관식 VQA, 자유 형식 VQA, 캡셔닝, 검출 및 분할을 포괄하는 적응형 태스크 보상을 갖춘 멀티태스크 강화학습(reinforcement learning) 프레임워크를 사용합니다. 우리의 접근 방식은 고해상도, 다중 시점(multi-temporal), 멀티모달 및 다각도(multi-view) 태스크를 포함한 광범위한 벤치마크 세트 전반에서 경쟁력 있는 결과를 달성합니다. 나아가 학습 데이터가 스케일링됨에 따라, 우리 실험은 분포 내외(in- and out-of-distribution) 대부분의 태스크 전반에서 태스크별 데이터 다양성과 상관관계를 갖는 일관된 성능 향상을 보여줍니다. 이러한 결과는 원격 탐사 VLM에 있어 아키텍처적 새로움이 없더라도 데이터 규모만으로 충분함을 시사합니다.

arXiv:2609.27890v1cs.CV공통 태그 object-detection, Image Captioning

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.23336v1cs.CV공통 태그 Object Detection, Image Captioning

MinCU: 이미지 쌍에서의 그라운딩 기반 미세 변화 이해를 위한 세밀한 벤치마크

MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs

거의 동일한 이미지 간의 세밀한 차이를 위치 특정하고 서술하는 것은 멀티모달 대규모 언어 모델(MLLM)에 중요하지만 아직 충분히 연구되지 않은 역량입니다. 기존 벤치마크는 대체로 충실한 서술과 물리적 위치 특정을 동시에 요구하지 않은 채, 의미론적 비교나 단일 이미지 그라운딩(grounding)을 개별적으로 평가합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 그라운딩 기반의 미세 변화 이해를 위한 벤치마크인 MinCU를 소개합니다. MinCU의 각 샘플은 객체 범주, 속성, 개수 또는 공간적 위치에서 단 하나의 원자적 변화만 나타나는 이미지 쌍으로 구성되며, 모델은 변화 서술, 변경된 영역의 위치 특정, 변경된 개체 식별 능력을 평가받습니다. 나아가 본 논문에서는 예측을 '생각-위치 특정-서술(Think-Locate-Describe)' 시퀀스로 분해하는 구조화된 자기회귀 방식인 Semantic-Guided Implicit Spatial Anchors(SG-ISA)를 제안합니다. SG-ISA는 먼저 변경된 개념에 대한 의미론적 단서를 예측한 후, 이산 공간 앵커를 암묵적 위치 특정 스캐폴드로 활용하며, 최종적으로 그라운딩 박스와 함께 변화 서술을 생성합니다. 실험 결과, 가장 강력한 폐쇄형 MLLM과 최근의 R1 스타일 추론 모델조차 MinCU에서 어려움을 겪으며, 대부분 정확한 서술과 그라운딩 박스를 동시에 생성하는 데 실패하는 것으로 나타났습니다. 이전 사고의 연쇄(Chain-of-Thought) 방식과 비교했을 때, SG-ISA를 통한 미세조정은 추론 토큰 오버헤드를 약 26% 줄이면서도 그라운딩 정확도와 서술 품질 모두에서 상당한 공동 향상을 이끌어냈습니다. 이러한 결과는 그라운딩 기반의 듀얼 이미지 이해에서 모델 규모에만 의존하는 것보다 암묵적인 중간 공간 인터페이스가 더 효과적일 수 있음을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.