arXiv:2610.08365v2 cs.CV

스티븐스의 멱법칙을 활용한 GPT-5.5의 시각적 인코딩 암묵적 판독 능력 검증

A Stevens's Power Law Check-up of GPT-5.5's Implicit Reading of Visual Encoding

Kaichun Yang, Jian Chen

제출 2026-10-06

저자 비고

arXiv Comments

9 pages, 6 figures, including supplementary material. Accepted by the VISxGenAI workshop at IEEE VIS 2026

한국어 초록

본 연구에서는 시각화를 판독하는 AI 모델의 암묵적 능력을 측정하기 위해 스티븐스의 멱법칙(Stevens's power law)을 적용하며, 이를 통해 알고리즘 모델의 내장된 지각 메커니즘을 밝혀낼 수 있습니다. 예비 연구에서 AI 모델에게는 범례가 제공되지 않습니다. 색상 조건에서도 컬러맵 이름이 제공되지 않습니다. GPT-5.5는 먼저 기준이 되는 시각적 표현을 확인하고 그 크기를 추정한 다음, 동일한 표현의 후속 이미지 각각의 크기를 해당 기준에 상대적으로 추정합니다. 12가지 시각 변수에 대한 평가를 통해, 알고리즘 모델이 시각적 인코딩(visual encoding)을 판독하는 방식을 측정 가능하게 하고, 인간의 지각과 비교할 수 있도록 하며, 인간에게 더 투명하게 만듭니다.

원문 초록

We adapt Stevens's power law to measure the implicit ability of AI models to read visualizations, which can reveal the built-in perceptual mechanisms of algorithmic models. In our pilot study, AIs see no legend. In the color conditions, no colormap name is provided either. GPT-5.5 first views a reference visual representation and estimates its magnitude, then estimates the magnitude of each subsequent image of the same representation relative to that reference. Our evaluation of twelve visual variables makes how algorithmic models read visual encodings measurable, comparable with human perception, and more transparent to humans.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08365v2
  2. arXiv:2610.08365v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02399v1cs.LG공통 태그 Benchmarking, Data Visualization

VisAudit: 시각적 진단 및 복구를 위한 멀티모달 에이전트 평가

VisAudit: Evaluating Multimodal Agents for Visual Diagnosis and Repair

멀티모달 에이전트(multimodal agent)는 데이터 시각화 작업에 점점 더 많이 활용되고 있지만, 자율적 검토 능력에서는 여전히 한계를 보입니다. 인간과 달리 에이전트는 시각화가 잘못된 시점을 인식하지 못하거나, 무엇을 변경해야 할지 결정하지 못하고, 올바른 내용을 훼손하지 않으면서 이를 복구하거나, 수정 작업이 성공했는지 검증하지 못할 수 있습니다. 기존 벤치마크는 차트 생성, 지시 기반 편집, 결함 탐지와 같은 사전 정의된 개별 능력을 주로 평가하므로, 자율적 검토에서의 이러한 격차를 포착하지 못합니다. 이에 본 논문에서는 시각화 진단, 복구 및 검증을 평가하기 위한 벤치마크인 VisAudit을 소개합니다. 렌더링된 차트와 원본 데이터 테이블, 의도된 텍스트 요약, 시각화 코드를 포함하는 설정 가능한 보조 증거가 주어지면, 에이전트는 잠재적 결함을 반복적으로 진단하고, 시각화 코드를 수정 및 실행하며, 실행 및 시각적 피드백을 점검하고, 추가적인 개입이 필요 없는 시점을 판단합니다. VisAudit은 진단 기반 복구, 자율 복구, 오픈월드 검증에 이르는 세 가지 트랙을 정의하며, 21가지 차트 유형과 10가지 결함 범주에 걸친 1,900개의 결함 인스턴스와 함께 300개의 초기 정상 차트를 포함합니다. 우리는 검증된 원본 시각화에 대한 제어된 섭동(perturbation)을 통해 벤치마크를 구축하였으며, 체계적인 검증과 인간 기준에 맞춘 품질 관리를 적용하여 주입된 결함이 명확히 정의되고 가용 증거로부터 복구 가능하도록 보장했습니다. 선도적인 멀티모달 모델을 대상으로 한 실험 결과, 신뢰할 수 있는 자율 검토와는 상당한 격차가 있음이 드러났으며, 평가된 가장 강력한 모델도 자율 복구 환경에서 결함이 있는 차트의 단 $47.4\%$만을 완전히 복구하는 데 그쳤습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.