법률 계약서는 멀리 떨어져 있고 서로 연결된 조항들 간에 모순이 발생할 수 있는 구조적으로 복잡한 문서입니다. 대규모 언어 모델(LLM)이 법률 언어 이해를 향상시켰음에도 불구하고, 모순 분석은 여전히 인간 중심적이며 증거에 기반한(evidence-grounded) 검토 작업으로 남아 있습니다. 본 연구에서는 법률 계약서 내 인간 참여형(human-in-the-loop) 모순 분석을 위한 시각적 분석 시스템인 ContraVis를 소개합니다. 이 시스템은 명시적인 계약 참조와 문단 간의 의미론적 관계를 결합하여 계약서를 타입화된 문단 그래프(typed paragraph graph)로 모델링합니다. 이 그래프는 이중 역할을 수행합니다. 즉, LLM의 추론을 조건화(conditioning)하는 동시에 분석가가 탐색하는 대화형 표현 역할을 하여, 조율된 뷰 전반에서 모델 컨텍스트와 인간의 검토가 일치되도록 유지합니다. 통제된 비교 실험에서 그래프 조건부 추론은 계약서 길이가 길어짐에 따라 독립형 LLM 분석보다 더 많은 주입된 모순을 복구해 낸 동시에, 분석가의 검증을 위한 추가 후보를 드러냈습니다. 계약 분야 변호사들을 대상으로 한 형성 평가 연구(formative study)는 문맥 내 증거 비교가 모순 검증을 뒷받침함을 보여주었으며, 본 연구에서는 증거 기반의 LLM 보조 문서 검토를 위한 설계 시사점을 도출합니다.
생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.
시각 분석(VA)은 상호작용적 시각화를 통해 의미 구성(sensemaking)을 가능하게 하지만, 효과적인 분석을 위해서는 전문가가 고수준 의도를 긴 연속의 인터페이스 조작으로 옮기고 시각적 피드백을 반복적으로 해석해야 하는 경우가 많다. 우리는 최신 비전-언어 모델(VLM)이 인터페이스를 관찰하고, 다단계 탐험을 계획하며, 상호작용을 실행하고, 중간 시각적 피드백에 따라 적응하는 자율 VA 운영자로서 이 역할을 수행할 수 있는지 연구한다. 체계적인 개발과 평가를 지원하기 위해, 우리는 먼저 상호작용형 구성 요소를 필터 및 줌 등의 통합 action API와 선택 요약 등의 perception-query API를 갖춘 구조화된 위젯으로 표준화하는 위젯 중심 에이전트형 VA 프레임워크인 WidgetVA를 제안한다. 이 표준화는 두 가지 시스템 구축 방식을 지원한다: 기존 VA 시스템을 재구축 없이 에이전트가 조작 가능하게 감싸는 방식, 그리고 위젯을 모듈형 building block으로 조합해 새 시스템을 구성하는 방식이다. 에이전트가 매 상호작용을 처음부터 계획하기보다 위젯 간 조율을 돕기 위해, 각 위젯은 재사용 가능한 분석 워크플로를 추가로 패키징하여, 에이전트에게 계획 대상으로 삼을 단순히 호출 가능한 함수들의 집합 이상의 것을 제공한다. 이 프레임워크를 바탕으로, 우리는 에이전트가 다단계 상호작용을 통해 증거를 발견하고 검증 가능한 결과를 산출해야 하는 단일 및 다중 위젯 VA 작업으로 구성된 벤치마크 WidgetVABench를 제시한다. 각 작업은 또한 세분화된 참조 주석을 제공하여, WidgetVABench가 에이전트 성능을 하나의 성공 점수로 축약하기보다 Answer, Reference Trace Similarity, State를 각각 별도로 채점할 수 있게 한다. 다양한 VLM에 걸친 실험은 우리 프레임워크가 에이전트형 VA를 위한 효과적인 토대를 제공함을 보여 주며, 진단 지표는 향후 연구를 위한 지속적인 한계를 드러낸다. WidgetVA 프레임워크와 WidgetVABench는 https://github.com/Hiverwin/widgetva 에 공개되었다.
멀티모달 대규모 언어 모델(MLLM)은 과학적 이미지 분석을 위한 인터페이스로 점점 더 많이 탐구되고 있으며, 여기서 시각 질의응답(VQA) 응답은 후속 단계를 안내하는 공간적 출력과 함께 제공될 수 있다. 감독자(supervisor)는 언어 답변을 읽는 반면, 분할(segmentation)이나 영역 검토와 같은 후속 워크플로우는 점 집합(point-set) 출력을 소비한다. 우리는 답변을 검토하는 것에서 그 점 행동(point action)에 의존하는 것으로의 이러한 전환을 언어-행동 전환(language-to-action hand-off)이라 부른다. 답변은 정확하지만 짝을 이루는 행동이 후속 단계에 필요한 주석 처리된 객체를 놓칠 때 침묵 실패(silent failure)가 발생하며, 이 경우 답변 기반 감독은 행동이 신뢰할 수 없는 영역을 통과시켜 버린다. 우리는 전자현미경(EM) 미토콘드리아 분석에서 이러한 실패 양상을 감사하기 위한 시각적 분석 대시보드인 Spatial Action Review를 소개한다. 이는 답변-행동 원장(answer-action ledger), 작업별-데이터셋별 위험 지도, 이미지-영역 감사 뷰를 통해 짝을 이루는 답변-행동 기록을 연결하여 집계 패턴을 이미지 증거와 연결하며, 조정 가능한 행동 신뢰성 게이트(action-reliability gate)가 재감사를 지원한다. 검토는 인간-AI 전환(human-AI hand-off)으로 마무리되며, 여기서 감독자는 행동이 수용되었는지, 상위로 보고(escalated)되었는지, 더 엄격한 게이트 하에 보류되었는지, 또는 모델 수정을 위해 표시되었는지를 기록한다. EM에 적응된 Qwen3-VL 사례 연구 실행에서 얻은 541개의 이미지 영역 전반에서, 점 행동은 VQA 응답이 정확한 기록의 54.4%에서 게이트를 통과하지 못했으며, 전체 기록의 27.4%가 침묵 실패였다. 정확한 답변은 신뢰할 수 있는 행동일 확률을 겨우 5.8퍼센트포인트 높이는 데 그쳤으며, 부트스트랩 구간(bootstrap interval)은 0을 포함했다. 답변 정확성과 객체 커버리지 간의 점-이연 상관계수(point-biserial correlation)는 0.061이었다. 이러한 약한 결합(weak coupling)은 753개의 일치된 이미지 영역에 대한 다섯 가지 모델 조건 전반에서 지속되었다. Spatial Action Review는 답변-행동 불일치를 가시화하고, MLLM 출력이 자율적인 과학 워크플로우에 투입되기 전에 이를 이미지 증거 및 기록된 결정과 연결한다.
대규모 언어 모델(LLM)은 의료 진단에서 가능성을 보여주지만, 임상적 결정의 높은 위험성과 불완전한 추론 신뢰성으로 인해 실제 배포는 여전히 어렵다. 따라서 진단 추론이 신뢰할 수 있고 임상적으로 그라운딩되어 있는지 평가하려면 모델 행동에 대한 면밀한 검사가 필수적이다. 그러나 의료 LLM의 디버깅은 여전히 어렵다. 첫째, 개발자는 종종 모델 오류를 임상적으로 의미 있는 용어로 해석하기에 충분한 의료 도메인 전문성이 부족하다. 둘째, 모델은 서로 다른 입력 유형, 과제, 추론 단계를 포함하는 크고 다양한 인스턴스 집합에서 실패할 수 있어, 개발자가 어떤 오류에 집중 검사를 할지 우선순위를 정하기 어렵다. 셋째, 기존 디버깅 관행은 대체로 인스턴스 중심이며 고립된 실패에 대한 수동 검사에 의존하기 때문에, 개발자는 사례 전반에 걸친 반복되는 오류 패턴을 식별하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 외부 생의학 지식을 통합하여 의료 LLM의 진단 추론을 감사하고 디버깅하는 시각 분석 시스템인 VeriLLMed를 제시한다. VeriLLMed는 모델 출력을 비교 가능한 추론 경로로 변환하고, 지식 그래프에 그라운딩된 참조 경로를 구성하며, 세 가지 반복되는 진단 오류 유형—관계 오류(relation errors), 분기 오류(branch errors), 누락 오류(missing errors)—를 식별한다. 사례 연구와 전문가 평가는 VeriLLMed가 개발자가 임상적으로 타당하지 않은 추론을 식별하고, 의료 LLM 개선에 활용할 수 있는 실행 가능한 인사이트를 생성하는 데 도움이 됨을 보여준다.
화학자와 재료 과학자들은 분자의 성질과 반응 결과를 예측하기 위해 그래프 신경망(GNN)과 같은 머신러닝 모델을 점점 더 많이 사용하고 있다. 예측 성능을 넘어, 이러한 모델이 잠재 공간, 즉 분자의 임베딩(embedding) 내부에서 화학 정보를 어떻게 조직하는지 이해하는 것이 중요하다. 잠재 공간 분석은 모델 동작을 진단하고, 학습된 임베딩이 의미 있는 화학적 관계를 반영하는 방식으로 조직되어 있는지 평가하는 데 도움이 된다. 불행히도, 기존 방법들은 층과 다양한 모델 상태(예: 학습 에포크, 모델 구성, 입력 데이터)에 걸친 잠재 공간 분석을 제한적으로만 지원하여, 이러한 잠재 공간이 모델 전반에 걸쳐 어떻게 진화하는지 또는 화학적 개념과 어떻게 연관되는지 이해하기 어렵다. 우리는 분자 GNN의 잠재 공간을 분석하기 위해 도메인 전문가와 협력하여 개발한 시각 분석 시스템인 LatentFlow를 제시한다. LatentFlow는 임베딩을 클러스터로 그룹화하고, 수정된 Sankey 다이어그램을 사용하여 층과 모델 상태에 걸쳐 이러한 클러스터가 어떻게 변하는지 추적함으로써 잠재 공간의 탐험을 지원한다. 해석을 지원하기 위해 LatentFlow는 이러한 클러스터를 대표 분자와 그들의 공유 부분구조에 연결하고, 과학자들이 자신의 도메인 지식을 도입하여 잠재 공간에서 발견된 패턴과 비교할 수 있게 한다. 우리는 두 가지 사례 연구를 통해 LatentFlow를 평가한다. 결과는 LatentFlow가 과학자들이 잠재 공간이 어떻게 진화하는지 이해하고, 의미 있는 분자 패턴을 식별하며, 모델 동작을 더 잘 해석하도록 돕는다는 것을 보여준다.
ImputeViz는 과학 및 공중보건 연구에서 결측 데이터(missing data)를 진단하고 MICE, Random Forest, XGBoost, kNN 등 다양한 대체(imputation) 방법을 통합 환경에서 비교할 수 있는 시각적 분석 대시보드로, 지리공간 데이터를 위한 gKNN 변형 알고리즘을 새롭게 도입해 사회경제적·공간적 거리를 혼합하고 출처(provenance) 기반의 시각적 설명 가능성을 제공한다. 히트맵, 분포 오버레이, 방법 비교 요약(MAE, RMSE, Delta RMSE) 등 연동된 뷰를 통해 분석가가 결측 패턴(MCAR/MAR/MNAR)을 추론하고 대체 전략의 하류(downstream) 영향을 평가할 수 있도록 지원한다.
확산 기반 텍스트-이미지 모델은 복잡하고 고도로 구조화된 시각적 콘텐츠를 합성할 수 있지만, 의미론적 구조의 출현과 진화는 여전히 해석하기 어렵다. 기존의 많은 워크플로우는 시간적 변화를 이미지 공간 증거와 분리하는 집계된 어텐션 또는 스칼라 요약에 의존한다. 이러한 격차를 해소하기 위해, 우리는 확산 모델에서 어텐션 다이나믹스를 탐색하는 시각적 분석 프레임워크를 제안한다: 토큰 수준 크로스-어텐션 맵의 스텝별 진화, 시간적 집중도, 공간적 관계가 그 대상이다. 우리의 접근 방식은 대화형 워크플로우에서 정량적 측정과 데이터 기반 단계 식별을 통합하여 생성 스텝에 걸친 어텐션 동작의 구조적 분석을 가능하게 한다. 구조화된 60개 프롬프트 Stable-Diffusion 클래스 벤치마크에 대한 사례 연구는 이 설정 내에서 반복적이고 해석 가능한 패턴을 보여주며, 연결된 시간적 및 공간적 뷰가 생성 과정의 관찰과 논의를 어떻게 촉진하는지 제시함으로써 보다 효과적인 인간-AI 협업을 지원한다.
본 연구는 이질적인 시각·의미 속성을 통해 대규모 손목시계 컬렉션을 탐험하기 위한 설계 근거, 임베딩 모델, 대화형 시각 분석 시스템을 제시한다. 이 시스템은 카탈로그 및 전자상거래 인터페이스의 흔한 한계를 다룬다. 사용자는 메타데이터로 필터링할 수 있지만, 시각적 유사성, 스타일적 대안, 미적·기능적 기준이 혼합된 기준에 대한 개방형 탐험을 위한 지원은 거의 받지 못한다. 따라서 우리는 다이얼 색상과 다이얼 디자인에 대해 별도의 속성 그래프로 시계를 표현하고, 시계 유형을 명시적 의미적 구조화 요소로 사용한다. 다이얼은 U-Net으로 분할하고, 시계 유형은 Vision Transformer로 예측하며, 색상은 공유 CIELAB 기준 팔레트로 표현하고, 다이얼 구조는 그래디언트 기반 이미지 기술자로 기술한다. 우리는 속성별 이웃 그래프를 통합 확률적 목적 함수로 결합하고, 전역 유형 구조와 지역 시각 이웃을 분리하는 클래스 인식 레이아웃 항을 추가하여 UMAP을 확장한다. 결과적으로 얻은 맵은 공간 탐색, 메타데이터 필터링, 상세 검사, 예시 기반 검색 삽입을 제공하는 대화형 인터페이스로 노출된다. 우리는 매개변수 분석, 실행 시간 측정, 시계 전문가와 초보자를 대상으로 한 정성적 파일럿 연구를 통해 이 접근법을 평가한다. 결과는 이 시스템이 발견과 비교를 지원하는 동시에, 확장성 평가, 예시 기반 검색 검증, 더 넓은 도메인 연구의 필요성 측면에서 한계를 드러냄을 시사한다. 우리는 이러한 한계를 명시적으로 논의하고, 이질적인 시각 컬렉션 전반에 걸친 다중 속성 잠재 공간 시각화를 위한 설계적 시사점을 도출한다.
금융 질의응답에서 대규모 언어 모델(LLM) 답변의 검증이 어렵다는 문제를 다루기 위해 EvidenceLens는 답변을 원자적 주장으로 분해하고 텍스트·표·차트 근거와의 정렬을 다중모달 주장-근거 행렬로 시각화하는 시각 분석 프로토타입을 제안한다. 커버리지, 모순, 모달리티 불균형과 신뢰-근거 격차를 드러내어 분석가가 그라운딩된 주장과 근거가 약한 과잉 합성을 구분할 수 있게 한다.