멀티모달 대규모 언어 모델(MLLM)은 이미지 캡션을 생성할 때 종종 오류를 도입하여, 정렬되지 않은 이미지-텍스트 쌍을 만든다. 본 연구는 체계적 불일치(systematic misalignments)라고 부르는 일종의 캡셔닝 오류에 초점을 맞춘다. 이는 MLLM이 생성한 캡션에서 반복적으로 나타나는 오류가 짝이 맞는 이미지 내 특정 시각적 특징(feature)의 존재와 밀접하게 연관되는 경우를 말한다. MLLM이 생성한 캡션을 포함한 비전-언어(vision-language) 데이터셋(dataset)이 주어졌을 때, 본 연구의 목표는 이러한 오류를 탐지하는 것이며, 이 과제를 체계적 불일치 탐지(systematic misalignment detection)라고 부른다. 첫 번째 핵심 기여로, 기성 파운데이션 모델(foundation models)을 활용한 구조화된 이단계(dual-stage) 설정으로 체계적 불일치를 식별하고 결과를 자연어로 요약하는 Symbal을 제안한다. 두 번째 핵심 기여로, 제안한 과제에서 자동화 방법을 평가하기 위해 설계된 벤치마크(benchmark)인 SymbalBench를 도입한다. SymbalBench는 자연 이미지와 의료 이미지라는 두 도메인에서 수집한 170만 개의 이미지-텍스트 쌍으로 구성되며, 주석이 달린 체계적 불일치를 포함하는 420개의 비전-언어 데이터셋(dataset)으로 조직되어 있다. Symbal은 이 벤치마크(benchmark)에서 강력한 성능을 보이며, 데이터셋(dataset)의 63.8%에서 체계적 불일치를 올바르게 식별하여, 가장 가까운 기준선(baseline) 대비 약 4배의 개선을 달성한다. SymbalBench에 대한 평가를 실제 환경 평가로 보완하여, (1) Symbal이 네 가지 MLLM이 생성한 캡션에서 체계적 불일치를 정확히 드러낼 수 있음을, (2) Symbal이 기성 이미지-캡션 데이터셋을 감사(auditing)하는 강력한 도구임을 보여준다. 궁극적으로, 제안하는 새로운 과제, 방법, 벤치마크는 기반 MLLM에 대한 접근 없이도 MLLM이 생성한 캡션을 감사하고 치명적인 오류를 식별하는 데 사용자를 돕는다. 코드는 https://github.com/Stanford-AIMI/Symbal 에서 이용할 수 있다.
다중모달 대규모 언어 모델(MLLM)은 공간 이해에서 상당한 잠재력을 보여주었다. 기존 연구는 일반적으로 사전 학습된 파운데이션 모델(foundation model)에서 추출한 사전(prior) 지식을 통합하여 MLLM의 공간 인식을 더욱 향상시킨다. 본 논문에서는 먼저, 다양한 파운데이션 모델을 MLLM에 통합할 때 서로 다른 모델이 서로 다른 과제에 유리한 상호 보완적인 공간 사전(prior)을 제공한다는 점을 밝힌다. 이에 동기를 받아, MLLM에 다양한 모델의 여러 $\textbf{Vi}$sual $\textbf{P}$riors를 통합하여 $\textbf{S}$patial understanding 잠재력을 최대한 발휘하도록 설계된 새로운 다중 모델 사전(prior) 프레임워크인 $\textbf{ViPS}$를 제안한다. 구체적으로, ViPS는 최소한의 추론(inference) 오버헤드로 여러 파운데이션 사전(prior)을 생성하는 Efficient Prior Proxy와, 사전(prior) 프록시로부터 조화롭고 문맥 인식(context-aware)적인 사전(prior) 융합 및 주입을 달성하는 Dynamic Prior Fusion 메커니즘을 도입한다. 광범위한 실험을 통해 ViPS가 다양한 시각적 사전(prior)을 성공적으로 조화시키며, 여러 복잡한 공간 추론(spatial reasoning) 및 3D 공간 이해 벤치마크(benchmark)에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 프로젝트 페이지: https://visual-ai.github.io/vips
최근 영상 이해 분야의 발전은 움직임, 장시간 영상, 스트리밍 상호작용 등을 아우르며 이 분야를 실제 응용으로 이끌고 있다. 그럼에도 현재의 오픈소스 모델은 여러 면에서 한계가 남아 있다. 이들 모델은 종종 다양한 유형의 영상에 일반화하는 데 어려움을 겪어 특정 도메인에서만 효과적이다. 높은 연산 요구량은 효율성과 확장성을 더욱 제한한다. 또한 대부분의 모델은 학습 코드, 전략, 데이터셋 등 핵심 구성 요소가 공개되지 않은 부분적 오픈 상태에 머물러, 재현성을 저해하고 커뮤니티 주도 개발을 지연시킨다. 이러한 문제를 해결하기 위해, 우리는 완전 오픈이면서 효율적이고 범용적인 영상 중심 MLLM인 VideoChat3를 제안한다. VideoChat3는 두 가지 상보적 설계를 통해 영상 이해를 발전시킨다. 효율성 측면에서, Inflated 3D Vision Transformer(I3D-ViT)와 Adaptive Frame Resolution for Streaming Video Perception을 도입하여 효율적인 시공간 표현을 가능하게 하고 학습과 추론 과정에서 영상 입력 처리 비용을 줄인다. 효과성 측면에서, 확장 가능한 영상 데이터 합성 파이프라인을 개발하여 일반, 장시간, 스트리밍 영상 시나리오를 포괄하는 세 가지 다양하고 고품질의 학습 데이터셋인 VideoChat3-Academic2M, VideoChat3-LV116K, VideoChat3-OL617K를 구축하고, 이를 통해 도메인 간 일반화를 향상시킨다. 이러한 설계를 통합함으로써 VideoChat3는 폭넓은 일반화와 연산 효율성의 드문 균형을 달성한다. 일반, 장시간, 스트리밍 벤치마크에 걸친 실험에서 VideoChat3는 동등하거나 더 많은 매개변수를 가진 기존 오픈소스 모델을 4B 매개변수만으로 더 높은 효율로 능가한다.
RoboCup은 항상 실세계 문제를 해결하는 시스템을 개발하기 위한 시나리오였다. 2050 FIFA 월드컵 우승팀과 대국한다는 주요 목표에 따라 RoboCup Soccer 리그는 연구 커뮤니티가 얼마나 진전하고 있는지 지속적으로 측정할 필요가 있다. 경기 영상으로부터 시각 통계를 계산하는 것은 이러한 진전을 추적하는 중요한 방법이다. 이러한 과제를 해결하기 위해 본 논문은 RoboCup 경기를 위한 완전 자율형 실시간 스포츠 해설 시스템을 제안한다. 원시 운동학적 추적(kinematic tracking)과 자연어 생성(NLG) 사이의 간극을 메움으로써, 우리의 신경-기호(neuro-symbolic) 아키텍처는 영상 스트림에서 정밀한 통계를 추출하고 이를 유창하고 환각(hallucination) 없는 해설로 변환한다. 제안된 시스템은 라이브 경기 스트리밍 중과 경기 후 분석 모두에서 통계와 해설을 생성할 수 있으며, 서로 다른 크기의 다양한 휴머노이드 로봇이 동일한 경기장을 공유하는 리그의 새로운 역동성에도 손쉽게 적응한다. 보충 자료는 https://lab-rococo-sapienza.github.io/MARIO/ 에서 확인할 수 있다.
최근 확산(diffusion) 기반 비디오 생성 모델은 다중 참조 이미지 조건부 비디오 편집에서 상당한 진전을 이뤘다. 그러나 기존 방법들은 여전히 여러 시각적 소스의 정보를 정확하게 조율하는 데 어려움을 겪는다. 우리는 기존 접근법의 중요한 결함을 확인한다. 기존 편집 지시는 명시적 참조 관계가 부족하며, 대부분의 멀티모달 대규모 언어 모델(MLLM)은 이를 신뢰성 있게 생성할 수 없다. 이 문제를 해결하기 위해, 우리는 다중 참조 이미지 조건부 비디오 편집을 위한 중간 표현으로 참조 토큰이 내장된 의미론적 지시를 도입하는 체계적 프레임워크인 ReBind를 제안한다. 우리의 핵심 통찰은 의미론적 위치에 참조 토큰을 임베딩하여 모호성을 제거하고 시각적 속성과 그 출처 간의 정확한 바인딩(binding)을 확립하는 것이다. 우리는 정확한 참조 관계를 위해 2단계 점진적 방식을 통해 시각적 속성과 참조 소스 간의 명시적 바인딩을 학습하는 특화 MLLM인 ReBind-Instruct를 개발한다. 또한 우리는 지정된 소스에 시각적 속성을 바인딩함으로써 텍스트-투-비디오(text-to-video) 모델을 경량으로 적응시켜 여러 참조를 조율할 수 있게 하는 ReBind-Edit를 개발한다. 광범위한 실험은 ReBind가 지시 품질에서 범용 MLLM을 크게 능가하며, 참조 이미지 조건부 비디오 편집에서 오픈소스 방법 중 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 프로젝트 웹페이지: https://rebind-mrv2v.github.io/.
시각장애인(visually impaired individuals, VII)은 시각 정보에 대한 접근이 제한되어 일상에서 상당한 어려움을 겪는다. 다중모달 대규모 언어 모델(Multimodal Large Language Models, MLLM)은 일반적인 비전 및 언어 과제에서 인상적인 성과를 거두었지만, 실세계의 시각장애 보조에서의 실용적 유용성은 여전히 크게 미탐색 상태로 남아 있다. 이 공백을 메우기 위해, 우리는 시각장애인(VII)이 직접 녹화하거나 공유한 1인칭 비디오를 사용하여 시각장애 보조(Visually Impaired Assistance) 시나리오에서 MLLM을 평가하도록 특별히 설계된 포괄적 비디오 벤치마크인 VIABench를 소개한다. VIABench는 시각 보조에서 서로 다른 요구를 겨냥하는 세 가지 핵심 과제를 정의한다. 선제적 알림(Proactive Reminder): 진행 중인 비디오 내용을 해석하면서 다가오는 내비게이션상 중요한 사건을 선제적으로 예측하고 구두로 설명하는 모델의 능력을 평가한다; 시각 질의응답(Visual Question Answering, VQA): 비디오 내 환경 또는 사물에 대한 사용자 질문에 답하는 모델의 역량을 평가한다; 비전 기반 상호작용(Vision-Guided Interaction): 사용자와 환경 사이의 의도적 상호작용을 수행하기 위한 맥락 인식 추론을 검증한다. 견고하고 공정한 평가를 위해, 온라인(실시간) 및 오프라인 설정을 모두 지원하는 엄격한 벤치마킹 파이프라인을 제안한다. 우리의 실험은 현재의 MLLM이 여전히 VII을 위한 포괄적 지원을 제공하는 데 어려움을 겪음을 보여주며, 특히 정확한 예측과 실시간 반응성을 요구하는 선제적 알림 과제에서 그렇다. 우리는 VIABench가 실세계 보조를 위한 맞춤형 MLLM 개발을 향한 향후 연구를 이끌어, 궁극적으로 시각장애인의 내비게이션 및 상호작용 경험을 개선하기를 기대한다. 코드와 데이터는 https://github.com/MCG-NJU/VIABench에서 공개될 예정이다.
얼굴 이미지로부터 표견 성격(apparent personality)을 추론하는 것은 인간-로봇 상호작용에서 체화 에이전트(embodied agent)의 사회적 시나리오에서 중요하다. 대화를 통한 내재적 성격 특성 추론과 달리, 이 과제는 상호작용이 시작되기 전에 오직 얼굴 외모에만 기반한 첫인상 성격 지각(first-impression personality perception)을 모델링한다. 기존 연구는 주로 Big Five 성격 모델에 초점을 맞추며 종종 언어 또는 멀티모달 입력에 의존한다. 그 결과, 얼굴 단서만으로 지각된 성격 특성과 의미 있는 연관성을 뒷받침할 수 있는지는 여전히 불분명하다. 이 질문은 실무에서 널리 사용되고 대규모 언어 모델(LLM)이 더 쉽게 해석할 수 있는 MBTI 유형과 특히 관련이 있다. 이를 위해, 우리는 의미적 사전지식(semantic priors)을 도입하기 위해 비전-언어 모델(vision-language model)을 활용하고, 미세한 성격 관련 단서를 포착하는 의미 증강 얼굴 표현 모듈(semantic-enhanced facial representation module), 그리고 노이즈가 많고 주관적인 주석을 처리하기 위한 불확실성 인식 학습 전략(uncertainty-aware learning strategy)을 함께 갖춘 표견 성격 추론을 위한 end-to-end 프레임워크 \textbf{GlanceFace}를 제안한다. 광범위한 실험은 MBTI 기반 표견 성격 벤치마크에서 강력한 성능을 보여주며, 얼굴 특성과 지각된 성격 특성 간의 관계를 밝혀 체화 에이전트를 위한 적응형 초기 상호작용 전략을 지원할 잠재력을 강조한다. 코드와 데이터셋은 https://github.com/MrHuan3/GlanceFace 에서 이용할 수 있다.
우리는 파인튜닝된 시퀀스-투-시퀀스 LLM을 통한 네거티브 프롬프트 최적화와 잠재 공간 분류기 가이던스를 통합하여 Stable Diffusion이 생성하는 이미지의 품질을 향상시키는 새로운 시스템을 제안한다. 우리 접근법은 최적화된 네거티브 프롬프트를 자동으로 생성하고, CNN-RNN 하이브리드 분류기를 사용해 확산 단계를 평가·가이드하며 품질이 낮은 잠재 업데이트를 롤백한다. 실험 결과, 우리의 이중 가이던스 프레임워크는 기준선 확산 대비 아티팩트를 줄이고 의미적 충실도를 향상시킨다.
자기중심적 시각 질의응답(Egocentric Visual Question Answering, VQA)은 멀티모달 대규모 언어 모델(MLLM)이 실세계와 상호작용할 수 있도록 하는 중요한 과제로서 널리 주목받고 있다. 그러나 기존 MLLM은 공간 인지 능력이 제한적이어서 복잡한 자기중심적 장면에서 효과적인 공간 추론을 수행하는 데 어려움을 겪는다. 이를 위해 우리는 제안한 Ego-element Graph를 기반으로 자기중심적 관점에서 공간 인지 능력을 적극적으로 향상시키는 자기중심적 공간 인지 프레임워크인 Ego Scene Augmentation(ESA)을 제안한다. 우리의 핵심 통찰은 시각 기초 모델(visual foundational models)을 통해 Ego-element Graph를 중간 표현으로 활용하여 MLLM의 자기중심적 공간 인지를 증강하는 것이다. 구체적으로, 우리는 1) 시각 기초 모델이 제공하는 자기중심적 공간 특징을 캡슐화하고 통합하는 Ego-element Graph를 구축하고, 2) 자기 시점 장면에 대해 Ego-element Graph를 통해 MLLM의 공간 인지 능력을 향상시킨다. 제안한 ESA 프레임워크는 EgoTextVQA 벤치마크에서 유의미한 성능 향상을 보여준다. 실내 설정에서 8.14%, 실외 설정에서 8.72%의 향상을 달성했다. 또한 ESA는 실내 설정의 쇼핑(shopping) 하위 집합에서 가장 인상적인 성능 향상을 보인다. 프로젝트 코드는 공개되어 있다.
자동화된 흉부 CT 보고서 생성은 임상적으로 신뢰할 수 있는 보고를 위해 전체 볼륨 이해와 국소화된 해부학적 소견에 대한 정확한 기술이 모두 필요하기 때문에 여전히 어려운 과제이다. 본 연구에서는 흉부 CT 소견 섹션 생성을 위한 영역 인식(region-aware) 검색-강화 프레임워크인 MonteRET을 개발하고 후향적으로 평가하였다. MonteRET은 전역 CT 특징과 영역 수준 해부학적 표현을 통합하고, 예측된 의학적 상태와 영역 수준 비전-언어 정렬을 이용해 임상적으로 관련 있는 지식을 검색하며, 지식 안내 보고서 재작성 에이전트를 통해 초기 보고서를 정제한다. RadGenome-ChestCT의 공개 코호트 24,128건의 CT 스캔으로 모델을 학습시켰다. MonteRET을 RadGenome-ChestCT 공개 테스트 세트 1,564건의 CT 스캔과 NewYork-Presbyterian/Weill Cornell Medical Center의 외부 코호트 82건의 CT 스캔에서 평가하였다. MonteRET은 매칭된 기준선 및 여러 최신(state-of-the-art) 방법과 비교하여 보고서 품질, 의미적 유사도, 임상적 유효성을 향상시켰다. 향상은 재현율에서 가장 두드러졌으며, 이는 누락된 소견이 더 적음을 시사한다. 방사선과 전공의(radiology residents)의 인간 전문가 평가에서도 MonteRET이 더 우수한 것으로 나타났다.
대규모 언어 모델(LLM) 에이전트는 계획을 수립하고, 도구를 사용하며, 메모리를 유지하고, 장기 지평(long-horizon) 과제를 실행할 수 있다. 본 논문은 자기 인식 재귀적 자기 개선(Self-Aware Recursively Self-Improving, SARSI) 에이전트를 제안한다. 이는 정체성, 목표, 역량, 한계, 불확실성, 관계, 이력, 발달적 변화에 대한 지속적인 자기 모델(self-model)을 유지하고, 그 모델을 사용하여 재귀적 개선을 안내하고 평가하는 거버넌스가 적용된 에이전트이다. 자기 인식(self-awareness)은 기능적으로 정의되며, 주관적 경험이나 현상적 의식(phenomenal consciousness)을 함의하지 않는다. SARSI 에이전트를 개인적 특이점(personal singularity)과 결합한다. 이는 에이전트 생태계가 사용자가 확장되는 사용자 정의 실현 가능 역량 프론티어(feasible capability frontier)에 접근하도록 돕는, 경계가 설정된 인간-AI 공동 개발 목표이다. 각 에이전트는 목표 계약(goal contract), 경계가 설정된 범위(scope), 검증된 도구 레지스트리, 도구 테스트, 종단 간(end-to-end) 벤치마크, 소유자 통제 자율성, 라우팅, 메모리, 자기 모델, 개선 정책을 갖는다. 범위 라우터(scope router)는 수락된 모든 과제를 하나의 책임 있는 주(primary) 에이전트에 할당하고, 범위 밖 작업을 구조화된 핸드오프(handoff)를 통해 이관한다. 사용자 대면 Auto-Index는 외부 권한을 재정의하지 않고 대화형, 하이브리드, 자율, 또는 예약된 동작을 선택한다. 아키텍처는 계획-실행-검증 루프, 증거 게이트가 적용된 개선 루프, 외부 거버넌스 평면(governance plane), 분산 계보(lineages), 소유자 지향 에이전트 파운드리(foundry), 그리고 작업, 계산 영상(computational-imaging), 업무 프로세스 학습, 개인 학습 에이전트를 조율하는 Personal Singularity OS를 결합한다. 기능적 자기 인식, 범위, 라우팅, 개선 수용, 경계가 설정된 목표 진화, 도구 우선 실행, 인간 역량 이전(human capability transfer)을 형식화하고, 안전성 불변식(invariants), 벤치마크 설계, 단계적 구현 로드맵을 제공한다. 이는 입장(position) 및 시스템 설계 논문이며, 의식, 무제한 재귀적 자기 개선, 또는 개인적 특이점이 달성되었다는 증거가 아니다.
문맥 내 분할(ICS)은 모델이 소수의 참조 이미지와 해당 마스크만을 사용하여 쿼리 이미지에서 대상 영역을 분할해야 하며, 어떠한 파라미터도 업데이트하지 않는다. 최근의 진전에도 불구하고, 기존 ICS 연구들은 중요한 측면인 시스템 견고성, 즉 동일한 쿼리에 대해 서로 다른 참조를 사용할 때 모델이 안정적인 분할 결과를 생성할 수 있는지 여부를 크게 간과해 왔다. 본 연구에서는 견고성 관점에서 ICS를 재검토하고, 저수준 시각 매칭에만 의존하는 대신 참조로부터 고수준 의미 개념을 추출하여 분할을 수행하는 새로운 패러다임인 개념 안내 문맥 내 분할(Concept-Guided In-Context Segmentation, CG-ICS)을 제안한다. 구체적으로, CG-ICS는 MLLM을 사용하여 후보를 제안하고 SAM3 기반 점수 함수와 트리 탐색 정제를 통해 신뢰할 수 있는 텍스트 개념을 선택하는 개념 추론 모듈을 도입하며, 간단한 컨텍스트 구성을 통해 쿼리 측면의 공간적 그라운딩(grounding)을 제공하는 병렬의 시각적 예시 경로를 함께 사용한다. 텍스트 개념과 시각적 예시 모두 고정된 SAM3 백본의 분할 능력을 활성화하는 데 사용된다. 표준 ICS 벤치마크에 대한 광범위한 실험은 CG-ICS가 최신(state-of-the-art) 정확도를 달성할 뿐 아니라 견고성도 크게 향상시켜, 다양한 참조 선택에 걸쳐 분산이 크게 감소한 더욱 신뢰할 수 있는 ICS 시스템을 제공함을 보여준다. 코드는 https://github.com/Kakarot1103/CG-ICS 에서 확인할 수 있다.
멀티모달 대규모 언어 모델(MLLM)은 범용 멀티모달 임베딩을 위한 유망한 기반으로 떠오르고 있다. 최근 연구들은 추론 기반 생성형 멀티모달 임베딩이 여러 임베딩 태스크에서 판별형(discriminative) 임베딩보다 우수한 성능을 낼 수 있음을 보여주었다. 그러나 사고의 연쇄(Chain-of-Thought, CoT) 추론은 더 넓은 검색 시나리오에서 불필요한 사고 단계를 생성하고, 요약된 답변에 의미적 모호성을 도입하는 경향이 있다. 이 한계를 해결하기 위해, 우리는 검색 친화적 재작성을 통해 생성과 임베딩을 공동으로 최적화하는 통합 프레임워크인 Rewrite-driven Multimodal Embedding(RIME)을 제안한다. 한편, 생성형과 판별형 임베딩 공간을 연결하여 효율성과 정확도 사이의 트레이드오프를 가능하게 하는 유연한 상호 검색을 위해 Cross-Mode Alignment(CMA)를 제시한다. 이를 바탕으로, 판별형 임베딩을 안정적인 의미적 앵커로 간주하여 재작성 최적화를 안내하는 Refine Reinforcement Learning(Refine-RL)도 도입한다. MMEB-V2, MRMR, UVRB에 대한 광범위한 실험은 RIME이 기존 생성형 임베딩 모델을 크게 능가하면서 사고 길이를 현저히 줄인다는 것을 보여준다. 코드는 https://github.com/PeppaWu/RIME 에서 이용할 수 있다.
제로샷 객체-목표 내비게이션(ZSON)은 과제별 학습 없이 미지의 환경에서 목표 객체를 찾기 위해 이동해야 한다. 기존 계층적 해결책은 주로 장면 이해와 표현(belief) 또는 고수준 의사결정과 계획(policy) 중 하나에 집중하지만, 옵션—즉 belief가 제안하고 policy가 선택하는 하위목표 후보—을 인접 모듈에서 물려받은 인터페이스로 다룰 뿐, 그 자체의 설계 축으로는 다루지 않는다. 실제로 옵션은 대부분 목적지 유틸리티로 점수화된 단일 경유점이며, 단일 목적지는 경로상에서 얻은 가치를 숨기고, 평탄한 목록은 후보들 간의 관계를 가린다. 우리의 통찰은 옵션 공간이 경로들의 트리여야 한다는 것이다. 전체 경로는 목적지만 점수화할 때 체계적으로 간과되는 경로상 정보 이득을 드러내며, 공유 구간의 트리는 개별 잎을 검토하기 전에 전체 가지를 기각하거나 추구하는 거친-세밀 LLM 추론을 가능하게 하여 조합적 경로 공간을 효율적인 계층으로 압축한다. 이 통찰을 REST(Receding Horizon Explorative Steiner Tree)에 구현했으며, 이는 (1) 온라인 RGB-D 스트림으로부터 명시적 개방어휘 3D 맵을 구축하고, (2) 샘플링 기반 계획을 통해 안전하고 정보가 풍부한 경로들의 에이전트 중심 트리를 옵션 공간으로 성장시키며, (3) 각 가지를 공간적 서사로 텍스트화하고 사고의 연쇄(chain-of-thought) LLM 추론으로 최선의 다음 경로를 선택하는 학습 없는 프레임워크이다. Gibson, HM3D, HSSD 벤치마크에서 REST는 성공률과 경로 효율성 측면에서 지속적으로 최상위 방법들 중 하나에 해당한다.
시각적 공간 지능은 의료 영상 해석에 핵심적이지만, 3D 영상을 위한 다중모달 대규모 언어 모델(MLLM)에서는 여전히 거의 탐구되지 않았다. 이 격차는 기본 라벨을 넘어선 구조화된 3D 공간 주석을 포함하는 데이터셋의 체계적 부재로 인해 지속된다. 본 연구에서는 체적 추정 및 바운딩 박스(bounding box) 추출과 같은 계산 도구를 다중 에이전트 협업과 전문 방사선과 의사 검증과 함께 조율하여 공간적 시각 질의응답(VQA) 데이터를 자율적으로 합성하는 에이전트 파이프라인을 제안한다. 또한 의료 MLLM의 3D 공간 지능을 평가하기 위한 최초의 포괄적 벤치마크인 SpatialMed를 제시하며, 이는 여러 장기와 종양 유형에 걸쳐 31,253개의 질의-응답 쌍으로 구성된다. 24개의 최신 MLLM에 대한 평가와 광범위한 분석을 통해, 현재 모델들은 의료 영상에 대한 견고한 공간 추론 능력이 부족함을 밝힌다.
예측자는 백테스팅(backtesting)으로 평가되며, 이는 이미 결과가 정해진 질문을 재현하고 결과가 알려지기 전에 시스템이 부여했을 확률을 채점한다. LLM의 경우 두 가지 경로를 통해 답이 이 테스트로 유출된다. 검색(retrieval)을 수행하는 모델은 사건 이후에 작성된 보고서를 끌어올릴 수 있어 예측을 조회(lookup)로 바꿔버리고, 각 새 모델은 사건에 더 가까운 시점의 데이터로 학습되므로 작년 모델들에게는 미래에 있던 질문이 올해 모델의 학습 데이터 안에 들어가 있다. 어느 쪽이든 테스트는 예견(foresight)을 평가한다고 주장하면서 실제로는 회상(recall)을 채점한다. 우리는 Hindcast를 제안하며, 이는 선택한 과거 시점 $t_0$에 마치 서 있는 것처럼 모델을 채점함으로써 두 유출을 모두 차단한다. $t_0$ 이전에는 어느 경로에도 결과가 존재하지 않았다. Hindcast는 이미 정산된 Polymarket 예측 시장을 공개 Reddit의 동결된 스냅샷과 대조하여 재현하고, 모델이 $t_0$ 이전에 작성된 게시물만 읽도록 하며, 각 예측을 실제 결과와 $t_0$ 시점의 시장 자체 가격—동일한 과거 정보로 이루어진 인간의 예측—모두에 대해 채점한다. 시장마다 컷오프(cutoff)가 설정되고 스냅샷은 변하지 않기 때문에, 모델이 개선될수록 새 시장에서 평가를 재실행할 수 있으며 평가가 낡지 않는다. 유출이 차단되면 검색은 여전히 대부분의 모델에 도움이 되지만, Reddit이 사건을 사전에 논의한 경우에만 그렇다. 아카이브에 추측만 담겨 있던 곳에서는 검색이 오히려 해가 된다.
CAT 도구부터 MT(기계번역)에 이르는 자동 번역 시스템은 대부분 번역을 문장 단위 작업으로 취급한다. 본 논문은 전체 문서, 말뭉치 기반 번역을 통해 LLM을 그 패러다임 너머로 이동시킬 수 있는지 묻는다. 우리는 PAT(Pragmatic Auto-Translator)를 제시한다. 이는 검색-증강 생성(RAG) 기반 시스템으로, 사용자가 구성한 사양을 미국 영어와 라틴아메리카 스페인어로 된 실제 장문 텍스트의 비교 말뭉치에서 얻은 문맥과 결합하고, 검색된 단락·절·문서 수준 예시를 LLM에 전달하여 전체 문서를 생성한다. 목표는 전문가 검증을 위한 초안 번역이다. 담화 구성, 수사적 문체, 화용적 규범이 영어와 의미 있게 다른 스페인어권 맥락에 맞게 목표 텍스트를 재구성하는 것이다. 생성 AI에 관한 에세이의 자동 번역 6건을 세 프로젝트에 걸쳐 맞춤 MQM 분류체계를 사용하여 평가했으며, 미국 영어에서 LATAM 및 멕시코 스페인어로 번역하는 두 명의 훈련된 평가자가 평가했다. 결과는 제한된 프롬프트가 의미 있는 재구성을 만들어내지 못했고, 사양 및 말뭉치 기반 번역은 때로 상당한 재구성을 보였으나 항상 효과적인 것은 아니었음을 보여준다. LLM을 재구성 쪽으로, 문장 단위 패러다임에서 벗어나게 이동시킬 수 있으나, 그 재구성의 효과를 높이기 위해 더 많은 연구가 필요함을 확인한다. 본 논문에서는 자동 번역 시스템 설계, 말뭉치 구축, 번역 품질 평가 방법론 및 결과와 관련된 고려 사항을 논의한다.
비판적 사고는 학습자가 단순 암기를 넘어서도록 돕는 기본적인 역량이다. 이 역량을 기르는 한 방법은 고차 질문하기를 통하는 것이다. 그러나 이러한 질문을 만드는 일은 여전히 교육자들에게 어려운 과제이며, 교실 수업은 저차 질문에 의존하는 경향이 있다. 대규모 언어 모델(LLM)은 특히 Bloom의 분류체계(Bloom's Taxonomy)에 기반한 프롬프트로 유도될 때 고차 질문 생성에서 뛰어난 역량을 보여주었다. 그러나 기존 연구는 대체로 이 프레임워크에 집중해 왔으며 영어에만 국한되어 왔다. 본 연구는 Claim-Evidence-Reasoning과 Divergent Questioning이라는 두 가지 대안적 프레임워크에 기반한 프롬프트를 도입하고, 바스크어, 스페인어, 영어를 사용하는 다국어 맥락에서 이러한 공백을 해소한다. 결과에 따르면, 오픈소스 모델과 독점 모델 모두 세 언어에서 상당히 효과적으로 질문을 생성했지만, 답변 가능한 질문 중 약 절반만 교사들이 고차 질문으로 인식했다. 긍정적인 발견은 대안적 프레임워크가 구조적으로·개념적으로 다양한 질문을 생성한다는 점이며, 이는 두 프레임워크가 서로를 보완할 수 있고 Bloom의 분류체계에 대한 실행 가능한 대안을 제시할 수 있음을 시사한다.
LLM-as-judge 시스템의 바이어스 연구는 일반적으로 LLM에게 사실에 기반한 답변과 짝을 이룰 환각(hallucinated) 답변을 생성하도록 프롬프트하여 합성 코퍼스를 구축한 뒤, 두 답변을 모두 판정자에게 제시한다. 우리는 이러한 생성 단계가 조용히 실패한 사례를 보고하고, 이 실패 모드가 우발적이기보다 구조적이라고 주장한다. 다국어(터키어/영어) 충실성(faithfulness) 판정 코퍼스에서, 판정과 생성 호출 간 공유된 디코딩 예산(decoding-budget) 매개변수가 한 producer의 환각 답변을 몇 단어로 잘라냈다. 그 결과 생성된 항목들은 크고 통계적으로 견고한 효과를 만들어냈다: 한 판정자의 선택 정확도에서 32포인트의 교차 언어적 붕괴가 N=50에서 N=500까지 재현되었고, 세 층의 기제적 설명으로 설명되었으며, 통제된 producer 교체 실험으로 확인되었으나, 이 모든 것은 실재하지 않았다. 공유 매개변수가 수정되자 효과는 상한(ceiling)으로 사라졌고, 어떠한 집계 통계 검사도 아닌 원시 생성물의 수동 열람만이 결함을 드러냈다. 두 번째로 측정된 바이어스(Markdown 서식 선호)는 조작된 것이 아니었으나 동일한 결함에 의해 왜곡되었고, 그 크기와 한 경우에는 부호가 자극 길이에 따라 변했으며, 이는 집계 지표가 첫 번째와 구별할 수 없는 양상이다. 우리는 근본적 취약점을 테스트 오라클 문제로 프레이밍한다: 부정 예제가 LLM 생성인 코퍼스는 항목 무결성을 검증할 기계적 방법이 없는 반면, gold 답변의 결정론적 교란(deterministic perturbation)으로 구축된 코퍼스는 항목 수준의 오라클을 공짜로 제공한다. 양성 대조(positive control)가 이 주장을 직접 뒷받침한다: 최소 교란 기반 코퍼스에 주입된 유사한 결함은 비용 제로·인력 제로의 gold-to-negative 문자열 비교로 100% 정확도로 잡힌다. 우리는 대부분의 현대 다국어 LLM-as-judge 코퍼스를 설명한다고 주장하는 오라클 없는(oracle-less) 체제에서 작업하는 분석가들을 위한, 우리 자신의 사례에서 도출된 검증 프로토콜로 마무리한다.
현재 상황과 역사적으로 구조적으로 유사한 과거 사건을 체계적으로 비교하는, 즉 역사적 유비(historical analogies)는 선견 분석을 위한 가장 강력한 도구 중 하나이다. 본 연구에서는 대규모 언어 모델(LLM) 에이전트를 위해 Analogical Deep Research(ADR)라는 새로운 태스크를 제안하고, LLM 에이전트가 선견 분석을 수행할 때 역사적 유비를 찾고 활용할 수 있는지 연구하기 위해 최초의 ADR 벤치마크인 ADR-bench를 구축한다. 조사 결과, 핵심 장애물이 밝혀진다: LLM 에이전트는 근본적인 메커니즘보다 표면적 특성에 기반해 매칭하기 때문에 유비를 찾는 데 서투르다. 우리는 ADR이 사건이 왜 발생했는지를 이해해야 하므로 본질적으로 인과적 질문이라고 주장한다. 이론적 분석을 바탕으로, ADR에 필요한 두 가지 원칙, 즉 메커니즘 정렬(mechanism alignment)과 교차 유비 확인(cross-analogy confirmation)을 제시한다. 이론적 결과를 토대로, LLM이 역사적 유비를 찾고 통합하도록 안내하는 새로운 에이전트 프레임워크인 Causal Analogical Researcher(CANA)를 제안한다. CANA는 단순하면서도 효과적인 구조적 분해 표현을 포함하며, 역사적 유비 식별과 통합의 반성적 개선을 위해 구조적 피드백을 통합한다. CANA는 역사적 유비 생성에서 최대 10%의 개선을 가져오며, ADR-bench에서 최신(state-of-the-art) 심층 연구(deep research) 에이전트를 능가한다. 진행 중인 사건에 대한 사례 연구는 CANA가 역사적 유비를 활용하는 데 효과적임을 확인한다.