LLM 기반 신경망 아키텍처 탐색(NAS)을 위한 신경망 아키텍처 코드에 걸친 점진적 커리큘럼을 구성하는 MinHash 기반 유사도 스케줄링 프레임워크를 소개한다. 정규화된 7-그램 소스 코드 싱글(shingle) 위의 128-순열 MinHash 시그니처를 사용하여 참조 풀을 유사도 밴드로 분할하고, 아키텍처 이질성이 증가하는 순서로 제시하며, 각 단계의 최적 LoRA 어댑터는 백본에 누적 병합된다. CIFAR-10 이미지 분류에 대한 LEMUR 벤치마크 내에서 OlympicCoder-7B를 대상으로 프레임워크를 평가하며, 여섯 단계의 점진적 미세조정 단계에 걸쳐 에포크당 N=15개의 후보 아키텍처를 생성한다. 커리큘럼은 후처리 보수(repair) 없이 고유사도 수준에서 60%의 최고 성공률(SR)을 달성한다. 가장 다양한 수준에서의 커리큘럼 대 기본 모델, 부분 인터페이스 보수 포함 여부에 대한 2×2 절제 실험(ablation) 결과, 보수 없이는 기본 모델(47% 최고 SR)이 커리큘럼 모델(7% SR)을 크게 능가하는 반면, 부분 보수를 추가하면 두 모델 모두 53% SR에 도달함을 보인다. 이 패턴은 병합 수준의 가중치 드리프트(weight drift)가 평가자-인터페이스 사전 정보를 점진적으로 소거하는 것과 일치하며, 인터페이스 보수와 커리큘럼 스케줄링이 서로 다른 실패 모드를 대상으로 함을 시사한다. 아울러 SVHN에 대한 교차 데이터셋 전이 관찰을 보고하며, 커리큘럼 워밍업 없이 직접 기본 모델로 생성할 경우 CIFAR-10 동등 수준 대비 상당히 낮은 정확도(60.5%)에서 27%의 최고 SR을 산출함을 확인하였으며, 이는 unq-family 앵커 아키텍처의 증가된 합성 난이도와 일치한다.
주류 시각 인코더는 자연 이미지로 사전학습되어 있어, 밀집된 텍스트와 세밀한 문자 획이 문자 수준의 시각적 인식을 요구하는 문서 이미지에는 문서 특화 적응 없이는 효과적으로 적용할 수 없다. 본 논문에서는 문서 AI를 위한 시각-텍스트 사전학습 모델인 MonkeyOCRv2를 제안한다. 먼저, 17개 언어에 걸쳐 1억 1,300만 장의 이미지로 구성된, 현재까지 알려진 가장 대규모의 문서 이미지 사전학습 코퍼스인 MonkeyDoc v2를 구축한다. 다음으로, 이미지-텍스트 생성과 픽셀 수준 문서 재구성을 공동으로 학습하는 사전학습 전략을 제안한다. 전자는 시각적 표현과 텍스트 내용을 정렬하고, 후자는 문자 획과 레이아웃 세부 정보를 보존한다. 텍스트 인식, 수식 인식, 텍스트 검출, 문서 위변조 탐지, 겹침 텍스트 분할 등 5가지 대표적인 문서 분석 태스크에 대해 광범위한 실험을 수행하였으며, 기존 인코더를 MonkeyOCRv2로 교체하면 5가지 태스크 전반에서 일관되게 성능이 향상됨을 확인하였다. 마지막으로, 문서 파싱 및 문서 이해라는 더 난이도 높은 태스크에서 멀티모달 대규모 언어 모델(LLM)의 비전 인코더로서의 효용성을 검증한다. 동결된 상태로 경량 언어 모델과 결합하면, 디지털 문서와 촬영 문서를 17개 언어에 걸쳐 평가하는 최근 벤치마크인 MDPBench에서 새로운 오픈소스 최고 성능(state-of-the-art)을 달성하는 0.7B 문서 파싱 모델이 생성된다. 이 모델은 비전 인코더 크기가 약 11배 작음에도 불구하고 기존 최고 성능인 3B dots.mocr을 절대 성능 기준 2.8% 상회한다. 동결된 인코더는 동일한 학습 설정 하에 8개 벤치마크에서 CLIP, DINO, SAM 기반의 모델들을 능가하는 문서 이해 모델도 구동한다. 이러한 결과는 문서 특화 시각 사전학습이 문서 인텔리전스의 독립적인 기반으로 기능할 수 있음을 시사한다.
본 논문에서는 자원 효율적인 고고도 UAV 내비게이션을 위해 학습이 불필요한(training-free) 설정에서 항공 비전-대화 내비게이션(AVDN) 과제를 다룬다. 다중모달 대규모 언어 모델(MLLM)을 단순 적용하면 방향 그라운딩의 취약성과 명시적 공간 메모리의 부재로 인해 불안정한 내비게이션이 발생한다. 이러한 문제를 해결하기 위해, 우리는 파싱-탐색-확인(Parsing-Search-Confirmation)의 3단계 추론 파이프라인과 구조화된 공간 메모리(SSM)를 긴밀하게 결합한 학습 불필요 프레임워크 PSC-AVDN을 제안한다. 파싱 단계에서는 LLM을 사용하여 모호한 대화 지시를 안정적인 기하학적 방향 및 목적지 단서로 변환한다. 이후 탐색 사고의 연쇄(S-CoT)가 고고도 관측 하에서 단계적 목표 탐험(exploration)을 수행하고, 확인 사고의 연쇄(C-CoT)가 후보 영역 주변에서 세밀한 검증을 수행하여 시각적 모호성을 해소한다. 한편, SSM은 다중 스케일 시각 관측, 공간 시각 메모리, 구조화된 기하학적 메모리를 포함하는 세 가지 상호 보완적 공간 단서 소스를 통합하여 전역 공간 컨텍스트와 장기적 일관성을 제공한다. ANDH 및 ANDH-Full에 대한 광범위한 실험을 통해 PSC-AVDN이 학습 불필요 설정에서 새로운 최고 성능을 달성하며, 여러 파인튜닝 기법과 동등하거나 이를 능가함을 입증한다. 코드는 https://github.com/QY6616/PSC-AVDN 에서 공개될 예정이다.
최근 텍스트-투-CAD 접근법들은 대규모 언어 모델(LLM)을 활용하여 유망한 결과를 보여주었지만, 복잡한 설계에서 구조적 일관성을 유지하고 기하학적 매개변수를 정확하게 그라운딩하는 데 어려움을 겪는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 구조적 추론과 매개변수 예측을 모두 개선하는 계층적 텍스트-투-CAD 프레임워크인 HierCAD를 제안한다. HierCAD는 CAD 구성 트리를 객체 수준의 절차적 추론 궤적과 부품 수준의 토폴로지 추론 궤적으로 분해함으로써 CAD 생성을 점진적 추론으로 재정식화한다. 생성 충실도를 더욱 향상시키기 위해, 우리는 통합된 구조 정렬 및 매개변수 그라운딩(SAPG) 학습 전략을 도입한다. 구조 정렬은 토폴로지 추론 궤적을 해당하는 파라메트릭 CAD 스팬과 정렬하고, 매개변수 그라운딩은 구조 보존 매개변수 섭동과 순위 기반 감독을 통해 지름길 학습(shortcut learning)을 완화한다. 실험을 통해 HierCAD가 CAD 시퀀스 생성과 재구성된 CAD 모델 평가 모두에서 기존 최첨단 방법들을 능가함을 입증한다. 코드는 https://github.com/Collab-Gen/HierCAD 에서 확인할 수 있다.
우리는 비디오 메모리로부터의 스킬 학습(SLVMBench, Skill Learning from Video Memory)을 소개한다. 이는 비디오 대규모 언어 모델(video-LLM)이 긴 비디오 메모리에서 스킬을 학습하고 이를 실시간 태스크에 적용할 수 있는지를 함께 평가하는 최초의 벤치마크이다. SLVMBench는 모델에게 2~3시간 분량의 비디오 스트림을 제시하며, 이 스트림에는 임의의 무관한 비디오들 사이에 튜토리얼 비디오가 삽입되어 있어 실제 인간의 학습 방식과 유사하다. Video-LLM은 습득한 스킬을 활용하여 진행 중인 비디오에 대한 실시간 질문에 답해야 한다. 수동적 이해를 강조하는 장시간 비디오 이해 벤치마크나 짧고 즉각적인 데모에 의존하는 스킬 학습 벤치마크와 달리, SLVMBench는 절차적 지식의 기억 및 추출과 이를 실시간 태스크로 전이하는 전체 파이프라인을 평가한다. 또한, 엄격한 인간 어노테이션은 1초 이하 수준의 시간적 보정, 상식적 추측을 배제하도록 수동으로 설계된 질문, 그리고 필요한 스킬의 커버리지를 보장하기 위해 편집된 튜토리얼을 특징으로 한다. 최신 독점 및 오픈소스 비디오 LLM에 대한 평가 결과, video-LLM은 비디오에서 스킬 지식을 학습하고 적용하는 데 상당한 어려움을 겪는 것으로 나타났다. 또한 스킬 지식이 긴 비디오 메모리 내에 배치될 경우 성능이 현저히 저하되었다. 이러한 결과는 기존 비디오 LLM의 핵심 한계를 드러내며, SLVMBench를 긴 컨텍스트 비디오 메모리로부터의 실시간 스킬 습득 및 적용 연구를 위한 최초의 벤치마크로 자리매김한다.
최근 멀티모달 대규모 언어 모델(MLLM)은 다양한 시각 도구 연산을 반복적으로 수행하는 "이미지로 사고하기(Thinking with Images, TwI)" 패러다임 하에서 세밀한 지각(fine-grained perception) 태스크에 있어 놀라운 성과를 거두었습니다. 그러나 이 패러다임은 빈번한 외부 도구 호출과 반복적인 이미지 재인코딩에 크게 의존하여, 상당한 계산 오버헤드와 추론 지연을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 자기 조절(self-regulated) 능력을 중심으로 하는 새로운 암묵적 시각 도구 패러다임인 Beyond the Eye(BEE)를 제안합니다. BEE는 시각 도구 호출 행동을 학습 목표에 직접 통합하고, 모델이 자기 조절 호출 메커니즘을 개발하도록 장려합니다. 이 설계는 모델이 내부 지식과 암묵적 도구 간의 균형을 적응적으로 조절할 수 있게 하여, 불필요한 도구 사용을 피하면서 추론 지연을 크게 줄입니다. 구체적으로, BEE는 두 단계 학습 과정을 포함합니다: (1) 형식화된 사고의 연쇄(CoT) 지도 미세조정(SFT). 우리는 구조화된 도구 슬롯과 혼합 호출 상태를 갖는 CoT 궤적을 구성합니다. 이 단계는 모델의 암묵적 도구 표현과 적응적 전환 능력을 활성화합니다. (2) 자기 조절 보상 기반 정렬(Self-regulated Reward-Driven Alignment). 모호한 인지적 경계로 인한 불필요한 도구 사용 문제를 해결하기 위해, 우리는 먼저 이 현상을 정량화하는 순 도구 이득(Net Tool Gain, NTG) 지표를 도입합니다. 이 관찰을 바탕으로 자기 조절 보상 메커니즘을 추가로 제안합니다. 이 메커니즘은 비효율적인 도구 의존성에 패널티를 부과하고, 모델이 지식 라우팅을 수행하도록 장려하여 모델의 내부 지식이 불충분할 때만 암묵적 도구가 호출되도록 보장합니다. BEE는 세밀한 시각 지각에서 최첨단(state-of-the-art) 성능을 달성하는 동시에, 일반 추론 태스크에서도 경쟁력을 유지하며 추론 효율성에서 상당한 향상을 이룹니다.
비디오 대규모 언어 모델(Video-LLM)이 긴 비디오에서 한 인물을 따라가며, TV 에피소드 전체에 걸친 의상 변화를 순서대로 보고할 만큼 충분히 인물을 추적할 수 있을까? 벤치마크는 점점 더 이런 종류의 과제를 평가하고 있으며, 가장 강력한 오픈소스 7~8B 모델들은 이를 정확히 묻는 InfiniBench의 전체 외관(global appearance) 과제에서 현재 37~38%에 도달하고 있다. 그러나 그 점수가 지명된 인물을 추적한 결과인가, 아니면 더 쉬운 방법에서 비롯된 것인가? 우리는 세 가지 아키텍처가 상이한 오픈소스 Video-LLM에 9가지 조건의 진단 프로토콜을 적용하고 Gemini 2.5 Flash를 최첨단 참조 모델로 삼아 검증한 결과, 해당 정확도가 인물 추적에서 비롯된 것이 아님을 발견했다. 질문에서 언급된 인물의 이름을 다른 출연진으로 바꾸고 비디오와 답변 선택지를 그대로 유지했을 때, 모델은 4~31%의 경우에만 답을 바꾸었으며, 이는 모델이 질문이 묻는 인물을 대부분 무시하고 있음을 보여준다. 이름 교체 시 성별에 따라 분석하면 그 이유를 알 수 있다: 모델은 이름을 같은 성별의 인물로 바꿀 때보다 다른 성별의 인물로 바꿀 때 더 많이 반응하며(13~28 포인트 차이), 이는 거친 성별 단서는 감지하지만 같은 성별의 인물을 구별하지 못함을 나타낸다. 이러한 얕은 처리 방식은 객관식 선택지를 제거하고 동일한 질문을 주관식으로 물을 때 다시 드러난다: 오픈소스 모델의 정확도는 18~25 포인트 하락하며, 151개의 답변 중 완전히 정확한 것이 하나도 없었던 반면, Gemini는 12 포인트 하락에 그쳤다. 추가 검증을 통해 명백한 대안적 설명들은 배제된다: 자막 추가, 가장 정보가 풍부한 프레임 사용, 프레임 수 두 배 증가 모두 인물 추적을 개선하지 못했으며, 따라서 병목 지점은 모델이 얼마나 많은 비디오를 보는가가 아니라 그 비디오를 질문이 지명한 인물과 어떻게 연결하는가에 있다. 우리는 이러한 벤치마크 점수가 실제로 무엇을 측정하는지 감사하기 위한 진단 툴킷을 공개한다.
비전-언어 모델(VLM)은 긴 시각적 토큰 시퀀스를 처리해야 하므로 추론 시 높은 비용이 발생한다. 기존의 토큰 가지치기 방법들은 높은 압축률에서 정보를 무분별하게 제거하여 공간적 구조를 손상시키거나 다양성을 붕괴시켜 성능이 저하되는 경향이 있다. 우리는 파괴적인 가지치기 패러다임에서 보존적 응축 패러다임으로 전환하는 학습 불필요(training-free) 프레임워크 SpecFlow를 제안하며, 안정성 보장을 위해 공간적 커버리지와 통계적 보존을 엄격히 적용한다. 시각적 토큰을 $k$NN 그래프의 노드로 처리하는 SpecFlow는 (i) 스펙트럴 열 흐름을 통해 구조적 일관성을 보존하는 안정적인 중요도 필드를 계산하고, (ii) 적응적 공간 분할을 통해 예산을 할당하여 커버리지를 보장하며, (iii) 제거된 정보를 코어셋 싱크(coreset sink)에 집약하여 통계적 보존을 유지한다. 이 방법은 플러그 앤 플레이 방식으로 미세조정이 필요 없으며 FlashAttention과 호환된다. 실험을 통해 SpecFlow가 다양한 태스크, VLM 아키텍처, 가지치기 비율에서 최신 기술(SOTA) 방법들을 능가함을 확인하였다. 특히, SpecFlow를 적용한 LLaVA-1.5는 시각적 토큰의 88.9%를 가지치기하고도 원래 성능의 95.6%를 유지하여 탁월한 효율성-정확도 균형을 제공한다. 코드는 https://github.com/Lzy-dot/SpecFlow 에서 확인할 수 있다.
효율적인 폐기물 분리수거는 지속가능한 도시 관리와 환경 거버넌스에 있어 매우 중요하다. 기존 자동화 시스템은 단일 모달리티 시각 처리, 불충분한 맥락 이해, 그리고 취약한 규정 정합성으로 인해 한계를 지닌다. 이러한 문제를 해결하기 위해, 우리는 시각-언어 모델과 멀티모달 대규모 언어 모델(LLM)을 통합하여 시각-언어 공동 추론을 수행하는 언어 기반 비전-AI 프레임워크를 제안한다. 이 프레임워크는 인도의 고형폐기물관리규칙 2016(Solid Waste Management Rules 2016)에 정합된 시각적 질의응답(VQA) 패러다임을 구현한다. 우리는 21개 폐기물 범주에 걸쳐 13,500개의 질의-응답 쌍으로 구성된 새로운 WasteVQA 데이터셋을 구축한다. 실험 결과, BLIP 기반 모델은 BLEU 점수 0.8291, BERTScore 0.9273을 달성하여 기존 CNN 기반 방법을 능가하는 것으로 나타났다. 본 연구는 배출원 단계의 분리수거 정확도를 향상시키고, 규정 준수를 보장하며, 지자체 및 시민 대상 폐기물 관리를 위한 확장 가능한 배포를 지원함으로써 지속가능한 도시 인프라에서 멀티모달 AI의 활용을 촉진한다. 소스 코드와 데이터셋은 https://github.com/Khushkataruka/WasteAssistant 에서 공개되어 있다.
대규모 언어 모델(LLM) 에이전트는 계획 수립, 코드 실행, 디버깅, 실험적 피드백을 결합하여 머신러닝 엔지니어링(MLE) 자동화를 시작하고 있다. 이 능력을 의료 영상에 적용하는 것은 여전히 어려운데, 각 태스크가 모달리티별 실험과 검증 프로토콜 및 예측 결과물에 대한 엄격한 요구 사항을 부과하기 때문이다. 본 논문에서는 의료 영상 모델 개발을 위한 자율 멀티 에이전트 프레임워크인 AMID를 소개한다. AMID는 먼저 데이터 조건부 방법 계획(Data-Conditioned Method Planning)을 제안하는데, 이는 태스크 수준의 거친 탐색 공간을 태스크별 데이터 분석과 실행 가능한 의료 영상 리소스에 기반하여 실행 가능하고 병렬화 가능한 방법 레인으로 정제한다. 이어서 검증 유도 2단계 최적화(Verification-Guided Two-Stage Optimization)를 도입하는데, 이는 다양한 방법 레인에 대한 폭넓은 초기 탐험에서 유망한 후보의 선택적 활용으로 이동하는 동시에, 최적화 전반에 걸쳐 검증 프로토콜, 메트릭 계산, 예측 결과물의 엄격한 검증을 적용한다. 다양한 모달리티와 예측 유형을 아우르는 20개의 의료 영상 챌린지 태스크에서 AMID는 평가 대상 범용 MLE 시스템을 능가하였으며, 여러 태스크에서는 우수한 인간 설계 챌린지 솔루션에 근접하거나 동등한 성능을 달성하였다. 이러한 결과는 AMID가 태스크별 의료 영상 모델 개발을 맞춤형 수동 엔지니어링에서 이질적인 태스크 전반에 걸쳐 고성능의 감사 가능한 모델 결과물을 생성하는 에이전트 워크플로우로 전환할 수 있음을 시사한다.
비전-언어 모델(VLM)은 DocVQA, ChartQA, MMLongBench-Doc 등 시각 문서 이해 벤치마크에서 높은 성능을 달성했습니다. 그러나 실제 문서는 길이, 레이아웃 복잡도, 모달리티, 질문 난이도 등 여러 요인이 복합적으로 결합되어 있어 모델 실패를 특정 원인에 귀인하기 어렵습니다. 우리는 문서 길이, 레이아웃 구조, 모달리티 구성, 질문 유형을 포함한 요인들을 체계적으로 통제하는 장문 컨텍스트 시각 문서 이해를 위한 완전 합성 벤치마크인 SynthDocBench를 소개합니다. 이 벤치마크는 조합적 설계 방식으로 구성되어 각 요인이 생성된 문서에 걸쳐 독립적으로 변화하며, 모델 행동에 대한 통제된 분석을 가능하게 합니다. 문서는 6가지 레이아웃 원형(archetype)에 걸쳐 LLM 파이프라인을 사용해 엔드투엔드로 생성되며, 모델이 허위 상관관계를 이용하지 못하도록 40%의 무작위 재정의(override)가 적용됩니다. 또한 SynthDocBench는 기존 벤치마크보다 훨씬 더 긴 길이와 구조적 다양성을 지닌 장문 컨텍스트 문서를 포함합니다. 7개의 최전선 VLM을 평가한 결과, 기존 벤치마크에서는 드러낼 수 없는 세 가지 실패 모드를 발견했습니다: 문서 길이에 따른 급격한 성능 저하, 6개 모델 중 5개에서 문서 중간 3분의 1 구간이 가장 어려운 체계적인 위치 민감성(가장 큰 하락 폭: 8.3 퍼센트 포인트)과 5개 모델에서 나타나는 초반-후반 음의 추세, 그리고 장문 문서 환경에서의 차트 이해 능력 저하입니다. 이러한 결과는 현재 모델들이 강건한 장문 컨텍스트 시각 문서 이해를 달성하기보다 벤치마크의 인위적 특성에 과적합되어 있을 가능성을 시사합니다.
비전-언어 모델(VLM)은 강력한 멀티모달 능력을 제공하지만, 적대자가 온라인 사진을 크롤링하고 VLM에 쿼리하여 민감한 속성을 추출하는 텍스트 기반 프라이버시 공격에 사용자를 노출시키기도 한다. 기존의 가역적 적대적 예제(RAE) 방법은 순수 시각적 작업에서 이미지를 보호하지만 멀티모달 환경에서는 실패하며, VLM에 대한 현재의 적대적 예제는 시각적 품질을 심각하게 저하시키는 고주파 노이즈에 의존한다. 우리는 VLM에서 텍스트 기반 쿼리 공격에 대한 가역적이고 고충실도 프라이버시 보호를 위한 최초의 프레임워크인 CloakDiff를 제안한다. CloakDiff는 확산 기반 적대적 편집과 무손실 복원을 위해 원본 이미지를 임베딩하는 가역 네트워크를 결합하여 지각 불가능한 적대적 예제를 생성한다. 이 방법은 픽셀 공간 임베딩을 교란하고 잠재 크로스 어텐션 맵을 조작하여 전역 시각 구조를 보존하면서 강력한 크로스 모델 및 크로스 프롬프트 전이 가능성을 보장한다. 충실도를 더욱 향상시키기 위해, 우리는 적대적 가이던스를 위한 원칙적인 확산 스케줄인 EDM 휴리스틱 샘플링을 설계한다. 여러 데이터셋과 VLM에 대한 실험을 통해 CloakDiff가 높은 시각적 품질과 가역성을 갖춘 멀티모달 프라이버시 보존을 제공함을 입증한다.
단답형 VQA 벤치마크는 두 가지 서로 다른 측정값을 혼동한다: 모델의 답변이 의미적으로 정확한지 여부와, 그 답변이 자동 평가기가 기대하는 표면 형태와 일치하는지 여부이다. 우리는 이 혼동을 여섯 개의 비전-언어(vision-language) 모델과 여섯 개의 벤치마크에 걸쳐 연구하며, 인간 검증 의미 판별기(정밀도 97.6%)를 사용하여 37,000개 이상의 공식 오류를 감사한다. 두 번째 텍스트 전용 판별기도 동일한 벤치마크 수준의 거짓 음성(false-negative) 패턴을 재현하여, 이 효과가 단일 감사 모델의 인공물이 아님을 보여준다. 텍스트 풍부 벤치마크에서는 이러한 오류의 최대 절반이 표면 형태 불일치만을 이유로 패널티를 받은 의미적으로 허용 가능한 답변이다. 이 불안정성은 답변 유형에 따라 구조화되어 있는데, 추출형 및 다중 범위(multi-span) 답변은 스칼라 답변보다 평가기에 훨씬 더 민감하다. 무해한 프롬프트 및 컨텍스트 재작성은 공식 결과를 더욱 불안정하게 만들어, 기저 과제를 변경하지 않고도 항목 수준의 정확성을 상당한 비율로 뒤집는다. 결정론적 CPU 전용 계약 수정(contract repair)은 이 과소 집계가 부분적으로 복구 가능함을 확인한다. 이러한 발견은 공식 단답형 VQA 점수가 해석 가능성을 유지하기 위해 의미적 감사 및 답변 유형 진단을 함께 제시해야 함을 시사한다.
감정 인식 예술적 이미지 생성은 입력 프롬프트에 부합하고, 지정된 예술적 스타일을 따르며, 목표 감정을 전달하는 이미지를 필요로 한다. 이 과제에서 주된 어려움은 학습 데이터에서 사용 가능한 시각적·감성적 속성이 테스트 시점에 명시적으로 제공되지 않는다는 점이다. 이러한 속성 없이는 생성기가 무엇을 묘사할지뿐만 아니라, 색상·조명·붓질·구도·선·레이아웃을 통해 목표 감정을 어떻게 표현할지도 결정해야 한다. 이는 사용 가능한 테스트 프롬프트와 감정 인식 예술적 생성에 필요한 세밀한 조건 사이에 제어 간극(control gap)을 만들어낸다. 이 간극을 해소하기 위해, 우리는 입력 프롬프트를 구조화된 생성 상태로 변환하는 Z-Image 기반 프레임워크인 EmoStyle을 제안한다. 대규모 언어 모델(LLM) 추론기가 먼저 감성적 단서(valence-arousal, 지배적 감정, 치료적 효과 레이블)와 화면비 결정을 예측한다. 이 예측들을 단순히 추가 프롬프트 텍스트로만 사용하는 대신, 감성적 필드를 감성 조건 벡터로 인코딩하고 AdaLN 방식의 변조(modulation)를 통해 디노이징 블록에 주입한다. 이를 통해 추론된 제어 변수가 중간 피처 생성을 직접적으로 안내할 수 있다. 감정 표현이 스타일에도 의존하기 때문에, 각 예술적 스타일 버킷별로 전용 LoRA 어댑터를 추가로 학습하고 추론 시 해당 전문가를 선택함으로써, 동일한 감성적 단서가 색상·텍스처·붓질·구도에 대한 버킷별 사전(prior)으로 렌더링될 수 있도록 한다. 마지막으로, 경량 비전-언어 모델(VLM) 기반 후보 선택 단계에서 프롬프트 정합성, 스타일 일관성, 감정 표현, 시각적 품질을 기준으로 생성된 이미지의 순위를 매긴다. AffectiveArt Challenge 2026의 Track 1에서 우리의 USTC_PI_LAB_TEAM 제출물은 1위를 달성하였다.
자동 흉부 X선 보고서 생성은 최근 강화학습(RL)과 대규모 언어 모델(LLM)로부터 큰 혜택을 받고 있다. 그러나 RL 학습은 고정된 Kullback-Leibler(KL) 정규화와 시간이 지남에 따라 KL 압력이 누적되는 정적 참조 정책으로 인해 불안정성 또는 제한된 탐험 문제를 겪는 경우가 많다. 본 논문에서는 응답 가중 정규화(RER)와 검증 앵커 정책 리셋(VAPR)을 통해 장기 학습을 안정화하는 RL 프레임워크인 REVA-PO(Response-Weighted and Validation-Anchored Policy Optimization)를 제안한다. RER은 이점(advantage)과 참조 정책 엔트로피를 기반으로 응답별 KL 가중치를 동적으로 조정하여, 고품질 응답에 대해서는 제약을 완화하고 저품질 응답에 대해서는 제약을 강화한다. 이를 보완하는 VAPR은 참조 정책과 현재 정책을 최적 검증 체크포인트에 주기적으로 동기화함으로써 누적된 정규화 압력을 초기화하여 실효적인 탐험 공간을 확장한다. 견고한 시작점을 확보하기 위해 워밍업 학습, 분류기 유도 지도 미세조정, RL로 구성된 3단계 파이프라인을 적용한다. MIMIC-CXR 및 IU-Xray에 대한 광범위한 평가에서 REVA-PO는 언어 품질과 임상 정확도 모두에서 새로운 최첨단 벤치마크를 달성하였다. 특히 BLEU-4는 MIMIC-CXR에서 5.1%, IU-Xray에서 3.6% 향상되었으며, CheXpert F1과 RadGraph F1 점수는 기존 최고 방법 대비 각각 4.5%, 12.8% 증가하였다. 코드는 https://github.com/LiGuo12/REVA_PO/ 에서 공개되어 있다.
중간 추론 과정에서 텍스트와 시각적 단계를 함께 생성하는 인터리브드 추론 방식의 통합 멀티모달 모델(UMM)은 시각적 수학적 추론 태스크에서 큰 잠재력을 보여왔다. 그러나 이 패러다임에서 중요한 통찰을 발견하였다: 중간 시각적 추론 단계를 생성하는 것이 항상 유익하지는 않으며, 오히려 해로울 수 있다. 자체 생성된 시각적 단계가 잘못된 시각적 증거를 도입하여 이후 추론을 오도할 수 있기 때문이다. 또한, 추론 중 시각적 단계를 빈번하게 트리거하면 상당한 연산 및 메모리 오버헤드가 발생하여 추론 효율성이 저하된다. 이러한 정확도 및 효율성 문제를 해결하기 위해, 모델의 내부 신호가 전체 시각적 생성이 완료되기 전에 시각적 단계가 추론에 도움이 될지 여부를 나타낼 수 있음을 발견하였다. 구체적으로, 본 연구는 두 가지 내부 신호를 식별한다: 1) 생성 의도(Generation Intent)—모델이 무엇을 그릴지에 대한 구체적인 텍스트 계획을 가지고 있는지 반영하는 신호, 2) 시각적 충실도(Visual Fidelity)—시각적 생성이 원본 입력 이미지에 그라운딩된 상태를 유지하는지 측정하는 신호. 이러한 내부 신호를 활용하여, 통합 멀티모달 추론을 위한 학습 불필요(training-free) 적응형 시각 게이팅 방법인 AdaViG를 제안한다. AdaViG는 트리거된 각 시각적 단계를 초기 시각 생성 단계에서 동적으로 평가하고, 두 신호가 모두 약할 때 해당 단계를 중단함으로써, 오해를 일으키는 시각적 증거가 추론 과정에 유입되는 것을 방지하는 동시에 불필요한 연산을 회피한다. 종합적인 실험을 통해 AdaViG가 정확도를 최대 5.7% 향상시키면서 시각적 생성 FLOPs를 25.0%–91.0%, 실제 지연 시간(wall-clock latency)을 15.4%–45.6% 감소시킴을 입증한다.
대규모 카메라 트랩 데이터셋에서 비디오를 자동으로 검색하는 것은 여전히 어려운 과제다. 대규모 비디오-언어 모델(VLM) 기반 텍스트-투-비디오 검색(TVR) 방법은 간단한 텍스트 쿼리로 관심 이벤트를 설명하여 검색하는 데 잠재력을 지닌다. 그러나 현재 방법들은 시공간적 이해가 부족하고 생태학적 데이터에 잘 일반화되지 않는다. 본 연구에서는 최초의 카메라 트랩 TVR 벤치마크인 Prompting-MammAlps를 소개하고, 세밀하고 해석 가능한 TVR 방법을 제안한다. 구체적으로, 시공간 행동 위치 추정을 수행하는 비전 트랜스포머를 학습시키고, 그 출력을 각 비디오를 설명하는 구조화된 텍스트로 변환한다. 독립적으로, 동물행동학에서 영감을 받은 쿼리는 대규모 언어 모델(LLM) 기반 코딩 에이전트에 의해 처리되어 비디오별 구조화된 텍스트를 파싱하고 이에 따라 비디오를 검색한다. LLM의 환각 위험을 최소화하고 방법의 해석 가능성을 향상시키기 위해, LLM이 커스텀 파싱 라이브러리의 함수를 활용하도록 했다. Prompting-MammAlps 벤치마크에 적용된 이 검색 방법은 135개의 생태학적으로 관련된 쿼리와 775개의 후보 비디오로 구성된 테스트 셋에서 집합 기반 F1 점수 34%를 달성했다. 비교적으로, 최고의 제로샷 VLM은 F1 점수 18%를 달성하는 데 그쳤으며 해석 가능성 또한 부족했다. 프로젝트 페이지: https://cnai.epfl.ch/prompting-mammalps
인식(recognition)은 에이전트에게 이미지에 무엇이 있는지 알려주고, 개인 메모리는 다음에 무엇을 조회할지 결정한다. 카메라 우선 환경에서 사용자는 이미지만 전송할 수 있으므로, 에이전트가 조회를 직접 구성해야 한다. 우리는 개인 시각적 메모리가 에이전트 측의 도구 선택과 도구 인수를 개선하고, 이를 통해 더욱 사용자 지향적인 다중 도구 조회를 가능하게 하는지 연구한다. 이 설계는 3층 개인 시각적 메모리(프로필, 단기 집중, 관찰)를 활용하며, 카메라 우선 입력 환경에서 대규모 언어 모델(LLM) 도구 호출 루프를 조건화하기 위해 각 턴마다 로드되고, 이후 캡처를 위한 사용자 모델 갱신을 목적으로 한 충돌 인식 쓰기 반영(conflict-aware write-back)을 포함한다. 제어된 제거 실험을 위해 구성된 합성 메모리 블록과 쌍을 이루는 800개 이미지에서, 전체 3층 메모리 블록을 제거하면 도구 쿼리 관련성이 절대 0.47포인트 감소하고(5점 척도에서 4.21 → 3.74; 상대적 11.2%), 종단 간(end-to-end) 유용성이 절대 0.082 감소한다(0.842 → 0.760; 상대적 9.7%). 이러한 결과는 실제 사용자 기록의 다중 세션 쓰기 반영이 아닌, 고정된 합성 블록을 사용한 이미지 전용 입력 환경에서 도구 정책에 대한 메모리 조건화를 측정한 것이다.
압축은 지능의 근본이다. 학습 데이터를 짧은 코드로 표현할 수 있는 모델은 일반화를 가능하게 하는 규칙성을 발견한 것이다. 대형 신경망은 매개변수 수가 시사하는 것보다 훨씬 단순한 함수를 학습할 수 있지만, 이러한 단순성을 실현하는 코드를 구성하기는 어렵다. 양자화와 같은 매개변수 기반 방법은 매개변수가 저장하는 정보량에 무관하게 모델 크기에 비례하는 코드 길이를 생성한다. 프리퀀셜 코딩(Prequential coding)은 학습 궤적을 압축함으로써 이 문제를 우회하지만, 모델이 얼마나 학습하는지와 무관하게 정확한 데이터 시퀀스를 코딩하여 데이터의 엔트로피가 높을 때 큰 코드를 생성한다. 우리는 리퀀셜 코딩(requential coding)을 소개한다. 이 방법에서는 교사 모델이 학생 모델 자신의 분포에서 추출된 학습 샘플을 선택한다. 학생의 코드는 이러한 선택만을 기록하며, 교사와 학생이 불일치하는 경우에만 비트 비용이 발생한다. 결과적인 코드 길이는 매개변수 수와 데이터 엔트로피에 무관하며, 프리퀀셜 방식보다 종종 수 자릿수 더 짧고, 스케일이 커질수록 이점이 커진다. 이러한 압축은 기존 압축기로는 접근할 수 없었던 현상들을 밝혀준다. 손실을 고정했을 때, 더 큰 모델과 앙상블은 더 많은 매개변수를 가짐에도 불구하고 훨씬 작은 크기로 압축된다. PAC-Bayes 바운드에 적용했을 때, 리퀀셜 코드는 수십억 매개변수 대규모 언어 모델(LLM)에 대해 최첨단 일반화 보장을 제공하며, 오류 없음을 가정하더라도 공격적인 사후 학습 양자화를 기반으로 한 바운드를 능가한다. 이 바운드는 컴퓨팅 최적 체제에서 스케일이 커질수록 타이트해지는데, 이는 모델이 데이터셋 크기 대비 점점 더 압축 가능해지기 때문이다. 동일한 코드는 모델이 여러 에폭에 걸쳐 학습될 때 점진적으로 과적합됨을 예측한다. 또한 데이터셋에서 학습 가능한 정보를 예측 불가능한 무작위 내용과 분리하여, 낮은 엔트로피의 텍스트가 높은 엔트로피의 이미지 데이터보다 훨씬 더 많은 학습 가능한 구조를 포함함을 밝혀낸다.
LLM-as-judge 점수 바이어스에 대한 기존 연구들은 주로 입력-출력 수준에서 이루어진다: 입력을 교란하고, 점수 변화를 측정하며, 프롬프트 수준의 완화 방법을 제안한다. 우리는 동일한 바이어스가 평가자의 은닉 상태에서 표현 수준의 설명을 허용하며, 이는 입력-출력 관점을 보완하고 그것이 제공하지 못하는 방식으로 운용상 유용하다고 주장한다. 우리는 7개의 평가자, 7가지 바이어스 유형, 9개의 벤치마크에 걸쳐 세 가지 발견을 보고한다. 기하학적 구조: 기준선 판단 입력은 조밀한 활성화 다양체(activation manifold)를 차지하는 반면, 바이어스가 있는 입력은 저차원의 유형 특화 부분공간(subspace)을 따라 변위되며, 이는 깊이에 따라 더욱 뚜렷해지고 세 가지 추정기 계열에 의해 일관되게 복원된다. 인과적 제어: 이 부분공간을 따라 은닉 상태를 조종하면 양방향으로 점수가 구동되는데, 순방향 이동은 깨끗한 입력에서 바이어스된 점수를 재현하고 역방향 이동은 바이어스된 입력에서 기준선 점수를 복원하는 반면, 노름(norm)이 일치하는 임의 방향들은 한 자릿수 더 작은 이동을 생성한다. 운용: 동일한 바이어스 방향 특징들에 대한 단순 선형 투영은 완전히 보지 못한 세 개의 벤치마크에서 평가자 실패를 예측하며, 텍스트 기반 대안들을 크게 능가한다. 바이어스를 입력-출력 노이즈가 아닌 활성화 기하학(activation geometry)으로 읽는 것은 기하학적 구조, 인과적 제어, 운용 예측을 단일 프레임워크 내에서 통합한다. 프로젝트 페이지는 https://xzx34.github.io/unfair-judge/ 에서 확인할 수 있다.