대규모 언어 모델(LLM)은 매우 설득력 있는 허위 정보를 생성할 수 있지만, 언어와 인구통계 집단에 걸쳐 이를 얼마나 효과적으로 개인화하는지에 대해서는 알려진 바가 거의 없다. 우리는 LLM에 의한 페르소나 대상 허위 정보 생성에 대한 최초의 대규모 다국어 연구를 제시한다. 레드팀 테스팅(red-teaming) 방법론을 사용하여, 네 가지 언어(영어, 러시아어, 포르투갈어, 힌디어)에서 324개의 거짓 내러티브와 150개의 인구통계 페르소나로 8개의 선도 모델에 프롬프트를 제공하고, 160만 개의 개인화된 허위 정보 텍스트로 구성된 데이터셋 AI-TRAITS를 구축했다. 모델이 안전 고지를 동반하든 직접적으로든 요청된 거짓을 생성할 때마다 안전장치가 무력화된 것으로 본다. 모델 전반에 걸쳐, 안전장치는 비개인화 프롬프트의 80%와 개인화 프롬프트의 77.7%에서 실패했으며, Grok는 94% 이상의 사례에서 허위 정보를 생성했다. 모든 모델은 대상 페르소나에 맞게 출력을 효과적으로 맞춤화했으며, 비개인화 콘텐츠보다 상당히 더 많은 설득 기법을 사용했다. 추가 분석은 페르소나별 언어적·심리적 패턴을 드러내고, 안전장치의 효과가 언어에 따라 현저히 달라짐을 보여준다. 이러한 결과는 현재 LLM 안전 메커니즘의 중대한 약점을 드러내며, 개인화된 AI 생성 허위 정보에 대응하는 더 견고한 다국어 안전장치의 필요성을 강조한다.
지시 미세조정은 대규모 언어 모델(LLM)의 성능을 향상시키는 핵심 기법이 되었으며, 모델이 인간의 프롬프트를 더 잘 따르도록 한다. 그러나 룩sembourgish와 같은 저자원 언어는 고품질 지시 데이터셋의 부족으로 인해 심각한 제약에 직면한다. 기계 번역에 전통적으로 의존하는 방식은 종종 의미적 불일치와 문화적 부정확성을 초래한다. 본 연구에서는 룩sembourgish로의 기계 생성 번역에 의존하지 않고, 교차 언어 지시 미세조정 데이터셋을 구축함으로써 이러한 과제를 해결한다. 대신 영어, 프랑스어, 독일어의 정렬된 데이터를 활용하여 언어적·문화적 뉘앙스를 보존하는 고품질 데이터셋을 구축한다. 우리는 교차 언어 지시 미세조정이 언어 간 표현 정렬을 개선할 뿐만 아니라 룩sembourgish에서의 모델 생성 능력도 향상시킨다는 증거를 제시한다. 이는 교차 언어 데이터 큐레이션이 기계 번역 데이터의 흔한 함정을 피하고 저자원 언어 개발에 직접적인 이익을 줄 수 있음을 보여준다.
과프롬프팅(over-prompting)은 프롬프트에 과도한 예시를 포함할 때 대규모 언어 모델(LLM)의 성능이 저하되는 현상으로, 문맥 내 학습(ICL) 기반 퓨샷 학습에 대한 기존 통념에 도전한다. 이 퓨샷 딜레마를 조사하기 위해, 무작위 샘플링, 의미적 임베딩, TF-IDF 벡터의 세 가지 표준 퓨샷 선택 방법을 활용하는 프롬프팅 프레임워크를 제시하고, GPT-4o, GPT-3.5-turbo, DeepSeek-V3, Gemma-3, LLaMA-3.1, LLaMA-3.2, Mistral을 포함한 여러 LLM에서 이 방법들을 평가한다. 실험 결과, 프롬프트에 과도한 도메인 특화 예시를 포함하면 특정 LLM에서 역설적으로 성능이 저하될 수 있음을 보여주며, 이는 더 관련성 높은 퓨샷 예시가 LLM에 보편적으로 도움이 된다는 기존의 경험적 결론과 모순된다. LLM 보조 소프트웨어 공학 및 요구사항 분석의 추세를 고려하여, 두 개의 실제 소프트웨어 요구사항 분류 데이터셋으로 실험한다. TF-IDF로 선택된 및 계층화된 퓨샷 예시의 수를 점진적으로 늘리며, 각 LLM에 대한 최적 수량을 식별한다. 이 결합 접근법은 과프롬프팅 문제를 피하면서 더 적은 예시로 우수한 성능을 달성하여, 기능적 및 비기능적 요구사항 분류에서 최신 기술(state-of-the-art)을 1% 초과한다.
의료 LLM이 임상 배포로 전환함에 따라, 이들의 윤리적 추론 능력을 평가하는 것이 중요해지고 있다. 지식 벤치마크에서 높은 정확도를 달성하는 반면, LLM은 여러 유효한 해답이 존재하는 임상 의사결정에서 윤리적 트레이드오프를 탐색하는 데 대한 검증된 평가를 갖추지 못하고 있다. 기존 벤치마크는 윤리적 추론 평가를 위해 인정된 철학적 틀과 전문가 검증을 통합하는 체계적인 접근을 갖추지 못하고 있다. 우리는 LLM의 임상 의료 윤리 정렬을 평가하기 위한 철학 기반 접근법인 PrinciplismQA를 제안한다. Principlism에 기반하여, 우리 접근법은 임상 윤리 철학을 LLM 평가 설계에 통합하기 위한 체계적인 방법론을 제공한다. PrinciplismQA는 지식 평가와 임상 추론을 아우르는 3,648개의 전문가 검증 질문으로 구성된다. 우리의 전문가 보정 파이프라인은 재현 가능한 평가를 가능하게 하고 윤리적 편향을 모델링한다. 최근 모델을 평가한 결과, 높은 지식 정확도에도 불구하고 상당한 윤리적 추론 격차가 드러났으며, 이는 지식 중심 학습이 임상 윤리적 정렬을 보장하지 않음을 보여준다. PrinciplismQA는 임상 AI 배포 준비도를 평가하기 위한 검증된 도구를 제공한다. 우리의 데이터와 테스트 스크립트는 https://github.com/FreedomIntelligence/PrinciplismQA 에 전체 공개되어 있다.
대규모 언어 모델(LLM)이 법률, 금융, 의학과 같은 고위험 분야에 점점 더 배포됨에 따라, 이들의 도메인별 안전성과 준수 여부를 체계적으로 평가하는 것이 중요해졌다. 기존 연구는 이러한 분야에서 LLM 성능 향상에 주로 초점을 맞춰 왔지만, 도메인별 안전성 위험 평가는 종종 간과해 왔다. 이 격차를 메우기 위해, 우리는 먼저 AMA 의료 윤리 원칙, ABA 변호사 직업윤리 모범규칙, CFA Institute 윤리강령을 바탕으로 LLM에 대한 도메인별 안전성 원칙을 정의한다. 이 기반 위에서 우리는 법률, 금융, 의학 분야의 LLM 안전성을 구체적으로 대상으로 하는 벤치마크 Trident-Bench를 제안한다. Trident-Bench에서 범용 및 도메인 특화 모델 19개를 평가한 결과, 이 벤치마크가 핵심 안전성 격차를 효과적으로 드러냄을 보였다 — 강력한 범용 모델(예: GPT, Gemini)은 기본 기대를 충족할 수 있는 반면, 도메인 특화 모델은 미묘한 윤리적 뉘앙스에서 종종 어려움을 겪는다. 이는 보다 세밀한 도메인별 안전성 개선의 시급한 필요성을 부각한다. Trident-Bench를 도입함으로써, 본 연구는 법률과 금융 분야 LLM 안전성 연구를 위한 최초의 체계적 자원 중 하나를 제공하며, 전문적으로 규제되는 분야에 LLM을 배포할 때의 안전성 위험을 줄이기 위한 향후 연구의 토대를 마련한다. 코드와 벤치마크는 https://github.com/zackhuiiiii/TRIDENT 에서 공개될 예정이다.
부정적 선거 캠페인은 선거 경쟁의 본질적 특징이지만, 기존 분류 방법의 높은 비용과 제한된 확장성으로 인해 그 동인에 대한 비교 연구는 여전히 제한적이었다. 본 연구는 두 가지 핵심 기여를 한다. 첫째, 부정적 선거 캠페인의 다국어 분류를 위한 확장 가능한 방법으로서 제로샷 대규모 언어 모델(LLM)을 평가한다. 10개 언어의 벤치마크 데이터셋을 사용하여, LLM 분류가 원어민 인간 주석과 밀접하게 일치하면서 기존의 지도학습 모델보다 우수한 성능을 보임을 보인다. 둘째, 우리가 아는 한 지금까지 최대 규모의 부정적 선거 캠페인에 대한 국가 간 비교 연구를 수행하기 위해 이 접근법을 활용하여, 2017년부터 2022년 사이 19개 유럽 국가의 의원들이 게시한 1,800만 개의 트윗을 분석한다. 전략적 유인 프레임워크에 기반하여, 집권당과 연정 지향 정당은 부정적 선거 캠페인에 대해 더 강한 평판 제약을 받는 반면, 야당과 외곽 정당은 더 약한 제약을 받는다고 주장한다. 또한 이념적 중심에서 멀리 떨어진 정당, 특히 급진 우파 정당이 대립적 수사에 더 크게 의존할 것으로 기대한다. 결과는 이러한 기대를 뒷받침한다: 내각 정당은 덜 부정적이며, 이념적으로 비중심 정당—특히 급진 우파 정당—은 상당히 더 부정적이다. 따라서 본 연구는 캠페인 부정성의 정당 수준 기반에 대한 새로운 비교 증거를 제공하는 동시에, LLM이 언어와 제도적 맥락을 아우르는 정치 담화 연구의 규모, 일관성, 재현 가능성을 어떻게 변혁할 수 있는지를 보여준다.
자기회귀(autoregressive) 언어 모델은 오직 좌→우(left-to-right) 방향으로만 학습된다. 우리는 상보적인 분해(complementary factorization)를 탐구하며, 대규모로 우→좌(right-to-left) 방향 학습을 수행하고, 모델이 미래 문맥을 조건으로 과거를 예측할 때 어떤 추론 패턴이 나타나는지 조사한다. 우리는 LEDOM, 오픈소스 순수 역방향 자기회귀 언어 모델(2B/7B 파라미터, 435B 토큰)을 학습시키고, 이 모델이 전방(forward) 모델과 구별되는 역량을 발달시킴을 확인한다. 여기에는 추측적 추론(abductive inference), 질문 합성(question synthesis), 역전 저주(reversal curse)의 자연스러운 해소가 포함된다. 이어서 역방향 모델의 한 응용을 탐구한다: 노이즈 채널 이중성(noisy channel duality)을 통해 전방 가능도 $P(y \mid x)$와 역방향 사후 $P(x \mid y)$를 결합하는 것이다. 우리는 역방향 사후 추정치를 사용해 전방 출력을 재순위화(rerank)하는 Reverse Reward를 제안하고, 양방향 점수화가 역방향 재구성이 저하되는 환각(hallucination) 추론 연쇄에 페널티를 부여함을 증명한다. Reverse Reward는 여러 강력한 베이스라인에서 AIME 2024에서 최대 6.6%, AMC 2023에서 15%의 향상을 달성한다. 모든 모델, 코드, 데이터를 여기에서 공개한다: https://github.com/Arvid-pku/LEDOM.
자율적 과학 실험의 실현은 현재 LLM이 생물학적 프로토콜이 요구하는 엄격한 절차적 논리와 정확성을 파악하는 데 어려움을 겪는다는 점에 의해 제한되고 있다. 이 근본적인 과제를 해결하기 위해, 우리는 생물학에서의 절차적 추론을 위한 포괄적 자원인 \textbf{BioProBench}를 제시한다. BioProBench는 22,413개의 사람이 작성한 프로토콜로 구성된 기초 컬렉션인 \textbf{BioProCorpus}에 기반한다. 이 코퍼스로부터, 우리는 체계적으로 523,784개의 태스크 인스턴스로 구성된 데이터셋을 구축하였으며, 이는 대규모 학습 자원과 새로운 지표를 갖춘 엄격한 벤치마크를 모두 제공한다. 10개의 주류 LLM을 평가한 결과, 일반적인 이해도는 높지만 깊은 추론, 정량적 정밀도, 그리고 안전성 인식을 요구하는 태스크에서 성능이 크게 하락함을 확인하였다. BioProCorpus가 이러한 문제를 완화하는 데 갖는 가치를 입증하기 위해, 우리는 코퍼스에 기반한 \textbf{ProAgent}를 개발하였으며, ProAgent는 최신 기술 수준을 상당히 앞당긴다. https://github.com/YuyangSunshine/bioprobench and https://huggingface.co/BioProBench.
대규모 언어 모델(LLM)의 정치적 바이어스에 대한 기존 평가는 일반적으로 출력을 좌파 또는 우파 성향으로 분류한다. 우리는 주제에 따라 이념적 성향이 어떻게 달라지는지, 그리고 모델이 자신의 입장을 얼마나 일관되게 유지하는지(우리는 이를 안정성이라고 부른다)를 조사함으로써 이 관점을 확장한다. 이 차원을 포착하기 위해, 우리는 모델과 주제 맥락을 함께 고려하여 LLM을 평가하고, 응답을 안정적-좌파(stable-left), 불안정적-좌파(unstable-left), 안정적-우파(stable-right), 불안정적-우파(unstable-right)의 네 가지 입장 유형으로 분류하는 자동화된 블랙박스 프레임워크인 PReSS(Political Response Stability under Stress)를 제안한다. PReSS를 19개의 정치적 주제에 걸쳐 널리 사용되는 9개 LLM에 적용한 결과, 입장 안정성에서 상당한 변동이 드러난다. 예를 들어, 전반적으로 좌파 성향인 모델도 특정 주제에서는 안정적-우파(stable-right) 행동을 보일 수 있다. 이는 LLM의 정치적 이념에 대한 주제 인식(topic-aware) 및 세밀한 평가의 중요성을 부각한다. 또한 안정성은 제어 생성(controlled generation)과 모델 정렬(alignment)에 실질적 함의를 갖는다. 디바이어싱(debiasing)이나 이념 반전(ideology reversal)과 같은 개입은 입장 안정성을 명시적으로 고려해야 한다. 우리의 실증 분석은 모델이 반대 이념을 채택하도록 프롬프트되거나 파인튜닝(fine-tuning)될 때, 불안정한 주제별 입장은 변경될 가능성이 더 높은 반면, 안정적인 입장은 수정에 저항한다는 것을 보여준다. 따라서 안정성을 조절 요인(moderating factor)으로 취급하는 것은 정치적으로 민감한 모델 행동에 대한 개입을 이해하고, 평가하고, 안내하는 데 있어 원칙적인 기반을 제공한다.
전문가 혼합(MoE) 아키텍처는 스케일링의 핵심 기반이 되었으며, GPT-OSS, DeepSeek-V3, Llama-4, Gemini-2.5 등 대부분의 대규모 언어 모델(LLM)에서 핵심 구성 요소이다. 그러나 MoE에 대한 체계적 연구는 학습과 평가에 드는 막대한 계산 비용으로 인해 여전히 심각하게 제약되어, 대부분의 연구자가 접근할 수 있는 대규모 연구를 제한하고 있다. 우리는 재현 가능하고 효율적이며 확장 가능한 MoE 연구를 위한 통합 프레임워크인 LibMoE를 제안한다. 이는 사전학습(pre-training)과 sparse upcycling 체제를 모두 지원한다. 통합 구현을 넘어, 이 프레임워크는 라우팅과 전문가 동역학을 탐색하기 위한 투명한 분석 도구를 제공한다. 이 기반을 활용하여, 우리는 세 가지 차원에서 종합 분석을 수행한다: (i) 라우팅 동역학—전문가 선택 패턴, 라우팅 안정성과 최적성, 라우팅 엔트로피가 과제 특화와 전문가 다양성을 어떻게 드러내는지를 포함한다; (ii) 부하 균형에 대한 경량 초기화의 영향—라우터 초기화의 미세한 변화가 초기 전문가 활용을 어떻게 형성하는지를 보여준다; (iii) 학습 체제 차이—sparse upcycling과 전체 사전학습이 서로 다른 라우팅 패턴과 안정성 프로파일을 보인다는 점을 밝힌다. 진입 장벽을 낮추고 평가를 표준화함으로써, 그리고 종합 분석과 함께, LibMoE는 MoE 연구 접근성을 넓히고 향후 혁신을 이끌 신뢰할 수 있는 벤치마크를 확립한다. GitHub: \href{https://github.com/Fsoft-AIC/LibMoE}{https://github.com/Fsoft-AIC/LibMoE}.
이 논문은 난독증, ADHD, 짧은 주의력을 가진 학생들이 텍스트 기반 정보를 더 효율적으로 처리할 수 있도록 돕기 위해 설계된 인공지능 도구를 제시한다. 제안된 솔루션은 클라우드에 호스팅된 대규모 언어 모델(LLM)과 적응형 타이포그래피 서식을 결합하여 인지적 및 시각적 독서 장벽을 모두 해결한다. 핵심적으로, 이 도구는 Google의 Gemini API에 요청을 스트리밍하여 정확하고 문맥을 인식하는 요약을 실시간으로 생성하며, 로컬 모델을 호스팅하거나 파인튜닝할 필요를 없앤다. 애플리케이션은 붙여넣은 텍스트뿐 아니라 업로드된 .txt, .pdf, .docx 파일도 받아들이며, 각 소스를 독립적으로 추출하고 요약한다. 가독성을 더욱 최적화하기 위해, 시스템은 사용자 정의 반단어 굵게 표시 기법을 품사 태깅과 빈도 순위를 사용하여 진정한 키워드를 식별하고 강조하는 2차 패스와 함께 적용하며, 사용자가 줄, 단어, 글자, 텍스트 간격을 수동으로 조정할 수 있게 한다. Gemini로 요청을 프록시하는 경량 Flask 웹 프레임워크를 통해 배포된 이 시스템은 고도로 개인화되고 접근 가능한 사용자 인터페이스를 제공한다. 초기 결과는 이 통합 접근 방식이 읽기 속도와 이해도를 모두 크게 향상시켜, 대상 학생들이 더 큰 집중력으로 복잡한 텍스트 데이터를 소화할 수 있게 함을 보여준다.
컴퓨터 비전(CV) 모델은 의료 응용 분야에서 매우 효과적이 되었지만, 블랙박스 특성은 여전히 임상의의 신뢰를 약화시키고 있다. 임상 워크플로에서 흉부 X-ray 분류기는 자연어 설명을 생성하기 위해 비전-언어 모델(VLM)과 점점 더 많이 결합되고 있다. 그러나 이러한 시스템은 시각 모델의 근본적인 불투명성을 해결하지 않은 채 언어적 유창성만을 추가한다. 스플라인 기반 구성 요소가 본질적으로 해석 가능한 함수 단위를 제공하는 Kolmogorov-Arnold Networks(KAN)의 등장과 함께, 우리는 이러한 아키텍처적 투명성을 활용하여 더 신뢰할 수 있는 텍스트 설명을 생성할 수 있는지 조사한다. 우리는 KAN의 기호적 투명성을 활용하여 VLM 추론을 그라운딩하는 최초의 프레임워크인 KANEx를 제안한다. 이 해석 가능성은 또한 그래디언트 근사가 아닌 KAN 모델에서 직접 유도된 새로운 히트맵 생성 방법인 KAN-Map을 설계할 수 있게 했다. 우리는 향상된 설명 가능성을 위해 이러한 그라운딩된 컨텍스트를 다운스트림 VLM에 입력한다. MIMIC-CXR 데이터셋에서 벤치마크한 결과, ResNet/ViT 베이스라인을 갖춘 KAN 기반 아키텍처가 의미적 유사도를 향상시키는 동시에 훨씬 더 충실한 saliency map을 생성함을 보여준다. KAN 아키텍처는 시각적 국소화와 다운스트림 추론 품질을 10% 향상시킨다. 우리의 발견은 언어적 설명과 시각적 귀속(attribution)을 수학적으로 해석 가능한 단위에 그라운딩하는 것이 신뢰할 수 있는 의료 AI를 향한 필수적인 단계임을 시사한다.
긴 동영상 이해는 점점 더 대규모 비전-언어 모델과 도구 증강 추론에 의존하고 있지만, 대부분의 시스템은 난이도와 관계없이 모든 예시에 동일한 추론 절차를 적용한다. 이러한 균일한 전략은 쉬운 질문에 불필요한 도구 보조 처리를 호출하고, 어려운 질문이 세밀한 시간적 증거를 요구할 때 제한적인 제어를 제공한다. 우리는 CADER(Confidence-Aware Dynamic Evidence Reasoning, 신뢰도 인식 동적 증거 추론)를 제안한다. 이는 적응적이고 신뢰할 수 있는 긴 동영상 추론을 위한 학습 없는 프레임워크이다. CADER는 먼저 균일하게 샘플링된 프레임에 대해 전역 추론을 수행하고, 로짓-마진 신호로 답변 신뢰도를 추정하여 높은 신뢰도의 예시가 조기 종료할 수 있게 한다. 불확실한 예시에 대해서는 CADER가 2단계 도구 증강 루프를 활성화한다. 이 루프는 시간적 크롭핑(temporal cropping), 경량 의미 검증, Relevance-Guided Resampling을 결합하여 질문 관련 증거를 점진적으로 국한화한다. 이 설계는 도구 사용을 샘플 수준의 결정으로 취급한다: 단일 전역 패스가 쉬운 경우를 처리하고, 불확실성이 더 많은 증거가 필요함을 시사하는 예시에는 추가 추론을 예약한다. 여러 VideoQA 벤치마크에서의 실험은 CADER가 높은 신뢰도 샘플에 대해 2단계를 우회하면서 긴 동영상 추론을 개선함을 보여준다. 또한 도구 없는 사고의 연쇄(Chain-of-Thought) 지도만으로 학습된 백본에 적용했을 때, CADER는 특화된 도구 증강 프레임워크 대비 경쟁력 있는 성능을 달성하여, 적응적 긴 동영상 추론을 위한 실용적인 추론 시점 경로를 시사한다.
대규모 비디오 플랫폼은 매시간 수백만 건의 업로드를 처리하며, 각 비디오에서 정책 위반이 언제 어디에서 발생하는지 국소화할 수 있는 중재 시스템이 필요하다. 대규모 환경에서는 모든 프레임을 처리하는 것이 불가능하므로, 시스템은 비디오당 8~16개 프레임의 희소 입력으로 제한된다. 그러나 최첨단 다중모달 대규모 언어 모델(MLLM)은 수백 프레임으로 구성된 밀집 시퀀스로 사전학습되어, 학습과 배포 조건 사이에 근본적인 불일치가 발생한다. 이 불일치는 심각한 성능 붕괴를 유발한다. Qwen3-VL 8B 모델은 프레임 수를 16개로 줄이면 temporal mIoU가 56.0%에서 22.3%로 떨어지며, 이는 60.2%의 상대적 성능 저하에 해당한다. 우리는 공간-시간 비디오 그라운딩에서 이러한 격차를 줄이기 위한 학습 전략에 대한 체계적인 실증 연구를 제시한다. 결과는 희소 프레임 입력에서 시각적 특징 추출이 지배적인 병목임을 시사한다. 전체 파라미터의 4%에 해당하는 마지막 세 ViT 레이어만 적응하면 68.8% temporal mIoU를 달성하며, 밀집 입력을 사용하는 제로샷 8B 모델을 12.8포인트 능가한다. 대조적으로, 언어 모델 미세조정은 미미하거나 오히려 부정적인 효과만을 제공한다. 경계 인식 샘플링 전략 Hybrid16은 시간적 경계를 사용할 수 있을 때 균일 샘플링 대비 temporal mIoU를 26포인트 더 향상시킨다. 우리는 희소 프레임 비디오 그라운딩에서 학습 전략이 모델 규모를 지배한다고 결론짓는다. 미세조정된 2B 모델은 밀집 프레임 접근 여부와 관계없이 일관되게 제로샷 8B 모델을 능가한다.
온-정책 자기 증류(OPSD)는 교사에게만 제공되는 특권 정보를 활용하여 학생이 생성한 궤적에 대해 밀도 높은 토큰 수준의 감독을 제공한다. 그러나 기존 방법들은 검증된 풀이 추적, 외부 모델이 생성한 설명, 또는 수동으로 위치를 특정한 시각적 근거에 의존하는 경우가 많아, 멀티모달 대규모 언어 모델에의 확장 가능한 적용을 제한한다. 이 문제를 해결하기 위해, 동일 이미지의 고해상도 및 저해상도 뷰 간 정보 격차를 활용하고 RP-OPSD(멀티모달 대규모 언어 모델을 위한 해상도 특권 온-정책 자기 증류)를 제안한다. 학습 중 학생 정책은 원본 해상도의 1/4 해상도 이미지로부터 온-정책 궤적을 생성하고, 교사 정책은 원본 해상도 이미지를 사용하여 감독을 제공한다. 학생 궤적을 따라 두 모델의 출력 분포 간 발산을 최소화함으로써, 학생은 고해상도 입력 하에서 교사의 예측 행동을 학습하고, 이를 통해 저해상도 능력을 강화하며 학습된 개선을 원본 해상도 추론으로 전이한다. RP-OPSD는 해법 추적을 생성하기 위해 추가적인 사람 주석이나 외부 모델을 필요로 하지 않으며, 이미지-질문 쌍만 필요로 한다. Qwen3.5-9B에 대한 실험에서 RP-OPSD는 원본 해상도에서 평균 성능 5.45% 상대적 향상과 OPSD 대비 1.78배 학습 속도 향상을 달성한다. 이 결과는 해상도 차이가 간단하고 확장 가능한 특권 정보의 원천이 될 수 있음을 보여주며, 멀티모달 대규모 언어 모델을 위한 온-정책 자기 증류의 효과적이고 효율적인 접근법을 제공한다.
비전-언어 모델은 일반적으로 사전학습된 비전 인코더가 생성한 모든 토큰을 대규모 언어 모델에 투영합니다. 그러나 최종 층 특징은 텍스트, 지역 속성, 공간 관계를 버릴 수 있으며, 고해상도 입력은 컨텍스트 �indo우 길이와 추론 지연 시간을 크게 증가시킵니다. 우리는 다중 스케일 적응형 비전 인코더(Multi-scale Adaptive Vision Encoder)인 MAViE를 제안합니다. MAViE는 위치 의존 게이트를 사용하여 비전 트랜스포머의 얕은, 중간, 깊은 층 특징을 융합하여 전역 의미를 보존하면서 가장자리, 텍스트, 지역 구조를 강화합니다. 이어서 질문 관련성, 지역 정보 내용, 전역 의미, 공간적 커버리지에 따라 질문 조건부 토큰 라우팅을 수행하며, 토큰 예산은 이미지 복잡도에 적응합니다. 압축 손실을 완화하기 위해, 우리는 전체-압축 표현 증류(full-to-compressed representation distillation)와 공간 다양성 정규화 항(spatial diversity regularizer)을 추가로 도입합니다. 통합 7B 언어 모델 프레임워크에서의 예시 시뮬레이션에서 MAViE는 SigLIP-SO400M 시각 토큰의 평균 개수를 729개에서 146개(약 80.0%)로 줄이고, VQAv2, GQA, TextVQA, ScienceQA-IMG, MMBench에서 평균 점수를 2.2퍼센트포인트 향상시키며, 단일 이미지의 첫 토큰까지 시간을 228ms에서 129ms로 단축합니다. 우리는 전체 모델 설계와 평가 프로토콜을 제공합니다. 보고된 모든 수치는 현재 논문 구성과 실험 설계를 위한 자리표시자로만 사용되며, 공식적인 주장을 위해서는 실제 학습 실행, 독립적 재현, 공식 벤치마크 평가가 필요합니다.
다중모달 대규모 언어 모델(MLLM)은 그라운딩(grounding) 과제에서 큰 진전을 이루었지만, 기존 방법들은 여전히 정밀한 위치 지정(localization)과 복잡한 추론을 통합하는 데 어려움을 겪고 있다. 한편, 텍스트 기반 방법은 좌표 또는 인덱스 예측에 의존하여 밀집된 시각 객체에 대한 모델의 인식(perception) 능력을 크게 제한한다. 한편, 잠재 토큰 기반 방법은 고유한 공간적 참조가 없는 특수 토큰을 사용하고 사고 단계가 부족한 디코딩 메커니즘을 사용하여 고수준 추론 능력을 약화시킨다. 결과적으로, 인식과 추론 모두에서 뛰어난 통합 프레임워크를 개발하는 것은 여전히 어려운 과제로 남아 있다.
이를 해결하기 위해, 우리는 인식-추론 격차를 메우는 새로운 자유 형식 다중모달 그라운딩 방법인 Mixture-of-Thought-Tokens(Motto)를 제안한다. 이를 통해 MLLM이 다양하고 임의의 그라운딩 쿼리를 처리할 수 있게 한다. 구체적으로, 명확한 공간적 대응과 시각적 해석 가능성을 위해 특수 토큰을 공간 위치와 명시적으로 정렬하는 Spatially-Grounded Thought Tokenization을 도입한다. 또한 교차 배치된 추론 사슬 내에서 그라운딩 모드를 동적으로 전환하는 Context-Adaptive Chain-of-Tokens를 설계하여, 다양한 복잡도의 과제에서 강건한 그라운딩을 달성한다. 또한 인식-추론 격차를 평가하기 위한 새로운 지시 표현 이해(referring expression comprehension) 벤치마크인 PR-Bench를 구축한다. 광범위한 실험을 통해 Motto가 다양한 자유 형식 그라운딩 과제에서 최신(state-of-the-art) 성능을 달성함을 보여준다.
자율주행에서 교통 규정을 이해하고 준수하는 것은 안전에 매우 중요한 요구사항이지만, 교통 표지의 다양성과 문맥 의존성 때문에 여전히 어려운 과제로 남아 있다. 중요한 점은 규정 이해가 단순한 인식 과제가 아니라 추론 문제라는 것이다. 어떤 규칙이 적용되는지는 표지를 차선의 공간적 배치 및 장면 문맥과의 관계 속에서 해석하는 것에 달려 있다.
이러한 추론을 지원하기 위해 MapDR은 각 교통 표지의 규제 규칙을 해당 규칙이 적용되는 특정 차선과 연결하는 세밀한 주석을 제공한다. 그러나 기존 방법들은 대부분 이를 직접적인 시퀀스 예측으로 취급하여, 표지 의미와 지도 구조를 연결하는 근본적인 추론을 무시한다.
이러한 한계를 해결하기 위해, 우리는 이 과제에 추론을 명시적으로 통합하고 비전-언어(VLM) 모델에 사고의 연쇄(CoT) 능력을 부여하는 프레임워크를 제안한다. 먼저 2라운드 전략을 통해 강력한 대규모 언어 모델(LLM)로부터 근거(rationale)를 부트스트랩하고, VLM 기반 검증기를 사용해 잘못된 사례를 걸러내는 확장 가능한 CoT 큐레이션 파이프라인을 설계하여 고품질 (CoT, answer) 쌍을 확보한다.
이 기반 위에서 2단계 학습 방식을 채택한다: 근거에서 답변으로의 생성을 가르치는 지도 미세조정(SFT)에 이어, 답변 기반의 세밀한 보상을 사용하는 GRPO 강화학습으로 최종 답변 정확도를 더욱 향상시킨다.
MapDR에 대한 광범위한 실험은 우리 접근법이 해석 가능성과 정확도를 모두 크게 개선함을 보여주며, 규정 인식(regulation-aware) 자율주행을 위한 최초의 추론 기반 프레임워크를 확립한다.
온라인 플랫폼은 최소 연령 정책을 시행하기 위해 자동화된 연령 추정 시스템에 점점 더 의존하고 있다. 이 과제를 위해 설계된 비전 기반 모델에 초점을 맞추면, 미성년자가 콧수염을 그리거나 립스틱을 바르는 등과 같이 그러한 시스템을 우회하기 위해 사용할 수 있는 단순한 외모 변화에 대한 견고성(robustness)에 대한 우려가 제기된다. 본 연구에서는 미성년자가 쉽게 수행할 수 있는 시각적 변형을 시뮬레이션하여 연령 검증 견고성에 대한 체계적인 연구를 제시한다. 우리는 세 개의 데이터셋과 네 가지 조작 유형에 걸쳐 비전, 비전-언어(vision-language), 멀티모달 대규모 언어 모델(multimodal large language model)을 포함한 일곱 개의 모델을 평가한다. 흥미롭게도, 그려진 수염 털(stubble) 조작 하에서 True Negative의 최대 61%가 False Positive로 뒤바뀐다. 또한, 이러한 조작이 다양한 인구통계학적 집단에 어떻게 영향을 미치는지 조사한 결과, 인도인은 수염 털 조작에 더 크게 영향을 받으며, 모든 조작 유형에서 여성이 남성보다 더 크게 영향을 받는 것으로 나타났다. 마지막으로, 경량 선형 프로브(linear probe) 설정에서 바이어스 완화 방법론을 사용하여 이러한 바이어스를 어떻게 완화할 수 있는지 탐구한다.
현대 컴퓨터 비전(CV) 파이프라인은 여전히 분절되어 있으며, 텍스트-이미지 생성, 편집, 복원, 전통적인 인식(perception)과 같은 작업이 각각 별도의 모델로 처리된다. 우리는 단일 모델이 통합된 멀티모달 인터페이스를 통해 다양한 이미지 형태의 출력을 생성하는 통합 시각 생성(UVG)을 연구한다. 확산(diffusion) 기반 시스템은 뛰어난 품질과 제어 가능성(controllability)으로 UVG를 주도하지만, 반복적 샘플링으로 인해 상당한 추론 지연이 발생하여 실용적 배포를 제한한다. 이러한 한계를 해결하기 위해, 범용 멀티모달 언어 모델(MLLM)과 효율적인 next-scale 시각 자기회귀(VAR) 디코더를 결합한 프레임워크인 UniGen-AR를 제안한다. 이 설계는 MLLM 기반 조건화(conditioning)의 유연성을 유지하면서 VAR 모델의 샘플링 효율성과 잠재 공간 통합(latent unification) 특성을 활용한다. 우리 프레임워크에서 MLLM은 자유 형식의 지시와 제어 신호를 통합 시퀀스로 인코딩하며, 이는 VAR 디코더가 네 가지 계열에 걸친 15개 이상의 작업에 대해 이미지 형태의 출력을 생성하도록 안내한다. 실험적으로 UniGen-AR는 확산 기반 베이스라인 대비 최대 19배 낮은 추론 지연을 달성하면서 출력 품질을 유지하거나 개선한다. 우리의 ablation 연구는 VQ-VAE 토크나이저(tokenizer) 설계, 특히 codebook 크기와 계층 구조가 UVG에서 VAR 확장성(scalability)의 핵심 요인임을 추가로 밝힌다. 이 결과는 시각 자기회귀 모델링이 통합 시각 생성을 위한 설득력 있고 효율적인 백본(backbone)임을 입증한다. 프로젝트 페이지: https://zpbao.github.io/projects/unigenar.