멀티모달 대규모 언어 모델(MLLM)은 강력한 성능을 보여주고 있지만, 웹 데이터로부터 사적 정보를 암기할 수 있어 프라이버시 우려를 야기한다. 머신 언러닝(machine unlearning)은 처음부터 재학습하지 않고도 그러한 사적 지식을 제거하는 방법을 제공한다. 그러나 기존 MLLM 언러닝 벤치마크에는 두 가지 주요 한계가 있다. 첫째, 단일 대상 개인만을 포함하는 단순화된 이미지에 의존하여 실제 사진의 시각적 복잡성을 반영하지 못한다. 둘째, 망각 세트(forget set)와 보존 세트(retain set)가 완전히 분리되어 있다고 가정하는 경우가 많아, 사적 정보가 종종 양성적인 공적 정보와 시각적으로 얽혀 있다는 사실을 간과한다. 예를 들어, 사적 개인이 공인(public figure)과 함께 등장하거나 유명 랜드마크 앞에 나타날 수 있는데, 이 경우 사적 대상을 언러닝하더라도 공적 맥락을 손상시켜서는 안 된다. 이러한 한계를 해결하기 위해, 우리는 사적-공적 얽힘 하에서 MLLM 언러닝을 평가하기 위한 새로운 벤치마크인 PPE-Bench를 제안한다. 각 이미지에는 망각되어야 할 대상 개인과 보존되어야 할 공적 정보(공인 및 랜드마크 포함)가 함께 포함된다. 아울러 언러닝 과정에서 공적 정보를 더 잘 보존하기 위한 두 가지 간단하지만 효과적인 방법을 소개한다. 실험을 통해, 기존 언러닝 방법들이 사적 정보 유출을 줄일 수 있지만 인접한 공적 정보를 상당한 수준으로 손상시키는 경우가 많다는 것을 확인하였다.
현재 비전-언어 모델(VLM)의 다국어 평가는 언어와 표기법 사이의 일대일 매핑을 가정하여, 수십억 명의 다중 문자 언어 사용자를 간과하고 있습니다. 우리는 펀자브어의 세 가지 활성 문자인 구르무키(Gurmukhi), 샤무키(Shahmukhi), 로마자(Roman)에 걸쳐 1,000개의 엄격하게 병렬된 이미지-텍스트 인스턴스로 구성된 벤치마크인 PuMVR(Punjabi Multimodal Visual Reasoning)를 소개합니다. 최첨단 VLM 10개를 평가한 결과, 상당하고 체계적인 문자 격차(Script Gap)가 드러났습니다. 모델은 한 문자 체계에서는 시각적 작업을 자주 해결하면서도 동일한 작업을 다른 문자 체계에서는 실패하며, 정확도 차이는 16%에 달합니다. 중요한 점은 시각적 입력이 절대 성능을 균일하게 향상시키지만 표기법 격차를 해소하지는 못한다는 것입니다. 또한, 문자 간 문맥 내 학습(in-context) 전이는 매우 취약하여, 문자에 종속된 지식 표현을 드러냅니다. 모든 문자 쌍에 대한 맥네마 검정(McNemar test)으로 뒷받침되는 우리의 연구 결과는 현재의 "다국어" VLM이 진정한 다중 문자 모델이 아님을 보여줍니다. 우리는 벤치마크에서 최대 24.8%까지 떨어지는 문자 일관성율(SCR)을 제안하며, 이를 공정한 AI 접근을 보장하기 위한 문자 독립적 평가의 필수 지표로 삼아야 한다고 제안합니다. 데이터와 코드는 다음에서 확인할 수 있습니다: https://github.com/prabhjotschugh/Not-Truly-Multilingual-PuMVR.
대규모 언어 모델(LLM) 서빙은 대화형 에이전트, 웹 검색, 프로그래밍 보조 등 온라인 웹 서비스의 기반이 되고 있으며, 이러한 요청들은 첫 토큰까지의 시간(TTFT)과 출력 토큰당 시간(TPOT)과 같은 이질적인 서비스 수준 목표(SLO)를 갖는다. 기존 LLM 서빙 시스템은 최대 처리량(throughput)을 우선시하고 모든 요청을 동일하게 다루어 SLO 달성이 최적이 아닌 결과를 낳는다. 본 논문은 이질적 SLO를 갖는 워크로드에서 시스템 goodput과 SLO 달성을 극대화하도록 설계된 SLO 지향 LLM 서빙 시스템인 Scorpio를 소개한다. 핵심 통찰은 입장 제어(admission control), 큐 관리, 배치 선택 전반에 걸친 적응형 스케줄링을 위해 SLO 이질성을 활용하는 것이다. Scorpio는 최소 마감 우선(least-deadline-first) 재정렬을 사용하고 달성 불가능한 요청을 거부하는 TTFT Guard와, VBS 기반 입장 제어 및 새로운 credit 기반 배치(batching) 메커니즘을 활용하는 TPOT Guard를 갖춘다. 두 Guard는 예측 모듈의 지원을 받는다. 평가 결과, Scorpio는 고부하 상황에서 최신(state-of-the-art) 베이스라인 대비 시스템 goodput을 최대 14.4배, SLO 준수를 최대 46.5% 향상시킴을 보여준다.
LLM 평가자(학습된 보상 모델 및 프롬프트 기반 LLM-as-a-Judge)는 일반적으로 쌍별 정확도(pairwise accuracy)를 통해 검증된다. 다국어 환경에서는 높은 쌍별 정확도가 신뢰할 수 있고 언어 중립적인 채점을 의미한다는 전제 하에 작동한다. 우리는 이 가정이 성립하지 않음을 보인다. 23개 언어에 걸쳐 의미적으로 동일한 지시-응답 쌍으로 실험을 수행한 결과, 다국어 평가자가 평가 언어에 따라 현저히 다른 점수를 부여함을 발견했다. 바이어스는 통계적으로 유의하며, 서로 다른 아키텍처와 학습 패러다임을 가진 8개의 오픈 가중치 평가자 전반에서 일관되며, 최첨단 judge에서도 지속되고, 언어 자원 수준과 강한 상관관계를 보인다: 저자원 언어가 더 관대하게 채점된다. 한편 이러한 바이어스는 쌍별 정확도로는 드러나지 않는다. 평가자는 90% 이상의 쌍별 정확도를 달성하지만, 전역 결정 임계값 하에서 언어 간 수용률에 최대 43%의 차이가 있으며, 이는 예를 들어 저자원 언어의 유해 콘텐츠가 안전성 필터를 통과할 가능성이 더 높다는 것을 의미한다. 언어별 임계값은 언어 식별을 필요로 하며, 이는 코드 스위칭(code-switched) 프롬프트로 우회될 수 있다. 그다음 저자원 언어가 더 낮은 점수가 아니라 더 높은 점수를 받는 이유를 조사했으며, 모델 불확실성이 이 효과와 연관됨을 발견했다. 모델은 음의 로그-가능도(negative log-likelihood)와 토큰-자유(token-free) 불확실성 측정 모두에서 덜 확신할 때 더 높은 점수를 부여하는 경향이 있다. 그러나 불확실성을 통제한 후에도 언어 정체성은 여전히 유의미한 예측 변수로 남으며, 바이어스는 콘텐츠 난이도만으로는 설명되지 않고 구조적, 언어 수준의 정렬(alignment) 오류이다.
While in-context learning is generally shown to be effective in Large Language Models (LLMs), bad contexts can cause performance degradation and mode collapse, a phenomenon we call "pigeonholing." **Unintentionally bad** contexts can happen without malicious jailbreaking intents: For example, a user asks the model to justify an incorrect math theorem or fails to correct the model's buggy code. Specifically, we investigate ``pigeonholing" in two scenarios: (1) when the user suggests a solution, and (2) when the conversation context includes the assistant's previous (incorrect) responses. Our experiments across 10 verifiable and open-ended tasks with 10 different models show that pigeonholing manifests in several ways: (1) repeating the incorrect answers from context (leading to 38-40% performance drop), (2) converging on a narrow set of answers in coding and text generation without exploring alternatives, and (3) flipping stance on controversial topics to align with the user or the assistant's previous claims. We find that pigeonholing worsens almost monotonically with the number of conversation turns (performance drops by additional 14+% as repeated mistakes increase from 1 to 5), and pigeonholing-induced mode collapse can happen even when the provided example is correct. As a step toward mitigation, we propose RLVR with synthetic errors which improves models by 43-60% under bad contexts compared to vanilla RLVR baselines.
대규모 언어 모델(LLM)은 교육을 개인화할 수 있지만, 현재의 정적 프롬프트 튜터링 시스템은 다양한 학문 분야에 적응하는 데 어려움을 겪습니다. 우리는 원본 대화 기록에서 추출한 14가지 교육적 특징(예: 튜터 스캐폴딩, 학생 이해도)을 기반으로 과목 인식 프롬프팅(subject-aware prompting)을 적용한 시스템을 개발하고 테스트했습니다. 우리는 먼저 시뮬레이션 환경에서 프롬프트 라우팅 모델을 학습시킨 후, 실제 고등학생과의 상호작용을 통해 온라인 적응을 위해 이를 배포했습니다. 시뮬레이션 벤치마크 결과, 라우터가 두 가지 정적 기준선(baseline)보다 우수한 성능을 보였습니다($0.694$ vs. $0.647$ 및 $0.64$, $p<0.001$). A/B 테스트(359명의 학생으로부터 수집한 656개의 대화)를 통해 모델이 분석적 학습 전략에서 스캐폴딩 학습 전략으로 전환하는 시뮬레이션-현실 전이(sim-to-real transfer)가 확인되었습니다. 우리의 적응형 프롬프트 선택 메커니즘은 교육 효율성을 개선하고 교육적 품질을 유지하며, 상호작용 횟수를 약 3턴 줄였습니다($p=0.007$). 탐욕적 라우터(greedy router)는 기준선과 유사한 연습 문제 전환율을 달성한 반면($19.1\%$ vs. $19.6\%$), 전략을 샘플링하는 확률적 라우터(stochastic router)는 더 높은 전환율($28.1\%$)을 보였습니다.
Large language models (LLMs) now support contexts of up to 1M tokens, but their strengths and weaknesses on complex long-context tasks remain unclear. To study this, we focus on multi-document legal case summarization, where a single case often spans many documents exceeding 100K tokens. We systematically evaluate 12 frontier LLMs with Gavel, which consists of Gavel-Ref, a reference-based evaluation framework with checklist, residual-fact, and writing-style evaluations, and Gavel-Agent, a reference-free agent for evaluating factual coverage directly from source documents. Our results show that current models are more prone to omitting key information than hallucinating. They all perform well on simple checklist items, such as filing date, but struggle with rare and complex items, such as settlements. Performance also declines as case length increases. To meta-evaluate Gavel, we collect 160 hours of human annotations. Gavel-Agent reduces token usage by at least 36% compared to end-to-end and chunk-by-chunk methods while achieving competitive performance. Gavel-Agent also generalizes to the medical domain, performing the best with at least 77% fewer tokens.
다국어 대규모 언어 모델(MLLM)은 코드 스위칭(CS) 입력을 처리해야 할 기대가 커지고 있으나, 언어 혼용은 원어 또는 목표어 단일 언어 모델에 비해 성능을 자주 저하시킵니다. 이러한 저하를 이해하기 위해, 우리는 CS 표현이 원어 및 목표어 대응 표현에 대해 상대적으로 어디에 위치하는지 파악하기 위한 통제된 진단 설정으로 문법 강제형 CS를 사용합니다. 우리는 CS 은닉 상태가 원어 또는 목표어 대응 표현 중 어느 쪽에 더 가깝게 정렬되는지 여부인 언어 앵커링을 정량화하는 기하학적 척도인 앵커 바이어스(Anchor Bias)를 소개합니다. 다양한 MLLM에 걸쳐, 앵커 바이어스는 일관된 문법 프레임 효과를 드러냅니다: 원어 프레임 CS는 원어 고정 상태를 유지하는 반면, 목표어 프레임 CS는 목표어 쪽으로 이동하며 더 큰 질의응답(QA) 성능 저하를 보입니다. 이러한 표현 패턴에 착안하여, 우리는 입력에서 원어 측 캔버스를 추출하고 프리필(prefill) 동안 목표어 은닉 상태를 원어 앵커 쪽으로 부드럽게 조종하는 추론 시점 개입 방법인 CANVAS(Contextual Anchor-based Neural Vector Alignment Steering)를 제안합니다. CANVAS는 MLLM 및 CS 조건에 걸쳐 QA F1 점수를 일관되게 회복시키며, 이는 내부 앵커링 신호가 CS 추론 실패를 완화하기 위한 실행 가능한 목표를 제공함을 보여줍니다.
TW-LegalBench는 대만 공식 법률 말뭉치로 객관식 시험(MCQ), 주관식 서술형(OEQ), 법률 판결 예측(LJP) 세 과제를 구성해 LLM의 대만 법률 이해를 평가하는 벤치마크입니다. 13개 LLM 평가 결과, 상위 모델은 변호사 자격 합격 기준(합격률 11%)은 넘지만 판사·검사 기준(1~2%)에는 미치지 못했고, 판결 예측은 가능하나 정확한 법령 조항 인용은 여전히 어렵습니다.
창고 운영은 복잡한 다중 시스템 의사결정 로직을 인코딩하는 표준 운영 절차(SOP, Standard Operating Procedures)에 의해 관리되며, 이는 엄격한 시간 제약 하에 신뢰성 있게 실행되어야 한다. 그러나 대규모 언어 모델(LLM) 에이전트는 절차적 준수를 강제하는 메커니즘이 부족하고, 전체 SOP 명세가 유발하는 컨텍스트 과부하로 인해 성능이 저하된다. 우리는 신뢰성 있는 SOP 실행을 위해 프로덕션에 배포된 에이전틱 시스템인 Eluna를 소개한다. Eluna는 그래프 기반의 다중 에이전트 프레임워크로, SOP를 점진적 공개(progressive disclosure) 방식의 방향성 비순환 그래프(DAG)로 인코딩하고, 독립적인 작업을 병렬 서브 에이전트에 위임하며, 각 에이전트는 지속적인 코드 실행과 실시간 데이터 접근을 지원한다. 프로덕션의 지연 시간 및 정확도 요구를 충족하기 위해, 우리는 비대칭 에피소딕 지식 증류(asymmetric episodic distillation)를 활용한다. 이 방식에서는 강력한 교사 모델이 에피소딕 오류 메모리를 통해 개선되고, 더 작은 학생 모델은 메모리가 제거된 수정 궤적(corrected trajectories)으로 파인튜닝되어, 추론 시간 오버헤드 없이 수정 사항을 내재화한다. 13개 작업 벤치마크와 두 가지 프로덕션 애플리케이션에서, 우리의 파인튜닝된 모델은 교사 모델과 동등하거나 이를 초과하고, 더 큰 모든 기성 베이스라인을 능가하며, 티켓 처리 애플리케이션에서 94%의 전문가 합의율에 도달한다.
대출 발급(loan origination)은 대출 기관이 신청부터 심사, 승인 및 자금 지원에 이르기까지 새로운 대출을 생성하는 과정입니다. 이 과정은 신청자의 자격과 위험 수준을 평가하는 데 결정적인 역할을 수행합니다. 최근 기업들은 공개 벤치마크(benchmark)가 전무함에도 불구하고 인간 대출 담당자를 보조하기 위해 주택 담보 대출 에이전트(agent)를 사용하기 시작했습니다. 이러한 격차를 해소하기 위해 우리는 대출 발급 에이전트 벤치마크인 MortarBench를 제시합니다. MortarBench는 금융 데이터 합성 및 변형 파이프라인을 활용하여 실제 분포 및 질문과 일치하면서 광범위한 엣지 케이스(edge case)를 포괄하는 예제를 생성합니다. 우리는 최첨단 대규모 언어 모델(LLM)의 성능이 저조함을 확인했으며, 폐쇄형 모델은 최대 77.1%의 정확 일치(exact match) 정확도를 기록했습니다. 또한 비영어권 이름과 관련된 외국성(foreignness)에 대한 LLM의 인식에서 체계적인 바이어스(bias)를 발견했습니다. 이러한 약점을 고려하여, 우리는 신뢰도 보정(confidence calibration) 프레임워크인 CRIT를 도입했습니다. 우리의 방법은 정확도를 80.5%로 향상시키는 동시에 위험 관리 유도를 개선하고 바이어스를 감소시킵니다.
통합 멀티모달 모델(UMMs)은 공간적 작업을 개선하기 위해 생성된 '시각적 사고(visual thoughts, VTs)'를 텍스트 추론과 결합합니다. 이로 인해 다단계 확산(diffusion) 과정에서 약 10배 수준의 추론(inference) 비용이 발생합니다. 우리는 이 비용이 제한적인 직접적인 이점만을 제공한다는 것을 발견했습니다. ThinkMorph에서 VTs를 제거하거나 노이즈를 추가해도 9개 벤치마크 전반에 걸쳐 정확도에는 거의 변화가 없었습니다. 렌더링된 후에는 내용에 관계없이 어텐션(attention)이 VT에 집중되는 현상이 관찰되었습니다. 그러나 KL(Kullback-Leibler) 진단 결과, 특권(privileged) VT 궤적(trace)을 조건으로 사용할 경우 모델의 완료(completion) 분포가 변화함을 보여줍니다. 이는 생성 경로가 렌더링된 픽셀 그 이상의 유용한 추론(reasoning) 정보를 인코딩하고 있음을 시사합니다. 이러한 격차에 착안하여, 우리는 Visual On-Policy Self-Distillation(Visual-OPSD)을 제안합니다. 교사(teacher)와 학생(student) 모델은 동일한 가중치를 공유하지만 맥락(context)에서 차이가 있습니다: 교사는 특권 VTs를 확인하는 반면, 학생은 질문만을 확인합니다. 온-정책(on-policy) 학생 궤적에 대한 토큰(token) 수준의 JSD 증류를 통해 교사의 추론 능력을 텍스트 전용 학생 모델로 전이합니다. 9개 벤치마크 전반에서 Visual-OPSD는 생성형 교사 모델 대비 정확도를 +3.40pp 향상시켰으며, 14.3배의 속도 향상(샘플당 10.0초 vs 142.8초)을 달성했습니다. 또한 VSP 벤치마크에서 동일 규모의 VLMs(Vision-Language Models)보다 +63.83pp 더 높은 성능을 보였습니다. 가우시안 노이즈 통제 실험(+0.40pp vs 실제 VTs의 +10.28pp)과 KL 갭(gap)의 58.4% 해소는, 성능 향상이 생성 경로의 의미론적(semantic) 내용에서 비롯되었음을 확인시켜 줍니다.
대규모 언어 모델(LLM)은 고위험 도메인에서 점점 더 많이 배포되고 있으며, 이러한 환경에서는 사고의 연쇄(chain-of-thought)나 사후 근거(post-hoc rationale)와 같은 자유 형식 텍스트 설명이 모델 출력을 정당화하는 데 사용된다. 그러나 이러한 설명들이 충분한지, 즉 모델의 출력 생성 과정을 설명하기에 충분한 정보를 담고 있는지는 여전히 불명확하다. 우리는 특징(feature) 귀속에서의 고전적 충분성 개념을 임의의 설명으로 일반화하고, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 증명하며, 이 입력 분포는 LLM 설명에 대해 명시적으로 정의되어야 함을 보인다. 우리는 LLM 자체를 활용하여 설명에 조건화된 대체 입력을 생성함으로써 가능한 입력에 대한 모델(model)의 신념을 포착할 것을 제안한다. 우리는 자유 형식 텍스트 설명의 목표로서 자기 일관적 충분성(self-consistent sufficiency)을 형식화하고, 사전 정의된 편향이나 지름길에 의존하지 않고 자유 형식 텍스트 설명을 평가할 수 있게 하는 정보 이론적 지표인 SCSuff를 도입한다. 실험 결과, SCSuff는 적용 가능한 경우 표적 섭동(perturbation) 테스트와 일치함을 보이며, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 입증한다. LLM의 설명은 일반적으로 불충분하며 모델 크기, 정확도 또는 출력 엔트로피와 약한 상관관계를 보임을 확인하였다. 최종 토큰(token) 은닉 상태 분석에 따르면 상위 및 하위 SCSuff 점수가 내부 표현으로부터 예측될 수 있으며, 이는 SCSuff가 충분한 LLM 설명의 탐지 및 개선을 안내할 수 있음을 시사한다. 이 논문의 코드는 https://github.com/rajesh-lab/self-consistent-sufficiency 에서 확인할 수 있다.
자기 진화(self-evolution)는 더 강한 추론으로 가는 확장 가능한 경로를 제공한다. 사전학습된 언어 모델이 최소한의 외부 감독만으로 스스로를 개선하는 방식이다. 그러나 기존 방법들은 광범위하게 큐레이션되거나 교사가 생성한 학습 데이터에 의존하거나, 생성기가 비지도로 동작할 때는 Solver를 실제로 개선하지 않을 수도 있는 난이도 휴리스틱으로 보상한다. 우리는 INFUSER를 제안한다. 이는 두 가지 공진화하는 역할을 갖는 반복적 공동 학습(co-training) 프레임워크로, 구조화되지 않은 자동 수집 문서 풀에서 질문과 참조 golden 답변을 작성하는 Generator와 이를 통해 학습하며 개선되는 Solver로 구성된다. Solver는 생성기가 제공한 답변에 대한 표준 정확성 보상으로 학습되고, 생성기는 각 제안된 질문이 목표 분포에서 Solver를 실제로 개선할지를 측정하는 옵티마이저 인식 영향도(influence) 점수로 보상된다. 이 연속적이고 노이즈가 많은 영향도 점수는 표준 GRPO로는 잘 다루기 어렵기 때문에, 생성기 학습을 위해 GRPO의 이중 정규화(dual-normalized) 변형인 DuGRPO를 제안한다. 이를 통해 문서 풀은 단순히 어려운 질문이 아니라 현재 Solver에 유용한 질문을 선호하는 적응형 커리큘럼으로 전환된다. Qwen3-8B-Base에서 INFUSER는 강력한 자기 진화 기준선들을 능가하며 Olympiad 및 SuperGPQA 벤치마크에서 20% 이상의 상대적 개선을 달성한다. 또한 8B INFUSER의 공진화 생성기는 수학과 코딩에서 고정된 32B thinking 생성기를 능가한다. Ablation은 각 설계 선택이 필수적임을 확인했으며, 인스트럭션 파인튜닝(instruction-finetuned) 앵커에 INFUSER를 적용하고 rule-verifiable RLVR 데이터로 보강하는 두 가지 확장은 프레임워크의 유연성과 일반화 가능성을 추가로 보여준다. 코드는 https://github.com/FFishy-git/INFUSER 에서 이용할 수 있다.
인스트럭션 계층(IH)은 모델이 출처에 따라 인스트럭션의 우선순위를 정하도록 요구하며, 더 높은 우선순위의 인스트럭션이 더 낮은 우선순위의 인스트럭션을 우선하도록 보장한다. 안전하고 제어 가능한 배포에 중요함에도 불구하고, 기존 평가는 거의 전적으로 영어에 초점을 맞춰 왔으며, 다국어 설정에서 IH 준수가 안정적으로 유지되는지는 불분명하다. 우리는 6개 언어, 4개 도메인, 3가지 IH 설정에 걸친 동일 언어 및 교차 언어 충돌을 포함하는 다국어 IH 평가 벤치마크 XIH-Bench를 제안한다. 모델 전반에서 두 가지 일관된 패턴을 발견한다. 첫째, IH 준수는 명확한 언어 의존적 비대칭을 보인다. 더 높은 우선순위 위치에서 준수를 강화하는 언어는 더 낮은 우선순위 위치에서는 방해 요인이 될 수 있다. 둘째, 교차 언어 충돌은 동일 언어 충돌보다 더 높은 준수를 산출하며, 우리는 이 현상을 언어 경계 효과(Language Boundary Effect)라고 부른다. 또한 언어 특화는 모델이 선호하는 언어의 낮은 우선순위 인스트럭션을 덮어쓰기 더 어렵게 만들 수 있음을 보여주며, 이는 다국어 신뢰성 및 보안 위험을 초래한다.
본 논문에서는 Bilibili에서 개발한 오픈 소형 언어 모델(SLM) 시리즈인 Index-1.9B를 소개한다. 이 시리즈는 네 가지 모델로 구성된다: Index-1.9B-Base는 2.8조 개의 주로 중국어 및 영어 토큰으로 사전학습된, 임베딩을 제외한 19억 개의 파라미터를 가진 기반 모델이며; Index-1.9B-Pure는 동일한 레시피로 학습되었으나 코퍼스에서 모든 인스트럭션 유사 데이터를 엄격히 필터링한 대조 변형 모델이며; Index-1.9B-Chat은 지도 미세조정과 직접 선호 최적화를 통해 기반 모델로부터 정렬된 모델이며; Index-1.9B-Character는 퓨샷 롤플레잉 커스터마이제이션을 위해 검색-증강 생성(RAG)으로 채팅 모델을 보강한 모델이다. 사전학습에는 Warmup-Stable-Decay 학습률 스케줄이 사용되며, 감쇠 단계에서 선별된 데이터의 비중을 대폭 높이는 방식과 함께, 높은 학습률 하에서 학습을 안정화하는 Norm-Head 출력 층을 채택한다. 시험, 추론, 수학, 코드를 포함하는 표준 벤치마크 모음에서 Index-1.9B-Base는 평균 점수 64.92를 달성하여, 자신보다 수 배 큰 오픈 모델들과 경쟁하거나 이를 능가한다. 또한 모델 깊이, 학습률 크기와 스케줄링, 학습률 감쇠와 데이터 품질 간의 상호작용, 사전학습 중 인스트럭션 데이터 포함 효과에 관한 통제 실험을 추가로 보고하며, 일정 학습률 단계 중반에 발생한 벤치마크 성능의 원인 불명 급등 현상도 기록한다. 모든 모델과 평가 코드는 https://github.com/bilibili/Index-1.9B에서 공개된다.
대규모 언어 모델(LLM)의 지식 경계를 평가하기 위해 Know2Guess는 데이터 오염·기권·거부를 분리하는 오염 인지 다중 영역 벤치마크로, 다섯 도메인 1,200문항과 빌드 시점 고정 라벨·이중 파서로 FLAN-T5, Qwen2.5-Instruct, Llama-3-Instruct를 평가한다. Qwen2.5-3B-Instruct가 전반적 신뢰성에서 최고이나 답변이 예상되는 영역과 보정(calibration)은 여전히 어렵고, 무해한 항목에 대한 거부가 남아 있어 답변 가능성·기권·거부·오염을 구분 감사할 재현 가능 프로토콜을 제공한다.
우리는 시각적으로 그라운딩된 도구 호출 에이전트를 위한 벤치마크 및 평가 프레임워크인 MM-ToolSandBox를 소개한다. 이 프레임워크는 16개 응용 도메인에 걸쳐 500개 이상의 도구를 포괄하는 상태 저장(stateful) 실행 환경을 제공하며, 에이전트가 순차적으로 도착하는 시각적 입력을 실행 가능한 도구 호출로 그라운딩하면서 현실적인 대화 현상(목표 수정, 오류 정정, 상태 변이)을 처리해야 하는 멀티 이미지, 멀티 턴 태스크를 지원한다. 자동화된 시나리오 생성 파이프라인은 정보 흐름 기반 계획 수립과 다단계 품질 필터링을 통해 다양한 시각적 그라운딩 시나리오를 생성하며, 그 결과 258개의 인간 검증 정상 시나리오와 대화형 UI 애플리케이션을 대상으로 한 50개의 변형 시나리오를 산출한다. 4B 오픈 가중치 모델부터 프론티어 상용 시스템까지 12개의 최신 모델을 평가한 결과, 현재 모델들은 여전히 견고한 시각적 도구 호출 능력이 부족함을 보여준다: 최고 성능 모델조차 성공률이 50% 미만이다. 실패 분석을 통해 시각적 정밀도(visual precision)가 계획 수립뿐 아니라 유능한 모델의 주요 병목임을 확인했다: 실패의 53%는 태스크 워크플로 자체는 올바름에도 이미지에서의 잘못된 정보 추출에서 비롯된다. 규모에 따른 계획-정밀도 교차 현상이 나타난다: 소형 모델은 무엇을 해야 할지 결정하는 단계에서 실패하는 반면, 대형 모델은 자신이 보는 것을 인식하는 단계에서 실패하며, 이는 서로 다른 능력 수준의 모델 개선을 위한 근본적으로 상이한 연구 방향을 시사한다. 프레임워크와 벤치마크는 https://github.com/apple/ml-mmtoolsandbox 에서 공개적으로 이용 가능하다.
대규모 언어 모델(LLM)은 자연스러운 인간과의 상호작용을 통해 지식을 검색하는 강력한 도구로 부상했습니다. 뛰어난 텍스트 생성 능력에도 불구하고, LLM은 사실과 다른 진술을 생성하고 지식을 조작하는 환각(hallucination) 경향을 보이며, 이는 신뢰성과 신뢰도를 저해합니다. 여러 연구에서 LLM의 불확실성을 평가하고 환각을 탐지하는 방법을 탐구해 왔습니다. 그러나 기존 접근법은 대개 확률론적이고 계산 비용이 높아 실용적인 적용에 한계가 있습니다. 본 논문에서는 디코딩 단계에서 모델이 생성한 응답에 능동적으로 이의를 제기함으로써 LLM 불확실성 휴리스틱을 개발하는 새로운 방법인 다이버전 디코딩(diversion decoding)을 소개합니다. 다이버전 디코딩을 통해 LLM이 대안적 답변을 생성하려는 저항성을 포착하는 특징을 추출하고, 이 특징들을 활용하여 머신러닝 모델을 학습시킴으로써 LLM 불확실성에 대한 휴리스틱 측도를 개발합니다. 실험 결과, 다이버전 디코딩은 계산 복잡도가 현저히 낮으면서도 기존 방법을 능가하여 환각 탐지 평가를 위한 효율적이고 견고한 솔루션임을 입증합니다.
ContextSniper는 저장소 수준 프로그램 수정 에이전트에서 불필요한 컨텍스트 소비를 줄이기 위해, 코드와 액션 메모리를 3단계 추상 계층으로 인덱싱하고 의도 인식 컨텍스트 게이트로 노이즈를 필터링해 압축된 증거 패킷만 LLM에 전달하는 모듈이다. SWE-bench Lite 평가에서 OpenClaw와 Claude Code를 호스트 에이전트로 사용했을 때 수정 해결률을 유지하면서 토큰 사용량을 각각 51.5%, 38.9% 절감했다.