자동화된 흉부 CT 보고서 생성은 임상적으로 신뢰할 수 있는 보고를 위해 전체 볼륨 이해와 국소화된 해부학적 소견에 대한 정확한 기술이 모두 필요하기 때문에 여전히 어려운 과제이다. 본 연구에서는 흉부 CT 소견 섹션 생성을 위한 영역 인식(region-aware) 검색-강화 프레임워크인 MonteRET을 개발하고 후향적으로 평가하였다. MonteRET은 전역 CT 특징과 영역 수준 해부학적 표현을 통합하고, 예측된 의학적 상태와 영역 수준 비전-언어 정렬을 이용해 임상적으로 관련 있는 지식을 검색하며, 지식 안내 보고서 재작성 에이전트를 통해 초기 보고서를 정제한다. RadGenome-ChestCT의 공개 코호트 24,128건의 CT 스캔으로 모델을 학습시켰다. MonteRET을 RadGenome-ChestCT 공개 테스트 세트 1,564건의 CT 스캔과 NewYork-Presbyterian/Weill Cornell Medical Center의 외부 코호트 82건의 CT 스캔에서 평가하였다. MonteRET은 매칭된 기준선 및 여러 최신(state-of-the-art) 방법과 비교하여 보고서 품질, 의미적 유사도, 임상적 유효성을 향상시켰다. 향상은 재현율에서 가장 두드러졌으며, 이는 누락된 소견이 더 적음을 시사한다. 방사선과 전공의(radiology residents)의 인간 전문가 평가에서도 MonteRET이 더 우수한 것으로 나타났다.
현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.
비판적 사고는 학습자가 단순 암기를 넘어서도록 돕는 기본적인 역량이다. 이 역량을 기르는 한 방법은 고차 질문하기를 통하는 것이다. 그러나 이러한 질문을 만드는 일은 여전히 교육자들에게 어려운 과제이며, 교실 수업은 저차 질문에 의존하는 경향이 있다. 대규모 언어 모델(LLM)은 특히 Bloom의 분류체계(Bloom's Taxonomy)에 기반한 프롬프트로 유도될 때 고차 질문 생성에서 뛰어난 역량을 보여주었다. 그러나 기존 연구는 대체로 이 프레임워크에 집중해 왔으며 영어에만 국한되어 왔다. 본 연구는 Claim-Evidence-Reasoning과 Divergent Questioning이라는 두 가지 대안적 프레임워크에 기반한 프롬프트를 도입하고, 바스크어, 스페인어, 영어를 사용하는 다국어 맥락에서 이러한 공백을 해소한다. 결과에 따르면, 오픈소스 모델과 독점 모델 모두 세 언어에서 상당히 효과적으로 질문을 생성했지만, 답변 가능한 질문 중 약 절반만 교사들이 고차 질문으로 인식했다. 긍정적인 발견은 대안적 프레임워크가 구조적으로·개념적으로 다양한 질문을 생성한다는 점이며, 이는 두 프레임워크가 서로를 보완할 수 있고 Bloom의 분류체계에 대한 실행 가능한 대안을 제시할 수 있음을 시사한다.
우리는 최첨단 적대적 미세조정(adversarial fine-tuning)을 거쳐도 유지되는 언어 모델 회피 공격을 조사하고, ELOQUENT 2026 Voight-Kampff 리더보드 상위 5위를 차지하는 전략을 개발한다. 적대적 미세조정은 2025년 우승 회피 방법을 손쉽게 봉쇄하지만, 우리는 탐지기 취약성에서 근본적인 비대칭을 발견한다: 생성된 텍스트를 탐지기의 학습 분포 밖으로 밀어내는 것은 적대적 탐지를 안정적으로 이기지만, 분포 안으로 끌어들이는 것(예: 인간 학습 데이터 모방)은 완전히 실패한다. 이를 이용해, 우리는 두 가지 새로운 분포 밖(out-of-distribution) 공격 계열—시대를 가로지르는 레지스터(register) 공격과 모더니스트 의식의 흐름(stream-of-consciousness) 형식—을 제안한다. 두 전략 모두 적대적 봉쇄를 손쉽게 우회하며, 자연스러움을 유지하면서 이전 방법 대비 최대 약 50배 높은 기만률을 달성한다. 또한 실험은 명백한 배포자 대응책(시대별 산문으로 학습 데이터 증강)이 취약점을 메우지 못함을 보여준다. 우리의 발견은 적대적 미세조정을 포함한 검증된 탐지기 계열이 구조적 분포 밖 변화 하에서 지속적인 취약성을 보이며, 이 메커니즘이 우리의 선두 경쟁 성과를 직접 뒷받침함을 보여준다.
복잡한 생의학 데이터를 환자 친화적인 서술로 변환하는 것은 현대 생의학 정보학의 핵심이다. 본 연구는 전문화된 생의학 데이터-텍스트 생성 작업에서 소형 언어 모델(SLM)을 학습하는 것에 대한 비교 분석을 제시한다. 의약품 패키지 설명서 데이터셋에서 Qwen 기반 SLM에 대해 지도 미세조정(SFT), 직접 선호 최적화(DPO), 오즈비 선호 최적화(ORPO), 그룹 상대 정책 최적화(GRPO) 등 널리 채택된 사후 학습 방법을 탐색한다. 데이터셋 간 일반화 가능성을 평가하기 위해 openFDA에서 약품 라벨 데이터도 수집했다. ROUGE와 같은 표준 어휘 중복 지표와 의미 유사도 척도를 모두 사용하여 모델을 평가한다. 실험 전반의 결과는 (1) 정렬된 SLM이 GPT-5와 같은 독점 모델보다 우수한 성능을 보인다, (2) ORPO가 SFT 기준선보다 우수하다, (3) GRPO가 GPT-5를 포함하여 테스트된 정렬 방법 중 가장 견고한 데이터셋 간 성능을 보인다는 것을 보여준다.
온-정책 증류(on-policy distillation, OPD)는 대규모 언어 모델(LLM) 사후 학습의 핵심 패러다임이 되었지만, 그 학습 동역학은 여전히 잘 이해되지 않는다. 본 연구는 OPD의 역할, 병리, 규제를 살펴보는 체계적 연구를 제시한다. 먼저 OPD의 역할을 탐험 촉매로 명확히 한다: 밀집된 토큰 수준 지도를 통해 학생을 올바른 추론 경로로 이끌되, 능력 상한을 확장하지는 않는다. 프롬프트 다양성이 문제당 샘플링 수보다 더 중요함을 보여 이를 확인하며, 결정적으로 OPD의 효과는 전적으로 안내 신호의 품질에 달려 있음을 밝힌다. 이러한 의존성은 탐험을 탈선시키는 두 가지 병리를 드러낸다. 학생-교사 불일치(Student-Teacher Mismatch)는 큰 교사-학생 분포 격차가 안내 신호를 과제 정확성과 어긋나게 하여, 생산성 없는 방향으로 탐험을 이끌 때 발생한다. 길이 활용(Length Exploitation)은 집계된 토큰 수준 목표가 길이에 의존하는 지름길을 만들어, 학생이 응답 절단 또는 불필요한 패딩을 통해 보상 landscape를 우회할 수 있게 하고, 추론 전략이 아닌 퇴화된 길이 모드를 탐험하게 한다. 이러한 병리를 억제하기 위해, advantage clipping과 log-scale compression과 같은 경량 신호 규제를 조사하여, 탐험이 충실한 신호에 의해 안내되도록 한다. 7개 벤치마크에 걸친 실험은 이러한 규제가 길이 활용을 완화하고 효과적인 지식 증류를 가능하게 하며, OPD 변형과 RLVR 베이스라인을 안정적으로 능가함을 보여준다. 이를 통해 단순한 교사 규모가 아니라 잘 규제된 신호 품질이 OPD에서 성공적인 탐험을 좌우함을 확인한다.
우리는 SemEval-2026 Task 1(MWAHAHA)의 Subtask A(영어, 스페인어, 중국어에서의 다국어 제약 기반 유머 생성)를 위한 시스템 RAGthoven을 제시한다. RAGthoven은 창의적 텍스트 생성을 계산 유머 이론(Benign Violation Theory, Script-based Semantic Theory of Humor)에 기반한 다단계 대규모 언어 모델(LLM) 파이프라인(Planner, Best-of-N Writer, 자기 비판을 위한 Reflector, LLM-as-a-judge Judge)으로 분해하고, 이를 열 번의 실험을 거쳐 정제했다. 최종 구성에서는 Planner를 큐레이션된 농담 코퍼스로부터의 검색-증강 생성(RAG)으로 보강하여, 다양한 농담 메커니즘으로 생성을 시드(seed)했다. 또한 동일한 네 단계를 결정론적 ConstraintAudit 검사기와 함께 노출하는 두 가지 에이전트(agentic) 변형—ReAct 스타일 순차적 도구 호출(Exp09)과 자율적 다분기 오케스트레이션(Exp10)—을 평가했다. 홀드아웃 12개 인스턴스 영어 샘플에 대한 네 가지 프론티어 모델에서, 두 에이전트 변형 모두 훨씬 더 높은 도구 호출 예산에도 불구하고 비에이전트 파이프라인보다 우수하다고 판단한 출력을 생성하지 못했다. RAGthoven은 세 언어 모두에서 Gemini 2.5 Flash 기준선과 Rank 1을 공유하며, 주최 측이 보고한 신뢰 구간이 겹친다. 스페인어에서는 기준선보다 42 raw Elo 포인트(1182 vs. 1140)로 앞서지만, 영어(1045 vs. 1081)와 중국어(1045 vs. 1053)에서는 동일한 통계적 동률 범위 내에서 기준선이 더 높은 raw rating을 유지한다. 종합하면, 이러한 결과는 강력한 프론티어 모델이 루프에 포함되면 정교한 다단계 프롬프트 엔지니어링과 에이전트 스캐폴딩으로부터 얻는 이득이 언어에 따라 감소할 수 있음을 시사한다.
유럽특허청(EPO)은 2025년 기록적인 출원 건수를 보고했으며, 2026년 EPO 지침은 제83조 및 규칙 42에 따라 대규모 언어 모델(LLM) 보조 콘텐츠에 대해 출원인에게 엄격한 책임을 부과하여, AI 생성으로 의심되는 특허 텍스트를 선별해야 하는 압력을 형성하고 있다. 이를 어렵게 만드는 두 가지 제약이 있다. 첫째, 현실적인 출원·심사(prosecution) 환경에서는 데이터센터급 스코oring 스택이 아닌, 약 8GB VRAM을 갖춘 소비자용 GPU만 갖춘 경우가 많다. 둘째, 유럽특허협약 제84조는 청구항이 명확하고 간결할 것을 요구하여, 인간의 초안 작성을 LLM이 차지하는 것과 동일한 낮은 perplexity·낮은 burstiness 다양체(manifold)로 밀어붙인다. 다섯 가지 프롬프팅(prompting) 전략을 모두 소비자용 하드웨어 환경 내에서 적용하여, 승인된 EPO H04 통신 특허 500건과 LLM 생성 대응물 500건에 대해 세 가지 오픈소스 제로샷(zero-shot) 감지기를 벤치마크했다. 청구항 수준에서 모든 감지기는 60%를 초과하는 오탐률(false-positive rate)을 기록했다: Binoculars 78.3%, Fast-DetectGPT 61.3%, DetectGPT 80.5%. 이러한 실패는 Qwen2.5-3B-Instruct 재생성, LoRA 적응 Pythia-2.8B 스코oring 헤드, A61K·C07D·F03D에 대한 IPC 간 복제(평균 FPR 84.6%), 및 공개된 Falcon-7B와 GPT-J-6B 헤드를 사용한 H100 재평가에서도 지속되며, 문제가 대체 모델(substitute-model) 용량(capacity)이라기보다 구조적임을 시사한다. 7개 특징(feature)을 사용한 언어 복잡도 로지스틱 회귀는 28.1% FPR에서 74.0% 정확도에 도달하며, 유사한 운영 지점(operating point)에서 perplexity만 사용한 기준선 대비 13퍼센트포인트 향상을 보였다. 이는 추론(inference) 시 가능도(likelihood)를 사용하지 않으며 동일한 하드웨어 예산 내에서 달성되었다.
클라우드 서비스는 신속한 진단과 해결이 필요한 잦은 인시던트를 겪는다. 트러블슈팅 가이드는 엔지니어가 일관되게 대응하도록 돕지만, 수동으로 작성하는 것은 노동 집약적이어서 커버리지가 불완전하고 문서가 구식이 되는 결과를 낳는다. 우리는 대규모 언어 모델(LLM)을 사용해 과거 인시던트 데이터로부터 트러블슈팅 가이드를 생성하는 자동화 시스템 FixItFlow를 제안한다. 이 시스템은 엔지니어의 조치에서 진단 패턴을 추출하고, 검증된 명령어가 포함된 구조화된 가이드를 합성하며, 허구의 내용을 방지하기 위해 엄격한 검증을 적용한다. 26명의 엔지니어를 대상으로 한 평가에서, 생성된 가이드는 명확성에 대해 61.5%의 긍정 평가를 받았으며, 관련 가이드가 있는 인시던트에 대해 완화 시간을 2.3배 줄였다. 이 결과는 자동화된 가이드 생성이 엔지니어 팀의 문서화 부담을 줄이면서 인시던트 대응을 개선할 수 있음을 보여준다.
잠재 메모리(latent memory)는 과거 지식 단편을 층별 은닉 상태(hidden state)로 저장하는 방식으로, 대규모 언어 모델(LLM)에서 장기 기억을 위한 유망한 패러다임(예: MemoryLLM, M+)으로 부상했다. 그러나 이 패러다임은 메모리 업데이트 시 위치 인코딩(positional encoding) 불일치와 목표 메모리 단편과 무관한 단편을 구분할 추적(tracing) 메커니즘 부재로 인해 성능이 크게 저하되는 문제가 있다. 이러한 추적 메커니즘을 찾기 위해, 저장된 메모리 단편에 대한 층별 어텐션 밀도를 탐색(probe)한 결과, 소수의 중간 트랜스포머 층이 목표 단편에 일관되게 가장 높은 밀도를 집중시킨다는 것을 발견했으며, 이는 내재적인 추적 신호를 드러낸다. 이를 바탕으로 우리는 MemDefrag를 제안한다. 이는 학습 불필요(training-free)이며 모델 불문(model-agnostic)인 프레임워크로, (1) 중간 층 추적 신호를 이용해 메모리 조각 모음(순위 지정, 재정렬, 필터링)을 수행하고, (2) 용량 초과 시 정보량(informativeness) 기반 비례 망각(forgetting) 메커니즘을 적용한다. 실험 결과 MemDefrag는 지식 보존(예: 메모리 업데이트 50회 후 43.0% vs. 17.4%/17.6%)과 장문맥 벤치마크에서 MemoryLLM 및 M+를 크게 능가하며, 다양한 LLM과 잠재 메모리 변형에도 잘 일반화된다. 코드는 github.com/ryehr/MemDefrag에서 제공된다.
디지털 텍스트 정보의 급격한 증가로 인해 자동 텍스트 요약의 중요성이 날로 커지고 있다. 본 논문은 추상적 텍스트 요약의 견고성과 품질을 향상시키기 위해 설계된 다중 모델 요약 프레임워크를 제안한다. 단일 모델에 의존할 경우 구조와 주제가 다양한 기사에 걸쳐 요약 품질이 일관되지 않는 문제가 발생한다. 이러한 한계를 해결하기 위해 제안된 프레임워크는 파인튜닝된 여러 트랜스포머 기반 요약 모델을 통합하고 메트릭 기반 선택 메커니즘을 도입한다. 이 프레임워크에서 각 모델은 동일한 입력 기사에 대해 독립적으로 후보 요약을 생성한다. 생성된 요약들은 어휘적 유사도와 의미적 관련성을 모두 포착하는 자동 평가 메트릭을 통해 평가된다. 이 점수를 기반으로 프레임워크는 가장 높은 품질의 요약을 최종 출력으로 선택한다. 모델들은 널리 사용되는 CNN/DailyMail 뉴스 요약 데이터셋에서 파인튜닝 및 평가되었다. 실험 결과, 제안된 프레임워크는 비교된 모든 방법 중 88.63%의 점수로 가장 높은 BERTScore를 달성하였다. 또한 GPT3-D2, Falcon-7b, Mpt-7b 등 여러 대규모 언어 모델(LLM)을 능가함으로써 그 효과성과 견고성을 입증하였다. 이러한 결과는 메트릭 기반 선택 전략 내에서 여러 트랜스포머 기반 모델을 활용하는 것이 자동 텍스트 요약 시스템의 품질과 견고성을 향상시키는 데 효과적임을 보여준다.
추론(reasoning) 기능이 활성화된 대규모 언어 모델(LLM)은 의료 추론 벤치마크에서 강한 성능을 보이지만, 이러한 이득이 구조화된 임상 문서 작성으로 이전되는지는 여전히 불분명하다. 본 연구는 OMI Health, ACI-Bench, PriMock57에 걸친 소스 인식(source-aware) 벤치마크에서 임상 대화로부터 SOAP 노트 생성을 사용하여 이 질문을 조사한다. 우리는 공급자 네이티브(provider-native) 추론과 동일 소스(same-source) 검색-증강 생성(RAG)을 독립적으로 전환하는 통제된 2×2 설계에서 GPT-5.4, DeepSeek-V4-Flash, Gemma-4-E4B를 평가한다. 출력은 참조 인식(reference-aware) LLM 심사관 2개와 함께 7개의 자동 지표로 평가된다. 두 평가 방식 모두 비추론(non-reasoning) GPT-5.4 구성이 전반적 품질에서 최고 성능을 달성한다는 데 동의하며, DeepSeek-V4-Flash는 추론 활성화 구성 중에서 최고 성능을 보인다. 추론을 활성화하면 세 데이터셋 전체에서 GPT-5.4 성능이 유의미하게 저하되는 반면, 동일 소스 RAG는 더 작고 모델에 따라 다른 개선을 가져온다. 전반적으로, 이러한 발견은 충실도(fidelity)에 민감한 SOAP 노트 생성에서 더 강한 추론 능력이 향상을 가져올 것이라고 가정해서는 안 되며, 전용의 과제별 평가 없이는 그렇지 않음을 시사한다.
여러 해답을 샘플링하고 다수결 답을 반환하는 방식은, 라벨 없이 대규모 언어 모델(LLM)의 추론 정확도를 높이는 가장 신뢰할 수 있는 방법 중 하나이며, 점점 더 많은 방법군이 이 합의(consensus) 신호를 학습 감독(supervision)으로 변환하고 있다. 그러나 기존 접근법들은 합의를 제한된 형태로만 사용한다: 미세조정을 위한 해답 선별 필터, 답변 간 선호도, 또는 강화학습의 스칼라 보상으로, 동의하는 해답들이 담고 있는 정보의 대부분을 버린다. 우리는 CANON(Consensus-ANchored self-distillatiON)을 제안한다. 이는 합의를 밀집적 토큰 수준의 감독으로 변환하는 라벨 없는 학습 방법이다. 각 라벨 없는 프롬프트에 대해 CANON은 여러 해답을 샘플링하고, 다수결 답을 추출한 뒤, 이를 달성하는 해답에 조건을 걸어 고정된 모델 스냅샷을 사용한다. 이 합의-고정(consensus-anchored) 교사는 모델이 자체 롤아웃(rollout)에서 생성하는 모든 토큰을 감독한다. 수학 및 과학 추론 벤치마크 실험에서 CANON은 pass@1을 최대 12포인트 향상시키며, 라벨 없는 강화학습을 7분의 1의 연산량으로 6포인트 능가하고, 정답(gold) 해답에 조건을 건 교사에 근접한다. 풀링된 라벨 없는 데이터로 학습하면 보류(hold-out) 벤치마크로 전이되며, 정답 라벨을 사용하는 학습 방법과 맞먹는다. 분석에 따르면 이러한 개선은 순수한 분포 샤프닝(sharpening)만은 아니다: 학습 후 모델은 이전에 32번 시도해도 풀지 못했던 문제를 해결하고, 다수결 투표 자체의 정확도도 높아진다.
아날로그 회로 토폴로지 설계 자동화는 점점 더 다양하고 맞춤화된 애플리케이션 요구를 충족하는 데 필요한 광범위한 수동 노력을 줄이는 데 필수적이다. 최근 연구에서는 사전학습된 언어 모델에 시퀀스-투-시퀀스 미세조정을 적용하여 사용자 사양으로부터 회로 토폴로지를 한 번에 직접 생성하는 방법이 제안되었다. 그러나 이러한 원샷(one-shot) 생성 방식은 기하급수적으로 증가하는 탐색 공간과 제한된 학습 데이터셋 때문에 복잡한 회로를 생성하는 데 실패했다. 본 논문에서는 아날로그 토폴로지 생성을 위한 테스트 타임 스케일링(test-time scaling)을 가능하게 하기 위해 시뮬레이터 안내 Monte Carlo Tree Search(MCTS)와 트랜스포머 기반 디코딩을 통합한 검색 강화 프레임워크 EXPLORE를 제안한다. EXPLORE는 언어 모델 사전분포(prior)를 활용하고 높은 신뢰도의 구조적 토큰(token)을 건너뛰어, 검색 중 토폴로지를 변경하는 결정에 비용이 큰 시뮬레이터 예산을 주로 할당한다. 6-구성요소 벤치마크에서 0.01의 엄격한 허용 오차 조건에서 EXPLORE는 원샷 생성 12%, 샘플링-필터 기준선 33%에서 성공률을 65%로 끌어올리고, 동일한 검색 예산 하에서 샘플링-필터 대비 MSE를 20% 이상 낮췄다. 이 결과는 EXPLORE가 아날로그 토폴로지 생성을 위해 구조화된 테스트 타임 검색과 LM 디코딩을 통합한 최초의 프레임워크임을 보여 주며, LLM 기반 설계 자동화를 스케일링(scaling)하기 위한 실용적인 진전이다.
인간 인지는 이해와 생성을 분리하지 않는다. 칠판 앞의 교사는 말과 그림을 함께 하며, 각 모달리티가 서로를 재형성한다. 본 논문에서는 이러한 결합 루프를 인공 시스템에 도입한다. 마스크 확산 모델(MDM)은 이 작업에 이상적으로 적합하지만, 기존 샘플러들은 텍스트와 이미지를 교차 디코딩하거나, 이전 단계 이력만 공유하고 동일 단계 내에서 다른 모달리티의 최신 결정은 공유하지 않는 병렬 분기에서 독립적으로 업데이트할 뿐이다. MDM의 재마스킹(remasking) 불가와 결합되면 교차 모달 모순은 감지되거나 복구되지 않는다. 우리는 한 모달리티의 전이율이 교차 모달 어텐션으로 가중된 다른 모달리티의 신뢰도 점수의 함수가 되는 프레임워크인 자기 교정 결합 마르코프 점프 과정(SC-CMJP)을 제안한다. 또한 재마스킹 점프는 교차 모달 증거가 결정에 반대될 순간 해당 확정을 철회한다. SC-CMJP와 함께, 결합 멀티모달 생성을 위한 새로운 학습 없는(training-free) 단일 패스 샘플러인 CO₂Jump(Self-Correcting Coupled Jump)를 제안한다. 학습 및 평가를 위해 JEdit-1M, JMaze-200K, JNono-200K의 세 가지 대규모 결합 멀티모달 생성 코퍼스를 구축했으며 공개할 예정이며, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 벤치마크를 함께 제공한다. CO₂Jump는 이미지 이해 및 편집뿐 아니라 시각적 추론(미로 및 논노그램 퍼즐 해결)에서도 최고의 결합 성능을 달성한다. 샘플러의 성능은 디노이징(denoising) 단계 수에 따라 단조(monotonically) 증가하며, 이는 교차 모달 결합의 이점이 궤적 전반에 걸쳐 누적(compound)됨을 보여준다. 프로젝트 페이지: https://coupled-jump.github.io
구조적 가지치기(structured pruning)는 대규모 언어 모델(LLM)을 압축하는 하드웨어 친화적인 방법이지만, 대부분 객관식 인식 과제에서 검증되는 반면, 동일한 압축 체크포인트는 실제 배포에 필요한 자유 형식 생성에서 붕괴할 수 있다. 이 격차를 설명하는 두 가지 관찰이 있다. 첫째, 탐욕적 pass@1은 압축 후 거의 사라지지만, pass@k는 반복 샘플링에서 상당히 회복된다: 유용한 생성은 지워진 것이 아니라 순위가 낮아진 것이다. 둘째, 회복 가능한 영역은 주로 접미사 반복을 통해 실패한다. 따라서 복구는 압축된 모델 자체의 온-정책 상태에서 밀집한 토큰 수준 감독으로 학습해야 하며, 온-정책 지식 증류(On-Policy Distillation, OPD)는 압축 이전 모델을 고정 교사로 재사용하여 이를 제공한다. 그러나 긴 온-정책 롤아웃은 초기 복구 예산을 정보가 적은 반복적 접미사에 소비하여 손실 하강을 지연시킨다. 이 낭비를 완화하기 위해, 교사가 확인한 반복적 접미사를 감지하고, 남아 있는 접두 문맥을 각 롤아웃의 유효 길이로 취급하며, 향후 롤아웃 예산을 정책이 현재 사용할 수 있는 유효 길이에 할당하는 짧은-에서-긴(short-to-long) OPD 스케줄인 ShortOPD를 제안한다. 수학, 코드, 개방형 생성 전반에 걸쳐, ShortOPD는 압축 모델의 점수를 복구되지 않은 값의 약 9배로, 표준 복구 기법(SFT w/o KD, KD, SeqKD) 대비 1.6–4.4배로 끌어올리며, 고정 8192-토큰 롤아웃 horizon을 2점 이내로 맞추면서 학습 시간의 4분의 1(8.5 vs. 35.9시간)과 71% 더 적은 롤아웃 토큰을 사용한다. 이 방법이 구조적 가지치기가 perplexity와 객관식 벤치마크에서의 미미한 향상을 넘어, 배포 가능한 생성 품질에 한 발 더 다가가도록 돕기를 바란다.
대규모 언어 모델(LLM) 기반 AI 교육 콘텐츠 생성 시스템이 점점 더 개발되고 있지만, 이를 체계적으로 평가할 표준화된 벤치마크는 아직 존재하지 않는다. 본 연구는 수학, � physics, 화학, 컴퓨터 과학에 걸친 240개 STEM 주제에서 647개의 사람이 작성한 수업과 LLM 기반 역공학(reverse-engineered) 수업 계획이 쌍을 이루는 벤치마크 데이터셋인 LessonBench-V1을 소개한다. 수업은 LibreTexts, Brilliant.org, GeeksForGeeks 등 97개의 신뢰할 수 있는 오픈 소스에서 가져왔다. 각 수업 계획은 사람의 검토를 거쳤으며, Bloom's Taxonomy, Gagné's Events, Merrill's First Principles, 5E Instructional Model을 종합하는 교육학적으로 근거 있는 방법론을 통해 생성되었다. 수업 계획은 교육학적 메타데이터와 함께 3,620개의 학습 목표를 포함하며, 수업 생성 AI 에이전트의 체계적이고 재현 가능한 평가와 추가 연구를 지원한다. 본 연구는 이 데이터셋과 함께 사용할 3차원 평가 파이프라인을 추가로 제안한다.
현대 LLM 배포에서는 비용, 지연 시간, 또는 반복을 줄이기 위해 양자화와 더 높은 샘플링 온도를 종종 함께 사용하지만, 안전성 평가는 보통 이를 고정된 구현 세부 사항으로 취급한다. FP16과 greedy decoding에서 안전한 모델이 양자화 및 확률적 샘플링 이후에도 안전한지, 아니면 두 요인이 서로를 증폭하는지 검증한다. 다섯 개 모델 계열의 인스트럭션 튜닝 모델 8개를 3가지 정밀도와 6가지 온도에 걸쳐 평가하여, 7개의 유해성 벤치마크에서 144개 구성을 다루고 약 200만 개의 응답을 생성하며, 이를 6개 심사 위원으로 구성된 안전성 앙상블이 채점한다. 저비트 배포가 정렬을 약화시킨다는 우려와 달리, 표준 양자화는 대략 안전성 중립적임을 확인한다. 8개 모델 중 7개에서는 AWQ INT4가 공격 성공률을 FP16 대비 약 1.6퍼센트 포인트 이내로 유지하거나 더 낮추며, 뚜렷한 성능 저하는 SmolLM3-3B(34.5%에서 44.1%)에서만 나타난다. 그러나 더 큰 위험은 샘플링에서 비롯된다. 더 높은 온도는 결정 불안정성을 급격히 증가시키며, 평균 ASR 변화는 완만할 때에도 T = 1.0에서 DFR이 41.9%에 달한다. 두 요인은 복합 작용하지 않는다. 복합 저하 지수(Compound Degradation Index)는 가법적(sub-additive) 범위(-0.071~+0.018)에 머무르며, 이는 양자화가 온도 유발 저하를 증폭하기보다 부분적으로 상쇄함을 나타낸다. 마지막으로, 벤치마크별 분석은 단일 벤치마크 평가가 위험을 심각하게 과소평가함을 보여준다. AdvBench에서 0%를 기록한 여러 모델이 ManyHarm에서는 80%를 초과한다. 따라서 표준 INT4/INT8 양자화는 잘 정렬된 모델에 대해 합리적일 수 있으나, 안전성 주장은 greedy decoding에서 단일 벤치마크에 의존하기보다 여러 벤치마크에 걸친 다중 샘플 안정성을 보고해야 한다.
OvisOCR2는 0.8B 규모의 문서 파싱 모델을 소개한다. OvisOCR2는 엔드투엔드(end-to-end) 파서로 설계되었으며, 문서 페이지 이미지가 주어지면 텍스트, 수식, 표, 시각 영역을 포함해 자연스러운 읽기 순서의 Markdown 표현을 생성한다. 필터링된 실제 문서 어노테이션과, 렌더링된 이미지와 Markdown 타깃이 동일한 HTML 소스에서 파생된 합성 페이지를 결합하는 데이터 엔진을 구축했다. 학습 방침에는 지도 미세조정, 다중 구성 요소 보상 설계를 적용한 4B 분기에서의 강화학습, 0.8B 모델로의 온-정책 증류(distillation), 모델 융합이 포함된다. OmniDocBench v1.6에서 OvisOCR2는 96.58의 최신 최고(state-of-the-art) 종합 점수를 달성하여, 이전에는 파이프라인(pipeline) 방식이 주도하던 리더보드 최상위에 엔드투엔드 모델을 올렸고, 엔드투엔드 문서 파싱의 잠재력을 부각한다. PureDocBench에서도 OvisOCR2는 75.06의 최고 Avg3 점수를 기록한다. 이 두 공개 벤치마크를 넘어, 더 넓은 범위의 롱테일(long-tail) 및 도전적인 시나리오를 포괄하도록 설계된 사내 벤치마크에서 OvisOCR2를 평가했으며, 비교 대상 방법들 중 최고의 종합 성능을 달성해 일반화와 견고성에 대한 추가적 증거를 제공한다. OvisOCR2는 https://huggingface.co/ATH-MaaS/OvisOCR2 에서 이용할 수 있다.
대규모 언어 모델(LLM)은 놀라운 성공을 거두었지만, 콘텐츠 출처와 오남용에 대한 우려가 커지면서 신뢰할 수 있는 워터마킹 기법의 필요성을 촉발하고 있다. 그러나 이러한 기법은 주로 두 가지 이유로 실무에서 거의 채택되지 않았다: i) 모델 성능의 심각한 저하, ii) 추가 추론 오버헤드. 이 문제를 확인하기 위해, 우리는 서로 다른 생성 태스크를 아우르는 포괄적인 벤치마크를 구축하여 9개의 대표적인 워터마킹 방법을 체계적으로 평가했다. 우리는 거의 모든 기존 방법이 텍스트 유창성을 위해 설계되었지 제한적이고 복잡한 태스크를 위해 설계되지 않았으며, 그 오버헤드가 지연 시간에 민감한 시스템에서의 배포를 막는다는 것을 발견했다. i)와 ii)를 해결하기 위해, 우리는 점점 더 인기를 끄는 전문가 혼합(MoE) LLM을 위한 LLM 워터마킹 방안 \textit{WaterMoE}를 제안한다. WaterMoE는 각 라우터에서 전문가 선택에 제어된 섭동을 통해 워터마킹 신호를 내장하며, 이는 최종 출력에서 토큰 선택 변화로 누적된다. 후처리 토큰 샘플링 접근법으로서의 워터마킹과 달리, WaterMoE는 추론 루프 내에 워터마크를 내장하여 무시할 수 있는 품질 저하와 계산 오버헤드만을 발생시킨다. 광범위한 실험을 통해 우리 방법이 워터마크가 없는 경우에 근접한 충실도 성능을 달성하고, 벤치마크에서 최신(state-of-the-art) 워터마킹 방법들을 지속적으로 능가하며, 최대 $4\times$ 속도 향상을 달성하고 네이티브 생성 대비 추가 추론 지연 시간이 단 1%에 불과함을 보여준다. 결과는 WaterMoE가 실제 태스크에 배포될 수 있는 능력을 보여준다.