대규모 언어 모델(LLM)은 협력 글쓰기에서 공동 저자로 점점 더 많이 활용되고 있으며, 사용자는 거친 초안으로 시작하여 LLM이 내용을 완성·수정·다듬도록 의존한다. 그러나 이 기능은 심각한 안전성 위협을 수반한다. 악의적인 사용자가 미완성 초안에 위험한 내용을 채워 넣는 방식으로 모델을 탈옥(jailbreak)시켜 유해한 출력을 강제로 생성하게 할 수 있다. 본 논문에서는 현재 LLM이 이러한 초안 기반 공동 저술 탈옥 공격에 취약하다는 점을 규명하고, 이 새로운 위협에 대한 LLM의 견고성을 평가하기 위해 체계적인 벤치마크인 HarDBench를 제안한다. HarDBench는 폭발물, 마약, 무기, 사이버공격 등 다양한 고위험 도메인을 포괄하며, 유해한 완성 결과에 대한 모델 취약성을 평가하기 위해 현실적인 구조와 도메인 특화 단서를 갖춘 프롬프트를 제공한다. 이 위험을 완화하기 위해 선호 최적화(preference optimization)에 기반한 안전성-유용성 균형 정렬(alignment) 방법을 제안하며, 모델이 유해한 완성은 거부하면서도 무해한 초안에는 유용하게 반응하도록 학습시킨다. 실험 결과, 기존 LLM은 공동 저술 맥락에서 매우 취약하며, 제안된 정렬 방법이 공동 저술 역량의 성능 저하 없이 유해한 출력을 크게 줄이는 것으로 나타났다. 본 연구는 인간-LLM 협력 글쓰기 환경에서 LLM을 평가하고 정렬하는 새로운 패러다임을 제시한다. 새로운 벤치마크와 데이터셋은 프로젝트 페이지(https://github.com/untae0122/HarDBench)에서 공개되어 있다.
숙련된 스토리텔러는 이야기를 국소적인 내러티브 전략과 이러한 전략이 상위 수준의 아크를 형성하는 방식으로 분해한다. 이러한 분해는 작가들이 타인의 작품에서 패턴을 인식하고 그 패턴을 새로운 이야기를 전달하는 데 적용하는 데 도움을 준다. 그러나 초보자들은 이러한 전략을 식별하거나 효과적으로 재사용하는 데 어려움을 겪는다. 본 논문에서는 초보 작가들이 예시 이야기에서 내러티브 전략을 인식하고 이를 자신의 글쓰기에 재활용할 수 있도록 돕는 새로운 글쓰기 도구인 Narrix를 제안한다. Narrix는 예시 이야기의 전략을 분석하고, 색상으로 구분된 어휘적 단서와 설명으로 이를 강조하며, 감정적 전환과 전환점을 통한 탐험을 위해 인터랙티브 스토리 아크 위에 배치한다. 그런 다음 작가들은 전략을 다차원 트랙에 드래그하고 블록 범위 편집을 적용하여 지정된 전략에 의해 제어되는 생성을 통해 초안을 수정하거나 이어서 작성한다. 피험자 내 연구(N=12)를 통해 Narrix는 기준선 채팅 기반 글쓰기 인터페이스에 비해 참가자들의 내러티브 전략 기억, 자신감, 창의적 적용을 향상시키는 것으로 나타났다.
온라인 플랫폼과 사용자 콘텐츠의 성장은 다양한 미디어 유형의 복잡한 입력을 처리할 수 있는 강력한 콘텐츠 모더레이션 시스템을 필요로 한다. 대규모 언어 모델(LLM)은 효과적이지만, 높은 연산 비용과 지연 시간은 확장 가능한 배포에 있어 상당한 과제를 제시한다. 이를 해결하기 위해 우리는 외부 프레임워크를 활용하여 콘텐츠 안전 모더레이션을 위해 파인튜닝된 소형 언어 모델(SLM)인 Tool-MCoT를 소개한다. LLM이 생성한 도구 증강 사고의 연쇄(Chain-of-Thought) 데이터로 모델을 학습시킴으로써, SLM이 추론 및 의사결정을 향상시키기 위해 이러한 도구들을 효과적으로 활용하는 방법을 학습할 수 있음을 보여준다. 실험 결과, 파인튜닝된 SLM은 유의미한 성능 향상을 달성한다. 나아가, 해당 모델이 이러한 도구들을 선택적으로 사용하는 방법을 학습하여, 필요한 경우에만 도구를 호출함으로써 모더레이션 정확도와 추론 효율성 간의 균형을 달성할 수 있음을 보인다.
인간 데이터 어노테이션(annotation), 특히 전문가가 참여하는 경우는 흔히 객관적인 참조 기준으로 간주된다. 그러나 많은 어노테이션 작업은 본질적으로 주관적이며, 어노테이터의 판단은 시간이 지남에 따라 변화할 수 있다. 본 연구는 사회적 영향 인식 과정에서 역량(competence) 관점으로 어노테이터 작업의 질적 변화를 조사한다. 연구에는 전문가와 비전문가를 포함한 다섯 그룹의 어노테이터 25명이 참여하였으며, 이들은 20가지 사회적 영향 기법과 함께 의도, 반응, 결과가 포함된 1,021개의 대화로 구성된 데이터셋에 어노테이션을 수행하였다. 비교 분석을 위해 초기 150개 텍스트 하위 집합을 주요 어노테이션 과정 전후에 각각 한 번씩, 총 두 차례 어노테이션하였다. 역량 변화를 측정하기 위해 어노테이션 데이터의 정성적·정량적 분석, 어노테이터와의 반구조화 인터뷰, 자기평가 설문조사, 비교 데이터셋을 활용한 대규모 언어 모델(LLM) 학습 및 평가를 결합하였다. 결과는 어노테이터의 자기 인식 역량과 자신감이 유의미하게 향상되었음을 보여준다. 또한 데이터 품질에서 관찰된 변화는 어노테이션 과정이 어노테이터 역량을 강화할 수 있으며, 이 효과가 전문가 그룹에서 더 두드러짐을 시사한다. 어노테이터 역량의 관찰된 변화는 해당 어노테이션 데이터로 학습된 LLM의 성능에 가시적인 영향을 미친다.
대규모 언어 모델(LLM)이 이슬람 지식 관련 질의에 점점 더 많이 활용되고 있지만, 핵심 이슬람 학문 분야 전반에 걸쳐 모델 성능을 평가하는 포괄적인 벤치마크는 존재하지 않았다. 본 논문에서는 IslamicMMLU를 소개한다. 이는 세 가지 트랙—꾸란(2,013문항), 하디스(4,000문항), 피크흐(이슬람 법학, 4,000문항)—에 걸쳐 총 10,013개의 객관식 문항으로 구성된 벤치마크이다. 각 트랙은 이슬람 지식의 다양한 측면을 다루는 LLM의 역량을 평가하기 위해 여러 유형의 문항으로 구성된다. 이 벤치마크는 LLM 평가를 위한 IslamicMMLU 공개 리더보드 구축에 활용되었으며, 초기 평가 대상은 26개 LLM으로, 세 트랙 평균 정확도는 39.8%에서 93.8%(Gemini 3 Flash) 사이에 분포하였다. 꾸란 트랙은 가장 넓은 점수 분포(32.4%~99.3%)를 보였으며, 피크흐 트랙에는 마드합(이슬람 법학파) 바이어스 탐지 과제가 포함되어 모델별로 법학파 선호도가 다양하게 나타남을 밝혔다. 아랍어 특화 모델들은 혼재된 결과를 보였으며, 모두 최신 프론티어 모델 대비 낮은 성능을 기록하였다. 평가 코드와 리더보드는 공개적으로 제공된다.
우리는 비전-언어 모델(VLM)에서의 문맥 의존적 어포던스(affordance) 계산 현상을 규명한다. 주요 연구에서는 Qwen3-VL-30B-A3B를 사용하며(COCO-2017에서 추출한 7개의 에이전트 페르소나 하에 479개 이미지로 구성된 $n = 3{,}213$개의 장면-문맥 쌍), LLaVA-1.5-13B를 통한 교차 모델 복제 실험을 수행한다. 우리는 상당한 어포던스 드리프트를 실증한다: 문맥 조건 간 평균 Jaccard 유사도는 $0.095$(95% 신뢰구간 $[0.092, 0.097]$, $N = 479$개 이미지, $9{,}244$개 프라임 쌍, $p < 0.0001$)로, 어휘적 장면 기술의 90% 이상이 문맥 의존적임을 나타내며, LLaVA 복제 실험에서도 동일한 효과가 재현된다(평균 $J = 0.160$, 84% 문맥 의존적). 문장 수준 코사인 유사도는 의미적 수준에서의 드리프트를 확인한다(평균 $= 0.415$, 58.5% 문맥 의존적). 확률적 기준선 실험(4개의 온도 및 5개의 시드에 걸친 $2{,}384$회 추론 실행)은 이것이 생성 노이즈가 아닌 실제 문맥 효과를 반영함을 확인한다: 모든 조건에서 프라임 내 분산이 프라임 간 분산보다 현저히 낮다. 부트스트랩 안정성 분석($n = 1{,}000$회 리샘플링)을 동반한 Tucker 분해는 안정적인 직교 잠재 요인을 드러낸다: 요리사 문맥에 격리된 "Culinary Manifold"와 아동-이동성 대조를 아우르는 "Access Axis". 어휘적 측정(90%)과 의미적 측정(58.5%) 간의 격차는 문맥 전환 시 표면적 어휘가 기저 의미보다 더 많이 변화함을 나타낸다. 이러한 발견들은 로보틱스를 위한 방향을 제시한다: 정적 세계 모델링이 아닌 동적이고 쿼리 의존적인 온톨로지 투영(JIT 온톨로지). 우리는 처리 순서나 아키텍처적 우선성을 확립하려 주장하지 않으며, 그러한 주장은 출력 동작을 넘어서는 내부 표현 분석을 필요로 한다.
이산 확산 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성한다. 그러나 표준 dLLM은 각 디노이징 단계에서 현재의 하드 마스킹된 시퀀스만을 조건으로 삼으며, 중간 연속 표현은 샘플링 및 재마스킹 후 폐기된다. 우리는 이 병목 현상을 **정보 고립(Information Island)** 문제라 명명한다: 연속적 정보는 개별 디노이징 단계 내에 고립된 채로 머물며 전체 궤적에 걸쳐 전파되지 못한다. 이 병목은 특히 추론에 해롭다. 추론은 여러 디노이징 단계에 걸쳐 중간 추론 상태가 보존되고 갱신될 것을 요구하기 때문이다. 이 한계를 해결하기 위해 우리는 **MetaState**를 제안한다. MetaState는 동결된 dLLM 백본에 영속적이고 고정 크기의 작업 메모리를 부여하는 경량 순환 증강 기법이다. MetaState는 공유 시간 컨디셔너를 가진 세 모듈로 구성된다: 백본 활성화를 메모리 슬롯으로 읽어들이는 크로스 어텐션 **Mixer**, 단계 간 정보를 통합하는 GRU 방식의 **Updater**, 그리고 갱신된 메모리를 백본에 다시 기록하는 크로스 어텐션 **Injector**이다. 우리는 이 모듈들을 다단계 동역학 학습을 위한 전용 $K$-스텝 언롤링 파이프라인으로 학습시킨다. MetaState는 백본을 동결한 상태에서 학습 가능한 파라미터를 약 0.6%만 추가하면서, 수학적 추론 및 코드 생성 벤치마크에서 동결 기준선 대비 추론 성능을 일관되게 향상시키며, 전체 평가에서 평균 4.5 퍼센트포인트의 성능 향상을 달성한다.
검색-증강 생성(RAG)은 외부 지식에 기반하여 생성을 수행함으로써 대규모 언어 모델(LLM)의 사실성을 높이고 환각을 줄인다. 그러나 대부분의 배포 환경은 중앙 집중식 코퍼스를 전제로 하며, 이는 지식이 사일로에 격리된 프라이버시 민감 도메인에서는 실현 불가능하다. 이러한 배경에서 연합 RAG(FedRAG)가 동기를 얻는데, 이는 중앙 LLM 서버가 원문 문서를 공유하지 않고 분산된 사일로와 협력하는 방식이다. 컨텍스트 내 RAG는 원문 문서를 전송함으로써 이 요건을 위반하는 반면, 파라메트릭 RAG는 문서를 경량 어댑터로 인코딩하여 추론 시 동결된 LLM과 병합함으로써 원문 교환을 피한다. 우리는 파라메트릭 접근법을 채택하지만, FedRAG에서 발생하는 두 가지 고유한 과제에 직면한다: 문서별 어댑터로 인한 높은 저장 및 통신 비용, 그리고 복수의 어댑터를 무차별적으로 병합할 때 발생하는 파괴적 집계이다. 우리는 파라메트릭 어댑터 기반의 최초 연합 RAG 프레임워크인 FedMosaic를 제안한다. FedMosaic는 의미적으로 연관된 문서를 문서별 마스크를 갖는 다중 문서 어댑터로 클러스터링하여 특이성을 유지하면서 오버헤드를 줄이고, 관련성이 정렬되고 충돌하지 않는 어댑터만을 결합하는 선택적 어댑터 집계를 수행한다. 실험 결과, FedMosaic는 네 가지 범주에서 최신 방법 대비 평균 10.9% 높은 정확도를 달성하는 동시에, 저장 비용을 78.8%~86.3% 절감하고 통신 비용을 91.4% 절감하며, 원문 문서를 일절 공유하지 않는다.
사회과학 및 의학 전반에서, 연구자들은 연구 시작 전에 계획된 연구 활동을 명시하는 것(즉, '사전등록')이 과학의 투명성과 엄밀성 모두에 이점이 있음을 인식하고 있다. 그럼에도 불구하고, 연구 사전등록이 자주 검토되지 않는다는 증거가 있으며, 이는 그 효과를 최소화한다. 어떤 면에서 이는 놀라운 일이 아니다. 사전등록과 논문을 수동으로 대조하는 것은 많은 노력과 시간이 소요되며, 다양한 형식에 걸친 세심한 읽기와 여러 분야에 걸친 전문 지식을 필요로 하기 때문이다. AI의 등장은 이러한 활동을 촉진하는 데 새로운 가능성을 열어준다. 우리는 RegCheck를 제시한다. 이는 다양한 과학 분야의 연구자, 검토자, 편집자들이 연구 사전등록과 해당 논문을 비교하는 데 도움을 주도록 설계된 모듈형 대규모 언어 모델(LLM) 보조 도구이다. 중요하게도, RegCheck는 (i) 어떤 특징을 비교할지 결정하는 주체가 사용자임을 보장하고, (ii) 각 특징과 관련된 가장 연관성 높은 텍스트를 사용자에게 제시하여 인간의 불일치 판단을 대체하는 것이 아닌 촉진함으로써, 인간의 전문성과 판단을 루프 내에 유지한다. RegCheck는 또한 고유한 RegCheck ID가 포함된 공유 가능한 보고서를 생성하여 다른 사용자들이 쉽게 공유하고 검증할 수 있도록 한다. RegCheck는 과학적 영역뿐만 아니라 사전등록 및 출판 형식 전반에 걸쳐 적응 가능하도록 설계되었다. 본 논문에서 우리는 RegCheck의 동기, 워크플로우, 설계 원칙에 대한 개요를 제공하고, 사용 사례 예시를 통해 재현 가능한 과학을 위한 확장 가능한 인프라로서의 잠재력을 논의한다.
전문가 혼합(MoE)이 조건부 연산을 통해 용량을 확장하는 반면, 트랜스포머는 지식 검색을 위한 기본 프리미티브가 없어 연산을 통해 비효율적으로 검색을 시뮬레이션해야 합니다. 이를 해결하기 위해, 우리는 보완적인 희소성 축으로서 조건부 메모리를 도입합니다. 이는 O(1) 검색을 위해 고전적인 N-gram 임베딩을 현대화한 모듈인 Engram을 통해 구현됩니다. 희소성 할당 문제를 공식화함으로써, 신경망 연산(MoE)과 정적 메모리(Engram) 간의 트레이드오프를 최적화하는 U자형 스케일링 법칙을 발견합니다. 이 법칙에 따라 Engram을 270억 매개변수까지 확장하여, 동일 매개변수 및 동일 FLOPs의 MoE 기준선 대비 우수한 성능을 달성합니다. 특히, 메모리 모듈이 지식 검색에 기여할 것으로 예상되었으나(예: MMLU +3.4; CMMLU +4.0), 일반 추론(예: BBH +5.0; ARC-Challenge +3.7) 및 코드/수학 영역(HumanEval +3.0; MATH +2.4)에서 더욱 큰 성능 향상이 관찰되었습니다. 메커니즘 분석을 통해 Engram이 백본의 초기 레이어를 정적 재구성 부담에서 해방시켜 복잡한 추론을 위해 네트워크를 효과적으로 심화시키는 것이 밝혀졌습니다. 또한, 로컬 의존성을 검색에 위임함으로써 글로벌 컨텍스트를 위한 어텐션 용량을 확보하여 장문 컨텍스트 검색 성능을 크게 향상시킵니다(예: Multi-Query NIAH: 84.2 → 97.0). 마지막으로, Engram은 인프라 인식 효율성을 확립합니다: 결정론적 주소 지정 방식을 통해 호스트 메모리에서의 런타임 프리페칭이 가능하며 무시할 수 있는 수준의 오버헤드만 발생합니다. 우리는 조건부 메모리를 차세대 희소 모델을 위한 필수적인 모델링 프리미티브로 전망합니다.
배경: 대규모 언어 모델(LLM)은 체계적인 바이어스를 내포하고 있으며, 이는 채용, 직무 설계, 조직 의사결정에 LLM의 출력이 점점 더 큰 영향을 미치는 직장 및 HR 맥락에서 특히 중대한 문제이다. 기존의 바이어스 평가 접근법은 방법론적으로 분산되어 있어, 실무자들이 배포 위험을 평가하는 데 한계가 있다. 목적: 본 연구는 LLM의 방향성 출력 수준 바이어스를 정량화하고 비교하기 위한 다국어 이중 프레이밍 프레임워크인 BiasLab을 소개하며, 직장 및 HR 관련 6개 주제에 걸쳐 이를 시연한다. 방법: BiasLab은 대칭적 긍정·역방향 프롬프트 쌍, 무작위화된 래퍼 변형, 고정 선택지 응답 제약, 극성 정렬 점수화를 결합한다. 10개의 LLM을 6개 주제(리더십에서의 성별, 고용 공백 지원자, 채용에서의 연령, 원격 대 사무실 근무, 주 4일 대 5일 근무제, AI 보조 대 인간 단독 채용)에 걸쳐 12개 언어, 프레이밍 방향별 30회 반복으로 평가하여 총 43,200개의 응답을 산출하였다. 결과: 모든 10개 모델은 모든 주제에서 일관된 방향성 선호를 보였다. 반복적으로 나타난 비대칭 패턴은 모델들이 선호하지 않는 주장을 반박할 때, 그 반대 주장을 지지할 때보다 더 강하게 거부한다는 것으로, 이는 단일 프레임 설계에서는 드러나지 않는 특성이다. 결론: BiasLab은 모델 간 방향성 선호를 측정하기 위한 표준화되고 재현 가능한 도구를 제공한다. 특정 선호가 공정성 측면에서 바이어스를 구성하는지 여부는 주제에 따라 다르다. 성별, 연령과 같은 보호 속성의 경우 균등 고용 기준에 부합하는 반면, 그 외의 경우에는 체계적 선호로 보는 것이 더 적절하다. 이 프레임워크를 통해 조직은 채용에 모델을 도입하기 전에 모델들을 비교하고 검증할 수 있다.
대규모 언어 모델(LLM)의 최근 발전으로, 다단계 추론과 증거 기반 합성을 통해 전문가 수준의 보고서를 생성하는 심층 연구 시스템이 가능해졌다. 그러나 이러한 보고서를 평가하는 것은 여전히 어렵다. 보고서 품질은 다면적이어서 무엇을 평가할지, 어떤 기준을 사용할지 결정하기 어렵고, LLM 기반 판정 모델은 도메인 전문 지식이 필요한 오류를 놓칠 수 있으며, 심층 연구가 검색된 증거에 의존하기 때문에 보고서 전반에 걸친 주장 검증도 필요하다. 이러한 문제를 해결하기 위해 우리는 전문가 수준의 심층 연구 보고서를 평가하는 벤치마크인 DEER를 제안한다. DEER는 전문가가 개발한 분류 체계(7개 차원, 25개 하위 차원)를 101개의 세분화된 루브릭 항목으로 운용하여 평가 기준을 체계화한다. 또한 LLM 기반 판정을 지원하기 위한 과제별 전문가 평가 가이던스를 제공한다. 루브릭 기반 평가 외에도, 인용된 주장과 인용되지 않은 주장을 모두 검증하고 증거 품질을 정량화하는 주장 검증 아키텍처를 제안한다. 실험 결과, 현재 시스템들은 구조적으로 그럴듯하고 증거를 인용한 보고서를 생성하지만, 전문가 수준의 사용자 요청을 완전히 충족시키고 논리적 완결성을 달성하는 데는 여전히 어려움을 겪고 있음을 보여준다. 성능 비교를 넘어, DEER는 시스템의 강점과 한계를 해석 가능하게 하고 개선을 위한 진단 신호를 제공한다.
금융 데이터에서 효과적인 예측 신호, 즉 '알파'를 발굴하는 것은 높은 차원성과 극도로 낮은 신호 대 잡음비로 인해 여전히 해결되지 않은 어려운 문제로 남아 있다. 심층 학습(deep learning), 유전 프로그래밍(genetic programming), 그리고 최근의 대규모 언어 모델(LLM) 기반 팩터 생성 분야에서 진전이 있었음에도 불구하고, 기존 접근법들은 광대한 알파 탐색 공간의 좁은 영역만을 탐험(exploration)한다. 신경망 모델은 불투명하고 취약한 패턴을 생성하는 경향이 있는 반면, 기호적 또는 수식 기반 방법은 일반화 성능이 낮은 중복적이거나 경제적으로 근거 없는 표현을 산출하는 경우가 많다. 형태는 다르지만 이러한 패러다임들은 핵심적인 한계를 공유한다: 어느 것도 논리적 일관성과 창의적 도약의 균형을 맞추는 광범위하고 구조적이며 인간과 유사한 탐험을 수행할 수 없다. 이 격차를 해소하기 위해, 우리는 코드 수준 알파 표현과 LLM 기반 추론 및 진화적 탐색을 결합한 인지적 알파 발굴 프레임워크(CogAlpha)를 소개한다. LLM을 적응형 인지 에이전트(cognitive agent)로 취급하여, 우리의 프레임워크는 다단계 프롬프트와 금융 피드백을 통해 알파 후보를 반복적으로 정제·변이·재조합한다. 이 시너지적 설계는 더 깊은 사고, 더 풍부한 구조적 다양성, 경제적으로 해석 가능한 알파 발굴을 가능하게 하는 동시에 유효 탐색 공간을 크게 확장한다. 3개 주식 시장의 5개 주식 데이터셋에 대한 실험을 통해 CogAlpha가 기존 방법들에 비해 우수한 예측 정확도, 강건성, 일반화 능력을 갖춘 알파를 일관되게 발굴함을 입증한다. 우리의 결과는 자동화되고 설명 가능한 알파 발굴을 위해 진화적 최적화와 LLM 기반 추론을 정렬하는 것의 가능성을 부각시킨다.
Twitter(현 X)와 같은 소셜 미디어 플랫폼은 특히 COVID-19 팬데믹과 같은 위기 상황에서 공공 담론 분석을 위한 풍부한 데이터를 제공한다. 그러나 소셜 미디어 단문의 간결성, 비격식성, 노이즈는 전통적인 토픽 모델링의 효과를 저해하는 경우가 많아, 해석하기 어려운 비일관적이거나 중복된 토픽을 생성한다. 이러한 문제를 해결하기 위해 우리는 대규모 언어 모델(LLM)을 활용하여 토픽 모델링 이전에 원시 트윗을 보다 표준화되고 격식체인 언어로 재구성하는 모델 비종속적 프레임워크인 TM-Rephrase를 개발하였다. 25,027개의 COVID-19 관련 Twitter 게시물로 구성된 데이터셋을 사용하여, 일반적 재구성과 구어체-격식체 재구성의 두 가지 재구성 전략이 다양한 토픽 모델링 방법에 미치는 영향을 분석하였다. 실험 결과, TM-Rephrase는 토픽 모델링 성능을 측정하는 세 가지 지표(토픽 일관성, 토픽 고유성, 토픽 다양성)를 개선하는 동시에 대부분의 토픽 모델링 알고리즘에서 토픽 중복성을 감소시키는 것으로 나타났으며, 구어체-격식체 전략이 가장 큰 성능 향상을 보였고 특히 잠재 디리클레 할당(LDA) 알고리즘에서 두드러졌다. 본 연구는 공중 보건 관련 소셜 미디어 분석에서 토픽 모델링을 향상시키는 모델 비종속적 접근법에 기여하며, 건강 위기 및 기타 중요한 분야에서 공공 담론에 대한 이해를 개선하는 데 광범위한 함의를 제공한다.
Best-of-n 샘플링은 여러 후보 솔루션을 생성하고 가장 높은 보상(reward)을 받은 것을 선택함으로써 대규모 언어 모델(LLM)과 대규모 추론 모델(LRM)의 정확도를 향상시킵니다. 추론 과제에서의 핵심 과제는 정답에 접근하지 않고도 올바른 추론 체인을 식별할 수 있는 스코어링 함수를 설계하는 것입니다. 우리는 확률적 신뢰도 선택 및 랭킹(PiCSAR, Probabilistic Confidence Selection And Ranking)을 제안합니다. 이는 추론과 최종 답변의 결합 로그 가능도(joint log-likelihood)를 사용하여 각 후보 생성물에 점수를 매기는 간단하고 학습(training)이 필요 없는 방법입니다. 추론과 최종 답변의 결합 로그 가능도는 추론 신뢰도와 답변 신뢰도로 자연스럽게 분해됩니다. PiCSAR는 다양한 벤치마크에서 상당한 성능 향상을 달성하며(MATH500에서 +10.18, AIME2025에서 +9.81), 20개의 비교 중 16개에서 최소 2배 적은 샘플로 기준선을 능가합니다. 분석 결과, 올바른 추론 체인은 추론 신뢰도와 답변 신뢰도가 현저히 높게 나타나, PiCSAR의 효과성을 정당화합니다.
추론 시점 스티어링(inference-time steering)은 대규모 언어 모델(LLM)의 파라미터를 변경하지 않고 응답을 바꾸는 것을 목표로 하지만, 목표 행동을 가장 강하게 제어하는 내부 모듈을 식별하는 것이 핵심 과제이다. 기존 접근법은 단순한 단서나 임시방편적 휴리스틱에 의존하는 경우가 많아, 최적화되지 않거나 의도치 않은 효과를 초래한다. 우리는 트랜스포머 모델에서 행동 관련 모듈(어텐션 헤드 또는 레이어)을 식별하기 위한 프레임워크인 REAL을 제안한다. 각 모듈에 대해 REAL은 은닉 활성화에 대해 벡터 양자화 오토인코더(VQ-AE)를 학습시키고, 공유된 학습 가능한 코드북을 사용하여 잠재 공간을 행동 관련 및 행동 무관 부분 공간으로 분할한다. REAL은 VQ-AE 인코딩이 이진 분류(binary classification) 지표를 통해 행동 일치 응답과 행동 위반 응답을 얼마나 잘 구별하는지로 모듈의 행동 관련성을 정량화하며, 이 점수가 모듈 선택과 스티어링 강도를 모두 안내한다. 우리는 Llama 및 Qwen 계열의 8개 LLM과 진실성 향상, 지식 충돌 하의 개방형 QA, 일반 정렬(alignment) 태스크를 포괄하는 9개 데이터셋에서 REAL을 평가한다. REAL은 보다 효과적인 추론 시점 개입을 가능하게 하며, 진실성 스티어링에서 ITI 방법 대비 평균 20%(최대 81.5%)의 상대적 성능 향상을 달성한다. 또한, REAL이 선택한 모듈은 교차 도메인 진실성 스티어링 시나리오에서 강력한 제로샷(zero-shot) 일반화를 보인다.
최근 긴 사고의 연쇄(Chain-of-Thought, CoT) 기법을 통해 추론 능력을 갖춘 대규모 언어 모델(LLM) 개발에 있어 상당한 진전이 이루어졌다. 그러나 이 긴 CoT 추론 과정은 대용량 Key-Value(KV) 캐시로 인해 상당한 메모리 오버헤드를 유발한다. 사후 학습 KV 캐시 양자화는 유망한 압축 기법으로 부상하여 짧은 컨텍스트 시나리오에서 광범위하게 연구되어 왔다. 그러나 기존 방법을 긴 CoT LLM에 직접 적용하면 다음 두 가지 이유로 심각한 성능 저하가 발생한다: (1) 큰 누적 오류: 기존 방법들은 가용 메모리를 충분히 활용하지 못하며, 각 디코딩 단계에서 KV 캐시를 직접 양자화하여 큰 누적 양자화 오류를 초래한다. (2) 짧은 컨텍스트 보정: 회전 위치 임베딩(Rotary Positional Embedding, RoPE)으로 인해 보정 시 짧은 컨텍스트 데이터를 사용하면 Key 캐시 내 출현 빈도가 낮은 채널의 분포를 반영하지 못해 성능 손실이 발생한다. 우리는 위의 문제를 두 가지 측면에서 해결하기 위해 긴 CoT LLM을 위한 점진적 혼합 정밀도 KV 캐시 양자화(Progressive Mixed-Precision KV Cache Quantization, PM-KVQ)를 제안한다: (1) 누적 오류를 줄이기 위해 각 블록에서 KV 캐시의 비트 폭을 점진적으로 낮추는 점진적 양자화 전략을 설계한다. 이어서 민감도가 높은 트랜스포머 블록에 더 높은 비트 폭을 할당하는 블록 단위 메모리 할당을 제안한다. (2) 추가 오버헤드 없이 보정 길이를 늘리기 위해, 짧은 보정 데이터에 위치 보간(positional interpolation)을 적용하여 긴 컨텍스트 데이터의 분포를 근사하는 새로운 보정 전략을 제안한다. 7B~70B 규모의 긴 CoT LLM에 대한 광범위한 실험 결과, PM-KVQ는 동일한 메모리 예산 하에서 최신 기법(SOTA) 대비 추론 벤치마크 성능을 최대 8% 향상시키며, 원래 16비트 LLM 대비 2.73~5.18배의 처리량을 달성한다.
대규모 언어 모델(LLM)은 대규모 코드베이스 이해에 점점 더 많이 활용되고 있지만, 이 모델들이 긴 코드 컨텍스트의 실행 의미론을 이해하는지 아니면 패턴 매칭 단축에 의존하는지는 여전히 불분명하다. 우리는 어휘적 재현율(코드를 있는 그대로 검색하는 것)과 의미적 재현율(실행 의미론을 이해하는 것)을 구분한다. 10개의 최신 LLM을 평가한 결과, 프론티어 모델들은 위치에 무관하게 거의 완벽한 어휘적 재현율을 달성하는 반면, 코드가 긴 컨텍스트의 중앙에 위치할 때 의미적 재현율이 심각하게 저하됨을 발견했다. 우리는 태스크가 코드의 실행 의미론 이해를 요구하는지 아니면 패턴 매칭 단축을 허용하는지를 측정하기 위해 의미적 재현율 민감도를 도입한다. 새로운 반사실적 측정 방법을 통해, 우리는 모델들이 기존 코드 이해 벤치마크를 해결하는 데 패턴 매칭 단축에 크게 의존함을 보인다. 우리는 예측 불가능한 연산을 통해 높은 의미적 재현율 민감도를 달성하는 새로운 태스크 SemTrace를 제안한다. 관련 코드 스니펫이 입력 코드 컨텍스트의 중앙에 가까워질수록 LLM의 정확도는 심각한 위치 효과를 나타내며, 중앙값 정확도 하락이 CRUXEval의 53.36%에 비해 92.73%에 달한다. 이러한 연구 결과는 현재 평가 방법이 긴 컨텍스트 코드 이해에서 의미적 재현율 실패를 상당히 과소평가하고 있음을 시사한다.
현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.
장편 오디오 설명(AD)은 가시적인 행동을 묘사하는 것 이상을 요구한다. 시각 장애 및 저시력(BLV) 관객이 영화를 따라갈 수 있도록, 장면 전반에 걸쳐 등장인물, 사건, 관계, 이야기 맥락을 유지해야 한다. 최신 비디오-언어 모델(VLM)은 짧은 클립에서는 효과적이지만, 각 순간을 독립적으로 처리하는 경우가 많아 등장인물이 누구인지, 사건이 왜 중요한지, 현재 장면이 앞선 내러티브 맥락과 어떻게 연결되는지를 놓치는 설명을 생성한다. 우리는 이야기 인식 장편 AD를 위한 학습 없는 프레임워크인 StoryTeller를 제안한다. StoryTeller는 국소적인 시각 단서에만 의존하는 대신, 이야기와 관련된 정보를 장면에 걸쳐 전달하는 검증된 내러티브 메모리를 유지함으로써, 이후의 설명이 일관성을 갖추고 사실에 기반하며 맥락상 풍부한 정보를 담을 수 있도록 한다. 원본 영상과 영화 제목만 주어지면, StoryTeller는 선택적으로 공개 영화 메타데이터를 검색하여 이름과 이야기 맥락을 해소하는 한편, 의미론적 필터링과 VLM 검증을 통해 영상에 의해 뒷받침되는 사실만을 수용한다. 이 방법은 자막, 스크립트, AD 전사본, 정렬된 캡션, 등장인물 데이터베이스, 사전 계산된 얼굴 인식 정보, 또는 태스크별 미세조정을 필요로 하지 않는다. 생성된 AD가 내러티브 정보를 보존하는지 평가하기 위해, 우리는 언어 모델이 생성된 설명만을 사용하여 이야기 맥락 질문에 답할 수 있는지를 검증하는 질의응답 벤치마크인 StoryAD-QA를 도입한다. 표준 AD 벤치마크와 다양한 장편 영상에 대한 실험 결과, StoryTeller는 자동 평가, QA 기반 평가, 인간 평가 모두에서 강력한 기준 모델 대비 내러티브 일관성, 사실적 그라운딩, 이야기 이해도를 일관되게 향상시킴을 보인다.