개정된 Bloom의 분류 체계를 척도로 삼아 대규모 언어 모델(LLM)이 프로그래밍 과제의 교수적 의도를 유지하면서 인지적 요구 수준을 조정할 수 있는지 측정하는 프레임워크를 제안하며, Qwen3-Next 계열 2,520개 과제 평가에서 두 모델 모두 인지 수준을 높이는 데는 안정적이지만 낮추는 데 어려움을 겪는 방향적 비대칭성을 밝힌다. 코드 실행 성능이 우수하더라도 Bloom 정렬 교육적 제어 능력이 자동으로 수반되지 않음을 층별 Fisher 판별 비율 프로빙과 의미론적 델타 클러스터링으로 추가 규명한다.
Gemini 2.5 Flash, 3.5 Flash, 3.1 Pro 모델을 전이중(full-duplex) 음성 에이전트 대화 평가자로 활용할 때의 신뢰성을 209개 스테레오 세션과 3명의 보정된 인간 평가자를 기준으로 검증한 결과, 8개 평가 차원 중 5개에서 LALM-인간 간 Spearman rho가 인간 간 합의 수준과 동등하게 나타났다. 인간 단독 평가 대비 약 100배 낮은 비용으로 증거가 뒷받침되는 차원에서 LALM을 대체 또는 4번째 평가자로 배포할 수 있는 경험적 근거를 제시하며, 모델 교체 시에는 순위 상관관계 외에 보정(calibration) 측면의 재검증이 필요함을 강조한다.
GRPO 방식의 강화학습에서 균일한 크레딧 할당이 문맥상 오류 있는 저확률 꼬리 토큰을 무분별하게 강화하는 '양성 크레딧 오염(Positive-Credit Contamination)' 문제를 규명하고, 이를 해결하기 위해 각 토큰의 꼬리 위험 점수를 계산해 양성 크레딧을 보정하는 TACO를 제안한다. 3개 LLM과 8개 벤치마크 실험에서 TACO는 GRPO 기반 모델 대비 일관된 성능 향상과 학습 안정성 개선을 달성했다.
Measuring the practice of shared-decision making (OPTION12): An Investigation into Open-sourced Smaller LLMs (OS-sLLMs) for Better Privacy and Sustainability
OPTION12 프레임워크를 활용한 공유 의사결정(SDM) 자동 평가에 오픈소스 소형 언어 모델(OS-sLLMs)을 적용한 LLM4SDM 연구로, 네덜란드어 흑색종 상담 전사본을 대상으로 범용·의료 도메인 모델 5종을 비교한 결과 의료 도메인 모델은 심각한 환각과 인스트럭션 수행 실패를 보인 반면 Gemma3:12b가 인간 주석과 가장 높은 상관관계(Pearson r=0.51)를 달성했다. 현재 OS-sLLMs이 인간 주석자를 완전히 대체하기는 어렵지만, 프라이버시를 보호하는 휴먼-인-더-루프 SDM 평가 자동화를 위한 Judge-LLM 합의 프레임워크를 제안하며 유망한 가능성을 제시한다.
기본 상태의 대규모 언어 모델(LLM)이 인지행동치료(CBT) 이론 지식(면허 시험 96% 정확도)을 갖추고도 실제 대화에서는 상황에 무관하게 검증·반영 패턴으로 수렴하는 문제를 다루며, 사용자 서술을 Beck의 인지 개념화 구조로 분해하고 SNOMED CT 개념으로 근거를 마련한 뒤 다중 사고의 연쇄(MCoT) 전략 선택을 적용하는 지식 유도 프레임워크를 제안한다. 행동 변화 측정을 위한 새로운 지표 Protocol Leverage Force(F)를 도입하여 평가한 결과, MCoT가 단일 Chain-of-Thought 프롬프팅보다 전략 선택을 개선하지만 효과는 1% 이내에 그치며 모든 모델이 여전히 검증·반영 편향을 유지함을 보였다.
금융·의료 등 규제 도메인에서 개인정보 제약으로 실제 음성 수집이 어려운 환경을 위해, SLAM-ASR 아키텍처의 LLM 백본을 분석하여 합성 음성과 실제 음성의 판별 신호가 초기~중간 레이어에 집중됨을 규명했다. 실내 충격 응답(RIR) 증강이 합성 음성의 자연스러움을 높이는 것이 아니라 실제 녹음의 음향적 불규칙성을 재현함으로써 도메인 격차를 좁힌다는 사실을 발견하고, 레이어 선택 모듈과 RIR 증강을 결합해 실제 음성 25%만으로도 전체 실제 데이터 기준선에 필적하는 ASR 성능을 달성했다.
슈퍼 가중치(Super Weight)를 단독으로 파인튜닝하면 OLMo-1B/7B에서 정확도가 무작위 추측 수준으로 붕괴하는 반면, 전체 레이어에 걸쳐 저랭크 구조로 업데이트하는 LoRA는 전체 파라미터의 0.16%만으로도 성공함을 보여, 파라미터의 중요도가 단독 학습 가능성을 보장하지 않음을 실험적으로 확립한다.
추측적 디코딩(speculative decoding)의 엄격한 분포 보존 요건을 완화하는 학습 불필요(training-free) 기법들을 통합 프레임워크로 정리하고 AIME 2024, GPQA Diamond, LiveCodeBench 등 현대적 벤치마크에서 실험적으로 평가했다. 주요 발견으로, 완화된 방식은 무손실 추측적 디코딩과 달리 성능 평가 비용이 크게 증가하며, 드래프터(drafter)가 충분히 강력한 언어 모델이어야 효과적이므로 경량 다중 토큰 예측(multi-token-prediction) 드래프터에는 적합하지 않음을 보였다.
BiSCo-LLM은 코드북 없이 가중치를 단위 초구(unit hypersphere)에 매핑한 뒤 이진 구면 코드로 변환하는 잔차 BSQ 단계와 카테고리별 복구 지식 증류를 결합해 대규모 언어 모델(LLM)을 극저비트(~2비트)로 압축하는 프레임워크다. Qwen3-8B 기준으로 FP16 대비 WikiText-2 perplexity 10.18(FP16: 9.73), 7개 태스크 평균 다운스트림 정확도 68.05(FP16: 69.92)를 달성해 명시적 코드북 없이도 2비트 수준에서 모델 성능을 효과적으로 보존함을 보였다.
질병 온톨로지(disease ontology)와 타겟 단백질 서열을 동시에 조건으로 활용하는 생성 모델 DrugGen-2는 GPT-2를 기반으로 지도 파인튜닝과 GRPO 강화학습을 순차 적용해 개발되었다. 당뇨병성 신증 관련 5개 단백질 타겟 평가에서 DrugGPT 및 DrugGen 대비 고유 분자 생성 수, 구조적 유효성, 승인 약물과의 유사도, 예측 결합 친화도 모두에서 유의미하게 높은 성능을 달성하였다.
LLM 에이전트 궤적 로그의 출처 귀속(attribution)을 위협하는 재판매자 공격—삭제 및 LLM 기반 재작성—에 동시에 강건한 워터마크 프레임워크 TRACE를 제안하며, 내용 키 기반 선택 채널과 위치 키 기반 집계 채널을 중첩해 행동 선택의 왜곡 없이 두 공격 방향을 독립적으로 방어한다. ToolBench와 ALFWorld 실험에서 TRACE는 워터마크 미적용 에이전트와 동등한 성공률을 유지하면서 장기 궤적 기준 z ≈ 100의 감지 점수를 달성하고, 70% 단계 삭제와 임의 강도의 LLM 재작성 공격 하에서도 각 채널의 감지 능력을 보존함을 보인다.
대규모 언어 모델(LLM)의 의미론적 임베딩에서 생성되는 밀도 행렬(density matrix)의 고유값(eigenvalue)을 보정하는 새로운 프레임워크를 제안하며, LLM을 밀도 행렬 예측기로 해석하고 온도 스케일링(temperature scaling)을 고유값에 적용해 불확실성 정량화를 이론적으로 정립한다. 다양한 실험을 통해 현재 LLM들이 체계적으로 과신(overconfident) 성향을 보임을 확인하고, 고유값 보정이 기대 보정 오차(ECE)를 효과적으로 낮춤을 검증한다.
ArtMine은 기록 문서, 서신, 기술 보고서 등 이질적인 역사적 증거로부터 예술적 창작 과정을 발견하고 형식화하는 에이전트 프레임워크로, 퍼스식 귀추 에이전트(Peircean abductive agent)가 증거 기반 제작 단계를 추론한 뒤 자기반성(self-reflection)을 통해 생성 결과물과 참조 작품 간의 편차를 최적화한다. 완성된 결과물의 분포가 아닌 창작 과정 자체를 모델링함으로써, 단편적 문서 증거로부터 일관성 있고 감사 가능한 예술 워크플로 표현을 지원하는 과정 중심 인간-AI 공동 창작 시스템을 지향한다.
강화학습의 개방형 커리큘럼 설계에서 에이전트의 학습 진행 상황을 평가하기 위해 스칼라 점수나 텍스트 요약 대신, 에피소드 영상을 비디오 언어 모델(VLM)에 직접 입력하는 정책 시각적 검사(VIP, Visual Inspection of Policies) 방법을 제안한다. StarCraft Multi-Agent Challenge(SMAC) 실험에서 경량 오픈소스 VLM인 VideoLLaMa2-7B를 활용한 VIP가 텍스트 기반 어블레이션 및 스칼라 점수 기반 커리큘럼 방법들보다 더 효과적인 다중 에이전트 커리큘럼을 생성함을 실증적으로 보인다.
AI 개발자들은 이중 사용(dual-use) 딜레마에 직면해 있다. 한 사용자가 질병을 치료하는 데 도움이 되는 AI 기능이 다른 사용자에게는 질병을 합성하는 데 악용될 수 있다. 이 딜레마는 정당한 필요가 있는 신뢰할 수 있는 배포 환경에만 이중 사용 AI 기능을 제한하는 접근 제어(access control)를 통해 해결될 수 있다. 접근 제어의 황금 표준은 서로 다른 사용자에게 서로 다른 기능을 가진 별도의 모델을 제공하는 것이다. 그러나 여러 모델을 학습하고 배포하는 것은 비용이 지나치게 많이 든다. 이 문제를 해결하기 위해, 우리는 신경망에 모듈을 추가하고 이를 선택적으로 업데이트하여 전문화를 유도하는 사전학습 방법인 그래디언트 라우팅 보조 모듈(GRAM, gradient-routed auxiliary modules)을 제안한다. 추론 시 모듈을 제거(ablating)하면 해당 기능이 네트워크에서 제거되며, 이는 필터링된 데이터로 학습된 모델에 근사한다. 우리는 바이러스학, 사이버보안, 핵물리학, 특수 코드를 포괄하는 합성 스토리와 현실적인 이중 사용 데이터에서 GRAM을 평가한다. 이 실험들은 GRAM이 나머지 기능을 보존하면서 목표 기능을 비활성화하고, 사후(post-hoc) 언러닝(unlearning)보다 파인튜닝을 통한 기능 복원에 더 잘 저항함을 보여준다. 가장 중요한 것은, 5천만에서 50억 파라미터에 걸친 Chinchilla-최적 스케일링 분석에서, 데이터 필터링 모델과 전체 데이터 모델 간의 격차가 제거된 기능에서는 규모가 커질수록 넓어지지만 유지된 기능에서는 작게 유지되며, GRAM이 데이터 필터링을 밀접하게 추적함을 보여준다. GRAM의 학습 비용은 지원되는 기능 프로파일 수에 독립적이며, 5개 프로파일 설정에서 데이터 필터링 대비 5배의 비용 절감을 달성한다.
사고 모드(thinking-mode) 비전-언어 모델(VLM)에서 기존의 답변 토큰 엔트로피 기반 불확실성 추정이 사고 체인의 사전 확약(pre-commitment)으로 인해 붕괴되는 현상을 세 모델 계열(Qwen3-VL, GLM-4.1V, InternVL3)에서 실증적으로 규명하며, 단일 추론 패스에서 추가 비용 없이 추출 가능한 사고 체인 엔트로피가 답변 엔트로피보다 일관되게 우수한 환각(hallucination) 탐지 신호임을 보인다. 나아가 불명확한 샘플을 기권(abstention)하는 실용적 게이트를 제안하여 POPE에서 정확도를 71.0%에서 93.8%로 향상시켰다.
마스크드 확산 언어 모델(DLM)에서 모델 로짓만으로는 텍스트-이미지 생성 및 다중모달(multimodal) 이해의 최적 토큰 생성 순서를 결정하기 어렵다는 문제를 규명하고, GRPO(Group Relative Policy Optimization)로 학습된 제어 블록을 도입해 생성 순서를 동적으로 최적화하는 방법을 제안한다. GenEval 벤치마크에서 4.08%, VLMEvalKit에서 4.85%의 상대적 성능 향상을 달성하며 텍스트-이미지 정렬과 다중모달 추론 모두에서 효과를 입증했다.
LLM 기반 안전 분석 도구 자체를 분석 대상으로 삼는다는 맹점을 해소하기 위해, Constitutional Meta-STPA는 시스템 이론적 프로세스 분석(STPA)을 도구 자신에게 적용하여 21개의 도구 원칙과 8개의 메타 안전 원칙으로 구성된 거버넌스 헌법을 도출한다. claude-opus-4.8 + claude-sonnet-4 앙상블은 이 원칙들을 도구 설계로부터 대부분 복원하였으며, 도출된 원칙을 적용한 경우 적대적 프로브 평가에서 안전 점수가 약 80% 향상된 반면 일반적인 helpful/harmless/honest 프리앰블은 효과가 없었다.
KV 캐시 압축, 프롬프트 압축, 아키텍처 상태, 에이전트 메모리라는 기존의 네 가지 분리된 연구 영역을 율-왜곡(rate-distortion) 이론 관점에서 하나의 통합된 메모리 압축(memory compaction) 문제로 재정의하고, 7축 분류 체계와 층에 무관한 하한을 통해 서로 간 메커니즘 이전을 가능하게 한다. 또한 모든 층에서 어텐션 크기 기반의 쿼리-비인식(query-agnostic) 압축이 동일한 방식으로 실패한다는 공통 패턴을 밝히고, 에이전트의 반복적 압축을 측정하기 위한 COMPACT-Bench 벤치마크를 제안한다.