브이로그가 개인화된 스토리텔링 매체로 급격히 부상하면서, 브이로그 편집 계획을 평가하고 개선하는 자동화 시스템에 대한 수요가 생겼다. 그러나 브이로그 평가는 매우 주관적이며, 표준화된 기준, 데이터셋과 벤치마크, 그리고 효과적인 보상 모델의 부재로 인해 여전히 어려운 과제로 남아 있다. 이러한 과제를 해결하기 위해, 우리는 전문 브이로그 크리에이터와 프로덕트 매니저의 가이드 하에 포괄적인 브이로그 평가 프레임워크를 정의하고, 창의성(Creativity), 일관성(Consistency), 콘셉트 디자인(Concept Design), 촬영(Cinematography), 내레이션(Narration), 페이싱(Pacing)의 여섯 가지 핵심 차원 분류체계를 수립한다. 이어서, 다중모달 대규모 언어 모델(MLLM)의 브이로그 보상 능력을 평가하기 위해 10만 건의 브이로그 편집으로 구성된 대규모 데이터셋과 전용 벤치마크 VRMBench를 구축한다. 마지막으로, 세밀한 다차원 점수와 반복적 개선을 위한 실행 가능한 피드백을 모두 제공할 수 있는 견고한 브이로그 보상 모델 VlogReward를 제안한다. 기술적으로, 우리는 조절 가능한 그룹 간 비교 보상을 도입하여 Group Relative Policy Optimization(GRPO) 프레임워크를 개선했으며, 이는 표준 GRPO의 "direction blindness" 문제를 완화하고 모델이 다양한 품질의 편집을 더 잘 구별할 수 있게 한다. VlogReward는 GPT-5와 Gemini-3-Pro를 포함한 기존 MLLM을 크게 능가하는 최첨단(state-of-the-art) 결과를 달성한다. 우리는 본 연구가 브이로그 크리에이터에게 도움이 되고, 자동화된 브이로그 평가 및 개선 시스템의 발전에 기여하기를 기대한다.
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)에 외부 지식을 더해 성능을 높이지만, 지식 충돌 문제가 있습니다. 검색된 정보가 파라미터 메모리와 모순될 때, 공유된 셀프-어텐션(self-attention) 경로가 예측 불가능한 출력을 만들어냅니다. 우리는 TokenMem을 제안합니다. TokenMem은 전용 크로스-어텐션(cross-attention) 채널을 통해 동결 LLM에 지식을 주입하는 경량 메모리 시스템으로, 잔차 스트림(residual stream)에서 파라미터 메모리와의 경쟁을 우회합니다. TokenMem은 2단계 커리큘럼을 통해 얇은 게이팅 어댑터(약 3–7M 파라미터)만 학습합니다. 먼저 일반적인 지식 활용을 학습하고, 이어서 반사실적(counterfactual) 지식 하에서 충실한 준수(faithful compliance)를 강화합니다. 세 가지 모델 패밀리에 걸친 다섯 모델(Qwen3-4B/8B/14B, LLaMA-3.1-8B, OLMo-3-7B)에 대한 통제 실험에서 TokenMem은 반사실적 벤치마크에서 69–70%의 지식 준수(Knowledge Compliance, KC)를 달성했으며, 바닐라 RAG의 20–52%와 비교해 최대 49퍼센트포인트 차이를 보였습니다. ablation 연구는 2단계 커리큘럼이 핵심적임을 보여줍니다. Phase 2를 제거하면 KC가 거의 0에 가까워집니다. 메커니즘 분석은 게이트 어댑터가 명시적 감독 없이 충돌 인식(conflict-aware), 층별(layer-specific) 주입 전략을 학습함을 밝혀냅니다.
대규모 언어 모델(LLM)은 강력한 질의응답(QA)을 가능하게 하지만, 예산 내 배포는 비결정성과 이질적인 자원 프로파일(비용, 지연시간, 에너지)로 인해 복잡해진다. 우리는 다중 LLM 오케스트레이션을 위한 실행 전 계획(plan-before-execute) 패러다igm을 구현하는, 데이터베이스에서 영감을 받은 비용 기반 옵티마이저 OPTI-Q를 제안한다. OPTI-Q는 LLM 호출을 실행 방향성 비순환 그래프(DAG)의 물리적 연산자로 모델링하고, 각 질문에 대해 사용자가 지정한 자원 제약 하에서 답변 품질(QoA)을 최적화하면서 금전적 비용, 지연시간, 에너지 간 트레이드오프를 고려하는 계획을 탐색한다. 계획에는 중간 답변을 컨텍스트로 전달하는 순차 연산자와, 모델을 동시에 실행하고 출력을 병합하는 병렬/블렌드 연산자가 포함될 수 있다. 각 후보 계획을 실행하지 않고 이 공간을 탐색하기 위해, OPTI-Q는 벤치마크와 실행 트레이스로 채워지고 갱신되는 통계 카탈로그 PERFDB를 사용하여 개별 연산자와 구성된 하위 계획 모두의 QoA와 자원 비용을 추정한다. 이 추정치를 활용하여 OPTI-Q는 파레토 프론티어 탐색을 수행하고 사용자 선호에 따라 최종 계획을 선택한다. 사용자가 지정한 예산 하에서 MMLU-Pro와 SimpleQA에서 OPTI-Q는 유사한 비용에서 베이스라인 대비 평균 QoA를 각각 약 58% 및 41% 향상시켰으며, 이는 데이터베이스 스타일 계획이 다중 LLM QA에서 더 나은 품질-자원 트레이드오프를 제공함을 보여준다.
프로덕션 인프라에 자율 AI 에이전트를 배치하면, 기존 역할 기반 접근 제어(RBAC) 모델로는 해결할 수 없는 근본적인 보안 과제가 발생한다. 결정론적 자동화와 달리 AI 에이전트는 확률적(stochastic) 행동을 보이므로, 중요 시스템에 대한 접근을 통제하기에 기존 신뢰 모델로는 불충분하다. 본 논문은 중요 클라우드 인프라에서 운영되는 에이전트형 AI 시스템을 위해 특별히 설계된 분산형 다계층 접근 제어 아키텍처를 제시한다. 우리 프레임워크는 네 가지 핵심 혁신을 도입한다: (1) 에이전트 행동을 위임된 인간 권한에 연결하는 복합 신원 모델, (2) 글로벌 플랫폼 접근부터 매개변수별 제약까지 다섯 단계의 세분화 수준에 걸친 계층적 권한 시스템, (3) 도구 팀이 각자의 인가 경계를 독립적으로 관리하는 분산형 정책 소유 모델, (4) 자율 에이전트가 고위험 작업을 실행하지 못하도록 하는 안전성 인터록(safety interlocks)을 갖춘 점진적 신뢰 상승. 우리는 설계를 대규모 언어 모델(LLM) 애플리케이션용 OWASP Top 10(2025) 위협 분류체계에 기반을 두고, 각 아키텍처 결정이 특정 공격 벡터를 어떻게 완화하는지 보여준다. 수백 개의 데이터센터에 걸친 네트워크 인프라를 관리하는 주요 클라우드 제공업체의 프로덕션 환경에 배포된 본 시스템은, 20개 이상의 전문 AI 에이전트와 60개 이상의 결정론적 플레이북에 대해 세분화된 접근 제어를 시행하며, 매일 수천 건의 작업을 처리하면서 8개월간의 프로덕션 배포 기간 동안 무단 쓰기 작업을 0건으로 유지했다. 우리는 접근 패턴 분포, 거부율, 그리고 비결정론적 행위자에 의한 권한 상승을 방지하는 다층 인가의 효과에 대한 실증 데이터를 제시한다.
대규모 언어 모델(LLM)은 의사결정 및 추론 작업에 점점 더 많이 사용되고 있지만, 물리 시스템의 제어기로서의 잠재력은 아직 거의 탐구되지 않았다. 본 연구는 LLM이 동적 열 환경에 대한 해석 가능한 제어기로 기능할 수 있는지 조사하며, setpoint 추종, 자연어 명령 해석, 액추에이터(actuator) 효과에 대한 추론, 사전 모델 기반 지식의 통합 능력을 검토한다. 다양한 규모의 LLM 5개를 히터 또는 팬 사용에 대한 페널티가 있는 설정과 모델이 물리 기반 예측 도구에 접근할 수 있는 경우를 포함한 여러 시나리오에서 평가한다. 결과는 제어 성능이 모델 복잡도에 달려 있음을 보여준다. 저·중규모 모델은 액추에이터 동역학을 자주 오해하거나 일관성 없는 추론을 생성하는 반면, Qwen-3~14B 및 GPT-4o와 같은 고복잡도 모델은 정확한 온도 추적, 안정적인 액추에이터 사용, 물리 원리와 일치하는 일관된 설명을 달성한다. 물리 기반 모델을 통합하면 예측적 의사결정을 가능하게 하여 제어의 부드러움과 에너지 효율이 크게 향상된다. 상세한 추론 분류체계는 소형 모델의 인과적 오해에서 대형 모델의 응집적이고 시간적으로 인식된 추론으로의 뚜렷한 진행을 추가로 보여준다. 이 결과는 LLM이 충분한 능력을 갖추고 도메인 지식에 적절히 그라운딩(grounding)될 때 해석 가능한 제어기로 작동할 수 있음을 보여주며, 그럴듯한 설명을 제공할 수 있는 하이브리드 모델 기반 및 언어 기반 제어 전략의 유망한 가능성을 강조한다.
개인화 다중모달 대규모 언어 모델(MLLM)은 사용자별 맞춤 응답을 생성하는 것을 목표로 하지만, 기존 방법은 주로 프로필 수준 정보에 의존하고 다양한 사용자 선호를 간과한다. 우리는 그룹 선호 붕괴(group preference collapse)를 확인했는데, 이는 다중 사용자 개인화 MLLM이 개별 선호에 둔감해지고 생성 과정에서 억제된 선호 신호와 신뢰할 수 없는 선호 활용으로 인해 지배적인 집단 수준 선택으로 표류하는 현상이다. 우리는 안정적인 프로필 정보와 선호 관련 표현을 분리하는 선호 중심 프레임워크인 PrefMoE를 제안한다. PrefMoE는 선호를 공유 프로토타입과 개인화 잔차로 분해하고, 불균형 인식 학습, 반사실적 가상 사용자 증강, 잔차 탈상관을 통해 개별화된 잔차를 보존하며, 프로필과 선호 요인을 별도의 LoRA 적응 경로로 라우팅한다. 여러 MLLM 백본에 걸친 실험은 PrefMoE가 선호 민감 개인화를 향상시키면서 선호 붕괴를 실질적으로 줄인다는 것을 보여준다. 프로젝트 페이지: https://prefmoe.github.io/.
추론 시점 스케일링(inference-time scaling)은 대규모 언어 모델의 추론 능력을 향상시키는 강력한 패러다임으로 부상했으며, 어려운 추론 과제에서는 종종 매개변수 스케일링만으로 얻는 것보다 더 큰 이득을 제공한다. 그러나 기존 접근법은 추론 궤적 내에서 연산을 할당하는 방식이 여전히 비효율적이다. 추론 실패가 잘못된 답이 명시적으로 드러나기 전에 불확실성이 조기에 나타나는 경우가 많다는 관찰에 동기를 부여받아, 우리는 DeepLook을 제안한다. DeepLook은 학습 없이 모니터링하고 개입하는 디코딩 프레임워크로, 불확실성 병목 지점에 선행 탐색(lookahead) 연산을 집중한다. DeepLook은 토큰 수준의 신뢰도를 구간 수준 신호로 집계하고, 최근 이력 대비 신뢰도가 하락할 때 트리거되며, 고정 수평선 선행 탐색으로 후보 연속을 탐색한다. 분기는 롤아웃 연속에 대한 구간 수준 신뢰도의 평균인 평균 선행 탐색 신뢰도(Average Lookahead Confidence, ALC)로 순위를 매기고, 가지치기한 뒤 투표를 통해 집계한다. DeepSeek-R1-8B, Qwen3-32B, GPT-OSS-20B, GPT-OSS-120B에 걸친 4개의 경쟁형 수학 벤치마크에서 DeepLook은 정확도-토큰 비용 파레토 프론티어를 이동시킨다. 16개 설정 중 11개에서 DeepConf-low 대비 정확도를 개선하면서, 평균적으로 데이터셋 수준 토큰 생성을 87.3% 줄였으며, Qwen3-32B에서 AIME25 +3.1, GPT-OSS-20B에서 BRUMO25 +8.8의 향상을 포함한다. 이러한 결과는 선택적이고 미래를 고려한 개입이 완전한 추론 궤적을 균일하게 스케일링하는 것보다 실질적으로 더 강한 정확도-비용 트레이드오프를 제공함을 보여준다. 코드는 여기에서 이용 가능하다.
대규모 언어 모델(LLM) 기반 교육용 챗봇은 학습 성과에 유망한 효과를 보이지만, 대부분의 시스템은 콘텐츠 선택과 교수법적 구조화와 같은 교육학적 결정을 LLM에 암묵적으로 위임하여 튜터링 전략을 추적, 평가, 재현하기 어렵게 만든다. 본 논문은 차원 모델링에 관한 프랑스어 대학 과정을 위해 상용 LLM 예산이나 GPU 인프라 없이 운영되는 교수법 중심 교사 보조 시스템을 제시한다. 아키텍처는 텍스트 생성 이전에 의도 탐지, 개념 연결, 교수법적 접근 선택을 처리하는 결정론적 모듈로 강사의 교육학적 추론을 형식화하며, LLM은 순전히 언어적 실행자 역할만 한다. 195개의 실제 학생 질문에 대한 평가는 두 가지 연구 질문을 다룬다. 첫째, 표준 의미적 검색(semantic retrieval)만으로는 교육학적으로 필요한 콘텐츠를 신뢰성 있게 복원하지 못함을 보여, 이는 우리 아키텍처에서 채택한 상류 오케스트레이션 전략을 정당화한다(RQ1). 둘째, 모델마다 탐지 성능이 크게 달라지고 오류를 조용히 발생시키는 무료 티어 LLM과 비교할 때, 결정론적 파이프라인은 완전한 추적 가능성과 명시적 기권(abstention)과 함께 높은 쌍 정밀도(73%)를 달성하지만, 제한된 커버리지는 탐지 전략이 추가적인 정교화를 필요로 함을 확인한다(RQ2).
미지의 환경(예: 행성 또는 심해 탐험)에 배치된 자율 에이전트 집단은 어떤 인간 언어에도 이름이 없는 개체를 지칭하기 위해 공유 어휘를 개발해야 한다. 우리는 신경-기호적 어휘 발견(Neuro-Symbolic Lexical Discovery, NSLD) 프레임워크를 제안한다. 이 프레임워크에서 LLM 기반 에이전트 집단은 분포 외(out-of-distribution) 시각적 지시 대상에 대해 지시 게임(referential game)을 수행하며, 공유된 외계 어휘(alien lexicon)를 자율적으로 자기 조직화(self-organising)한다. 각 에이전트는 고정된(frozen) CLIP 비전 인코더, 사적인 FAISS 벡터 인덱스, 그리고 텍스트 전용 LLM을 결합한다. 핵심적으로, 발견된 외계 단어들은 임베딩 공간에서의 의미적 근접성을 통해 자연어에 고정(anchor)되며, 지각적으로 그라운딩된(perceptually grounded) 새로운 단어로 인간 어휘를 확장한다. 시뮬레이션에서 최대 20개의 에이전트와 10개의 시각적 지시 대상으로 구성된 집단에서 합의(consensus)에 도달한다. 수렴 동역학은 R^2 > 0.95를 달성하는 세 가지 분석 모델을 통해 특성화되며, 이는 자율 탐험 임무에서 배치 전 계획을 향한 첫걸음을 나타낸다.
현대의 연산 집약적 소프트웨어는 CUDA, OpenMP, OpenCL, OpenMP target offload를 포함하여 가속기, 프로그래밍 API, 컴파일러 스택, 이식성 계층이 계속 변하는 생태계 전반으로 이전해야 한다. 대규모 언어 모델(LLM)과 자율 코딩 에이전트(agent)가 이러한 이전을 위해 점점 더 제안되고 있지만, 이 분야는 스레드 인덱싱, 동기화, 메모리 관리, 호스트-디바이스 조율, API별 실행 구조를 포함하여 번역을 행동적으로 유효하게 만드는 저수준 병렬 의미론을 보존하는지 측정할 신뢰할 수 있는 방법이 부족하다. 우리는 실행 가능하고 재현 가능한 조건에서 LLM 기반 병렬 API 번역을 평가하기 위한 커널 중심 벤치마크 프레임워크인 ParBench를 제시한다. ParBench는 선언적 벤치마크 명세를 통해 주변 빌드, 실행, 검증 인프라를 고정하고 모델에게 계산 커널만 번역하도록 요구한다. 이는 여러 오픈소스 HPC 스위트를 활용하며 CUDA, OpenMP, OpenCL, OpenMP target offload 간 대표적인 교차 API 번역 방향을 다룬다. 성공이 표면적 형태의 암기가 아닌 견고한 번역을 반영하는지 검증하기 위해 ParBench는 AST 기반, 의도된 동작 보존, 기준선 검증된 소스 증강을 포함한다. 최신 오픈소스 및 독점 LLM에 대한 평가는 방향 비대칭성, 다중 파일 조율, 불완전한 API 적응, 소스 수준 교란에 대한 불균등한 견고성을 포함하여 신뢰할 수 있는 병렬 코드 번역에 지속적인 장벽이 있음을 보여준다. 코드는 https://github.com/Scientific-Computing-Lab/ParBench 에서 이용할 수 있다.
대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 달성하지만, 매개변수로 인한 메모리 및 연산 비용이 배포를 제약한다. 구조적 가지치기(structured pruning)는 어텐션 헤드와 다층 퍼셉트론(MLP) 뉴런과 같은 전체 구조를 제거하여 표준 하드웨어에서 효율적으로 실행되는 더 작은 dense 모델을 생성함으로써 이를 해결한다. 그러나 기존 방법은 메모리 사용량이 과도한 그래디언트 기반 중요도 추정, 또는 제거가 손실에 미치는 영향을 직접 측정하지 못하는 활성화 기반 통계적 대리 지표 중 하나에 의존한다. 또한 중요도 기준과 가지치기 후 복구 전략 간의 상호작용은 체계적으로 연구되지 않았다. 우리는 활성화 노름으로 스케일링한 가중치 크기와 1차 그래디언트 민감도를 기하평균을 통해 결합하여 구조적 신호와 손실 민감도 신호를 모두 포착하는 채널 수준 점수를 생성하는 중요도 지표인 TriSP(Tri-Signal Structured Pruning)를 제안한다. 적응적 층별 예산 할당과 저랭크 적응(LoRA) 복구와 결합하면, TriSP는 모든 테스트 구성에서 최저 perplexity와 최고 제로샷 정확도를 달성하며, LLaMA-7B에서 20% 가지치기 시 WikiText-2 perplexity 6.80에 도달한다. 50% 가지치기에서 추론 처리량이 82% 향상되며, 여전히 경쟁력 있는 성능을 유지한다.
키-값(KV) 캐싱은 멀티모달 대규모 언어 모델(MLLM)에서 효율적인 추론에 필수적이지만, 메모리 사용량은 컨텍스트 길이에 선형적으로 증가하며, 특히 시각 토큰 수가 많아 주요 병목이 된다. 최근 프리필 단계 KV 선택 방법들은 프리필 통계로 KV 중요도를 추정하며, 암묵적으로 프리필 시점의 쿼리가 디코딩 중에 나타나는 쿼리를 대표한다고 가정한다. 멀티모달 추론에서는 이 가정이 깨진다는 것을 보인다. 디코딩 시점의 쿼리는 프리필 단계 표현보다 분산이 훨씬 크기 때문에, 캐시 예산이 타이트할 때 KV 중요도 추정이 불안정해진다. 그 결과, 작은 순위 오류도 의미적으로 중요한 시각 토큰을 과도하게 버리고, 그라운딩(grounding)과 추론 성능을 저하시킬 수 있다. MM-ShiftKV를 제안한다. 학습 없이 동작하며, 디코드 인식(decode-aware)이고 엄격히 프리필만 수행하는 KV 선택 방법이다. MM-ShiftKV는 분산을 확장한 쿼리 프록시를 구성해 프리필 중 디코딩 시점의 쿼리 동작을 근사하고, 이들의 집계된 어텐션 질량을 기반으로 프롬프트 KV 중요도를 추정한다. 멀티모달 벤치마크 실험에서 MM-ShiftKV는 엄격한 KV 캐시 예산 하에서 기존 방법들을 일관되게 능가함을 보여준다. 코드는 https://github.com/zjuDBxAI/MM-ShiftKV 에서 제공된다.
대규모 언어 모델(LLM)의 확산으로 서빙 시스템은 고립된 요청 처리에서 고동시성·다중 테넌트 에이전트(agentic) 워크플로 오케스트레이션으로 전환되었다. 그러나 기존 솔루션은 일반적으로 워크플로 내부(intra-workflow) 최적화를 우선시하여, 워크플로 간(inter-workflow) 최적화의 상당한 잠재력을 대체로 간과한다. 본 논문에서는 동시 워크플로의 종단 간(end-to-end) 성능을 최적화하도록 설계된 LLM 서빙 시스템인 HeraSys를 제안한다. 세밀한 오케스트레이션을 통해 HeraSys는 구조적 노드 병합 및 재사용으로 워크플로 간 계산 중복을 제거한다. 또한 HeraSys는 쿼리 간 및 쿼리 내부 우선순위를 모두 평가하여 실행 순서를 동적으로 관리하는 부하 인식(load-aware) 공동 스케줄링 정책을 도입한다. 적응형 배칭(adaptive batching) 및 파이프라인 분해(pipeline decomposition)와 자원 기울임(resource skewing) 메커니즘을 통합함으로써, HeraSys는 낮은 평균 지연 시간을 유지하면서 tail latency를 효과적으로 완화하여 시스템 처리량을 크게 향상시킨다. 광범위한 실험 결과, HeraSys는 엄격한 지연 시간 보장 하에서 P99 지연 시간을 최대 2.17$\times$ 감소시키고 서빙 처리량을 최대 1.85$\times$ 증가시키는 것으로 나타났다.
대규모 언어 모델(LLM)의 스케일링은 그들의 성공을 이끌어 왔지만, dense Transformer는 용량과 연산을 결합한다. 모든 매개변수가 모든 토큰에 대해 활성화되므로, 모델 크기에 따라 학습 및 추론 비용이 선형적으로 증가하며, 모델이 조(兆) 매개변수 규모에 접근할수록 이는 중요한 병목이 된다. 우리는 FFN에만 적용하는 것이 아니라 LLM 파이프라인 전반에 걸친 MoE 스타일 혼합을 통해 용량을 확장하는 것을 목표로 한다. 기존 파이프라인 수준 접근법으로는 ParaScale이 있는데, 이는 가상 토큰과 병렬 스트림을 도입하지만 상당한 오버헤드를 발생시키고 동질화된 라우팅과 그래디언트 붕괴 문제를 겪으며, AltUp은 보조 예측 분기를 사용하지만 제한적인 적응성과 느린 수렴을 보인다. 우리는 MoE 스타일 혼합 레이어가 가변 커널 동적 합성곱으로 재공식화될 수 있음을 보인다. 여기서 각 expert는 $1{\times}1$ 합성곱 커널에 대응하고, 라우팅은 입력 조건부 커널 집계를 구현한다. 이 등가성을 바탕으로, 우리는 cMoLLM을 제안한다. 이는 완전히 미분 가능한 동적 합성곱을 통해 end-to-end 스트림 전반에 라우팅하는 합성곱 게이팅 Mixture-of-LLMs이다. FineWeb에서 학습한 GPT-2 스타일 모델에서 cMoLLM은 동일 연산량 하에서 언어 모델링 perplexity와 다운스트림 GLUE 및 SQuAD 정확도를 개선하며, ParaScale 및 AltUp 스타일 기준선 대비 더 나은 스트림 활용, 더 안정적인 최적화, 유리한 스케일링을 보인다.
인간의 일화 기억(episodic memory)은 긴 시간 척도에 걸쳐 전개되는 경험의 인출을 지원하지만, 인간 장기 기억 실험에서 메커니즘에 대한 접근이 제한적이어서 이 능력의 기저에 있는 계산적 메커니즘은 여전히 논쟁의 대상이다. 긴 컨텍스트 대규모 언어 모델(LLM)은 이러한 유형의 인출을 구동하는 그럴듯한 계산적 메커니즘을 밝히는 유망한 방법을 제공할 수 있다. 여기서 우리는 시간 순서 기억 과제를 통해 LLM이 일화 기억의 핵심 행동적 특성을 포착하는지, 그리고 어떻게 포착하는지를 조사한다. 장편 소설에 대한 기억에 기반한 새로운 인간 행동 데이터셋을 사용하여, 모델이 이 과제에서 인간에게서 관찰되는 것과 동일한 특징적인 거리 효과(distance effect)를 보임을 보인다. 이어서 긴 컨텍스트 기계론적 해석가능성(mechanistic interpretability) 분석을 적용하여 모델이 이 과제를 어떻게 푸는지 밝히고, 모델 성능이 단일 시간-재활성화(time-reinstatement) 어텐션 헤드에 의해 인출 시 재활성화되는 1차원 시간 코드에 의존함을 발견한다. 이러한 결과는 시간적 맥락 재활성화가 LLM에서 일화적 시간-순서 기억을 위한 중요한 메커니즘임을 지지하며, 장기 일화 기억의 시간적 측면이 인공 및 생물학적 시스템 모두에서 어떻게 구현될 수 있는지에 대한 새로운 통찰을 제공한다.
증거 기반 임상 의사결정은 전문가가 관련 과학 문헌을 식별·평가·종합하는 것을 요구한다. 그러나 복잡한 임상 사례에 대한 PubMed 검색은 종종 수백 편의 논문을 반환하며, 시간 제약 하에서는 이를 수동으로 검토할 수 없다. 본 연구는 임상 사례 설명을 증거 기반 권고안으로 변환하는 프레임워크인 SCEPTER(Single-Case Evidence-driven PubMed-To-rEcommendation Reasoner)를 제안한다. SCEPTER는 PubMed 검색, PubMedBERT 의미론적 순위화, 대규모 언어 모델(LLM) 기반 주장(claim) 추출, 증거 수준 가중치, 모순 탐지, 합의 분석, 다목적 Pareto 주장 선택을 결합한다. 이 프레임워크는 구조화된 증거 종합과 그라운딩된 실행 가능한 권고안을 생성한다. Paper Q&A 모듈은 선택된 출판물에 대한 대화형 탐험(exploration)을 추가로 가능하게 한다. 제안된 프레임워크는 문헌 지원, 모순 분석, 대화형 문헌 질의를 통합 임상 의사지원 파이프라인으로 통합하는 다목적 추론 모델을 도입한다. 150건의 사례 연구에 대한 평가에서, 이 프레임워크는 평균 576편의 검색 공간을 53편의 유지 논문, 7개의 Pareto-최적 주장, 3개의 최종 권고안으로 축소했으며, 이는 전체 압축 비율 192:1에 해당한다. 이러한 축소에도 불구하고, 유지된 증거는 높은 다양성(entropy=0.901)을 유지했다. Ablation study는 Pareto 기반 선택이 기존 순위화 접근법에 비해 증거 다양성과 권고안 유용성을 높였음을 보였다.
대규모 언어 모델(LLM)은 자연어로부터 유창한 SQL을 생성할 수 있지만, 실제 기업용 Oracle 데이터베이스에서는 실행 시점에 자주 실패한다. 컬럼과 별칭이 환각되고 방언별 구문이 누락되어 ORA-00904 invalid-identifier 오류로 이어진다. 이러한 환경에서 실패는 주로 스키마 그라운딩 부재 때문이다. 모델은 실제로 존재하는 테이블과 컬럼이 무엇인지 알 수 없다. 본 논문은 모델 재학습이 필요 없는 Oracle NL2SQL용 경량 미들웨어 층인 스키마 인식 현지화(SAL)를 제안한다. SAL은 Oracle의 USER_TAB_COLUMNS 카탈로그를 조회하여 실시간 스키마 맵을 구축하고, 각 질문에 대해 관련 테이블 부분집합을 선택하며(다중 테이블 쿼리의 경우 전체 스키마로 폴백), 이 정답 컨텍스트를 LLM 프롬프트에 주입한다. 생성된 SQL은 Hallucination Index(Hidx)로 검증되며, Hidx는 모든 alias.column 참조를 실시간 카탈로그와 대조하여 검증하고, 예측 가능한 접두사 오류를 자동으로 재작성하며, 그렇지 않은 경우 항목별 수정 사항과 함께 구조화된 재시도를 트리거한다. GPT-4o-mini를 사용하여 실제 Oracle Autonomous Database 23c 인스턴스에 대해 실행한 500개의 TPC-H 자연어 질문으로 SAL을 평가한다. 스키마 그라운딩 없이는 실행 기반 정답(EGT; 실행되며 참조 결과 집합과 일치)이 2.2%(12/500)이다. 수작업 정적 스키마 힌트는 EGT를 62.0%로 끌어올린다. 수동 스키마 큐레이션 없이 SAL은 62.6% EGT(단순 96%, 중간 95%, 복잡 40.7%)를 달성하며, 실행 실패를 97.6%에서 2.6%로 줄인다.
새로운 언어 모델을 감사하려면 보통 내부 특징을 처음부터 다시 학습하고 재해석해야 한다. 우리는 참조 특징 아틀라스(reference feature atlas)를 제안한다. 이는 참조 패널(reference panel)에서 한 번 학습된 희소(sparse) 특징 라이브러리로, 새로운 대상 모델에는 선형 디코더(linear decoder)만 적합하여 연결된다. 이는 두 가지 상보적인 관점을 제공한다. 아틀라스 채널(atlas channel)은 이미 해석된 패널 특징 위에서 대상 모델을 읽어 모델 간 안정적인 좌표계를 제공한다. 잔차 채널(residual channel)은 아틀라스가 재구성하지 못한 부분에서만 특징을 학습하여, "참조 패널 밖(outside the reference panel)"을 명시적인 감사 신호로 만든다. 우리는 5개의 70억~90억(7-9B) 파라미터 규모의 인스트럭션 튜닝(instruction-tuned) 모델에 대해 leave-one-out 아틀라스를 학습하고, 홀드아웃(held-out) Mistral 및 Qwen 대상을 감사한다. 두 대상 모두에 주입된 세 가지 통제된 LoRA 은닉(hidden) 목표(objective)에 대해, 잔차 채널은 런타임(runtime)에 심어둔(planted) 메커니즘을 완벽히 제어 가능하게 만들면서 대응되는 대조군(matched controls)은 영향을 받지 않게 하고, 두 대상 모두에서 심어둔 목표를 최상위 순위 잠재(latent)로 복원한다. Mistral에서는 대상별 SAE(per-target SAE)와 쌍wise(pairwise) crosscoder 베이스라인이 일대일(head-to-head) 벤치마크를 위해 재학습되는데, 두 베이스라인 모두 이를 달성하지 못한다. Qwen-2.5에서는 동일한 채널이 추가로 패널 상대적(panel-relative) 정치적 프레이밍(political-framing) 클러스터를 드러내며, 이를 스티어링(steering)하면 감사된 프레이밍 지표가 변화하는 반면 도메인 외(out-of-domain) 대조군은 변하지 않는다.
대규모 언어 모델(LLM)은 프라이버시를 개선하고 네트워크 지연을 줄이기 위해 모바일 및 임베디드 기기에 점점 더 많이 배포되고 있다. 그러나 온디바이스 추론은 근본적인 제약에 직면한다: 배터리로 구동되고 자원이 제한된 하드웨어에서의 높은 에너지 소비. 모델 압축과 런타임 가속은 널리 연구되어 왔지만, 프롬프트 설계가 에너지 효율에 미치는 영향은 아직 충분히 탐구되지 않았다. 본 논문은 온디바이스 LLM에서 프롬프트 문구와 에너지 소비 간의 관계에 대한 실증 연구를 제시한다. 스마트폰에서 수집한 실제 전력 측정값을 사용하여, 특히 명령형 키워드와 지시 구조와 같은 언어적 특성이 디코딩 길이와 총 에너지에 어떻게 영향을 미치는지 정량화한다. 우리의 결과는 동사와 태스크에 걸쳐 일관된 에너지 차이를 보여주며, 이는 프롬프트 엔지니어링이 에너지 효율을 개선하기 위한 경량의 수단임을 시사한다.
MedLoCoMo는 다중 입원 의료 대화에 걸친 환자별 임상 추론을 위한 의료 장문맥 메모리(Medical Long-Context Memory) 벤치마크이다. 기존 의료 QA 벤치마크는 주로 짧은 문맥 지식이나 단일 문서 그라운딩(grounding)을 평가하여, LLM이 종단적(longitudinal) 환자 이력에 대해 정보를 활용하고, 연결하고, 답변을 유보(abstain)할 수 있는지는 열린 문제로 남아 있다. 우리는 MIMIC-IV 및 MIMIC-IV-Note의 비식별화 기록으로부터 입원 수준의 임상 패킷을 구성하고, 그라운딩된 의사-환자 대화를 합성하며, 단일 입원, 입원 간(cross-admission), 그리고 적대적(adversarial) 답변 불가(unanswerable) 설정에 걸친 근거 연결 QA 항목을 생성함으로써 MedLoCoMo를 구축했다. 이 벤치마크는 100개의 환자 타임라인을 포함하며, 대화당 평균 1,669.8턴, 29.7세션, 74,512.2토큰을 갖는다. 평가된 베이스라인 전반에서, 모델이 긴 컨텍스트 윈도우(context window)를 갖거나 외부 메모리 또는 검색(retrieval) 방법을 사용하더라도, 입원 간 추론은 국소화된 근거 활용보다 일관되게 더 어렵다. 코드와 MedLoCoMo 벤치마크 릴리스는 사용 및 재현성을 위해 https://github.com/leozzy13/MedLoCoMo 에서 제공된다.