워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.
두 AI 에이전트의 의견이 불일치할 때, 누가 누구를 설득하는가? 멀티 에이전트 시스템에서 서로 다른 계열과 크기의 언어 모델을 결합하는 사례가 증가함에 따라, 이 질문에 대한 답은 상호작용 후 어떤 판단이 살아남는지를 결정할 수 있다. 본 연구에서는 반대 의견을 가진 동료 에이전트와의 한 차례 상호작용 후 발생하는 확률적 결정 변화로 설득(persuasion)을 측정하며, 세 가지 언어 이해 태스크에 걸쳐 7개의 공개 가중치(open-weight) 모델을 테스트한다. 실험 결과 설득 효과는 강력하게 나타났다. 모델 간 의견이 불일치할 때, 수신자 에이전트는 동료의 답변과 설명을 확인한 후 기존 판단을 포기하는 경우가 많았다. 그러나 놀랍게도 개별 모델의 확신도나 모델 규모 모두 설득 역학을 신뢰성 있게 예측하지 못했다. 단독으로 평가할 때 거의 완벽하게 일관된 결정을 내리는 모델이라도 설득에 가장 취약한 모델 중 하나가 될 수 있었으며, 소형 모델 역시 설득자로서 대형 모델 못지않은 성능을 보이고 대형 모델의 영향력에 동일하게 효과적으로 저항할 수 있었다. 나아가 결정 변화의 크기는 화자의 설득력보다 청자의 수용성에 더 크게 의존함을 보인다. 따라서 설득 양상은 각 모델의 조합마다 고유하게 나타나며, 이종성(heterogeneity)은 특정 조합에서는 설득을 증폭시키고 다른 조합에서는 억제하여 소형 모델 기반의 반대 에이전트가 훨씬 더 큰 모델의 판단을 뒤집을 수도 있게 한다. 이러한 발견은 상호작용하는 모델들의 동작이 개별 특성만으로는 추론될 수 없으며, 실제로 운용될 조합 내에서 평가되어야 함을 보여준다.
대규모 언어 모델(LLM)이 AI 기반 재료 동료 과학자(Co-Scientist)의 추론 구성 요소로 점점 더 많이 활용되고 있지만, 이로 인한 검증 파이프라인의 신뢰성은 여전히 불분명합니다. 금속-유기 골격체(MOF)는 구조가 서로 다른 식별자로 나타날 수 있고, 합성 결과가 실험 조건에 크게 의존하며, 증거가 이종의 출처에 분산되어 있고, 일부 가설은 문헌뿐만 아니라 계산을 필요로 하기 때문에 특히 까다로운 환경을 제공합니다. 본 논문에서는 구조적 그라운딩(structural grounding), 합성 조건 검증, 증거 충분성 검증, 머신러닝 인터애토믹 포텐셜(MLIP) 기반 계산 검증을 포괄하는 네 가지 태스크 계열로 구성된 진단 벤치마크를 소개합니다. 지식 접근, 증거 획득 및 추론에서의 실패를 국소화하기 위해 T-MOF-1-3은 오픈북이 아닌 폐쇄형(closed-book), 검색 지원(retrieval-enabled), 오라클 증거(oracle-evidence) 설정에서 평가되며, T-MOF-4는 계산 검증을 별도로 평가합니다. 이렇게 진단된 실패 모드를 기반으로, 최종 판정을 내리기 전에 구조, 문헌, 증거 충분성 및 계산 병목 현상을 해결하는 실패 인식 에이전틱 하네스(agentic harness)인 MOF-Verify를 개발했습니다. 여러 백본 LLM에 걸쳐 MOF-Verify는 직접 추론(inference) 및 검색 기반 베이스라인 대비 가설 검증 성능을 대폭 향상시킵니다. 벤치마크 데이터셋은 https://github.com/IMMS-Ewha/MOF-Verify-Benchmark 에 공개되어 있습니다.
유전자 세트 분석(gene set analysis)은 기능 유전체학(functional genomics)의 초석이지만, 여전히 노동 집약적이며 수작업 큐레이션 및 전문가의 생물학적 해석에 크게 의존하고 있습니다. 대규모 언어 모델(LLM)이 유전체 추론 및 주석을 위한 강력한 도구로 부상했으나, 기존 접근 방식의 대부분은 기호적 유전자 이름에 의존하며 도메인 특화 생물학적 구조, 특히 분자 활성, 상호작용 및 다운스트림 유전자 기능을 지배하는 단백질 서열 정보를 포착하지 못합니다. 본 연구에서는 유전자 세트의 계층적 구조를 활용하는 LLM 기반 유전자 세트 주석을 위한 새로운 프레임워크인 SoftGene을 제안합니다. 첫째, 단백질 언어 모델(protein language model)인 ESM을 기반으로 구축된 계층적 어텐션(hierarchical attention) 기반 인코더를 사용하여 단백질 수준의 아미노산 서열 정보로 각 유전자 세트를 표현합니다. 둘째, 유전자 세트 임베딩(embedding)에서 파생된 소프트 프롬프트(soft prompt)와 LLM이 생성한 보조 컨텍스트를 포함하는 하드 프롬프트(hard prompt)를 결합하는 하이브리드 프롬프팅 기법을 구성하고, 그 결과로 생성된 프롬프트를 주석 생성을 위해 로컬 LLM에 입력합니다. Gene Ontology(GO)와 Molecular Signatures Database(MSigDB)라는 두 가지 벤치마크 데이터셋에서 프레임워크를 평가합니다. 실험 결과는 단백질 서열 표현을 텍스트 컨텍스트와 통합함으로써 전반적인 유전자 세트 주석 성능이 향상됨을 보여주며, 도메인별 분석을 통해 단백질 임베딩의 기여도가 생물학적 도메인에 따라 달라진다는 점을 밝혀냅니다.
장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.
프로그래머블 로직 컨트롤러(PLC)는 센서 입력을 읽고 제어 명령을 내려 산업 장비를 조율합니다. 대규모 언어 모델(LLM)이 생성한 PLC 프로그램이 작업 요구사항과 안전 제약 조건을 충족하는지 평가하려면, 해당 명령이 장치 및 공작물 상태에 어떤 영향을 미치는지 관찰해야 합니다. 본 논문에서는 구조화 텍스트(ST, Structured Text) 실행을 모의 플랜트 응답 및 센서 피드백과 결합한 공통 폐루프 실행 환경이자 벤치마크인 PLCWorld를 소개합니다. 산업용 PLC 프로그램 및 엔지니어링 문서에서 식별된 제어 관계에 기반(grounding)한 PLCWorld는 모션 제어(Motion Control) 및 자재 처리(Material Handling) 전반에 걸쳐 100개의 합성 작업과 473개의 등록된 작업-조건 쌍을 포함하며, 난이도는 제어 의존성 범위에 따라 정의됩니다. 공통 프로토콜은 작업 성공(Task Success)과 안전 위반(Safety Violation)을 구분하여 보고합니다. 검증은 실무자 검토, 참조 및 대체 프로그램, 표적 반례, 명세-평가기 정렬 점검, 독립적인 ST 런타임과의 비교를 결합합니다. 참조 및 대체 프로그램은 적용 가능한 케이스를 만족하며, 542개의 표적 반례 모두 최소 하나의 등록된 조건에서 지정된 평가기 규칙을 활성화합니다. 실행 격차(Execution Gap)는 제출 프로필의 수락을 후속 작업 실패 또는 관찰된 안전 위반과 연계합니다. 구축된 작업 그룹 전반에서 직접 프롬프팅한 GPT-5.5는 쉬움(Easy) 케이스에서 82.70%의 작업 성공률을 달성했으나 어려움(Hard) 케이스에서는 25.10%에 그쳤습니다. 6개 LLM과 4개의 조정된 생성 및 검증 워크플로에 대한 평가는 완료율, 안전성, 생성 비용 간의 차이를 더욱 명확히 드러냅니다. 코드, 시뮬레이션 환경, 벤치마크 작업 및 기준선(baseline) 구현체는 https://yunji0516.github.io/PLCWorld/ 에서 공개적으로 이용할 수 있습니다.
전자의무기록(EHR)의 비정형 퇴원 요약지는 종종 정형화된 의료 코드와 상호보완적인 신호를 지니며, 표준화된 코호트 수준의 코드만으로는 포착할 수 없는 환자별 근거를 담고 있습니다. 그러나 이러한 임상 기록 내 근거는 특정 임상 예측을 염두에 두고 작성되지 않은 길고 노이즈가 많은 텍스트 속에 묻혀 있는 경우가 많습니다. 요약은 직관적인 해결책이지만, 결과 예측보다는 유창성에 맞춰 조정된 일반적인 요약은 그럴듯하지만 정보성이 없는 세부 사항을 유지하면서 결정적인 근거를 일상적으로 누락합니다. 이를 위해 본 논문에서는 다운스트림 임상 작업에 맞춰 임상 기록 요약을 직접 최적화하는 EHR 예측용 보상 정렬 요약기인 RASPER를 제안합니다. RASPER는 미세조정 가능한 대규모 언어 모델(LLM) 기반 요약기를 활용하여 퇴원 요약지에서 작업 관련 근거를 추출하고, 다운스트림 예측기의 손실(loss)에서 도출된 보상(reward)을 사용하여 예측 피드백 기반 강화학습(reinforcement learning)으로 이를 학습합니다. 요약기를 그라운딩하기 위해 종단적 인코더가 정형 코드를 소프트 프롬프트로 변환하여 각 환자의 임상적 맥락을 임상 기록 요약에 반영합니다. 최종적인 멀티모달 예측 품질에 보상을 제공함으로써, RASPER는 요약기가 정형 코드로 포착된 정보를 중복하기보다는 이를 보완하는 환자별 근거를 유지하도록 유도합니다. RASPER는 MIMIC-III 및 MIMIC-IV 전반에서 재입원 예측과 약물 추천 모두에 대해 강력한 베이스라인을 일관되게 능가합니다.
대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.
안전성(safety) 모니터는 외부 도구 및 환경과 상호작용하는 언어 모델 에이전트(agent)를 보호하는 데 도움이 되지만, 보수적인 모니터링은 많은 오경보(false alarm)를 발생시켜 광범위한 검토 자원을 소모하고 경보에 대한 신뢰를 약화시킬 수 있습니다. 오경보와 실제 경보는 기존 모니터 점수 내에서 서로 뒤섞여 있는 경우가 많기 때문에, 신뢰할 수 있는 기준값(cutoff)을 얻으려면 여전히 상당한 수작업 검증이 필요합니다. 실제 환경에서는 안전성이 검증된 소수의 비경보 궤적(trajectory)을 확보할 수 있는 반면 경보는 라벨이 지정되지 않은 상태로 남아 있어, 오경보 감사는 자연스럽게 포지티브-비라벨(Positive-Unlabeled, PU) 랭킹 문제로 귀결됩니다. 핵심 과제는 모니터로 인해 유도된 선택 편향(monitor-induced selection)입니다. 관측된 안전 레퍼런스는 모니터가 수용한 것인 반면, 복구하고자 하는 숨겨진 안전 경보는 모니터가 잘못 플래그를 지정한 것이므로, 관측된 포지티브가 복구 대상 포지티브를 제대로 대표하지 못합니다. 이러한 문제를 해결하기 위해 본 논문에서는 2단계 프레임워크를 제안합니다. 여기서는 신뢰 인식 PU 지도(Trust-aware PU Supervision)를 통해 안전 레퍼런스를 경보 도메인에 맞게 적응시키고 타당한 오경보가 과도한 네거티브 압력을 받지 않도록 보호하는 한편, 신뢰도 게이트 순위 증류(Reliability-gated Rank Distillation)를 통해 여러 PU 레퍼런스 모델의 일관된 순서 선호도를 단일 학생 모델로 통합합니다. 이후 합의 기반 구조적 정제(Consensus-guided Structural Refinement)는 계층적 안전 레퍼런스 지원, 경보 간 관계, 예측된 레퍼런스 합의를 활용하여 학생 모델의 순위를 개선합니다. 이 프레임워크는 학습을 위한 경보 안전성 라벨을 필요로 하지 않으며 기존 모니터를 변경하지 않고 그대로 유지합니다. 주요 안전성 모니터 전반에서 본 방법은 $0.6444$의 매크로 AUPRC를 달성하여 평가된 8개의 PU 기준선(baseline)을 절대 백분율 포인트 기준 5.27~16.98%p 앞섰으며, 평가된 가장 강력한 PU 기준선인 PULDA와 비교했을 때 5%의 검토 예산에서 33.3% 더 많은 오경보를 복구합니다.
라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.
언어 모델(language model) 에이전트(agent)는 모델의 컨텍스트, 도구, 피드백을 관리하는 모델 주변 소프트웨어인 하네스(harness)와 함께 배포됩니다. 이러한 에이전트를 더 작은 에이전트로 증류(distillation)할 때 하네스는 그대로 유지되므로, 학생 모델은 하네스 정보를 바탕으로 올바르게 동작하는 것과 같이 하네스가 제공할 수 없는 교사 모델 고유의 능력만을 주로 필요로 합니다. 그러나 표준 증류 방식은 교사 모델의 전체 출력을 모방하며 하네스를 단순한 입력의 일부로 취급합니다. 본 논문에서는 하네스를 넘어서 교사 모델이 추가로 기여하는 부분에 증류를 집중하는 하네스 인지 증류(Harness-Aware Distillation, HAD)를 제안합니다. HAD는 온-정책(on-policy) 증류를 두 가지 구성 요소로 보완합니다. 하나는 학생 모델 자체의 추론 이후에 점수를 매겨 하네스 정보 유무에 따른 동일한 교사 모델의 행동을 대조하는 행동 선호도이며, 다른 하나는 선호되는 행동이 하네스 기록과 모순되는 선호도 쌍을 제거하는 유효성 검사입니다. 이러한 대조를 통해 교사 모델만을 모방해서는 얻을 수 없는 정보를 학생 모델에 제공함을 보이며, HAD는 태스크 보상, 성공 레이블 또는 미래 정보를 필요로 하지 않습니다. 여러 장기(long-horizon) 에이전트 벤치마크 및 모델 전반에서 HAD는 동일한 고정 하네스를 사용하는 온-정책 증류 베이스라인보다 뛰어난 성능을 보입니다. 분석 결과, HAD는 베이스라인에 비해 비생산적인 루프에 덜 빠지고 오류에서 더 자주 회복되며, 하네스에서 상태 정보를 읽어오는 동시에 학습 가능한 피드백을 가중치에 적응적으로 유지함을 시사합니다.
대규모 언어 모델(LLM)의 안전하고 신뢰할 수 있는 배포를 보장하는 것은 여전히 근본적인 과제로 남아 있습니다. 기존의 안전성 정렬(safety alignment) 방식들은 높은 계산 비용을 초래하거나 모델의 핵심 지식을 의도치 않게 훼손하여 무해한 작업에서의 유창성과 사실적 정확도를 저하시킵니다. 이는 안전성과 유용성(utility) 사이의 지속적인 트레이드오프를 보여줍니다. 본 논문에서는 제어 이론적 최적화와 영공간 투영(null-space projection)을 통합한 경량 정렬 프레임워크인 DNAlign을 제안합니다. 제안된 프레임워크는 LLM을 동적 시스템으로 취급하여, 생성이 안전한 방향으로 유도되도록 제어 가능한 섭동(perturbation)을 도입합니다. 핵심 구성 요소인 투영 모듈은 이러한 섭동을 중립 은닉 상태에서 파생된 유해성 관련 부분공간으로 제한함으로써, 일반적인 지식과 응답 품질을 보존합니다. 인간 선호도 데이터로 학습된 가치 함수는 인간의 안전성 선호도에 부합하도록 제어 신호를 적응적으로 최적화합니다. 다양한 LLM 백본에 걸친 광범위한 평가는 본 프레임워크가 유창성, 일관성, 사실적 유용성을 유지하면서 유해한 출력을 일관되게 감소시킴을 입증합니다. 또한 생성 다양성을 희생하지 않으면서 이전 정렬 베이스라인 대비 우수한 종합적 성능을 달성합니다. 이러한 결과는 제안된 프레임워크가 안전한 LLM 정렬을 위한 효과적이고 실질적으로 배포 가능한 솔루션을 제공함을 보여줍니다. 코드는 https://anonymous.4open.science/r/DNAlign 에서 이용할 수 있습니다.
적응형 대규모 언어 모델(LLM) 강화학습(RL) 사후 학습은 롤아웃(rollout) 온도, 그룹 크기, 클리핑, KL 정규화(regularization), 검증기(verifier) 할당, 업데이트 예산 등 여러 학습 제어 요소를 온라인으로 변경합니다. 그러나 세 가지 결합된 문제가 여전히 해결되지 않은 상태로 남아 있습니다. 행동 궤적(behavior trajectories)으로 학습된 미래 위험 모델은 실제로 배포될 제어기(controller)가 유발하는 위험을 정확히 추정하지 못할 수 있고, 기록된 상태-행동 쌍에서 보정(calibrated)된 점수는 선택적 행동 결정 후 보정 오차가 발생할 수 있으며, 자원별 독립적인 최소 비용만으로는 일반적으로 다중 자원에 걸친 실행 가능한 지속 경로를 보장하지 못합니다. 본 논문에서는 이러한 문제들을 종합적으로 해결하는 예산 제약 기반 LLM RL 사후 학습용 피드백 상태 제어기인 FSPO를 제안합니다. FSPO는 향후 결정에 사용되는 동일한 동결 제어기를 벨만 타깃(Bellman target)으로 따르는 정책 일관적(policy-consistent) 잔여 위험(risk-to-go) 모델을 장기 효용 모델과 함께 학습합니다. 또한 결정 조건부 궤적 보정(DCTC)은 임시 제어기가 선택한 행동으로 생성된 교차 적합(cross-fitted) 궤적에서 위험을 보정합니다. 파레토 자원 지속 보증(PRCC)은 잔여 구간(horizon) 동안 비지배(non-dominated) 누적 예약이 실행 가능할 때만 행동을 허용합니다. 동일한 GRPO 자원 범위 조건에서 FSPO는 66.11%의 홀드아웃(held-out) 정확도와 59.43%의 OOD(분포 외) 정확도를 달성하여, 평가된 가장 강력한 적응형 기준선(baseline)인 PB2의 64.47% 및 57.03%를 능가했습니다. 3개의 쌍체 학습 시드(paired training seeds) 기준 홀드아웃 및 OOD 평가에서 문맥 밴딧(contextual bandit) 대비 각각 +2.42 및 +3.19%p 향상되었습니다. 행동-배포 간 불일치가 큰 조건에서 정책 일관적 위험은 선택 결정 ECE를 0.108에서 0.053으로 낮췄고, DCTC는 동일 수락률 조건에서 이를 0.039에서 0.022로 낮췄으며, PRCC는 18개 행동 카탈로그에서 거짓 실행 가능 허용을 완전히 제거했습니다($0.197\rightarrow0.000$). 요인 제거 분석(factorial ablation)에서 세 요소를 모두 활성화했을 때 궤적 실패율은 0.181에서 0.083으로 감소했습니다.
현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.
어려운 작업에서의 성공적인 궤적(trajectory)은 모델 개선을 위한 귀중한 지도(supervision) 정보를 제공하지만, 특화된 하네스(harness)는 배포 환경에서는 사용할 수 없는 개입을 도입하기도 합니다. 본 연구에서는 단일 베이스 모델인 Qwen-3.8-27B를 사용하여 다양한 하네스 환경에서 성공적인 해결책을 탐색하고, 이를 일반 하네스 환경의 학습(training) 궤적으로 재구성하는 프레임워크인 재귀적 자기 재작성(Recursive Self-Rewrite, RSR)을 제안합니다. 플래너(planner)는 절차를 런북(runbook)으로 추출하고, 크리틱(critic)은 검증기(verifier) 및 솔루션 유출을 걸러내며 재귀적 수정을 유도하고, 실행기(executor)는 새로운 샌드박스 환경에서 적격한 런북을 따릅니다. 자체 선별한 약 3천 개의 터미널 작업 전반에서 세 가지 하네스가 공동으로 759개의 작업을 해결하여, 기록된 풀에서 가장 뛰어난 개별 하네스보다 34.3% 더 많은 작업을 해결했습니다. RSR은 지도 파인튜닝(supervised finetuning)을 위해 2,001개의 성공적인 소스 궤적을 11,094개의 재작성된 궤적으로 확장합니다. 이러한 궤적으로 학습을 진행하면 베이스 모델과 직접 궤적 SFT 모두보다 우수한 성능을 보입니다. 베이스 모델과 비교하여 pass@3은 Terminal-Bench 2에서 57.0%에서 74.2%로, Terminal-Bench 4에서 1.5%에서 9.1%로, 자체 선별한 Terminal-Bench Hard에서 39.0%에서 63.0%로, Software Terminal-Bench에서 3.0%에서 6.0%로 증가합니다. Long-Horizon Terminal-Bench에서의 과정 보상(process reward)은 0.21에서 0.29로 상승합니다. 이러한 결과는 하네스의 지원을 받은 다양한 경험이 일반 하네스 환경에서 작동하는 모델을 위한 재사용 가능한 역량으로 재구성될 수 있음을 보여줍니다.
긴 사고의 연쇄(Chain-of-Thought) 추론은 자기회귀 디코딩(autoregressive decoding) 과정에서 KV 캐시 메모리를 크게 증가시킵니다. 생성되는 모든 토큰이 새로운 키 및 값 상태를 도입하여 캐시가 디코딩 길이에 따라 선형적으로 증가하기 때문입니다. 기존의 KV 캐시 압축 방식은 일반적으로 토큰 축출(token eviction)을 통해 이러한 증가를 억제하지만, 비가역적인 삭제는 이후 추론 과정에서 다시 참조해야 할 과거 상태를 제거할 수 있습니다. SVD 기반 저차원(low-rank) 압축은 보다 조밀한 표현을 통해 모든 위치를 보존함으로써 대안을 제공합니다. 그러나 이를 고정된 프롬프트 캐시에서 온라인 디코딩으로 확장하는 것은 간단하지 않습니다. 본 연구의 조사를 통해, 새로운 토큰에 맞춰 기저(basis)를 업데이트하는 반면 이전 토큰들이 과거 기저에서의 좌표를 유지할 경우 저장된 히스토리가 크게 표류(drift)한다는 점을 발견했습니다. 이러한 관찰을 바탕으로, 긴 호흡의 추론을 위한 온라인 저차원 KV 캐시 압축 기법인 iS-KV를 제안합니다. iS-KV는 최근 윈도우는 정확하게 유지하면서 오래된 상태들을 유계 랭크(bounded-rank) 표현으로 점진적으로 접어 넣습니다. 또한 저차원 기저가 발전함에 따라 과거 좌표를 업데이트된 기저와 동기화하여 표현 일관성을 유지합니다. DeepSeek-R1-Distill-Llama-8B에서 iS-KV는 영구 KV를 4.06배 압축하면서도 원본 모델의 83.6%에 근접한 82.6%의 정확도를 달성했습니다. Qwen3-8B에서는 5.64배 압축에서 89.2%의 정확도를 달성했습니다. 동일한 메모리 예산 조건에서 iS-KV는 토큰 축출 기반의 베이스라인 모델들을 일관되게 능가합니다.
법률 시스템은 점점 더 소프트웨어를 통해 구현되고 있으나, 법률 텍스트를 정확한 기호적 표현(symbolic representation)으로 변환하는 확장 가능한 방법은 여전히 미흡한 실정입니다. 본 연구에서는 양식과 신고 지침이 산술, 분기, 재귀, 표 추론(tabular reasoning)을 포함하는 대규모 계산 구조를 정의하는 세법을 통해 이 문제를 탐구합니다. 저자들은 세무 양식과 지침을 실행 가능한 기호 프로그램으로 자동 정형화하는 뉴로-심볼릭(neuro-symbolic) 프레임워크인 Law&Order를 제안합니다. 본 접근법은 법률과 논리 간의 두 가지 대응 관계를 확립합니다. 즉, 셀 및 별지(schedule)와 같은 법률적 구성 요소와 기호적 구성 요소를 정렬하는 구조적 대응(structural correspondence), 그리고 기호적 구성 요소가 그에 대응하는 법률 규정에 명시된 계산을 구현하도록 요구하는 외연적 대응(denotational correspondence)입니다. 본 연구는 대규모 언어 모델(LLM) 기반 합성을 셀 수준의 검증 및 사람이 작성한 OpenTaxSolver 세무 신고서를 활용한 반복적인 국소 오류 수정과 결합합니다. 이후 생성이나 수정 과정에서 전혀 노출되지 않고 독립적으로 작성된 별도의 TaxCalcBench 신고서를 대상으로 결과 정형화를 평가합니다. 가장 뛰어난 LLM도 66%의 정확도에 그친 반면, Law&Order는 51개의 별도 신고서에서 셀 수준 및 양식 수준 100%의 정확도를 달성하여, LLM 단독 사용 대비 확장 가능하고 검증 가능한 대규모 법률 자동 정형화를 위해 LLM 기반 합성과 기호적 검증을 결합하는 방식의 효과성을 입증합니다.
동적 대규모 언어 모델(LLM) 라우터는 각 질의를 올바르게 답변할 수 있는 가장 저렴한 모델로 보내 추론(inference) 비용을 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 8개 작업 범주를 아우르는 다양한 벤치마크를 기반으로 14개 설정에서 6개의 상용 라우터를 분석하였으며, 그 어떤 라우터도 동일한 비용 조건에서 잘 선택된 두 모델 중 하나를 무작위로 선택하는 라우터보다 우수한 성능을 내지 못함을 확인했습니다. 일부 라우터는 성능이 10%p 이상 낮았습니다. 연구진은 이러한 격차의 원인을 라우터 전반에서 만연한 네 가지 패턴, 즉 난이도 맹목성(difficulty blindness), 길이 역전(length reversal), 의미적 매칭(semantic matching), 명단(roster)의 비최적성으로 추적했습니다. 본 연구는 앞의 세 가지 패턴이 표준 목적 함수가 보상하는 바임을 보여줍니다. 즉, 실현된 비용에 기반한 비용-정확도 파레토 효율성은 가장 어려운 질의보다 적당히 어려운 질의를, 긴 질의보다 짧은 질의를 더 상위 모델로 전달(escalate)하도록 유도하며, 질의의 난이도보다는 출처에 따라 라우팅하도록 만듭니다. 또한 대규모 모델 명단을 정당화하는 두 가지 가정인 모델 세분성(granularity)과 모델 전문화(specialization)가 실증적으로 성립하지 않는다고 주장합니다. 연구진은 이러한 패턴에 보상을 주지 않는 대안 평가 방법론을 제안하고, 개념 증명(proof of concept)으로서 이 네 가지 패턴을 모두 피하는 단순한 2개 모델 라우터를 설계했습니다. 그럼에도 불구하고 잘 구성된 모델 명단에서는 라우팅할 여지가 거의 남지 않기 때문에, 무작위 라우팅 대비 성능 향상은 제한적입니다.
사고의 연쇄(Chain-of-Thought, CoT) 모니터링은 바람직하지 않은 모델 행동을 탐지하는 유망한 접근 방식을 제공합니다. 루프형 언어 모델(Looped language models, LoopLM)은 공유된 트랜스포머 층을 반복적으로 적용하여 모델 크기를 늘리지 않고도 유효 계산 깊이를 늘리고 추가적인 잠재 연산을 가능하게 합니다. 그러나 루프형 아키텍처가 CoT 모니터링 가능성에 미치는 영향은 아직 거의 연구되지 않았습니다. 본 연구에서는 LoopLM의 CoT 모니터링 가능성에 대한 최초의 체계적인 평가를 제공합니다. 우리는 상호 보완적인 두 가지 설정을 연구합니다: (1) 추가적인 순환 연산의 효과를 분리하기 위해 동일한 LoopLM 계열 내에서 루프 깊이를 변화시키는 설정, 그리고 (2) LoopLM이 모니터링하기 더 어려운지 연구하기 위해 매개변수 크기, 트랜스포머 층 수 또는 유효 깊이를 일치시킨 비루프형(non-looped) 언어 모델과 LoopLM을 비교하는 설정입니다. MonitorBench의 8개 작업과 표준 및 스트레스 테스트 설정 전반에 걸쳐, 특정 논리/과학/공학 \texttt{Cue Answer} 작업의 스트레스 테스트 하에서 CoT 모니터링 가능성이 작업에 따라 감소하는 것을 관찰한 반면, 다른 작업들에서는 더 약하거나 질적으로 다른 경향을 보였습니다. 우리의 진단에 따르면 이러한 감소는 작업 난이도, 검증 통과율 또는 생성된 토큰 길이로 완전히 설명되지 않으며, 정성적 예시는 더 깊은 루프 모델이 제공된 단서를 명시적으로 사용하거나 귀인하는 방식의 변화를 추가로 시사합니다. 교차 모델 비교 결과, 크기나 깊이가 일치하는 비루프형 언어 모델보다 LoopLM이 체계적으로 모니터링 가능성이 낮다는 증거는 발견되지 않았습니다. 종합적으로, 우리의 결과는 스트레스 테스트 하의 일부 작업에서 더 깊은 루프 깊이가 CoT 모니터링 가능성을 감소시킬 수 있지만, 루프형 트랜스포머 아키텍처 자체만으로 모니터링 가능성이 필연적으로 낮아지는 것은 아님을 시사합니다.
임상적 추론을 위해 대규모 언어 모델(LLM)의 활용이 점차 탐색되고 있으나, 환자의 근거가 변화함에 따라 모델이 판단을 적절하게 수정하는지는 여전히 불분명하다. 본 연구에서는 전자의무기록의 매칭된 중환자 치료 궤적을 활용하여 종단적 신념 업데이트(longitudinal belief updating)를 평가했다. 다양한 LLM 전반에서, 추정치가 변경될 때 이전 판단을 조건부로 반영하는 것은 예측 오차를 줄이기보다 오히려 증가시키는 경우가 더 많았으며, 이는 두 번째 종단점에서도 재현되었다. 통제된 개입 실험을 통해 두 가지 실패 모드가 밝혀졌다. 첫째, 이전 평가가 고정되었을 때 모델은 매칭된 호흡 개선 근거보다 악화 근거에 더 강하게 반응했으며, 이러한 비대칭성은 중간 및 강한 근거 수준에서 헤드룸 정규화(headroom normalization)를 거친 후에도 지속되었다. 둘째, 현재 근거가 고정되었을 때 사전 위험도를 10%에서 90%로 증가시키면 추정치가 26.2%포인트 이동하여 이전 모델 신념의 인과적 영향을 입증했다. 프롬프팅은 신뢰할 수 있는 업데이트를 복원하지 못했다. 근거 검증 종단적 업데이트(Evidence-Validated Longitudinal Update, EVLU)는 더 적지만 보다 신뢰할 수 있는 수정을 식별하여 신뢰성과 커버리지 간의 절충 관계(trade-off)를 드러냈다. 이러한 발견은 종단적 신념 업데이트가 LLM 신뢰성의 뚜렷한 한 차원임을 확립한다.