반응 기작은 화학적 변환을 설명하는 기본 반응들의 단계별 서열로 구성된다. 따라서 기작 논리를 학습하는 것은 대규모 언어 모델(LLM)의 근본적인 화학적 지능을 향상시키는 데 필수적이다. 반응 기작의 단계적 추론은 추론 LLM의 추론 패러다임과 자연스럽게 부합한다. 하지만 현재의 화학 LLM은 주로 생성물 예측 및 역합성(retrosynthesis)을 위해 거시적 수준의 이름 반응(name reaction)에 초점을 맞추고 있어, 종종 물리적 불일치와 환각(hallucination)을 초래한다. 반면, 기작 추론을 위한 특화된 소규모 생성 모델은 일반적으로 다양한 화학 공간에 걸친 제한된 일반화 능력을 겪는다. 이러한 한계를 극복하기 위해, 우리는 반응 기작에 대한 새로운 대규모 추론 데이터셋을 구축했다. 또한 Fukuyama의 Advanced Organic Reaction Mechanism 서적에서 파생된 어려운 벤치마크인 FukuyamaBench를 수립하여, 계층적 기작 추론에 대한 모델 성능을 엄격히 평가했다. 우리의 파인튜닝된 Qwen3-30B-A3B는 FukuyamaBench Set~A에서 8.3%의 정확한 경로 일치(exact pathway match)를 달성하여, 특화 모델인 FlowER(5.1%)를 능가했으며, 이는 기작 인식(mechanism-aware) 학습이 언어 모델의 화학적 추론을 실질적으로 향상시킨다는 것을 보여준다.
대규모 언어 모델(LLM)은 은닉 상태에 풍부한 정보를 인코딩한다. 본 연구는 LiveCodeBench의 444개 과제 집합에서 평가하여, Qwen3-4B-Instruct-2507이 아직 생성하지 않은 코드의 정확성이 이미 그 은닉 상태에서 읽을 수 있는지를 묻는다. 모델의 첫 번째 시도 코드 정확성은 어떤 출력 토큰도 생성되기 전에 포착된 최종 프롬프트 토큰에서의 은닉 상태로부터 선형적으로 디코딩 가능하며, 50개의 외부 분할(outer splits)에 걸쳐 누수 없는(leakage-free) 홀드아웃 AUC는 0.881 +/- 0.008이다. 이 신호가 프롬프트 길이로 설명되는지 평가하기 위해, 각 은닉 상태 차원은 그 선형 효과에 대해 잔차화(residualized)된다. 프로브는 여전히 AUC 0.842 +/- 0.010을 달성하여, 로지스틱 프롬프트 길이 기준선 0.657 +/- 0.014보다 상당히 높으며, 테스트한 비선형 모델 중 어느 것도 이를 개선하지 못한다. 실패한 첫 시도 이후 성공적인 자가 수정(self-repair)이 모델의 은닉 상태에 기하학적 서명을 남기는지에 대한 동반 질문은, 이 설정에서 분석을 뒷받침하기에 그러한 성공적 수정이 너무 드물어 답할 수 없었다. 이 기여는 경험적·방법론적이며, 생성 이전 은닉 상태에 최종 코드 정확성의 견고한 신호가 담겨 있음을 보여주는 증거와, 프롬프트 길이에 대한 조정 후에도 그 신호의 어느 정도가 남아 있는지를 정량화하는 교란(confound) 통제 진단을 함께 제공한다.
Retrieval-augmented generation (RAG) for long-context question answering is bottlenecked by inference-time prefilling over large retrieved contexts. A common strategy is to precompute key-value (KV) caches for individual documents and selectively recompute a small subset of tokens to restore global causal dependencies, but existing methods rely on heuristics or representation discrepancies without modeling whether selected tokens can effectively influence generation. We cast selective KV recomputation as an information flow problem and show that a simple attention-norm signal from the query reliably identifies tokens that are both semantically relevant and structurally positioned to propagate information, when computed under an inference-consistent RoPE geometry. We therefore reconstruct global positional assignments for retrieved chunks and introduce an information-flow-guided chunk reordering strategy. Experiments on Large Language Model and Vision-Language Model benchmarks demonstrate consistent gains over prior methods under comparable latency.
파운데이션 모델은 눈에 띄는 성공을 거두었지만, 매개변수 수가 증가하면서 상당한 계산 및 메모리 난제를 야기하고 있다. 저랭크 분해는 학습과 추론 비용을 줄이는 유망한 접근을 제공하지만, 커뮤니티는 밀집(dense) 모델의 성능에 맞추면서 오직 저랭크 가중치만을 사용해 처음부터 모델을 학습하는 안정적인 방법을 갖추지 못하고 있다. 우리는 대규모 언어 모델(LLM)이 이전 방법들이 요구했던 보조적인 "풀랭크" 지도 없이도, 임베딩이 아닌 모든 행렬에 대해 오직 저랭크 분해 가중치만을 사용하여 처음부터 학습될 수 있음을 보여준다. 네이티브 저랭크 학습은 종종 불안정성과 손실 급등을 겪지만, 우리는 가중치 행렬 업데이트의 스펙트럴 노름(최대 특이값)의 통제되지 않은 증가가 주요 요인임을 확인한다. 이를 해결하기 위해, 우리는 Spectron: 직교화를 통한 스펙트럴 재정규화(Spectral renormalization with orthogonalization)를 제안한다. 이 방법은 요인들의 현재 스펙트럴 노름에 기반하여 결과 가중치 업데이트를 동적으로 한계한다. 우리 방법은 무시할 수 있는 오버헤드로 안정적인 end-to-end 분해 학습을 가능하게 한다. 마지막으로, 우리는 네이티브 저랭크 트랜스포머에 대한 계산 최적(compute-optimal) 스케일링 법칙을 확립하고, 예측 가능한 멱법칙(power-law) 거동과 밀집 모델 대비 향상된 추론 효율을 입증한다.
대규모 언어 모델(LLM)의 최근 발전으로 일상 애플리케이션에서 널리 채택되고 있다. 인상적인 능력에도 불구하고, 동의어 치환과 같은 의미를 보존하는 사소한 변경만으로도 잘못된 예측으로 이어질 수 있어 적대적 공격(adversarial attack)에 취약하다. 따라서 이러한 적대적 프롬프트에 대한 LLM의 견고성을 인증하는 것은 매우 중요하다. 기존 접근법은 견고성 인증을 위해 단어 삭제 또는 단순 디노이징 전략에 집중했다. 그러나 이러한 방법은 두 가지 중요한 한계에 직면한다: (1) 교란된 출력에 대한 의미적 검증 부족으로 인해 느슨한 견고성 경계를 산출하고, (2) 반복적 샘플링으로 인해 높은 계산 비용이 발생한다. 이러한 한계를 해결하기 위해, 클러스터링 기반 디노이징 스무딩을 통한 LLM 견고성 인증을 위한 새로운 프레임워크인 CluCERT를 제안한다. 구체적으로, 더 타이트한 인증 경계를 달성하기 위해, 이론적 분석을 뒷받침하여 노이즈 샘플을 줄이고 의미 있는 교란을 유지하는 의미적 클러스터링 필터를 도입한다. 또한 핵심 의미를 추출하는 정제(refine) 모듈과 디노이징 과정을 가속하는 빠른 동의어 치환 전략이라는 두 가지 메커니즘을 통해 계산 효율성을 향상시킨다. 마지막으로, 다양한 다운스트림(downstream) 작업과 jailbreak 방어 시나리오에서 광범위한 실험을 수행했다. 실험 결과, 우리 방법이 견고성 경계와 계산 효율성 모두에서 기존 인증 접근법보다 우수함을 보여준다.
대규모 언어 모델(LLM)에서 평생 학습(lifelong learning)을 가능하게 하려면, 안정성-가소성(stability-plasticity) 딜레마(즉, 모델이 기존 표현을 덮어쓰지 않으면서 새 지식을 통합해야 함)를 해결하면서 매개변수 증가가 제한된 조건에서 확장성(scalability)을 유지해야 한다. 기존 PEFT(파라미터 효율적 미세조정) 방법은 이 세 가지 조건을 동시에 충족하지 못한다. 공유 매개변수 방식은 치명적 간섭(catastrophic interference)에 취약하고, 과업(task)별로 격리된 확장은 지식 전이를 막으며 매개변수가 선형적으로 증가한다. 우리는 모델 용량을 재사용 가능하고 조합적인 원시 구성요소(primitives)로 분해하는 모듈형 희소(sparse) 프레임워크인 SubExpert 혼합(Mixtures of SubExperts, MoSEs)을 제안한다. MoSEs는 트랜스포머 층에 경량 SubExpert와 과업 입력에 따라 모듈의 희소 부분집합을 동적으로 선택·조합하는 학습된 서브 라우팅(sub-routing) 함수를 추가한다. 이를 통해 지식이 국소화되면서도 접근 가능한 매개변수 공간의 구조적 분해가 유도되어, 간섭을 완화하면서 재사용을 보존한다. 구체적으로 MoSEs는 세 가지 기둥을 통해 딜레마를 균형 잡는다: (i) 희소하게 활성화된 모듈 내에서 지식을 격리함으로써 안정성, (ii) 라우팅 기반 재조합과 선택적 확장을 통한 가소성, (iii) 유효 용량의 차선형(sublinear) 증가를 통한 확장성. 특히 라우팅 메커니즘은 조합적 일반화(compositional generalization)를 가능하게 하여, 새 과업을 이전에 습득한 하위 함수(sub-functions)의 조합으로 표현할 수 있게 한다. 우리는 TRACE와 SuperNI에서 MoSEs를 실증적으로 검증하여, 강력한 PEFT 베이스라인 대비 망각 감소, 순방향 전이(forward transfer) 개선, 더 나은 매개변수 효율을 보였다. MoSEs는 엄격한 매개변수 예산을 유지하면서 최첨단 성능을 달성하며 새로운 파레토(Pareto) 프론티어를 수립한다. 우리 결과는 모듈형 희소성과 조합적 라우팅이 포화(saturation) 없이 지속적으로 학습하는 파운데이션 모델(foundation model)을 구축하는 데 핵심적인 귀납적 편향(inductive bias)임을 시사한다.
대규모 언어 모델(LLM)은 건강 관련 질문에 답하고 의료 워크플로를 지원하는 데 점점 더 많이 사용되지만, 안전성에 대한 근거는 여전히 빠르게 구식이 되거나 최적화 대상이 될 수 있는 정적 벤치마크에 크게 의존한다. 여기서 우리는 건강 분야 LLM을 네 가지 안전 핵심 축—견고성(robustness), 프라이버시(privacy), 바이어스/공정성(bias/fairness), 환각/사실 부정확성(hallucination/factual inaccuracies)—에 걸쳐 지속적으로 스트레스 테스트하는 동적·자동·체계적(Dynamic, Automatic, and Systematic, DAS) 레드팀 테스팅 감사 프레임워크를 제안한다. 전문의 자격을 갖춘 임상의와의 높은 일치도로 검증된 이 프레임워크에서, 적대적 에이전트(adversarial agents) 모음이 건강 관련 테스트 케이스를 자율적으로 변형(mutate)하여 실시간으로 취약점을 드러낸다. DAS를 독점 및 오픈소스 LLM 15개에 적용한 결과, 높은 정적 벤치마크 성능과 낮은 동적 신뢰성 사이에 "벤치마킹 격차(Benchmarking Gap)"라는 심각한 간극이 드러났다. MedQA 정확도의 중앙값이 80%를 넘었음에도, 이전에 정답이었던 응답의 94%가 동적 견고성 테스트에서 실패했다. 이러한 취약성은 현실적이고 개방형 질문 형식의 HealthBench 데이터셋에서도 일반화되었으며, 최상위 모델들은 70%를 넘는 실패율과 평가 간 모델 순위의 급격한 변동을 보였다. 이는 확립된 정적 벤치마크의 높은 점수가 피상적인 암기를 반영할 수 있음을 시사한다. 다른 영역에서도 유사하게 높은 실패율을 관찰했다: 86%의 시나리오에서 프라이버시 유출이 유발되었고, 인지 바이어스 프라이밍(cognitive-bias priming)이 공정성 테스트의 81%에서 권고를 바꾸었으며, 널리 사용되는 모델에서 환각 비율은 74%를 넘었다. 건강 분야 LLM 안전성 평가를 정적 체크리스트에서 살아 있는 적대적 감사로 전환함으로써, DAS는 소비자 대상 건강 어시스턴트, 임상의 대상 도구, 더 넓은 의료 워크플로에 배포되기 전에 잠재 위험을 드러내는 확장 가능한 프레임워크를 제공한다. 코드는 https://github.com/JZPeterPan/DAS-Medical-Red-Teaming-Agents 에서 확인할 수 있다.
Fisher 정보는 신경망에서 매개변수의 민감도를 특성화하는 근본적인 개념이다. 그러나 전체 관측 Fisher 정보를 활용하는 것은 대규모 모델에서는 비용이 너무 크므로, 대부분의 방법은 단순한 대각 근사에 의존한다. 효율적이긴 하지만, 이 접근법은 매개변수 상관관계를 무시하여 종종 다운스트림 태스크에서 성능 저하를 초래한다. 본 연구에서는 이러한 한계를 완화하고, Fisher 정보 행렬의 대각 및 비대각 원소를 모두 고려하여 매개변수 중요도를 더 정확하게 반영하는 사후 학습 LLM 압축 기법인 Generalized Fisher-Weighted SVD(GFWSVD)를 제안한다. 방법을 실행 가능하게 만들기 위해, 관측 Fisher 정보에 대한 Kronecker 분해 근사 알고리즘의 확장 가능한 변형을 도입한다. LLM 압축에서 본 방법의 효과를 입증하였으며, 기존 압축 베이스라인 대비 개선을 보였다. 예를 들어, MMLU 벤치마크에서 압축률 20% 조건에서, 본 방법은 Fisher 정보의 대각 근사에 기반한 FWSVD보다 5%, SVD-LLM보다 3% 우수하며, ASVD보다 압축률 6% 더 높은 결과를 달성한다.
머신러닝(ML)은 자율주행차(AV)의 핵심이 되어 동적 환경에서 인식, 예측, 계획, 제어 및 의사결정을 지원한다. 그러나 복잡한 교차로, 다양한 장면, 다양한 궤적, 복잡한 임무와 같은 혼잡하고 복잡한 시나리오에서 완전한 자율성을 달성하는 것은 여전히 어려운 과제이며, 데이터 라벨링 또한 여전히 주요 병목이다. 이러한 한계는 검증, 주석, 작업 구성, 보상 설계, 행동 수정, 선호 피드백, 감독적 개입 등을 통해 인간 입력을 통합하는 휴먼 인 더 루프 머신러닝(HITL-ML)의 필요성을 촉발한다. 안전하고 윤리적인 자율주행을 발전시키기 위해 본 논문은 커리큘럼 학습(CL), 휴먼 인 더 루프 강화학습(HITL-RL), 휴먼 인 더 루프 대규모 언어 모델(HITL-LLM), 능동 학습(AL), 윤리 원칙에 초점을 맞춘 AV용 HITL-ML에 대한 튜토리얼 서베이를 제시한다. 먼저 간단한 작업에서 복잡한 작업으로 학습을 구조화하는 CL 방법을 검토하며, 내비게이션, 경로 계획, 장애물 회피, 데이터 수집, 착륙, 교차로 처리, 모션 계획, UAV 군집 협조 등을 다룬다. 이어서 보상 형성(reward shaping), 행동 주입, 시연, 선호 기반 피드백, 대화형 학습을 통한 HITL-RL을 검토하며, 학습 효율 향상, 더 안전한 정책 탐험, 실시간 개입을 강조한다. 다음으로 협업과 감독 관점에서 HITL-LLM을 검토하고 핵심 과제를 명시한다. 그 후 인식, 이상 탐지, 시맨틱 매핑, 객체 검출, 차량 인식, 보안 관련 분류에 대한 AL을 논의한다. 마지막으로 투명성, 책임성, 인간 감독, 안전성, 보안, 규제 준수, 인간 입력의 신뢰성에 대한 기술적 요구사항으로서 윤리 원칙을 검토한다.
사전학습 데이터를 오염시키면 언어 모델(LM)에 탐지·완화하기 어려운 유해 행동을 유발할 수 있다. 기존 사전학습 데이터 오염(poisoning) 연구는 대부분 Wikipedia와 같은 정립된 데이터 소스를 활용해 왔는데, 이는 사전학습 코퍼스(pretraining corpus)에 흔한 대규모·이질성을 반영하지 못하며, 오염된 데이터와 데이터 큐레이션(data curation) 파이프라인 간 상호작용은 간과해 왔다. 우리는 공개 토론 인터페이스(public discussion interface)라는 기존의 웹 규모 콘텐츠 주입 메커니즘을 통해, 이러한 제한된 설정을 넘어서도 사전학습 데이터에 대한 오염 공격이 실현 가능함을 보인다. 또한 웹 크롤링(web crawling)과 데이터 큐레이션 이후 악성 콘텐츠가 포함되는지 측정하기 위해, 웹 크롤 기반 LM 학습 데이터에서 적대적(adversarial) 콘텐츠 포함 여부를 추정하는 새로운 분석 방법인 HalfLife를 제안한다. HalfLife를 사용해 공개 토론 인터페이스를 통해 웹 규모로 사전학습 코퍼스를 오염시키는 것의 실현 가능성을 탐구한다. 분석 결과, 오염 주입이 사전학습 데이터에 포함되는지 추정하는 일의 중요성을 보여 주며, 제3자 웹페이지 콘텐츠가 언어 모델 사전학습을 공격할 수 있는 가능한 경로(vector)임을 확인한다.
도구 통합 대규모 언어 모델(Tool-Integrated LLM)의 최근 발전으로 웹 검색은 정보 탐색 에이전트의 핵심 역량이 되었다. 그러나 상호작용 기록이 길어질수록 에이전트는 작업 진행 상황을 추적하는 데 점점 더 어려움을 겪는다. 검색 시도가 유용한 증거를 제공하지 못하면, 현재의 단일- 및 다중 에이전트 시스템은 반복적인 루프에 빠질 수 있으며, 검색 예산을 낭비하고 궁극적으로 최종 산출물의 품질과 완전성을 저하시킨다. 우리는 SearchOS를 소개하는데, 이는 취약한 암묵적 검색 진행 상태를 명시적이고 지속적이며 공유 가능한 상태로 전환하는 시스템 수준의 다중 에이전트 프레임워크이다. 먼저, 개방 도메인 정보 탐색을 그라운딩된 인용이 포함된 관계형 스키마 완성(relational schema completion)으로 공식화하는데, 에이전트는 엔티티를 발견하고 연결된 테이블 간 속성을 채우며, 각 값을 출처 증거에 고정한다. 이어서 Search-Oriented Context Management(SOCM)를 설계하는데, 이는 진화하는 상태를 Frontier Task, Evidence Graph, Coverage Map, Failure Memory로 외부화한다. SOCM 위에 구축된 SearchOS는 파이프라인 병렬 스케줄링 메커니즘을 적용하며, 서브 에이전트의 실행을 겹치게 하고 해결되지 않은 커버리지 공백을 대상으로 하는 작업으로 확보된 슬롯을 지속적으로 재채워 활용률과 처리량을 향상시킨다. 검색 에이전트의 실행을 스케줄링하고 제어하기 위해 SearchOS는 Search Tool Middleware Harness를 도입한다. 이는 모델과 도구 상호작용을 가로채 그라운딩된 증거를 기록하고 정지 또는 예산 소진에 대응하며, 전략 스킬과 접근 스킬로 구성된 재사용 가능한 계층적 스킬 시스템을 제공하여 에이전트의 검색 프로세스를 보강하고 실행 간 실패한 검색 패턴의 반복을 피한다. WideSearch와 GISA에서 SearchOS는 평가된 단일- 및 다중 에이전트 베이스라인 중 모든 지표에서 최고 성능을 기록하며, 견고한 정보 탐색 협업을 향한 길을 열어준다.
교통 관리 기관은 이제 안전과 혼잡 연구를 위해 대량의 영상 기반 데이터에 접근할 수 있다. 이러한 데이터의 대부분은 관찰 데이터이며 개입 없이 수집되므로, "비가 교통 밀도를 어떻게 변화시킬까?"와 같은 인과 질문에 답하기 어렵다. 우리는 도시 운전 데이터셋의 탐색적 인과 분석을 위한 시스템인 teLLMe를 제안한다. 이 시스템은 대시캠 주석으로 구축된 구조화된 이벤트 테이블에서 출발하여, PC 알고리즘을 이용한 인과 구조 학습, 부트스트랩 기반 안정성 검사, 선형 회귀 및 DoWhy를 이용한 쿼리별 효과 추정을 결합한다. 자연어 질문은 스키마 인지(schema-aware) LLM을 통해 구조화된 인과 쿼리로 매핑되어, 사용자가 처치(treatment), 결과(outcome), 하위 모집단(subpopulation)을 지정할 수 있게 한다. teLLMe는 효과 추정치, 조정 집합(adjustment set), 방향성 비순환 그래프(DAG) 지원, 가정을 요약하는 "Causal Card"를 반환하고, 이어 짧은 자연어 설명을 제공한다. BDD 기반 교통 이벤트에 대한 사례 연구는 이 시스템이 날씨, 피크 시간, 교통 밀도와 관련된 그럴듯한 관계를 드러낼 수 있으며, 불확실성과 모델링 선택을 명시적으로 보여줄 수 있음을 보여준다. 이 시스템은 확정적 인과 주장의 출처라기보다 가설 생성과 전문가 추론을 위한 도구로 설계되었다.
대규모 언어 모델(LLM)은 임베디드 에이전트(embodied agent)의 고수준 플래너로 점점 더 많이 사용되고 있으며, 여기서는 언어적으로 무해한 지시가 물리 세계에 그라운딩(grounding)되면 안전하지 않게 될 수 있다. 우리는 이러한 물리적으로 그라운딩된 위험이 일반적인 텍스트 수준 콘텐츠 위험과 동일한 안전성 문제인지 조사한다. 은닉 상태 방향 분석과 무작위 분할 null 테스트를 통해, Qwen2.5-3B/7B/14B/32B, Phi-3.5, SmolLM2에서 콘텐츠 위험(CD)과 물리적 위험(PD)이 LLM 표현 내에서 분리 가능한 신호를 형성함을 보인다. CD/PD 분리 가능성에 기반하여, 전체 은닉 상태에 대한 단일 층 L2 정규화 로지스틱 프로브인 PRISM을 제안한다. PRISM은 SafeAgentBench에서 86.2--87.7% 정확도와 11.7--13.7% 거짓 양성률(FPR)을 달성하는 반면, 동일 규모 LLM 판정기는 24.7--39.0% FPR로 안전한 작업을 과도하게 차단한다. 또한 직접적인 위해 키워드 없이 1,000개의 물리적 위험 쌍으로 구성된 대조 벤치마크인 PhysicalSafetyBench-1K(PSB-1K)를 도입하여, 방법들이 명시적 불안전 표현이 아니라 물리적으로 그라운딩된 위험을 탐지하는지 검증한다. PSB-1K에서 PRISM은 99.6% 정확도와 0.7% FPR을 기록하는 반면, Qwen2.5-3B 판정기는 안전한 작업의 67.8%를 거부한다. PRISM은 SafeText와 EARBench에서도 재현되며, 이는 텍스트 검열을 넘어선 물리적 안전성을 위한 표현 수준 방법으로서 은닉 상태 프로빙을 뒷받침한다.
실제 레포지토리 이슈에는 스크린샷, 오류 대화 상자, 렌더링된 UI 상태, 로그 등 시각적 증거가 흔히 포함되지만, 레포지토리 수준 이슈 국소화는 대부분 텍스트 전용 작업으로 평가된다. 기존 다중모달 SE 벤치마크는 end-to-end 수리를 평가하며, 국소화를 패치 합성과 뒤섞어 시각적 입력이 도움이 되었는지, 해가 되었는지, 아니면 무시되었는지를 가리게 한다. 우리는 시각적 증거를 포함한 레포지토리 수준 국소화를 위한 통제 벤치마크 및 평가 프로토콜인 \textbf{MM-IssueLoc}을 소개한다. MM-IssueLoc은 23개 언어에 걸친 652개의 이슈-PR 인스턴스를 포함하며, 7개 이미지 카테고리와 4단계 관련성 수준에 대한 주석을 제공한다. 파일 수준 및 함수 수준의 골드 레이블, 텍스트 전용 및 이미지 포함 평가의 짝을 이룬 비교, 그리고 이미지를 구조화된 텍스트 증거로 변환하는 VCE 기반 진단을 제공한다. 대규모 언어 모델(LLM) 기반 및 검색 기반 시스템을 평가하며, 통제된 다중모달 검색기로 MM-IssueLoc-VL-Emb을 포함한다. 결과는 기존 시스템이 신뢰할 수 있는 다중모달 레포지토리 국소화에 한참 미치지 못함을 보여준다: 가장 강력한 에이전트는 파일 Acc@5 38.96, 함수 Acc@10 22.45를 달성하는 반면, 가장 강력한 검색기는 함수 Acc@10 33.86에 이른다. 교차 벤치마크 비교는 텍스트 중심 SWE 벤치마크에서의 높은 국소화 점수가 다중모달 이슈 국소화로 깔끔하게 이전되지 않음을 보여준다. MM-IssueLoc은 시각적 증거를 명시적인 평가 변수로 전환하여, 향후 연구가 텍스트 전용 단서나 downstream 패치 생성 효과에 의존하는 것이 아니라 시각적 증거를 국소화에 사용함으로써 시스템이 개선되는지를 검증할 수 있게 한다.
어노테이션 품질은 정신 건강 연구를 위한 신뢰할 수 있고 설명 가능한 인공지능(XAI) 시스템 구축의 주요 병목이다. 우울 관련 데이터셋에서는 라벨이 종종 구조화된 근거, 증상 수준 정당화, 또는 «정신장애의 진단 및 통계 편람» 5판 텍스트 개정판(DSM-5-TR) 기준과의 추적 가능한 정렬 없이 부여되어, 투명성과 하류 모델의 해석가능성을 모두 제한한다. 우리는 대규모 언어 모델(LLM) 보조 라벨링과 전문가 검증을 결합한 주요 우울 장애(Major Depressive Disorder, MDD)용 자기 진화형 전문가-참여(expert-in-the-loop) 어노테이션 프레임워크를 제안한다. 이 프레임워크는 임상 진단을 수행하기보다는 설명 가능하고 DSM-5-TR에 정렬된 데이터셋 구축을 지원하기 위한 것이다. 3단계로 작동한다: 텍스트 기록으로부터 후보 근거 선택, 기준 수준의 DSM-5-TR 분석, 라벨 수준의 진단 및 중증도 어노테이션을 생성하는 사례 수준 종합. 예시 메모리(Example Memory)와 성찰 메모리(Reflection Memory)로 구성된 이중 메모리 아키텍처는 재학습 없이 전문가 피드백을 내재화하고 향후 어노테이션을 반복적으로 개선하도록 설계되었다. 우리는 이 메커니즘을 설명하고, 다중 피드백 주기에 걸친 평가는 향후 연구에 맡긴다. 최종 라벨 외에도 이 프레임워크는 임상적 근거, 추론 추적, 편집 이력을 내보내 포괄적인 감사 가능성을 가능하게 한다. 전문가 검토 표본을 사용한 파일럿 연구에서, 제안된 접근법은 수동 수정 노력을 줄이면서 어노테이션 일관성과 설명 가능성을 향상시켰다.
대부분의 의료 AI 벤치마크는 모델이 정답을 알고 있는지를 측정한다. MedFailBench는 다른 질문을 던진다: 어떤 안전 경계가 실패했는가? 우리는 의료 AI 오류를 심각도(1–5)와 안전 게이트 유형(긴급 에스컬레이션 누락, 안전하지 않은 원격 투약, 안전하지 않은 퇴원 안심 조언, 근거 날조, 안전하지 않은 프로토콜 실행, 출처 지원 공백)으로 라벨링하는 임상의가 구축한 합성 벤치마크와 실패 아틀라스를 제시한다. 현재 공개 릴리스(v0.2.1)에는 심각도 주석이 포함된 임상의 검토 합성 사례 44건, 라이브 HuggingFace 리더보드 미리보기, 안전 게이트 분류 체계, 임상 심각도 평가 기준, 모델 응답 스크리닝 실행 기록을 보관하기 위한 자동화 파이프라인이 포함되어 있다. 환자 데이터, 임상 검증 주장, 모델 순위는 포함되어 있지 않다. MedFailBench는 Apache-2.0 및 CC-BY-4.0로 공개되며, Zenodo DOI 10.5281/zenodo.21205535를 부여받았다.
산업 공정에서 자동화된 최적화가 점점 더 널리 채택되고 있으나, 이러한 알고리즘을 설계하는 엔지니어와 권고 사항에 따라 조치해야 하는 운영자 사이에는 여전히 신뢰 격차가 존재한다. SHAP(SHapley Additive exPlanations)와 같은 설명 가능 AI(Explainable AI) 방법은 머신러닝 예측의 해석 가능성을 변화시켰으며, 최적화 결과 역시 유사한 기법의 이점을 누릴 수 있다. 본 연구는 암시함수 정리(Implicit Function Theorem, IFT) 기반 민감도 분석을 SHAP 속성 부여와 대규모 언어 모델(LLM)을 통한 서술 생성에 통합하여 운영자 맞춤형 설명을 생성하는 접근법을 제시한다. 본 접근법은 IFT를 활용해 최적성 조건으로부터 정확한 매개변수 민감도 $\partial p^*/\partial x$를 계산하고, 이를 통해 효율적인 GradientSHAP 계산을 가능하게 한다. 22개 특성을 갖는 산업용 고압 롤 분쇄기(High Pressure Grinding Roll, HPGR) 제어 최적화 문제에서 KernelSHAP과 상관관계 $>$0.99의 동등한 SHAP 속성 부여를 달성하면서 40$\times$ 이상 속도 향상을 이루어 실시간 자연어 설명을 가능하게 한다. 산업 시나리오에서 이를 검증하고 생성된 설명에 대한 도메인 전문가 피드백을 제시한다.
온라인 파이어스톰은 고도로 부정적인 사용자 생성 콘텐츠의 급격한 집합적 확산이며, 상당한 평판 및 경제적 피해를 초래할 수 있다. 기존 탐지기는 보통 볼륨 신호, 감정 점수, 또는 사전 정의된 언어적 특징을 사용한다. 이러한 신호는 유용하지만, 진화하는 토론 스레드에서 맥락적 의미 변화를 간접적으로만 포착한다. 본 논문은 두 가지 운영 모드를 갖춘 LLM 기반 탐지 시스템을 제안한다. 첫 번째 모드는 지역적 청크 수준 평가를 스레드 수준 판단으로 결합하여 완전한 Reddit 스레드를 사후적으로 분류한다. 두 번째 모드는 스레드를 순차적으로 처리하며, 슬라이딩 윈도우가 보정된 임계값을 초과할 때 조기 경고를 발행한다. 이 모드에서 언어 모델은 세 가지 파이어스톰 지표, 즉 부정성 비율, 고조 수준, 기여자 수를 추정한다. 균형 잡힌 Reddit 데이터셋에서 전역 모드는 강력한 분류 성능을 달성하는 반면, 조기 경고 모드는 높은 재현율에 도달하며 적은 수의 댓글과 서로 다른 기여자만으로 확산 중인 스레드를 탐지한다. 결과는 LLM이 정적 판단 작업뿐만 아니라 소셜 미디어 담화의 맥락 인식 모니터링에서 반복적 추정기로도 사용될 수 있음을 보여준다.
구조 공학 요청을 처리하려면 단일 답변 이상이 필요하며, 해석된 요구사항, 계산 가능한 모델, 검증 기록, 솔버 출력, 코드 적합성 검토 기록, 최종 보고서로 이루어진 상호 의존적인 아티팩트 체인이 필요하다. 질의응답이나 스크립트 생성에 중점을 둔 평가는 이러한 완전한 증거 체인을 거의 검증하지 않으며, 따라서 기초 공학 워크플로가 불완전하거나 내부적으로 일관되지 않거나 실행 불가능한 경우에도 유창한 출력에 보상을 줄 수 있다. 이 한계를 해결하기 위해, LLM 에이전트가 거버넌스가 적용된 공학 스킬, 타입이 지정된 도구, 공유 아티팩트 상태, 로컬 분석 백엔드를 통해 동작하는 아티팩트 중심 워크벤치인 StructureClaw를 제안한다. 또한 표준 워크플로 실행, 대화형 견고성, 멀티모달 구조 모델 재구성을 아우르는 150개의 통제된 시나리오로 구성된 실행 가능 벤치마크 StructureClaw-Bench를 소개한다. 시나리오는 필요한 모든 아티팩트 수준 및 실행 수준 단언이 단일 실행에서 통과할 때만 성공한다. 10가지 에이전트-모델 구성 각각이 동일한 50개 표준 사례에서 평가된 결과, 평균 성공률(Success Rate)은 범용 스킬 기준선에서 56.8%에서 전체 자동 워크플로에서 88.6%로 상승한다. 대화형 및 멀티모달 평가는 두 가지 두드러진 남은 과제를 확인한다: 잘못된 수치 입력의 안전한 처리와 구조 모델의 fixture-일관적 재구성. 이 결과는 아티팩트 중심 평가가 최종 응답만으로는 식별하기 어려운 워크플로 수준의 실패를 드러낼 수 있음을 보여주며, 구조 공학 에이전트를 평가하고 개선하기 위한 더 엄밀한 기반을 제공한다. 코드와 벤치마크는 https://github.com/structureclaw/structureclaw 에서 이용할 수 있다.
CoreForge에 대해 보고한다. CoreForge는 기존 솔버 코드베이스가 아닌 연구 논문으로부터 가중치 없는(unweighted) MaxSAT 솔버를 구축하기 위해 대규모 언어 모델(LLM)을 사용한 경험이다. 이 프로젝트는 불만족(unsatisfiability) 기반 MaxSAT 알고리즘에 초점을 두며, ChatGPT와의 논문 토론, Codex 프롬프트를 통한 구현, LLM 지원 코드 검토 및 수정을 반복하는 반복적 워크플로를 따른다. 코드베이스는 여러 알고리즘과 솔버 구성 요소를 구현하지만, 평가는 코어 유도(core-guided) 최적화, 경량 전처리, 코어 최소화(core minimization), 정수 선형 최적화(integer linear optimization) 백엔드 통합, 그리고 새로운 코어 시퀀스 선행 조회(core-sequence lookahead) 접근법을 결합한 구성에 초점을 맞춘다. 우리의 경험에 따르면 LLM은 논문으로부터 솔버 구현을 지원할 수 있으나, 외부 검증, 벤치마킹, 인간의 안내가 필요하다. 실험에서 퍼징(fuzzing)과 MaxSAT Evaluation 인스턴스는 테스트된 구성에서 오답을 드러내지 않았지만, 성능은 최고의 수작업 설계 MaxSAT 솔버보다 낮은 수준에 머문다. 무엇이 효과적이었는지, 무엇이 여전히 어려웠는지, 향후 LLM 지원 솔버 개발을 위한 교훈을 요약한다.