ARC 1은 모델 안전성 검증, 인지 인증(CRAB), 운영 승인(LEA)으로 구성된 자율 시스템용 3계층 거버넌스 아키텍처를 도입했다. 그러나 배포 이후 준수를 어떻게 유지할지는 다루지 않았다. 본 논문은 시스템의 현재 운영 상태와 고정된 점이 아닌 영역으로 정의된 인증 기준선 간의 편차를 측정하는 지속적 거버넌스 프레임워크인 델타 관리(Delta Management)를 소개한다. 준수 여부는 정적 인증이 아니라 지속적 모니터링을 통해 평가된다. 네 가지 확장을 제안한다. 첫째, CRAB 평가는 검증된 최악의 행동 편차를 반영하되, 부당한 제한을 막기 위해 고립된 이상치는 확인될 때까지 격리한다. 둘째, 계층화된 트리거 분류 체계는 하드 안전 위반, 치명적인 단일 차원 실패, 상관된 다중 시스템 성능 저하, 위험 가중 복합 지표를 구분하며, 각각 비례적인 대응을 촉발한다. 셋째, 단계적 안전 전환 프로토콜은 확립된 안전 표준 및 EU AI Act 요건에 부합하도록 운영 승인의 철회를 물리적 가동 중단과 분리한다. 넷째, 환경 델타를 별개의 기준선 유효성 조건으로 도입한다. 인증된 운영 설계 영역(ODD)을 벗어난 환경 드리프트는 자동적인 권한 축소가 아니라 재인증 또는 ODD 개정을 촉발한다. 이러한 확장들은 종합적으로 ARC를 배포 시점의 인증 아키텍처에서 자율 시스템의 운영 수명주기 전반에 걸쳐 준수를 모니터링, 평가, 집행하는 지속적 프레임워크로 전환한다. 이 프레임워크는 EU AI Act 제72조 제2항이 규정한 지속적 준수 의무를 다룬다.
주관적 사용자 연구는 음악 생성 모델을 평가하는 주요 방법 중 하나이다. 그러나 주관적 평가 프로토콜은 매우 다양하며 재현할 수 있을 만큼 상세히 기술되는 경우가 드물어 연구 간 비교를 저해한다. 본 논문에서는 2020~2025년 ISMIR 음악 생성 논문의 주관적 평가 방법을 정리하고, 생성적 심리측정을 적용하여 그 문항들의 안정성을 평가한다. 우리는 논문의 방법론 서술에서 284개 문항을 추출하며, LLM과 수동 검증을 사용하여 이를 표준화한다. 이 문항들을 문맥적 임베딩으로 표현하고, Unique Variable Analysis를 적용하여 중복되고 국소적으로 의존적인 문항을 제거하며, Bootstrap Exploratory Graph Analysis로 잠재 차원을 추정한다. 결과는 네트워크가 리듬, 멜로디, 오디오, 작곡, 구조, 가사라는 여섯 가지 안정적인 품질 차원의 분류 체계로 수렴함을 보여 주며, 이는 음악 생성 모델을 평가하는 사용자 연구를 수행하기 위한 통합된 방법론을 시사한다.
현실적인 사용자 시뮬레이션은 직접 실험이 비용이 많이 들거나 해로울 수 있는 상황에서 인간 상호작용을 연구할 수 있게 한다. 그러나 기존 시뮬레이터는 사용자 행동을 이끄는 심리적 기전을 대체로 간과한다. 우리는 심리적 요인들이 어떻게 상호작용하여 사용자 반응을 형성하는지 모델링하는 기전적 사용자 시뮬레이션 프레임워크 SimAI를 소개한다. 개방형 행동을 지도하기 어려운 문제를 극복하기 위해, 시뮬레이션된 대화가 기저의 심리적 관계를 얼마나 잘 반영하는지에 따라 그래프 수준의 보상을 제공하는 그래프 재구성 목적함수를 제안한다. 이 접근을 뒷받침하기 위해 516건의 심리치료 사례에서 도출한 18,576개의 프로파일-네트워크 쌍으로 구성된 데이터셋 PSYCHE를 구축한다. 자동 평가에서 SimAI는 프로파일 정합성을 강하게 유지하면서도 기존 환자 시뮬레이터보다 더 높은 시뮬레이션 및 행동 다양성을 달성한다. 정신건강 전문가와 수련생 30명이 참여한 상호작용 연구에서 SimAI는 대화의 진정성, 현실적인 도움 요청 행동, 임상 훈련 유용성에서 가장 높은 평균 평점을 받았다. 시뮬레이션 품질을 넘어 SimAI는 현실적인 임상 훈련을 가능하게 하며, 취약한 사용자와의 장기적인 AI 상호작용에서 나타나는 안전성 실패를 드러낸다. 코드는 https://github.com/behavioral-data/ANGEL-UserSim 에서 이용할 수 있다.
대규모 언어 모델(LLM) 기반 코딩 어시스턴트는 현대 소프트웨어 개발의 필수 도구가 되었으며, 워크플로를 실행하고 코드를 처음부터 끝까지 현대화하는 데 점점 더 신뢰받고 있다. 이러한 신뢰의 상당 부분은 테스트 통과에 기반하는데, 이 테스트는 흔히 코딩 에이전트 스스로 작성한다. 본 연구에서는 이러한 에이전트가 신뢰할 수 있는 테스트를 작성하고 이를 프로그래밍 언어 간에 변환하는 능력을 검토한다. 널리 쓰이는 세 가지 코딩 에이전트를 각각 고유 프런티어 모델과 높은 추론 강도로 평가하여 벤치마크한다. 폭넓은 지표 전반에서 검증한 결과, 코딩 에이전트는 전통적인 커버리지 지표에서 사람이 작성한 테스트 스위트를 크게 능가한다. 그러나 이 우위는 고르지 않다. 에이전트의 테스트 품질은 프로젝트 규모에 따라 급격히 저하되며, 우위의 상당 부분은 더 많은 수의 테스트를 작성한 데서 비롯된다. 또한 에이전트 기반 테스트 변환은 전반적으로 강해 보이지만 여전히 일관성이 없고 신뢰하기 어렵다는 점을 보인다.
딥러닝 방법은 EEG 아티팩트 제거에서 강력한 성능을 달성했지만, 평가는 여전히 오차, 상관, 신호 대 잡음비와 같은 재구성 지표가 지배하고 있다. 이러한 지표는 깨끗한 EEG와의 유사성을 평가하지만, 모델이 아티팩트를 효과적으로 억제하는지, 신경 활동을 보존하는지, 신뢰할 만한 설명을 제공하는지는 입증하지 못한다. 이러한 한계를 해결하기 위해 신뢰할 수 있고 설명 가능한 EEG 아티팩트 제거를 위한 3단계 프레임워크 TriX-EEG를 제안한다. 1단계 신호 유효성(SV)은 재구성 품질과 신경 대역 파워 보존을 평가한다. 2단계 제거 충실도(RF)는 아티팩트 오차와 잔여 아티팩트/신경 누출을 통해 제거된 성분을 평가한다. 3단계 설명 신뢰성(ER)은 시간적 정렬, 인과적 관련성, 안정성을 통해 모델 행동을 검토한다. EEGDenoiseNet과 PhysioNet Motion Artifact Contaminated EEG Dataset에서 도출된 세 가지 공개 벤치마크에서 이미 발표된 아홉 가지 신경 잡음 제거 모델로 TriX-EEG를 평가하며, 이는 EOG, EMG, 움직임 아티팩트를 포함한다. 결과는 재구성 지표만으로는 신뢰할 수 있는 잡음 제거 모델 평가에 충분하지 않음을 보여 준다. RF는 오차가 잔여 아티팩트에서 비롯되는지 억제된 신경 활동에서 비롯되는지를 드러내어 이를 보완하고, ER은 설명 행동의 서로 다른 측면을 포착하여, 어느 하나의 요소에 의존하기보다 통합 프레임워크 내에서 세 측면을 함께 평가하는 것을 뒷받침한다. 독립적인 EEG/EOG 데이터셋과 BCI Competition IV-2a 운동 상상 데이터셋에 대한 외부 검증은 데이터셋 변화에서도 전반적으로 일관된 순위를 추가로 보여 준다. 순위가 높은 잡음 제거 모델은 대체로 과제 관련 정보를 더 많이 보존하거나 하위 성능 저하를 더 적게 유발한다. 종합하면 TriX-EEG는 EEG 잡음 제거 모델 평가를 위한 포괄적 기반을 제공하며, 정확할 뿐 아니라 충실하고 설명 가능한 모델을 장려한다.
Cross-chain bridges have suffered substantial asset losses due to vulnerabilities in their on-chain programs. On Solana, missing validation checks can enable exploits even when the underlying blockchain operates correctly. The ability of large language models (LLMs) to diagnose these flaws from source code or transaction records, rather than merely raise alarms, remains insufficiently understood. We implement a native Rust lock-and-mint bridge on a local Solana validator with four exploitable variants: two model flaws from the Cashio and Wormhole incidents, while the other two represent vulnerability classes documented in Solana security audits. Paired vulnerable and secure programs, together with successful attacks, benign sessions, and blocked attempts, allow us to distinguish correct diagnoses from unsupported alarms. We evaluate six configurations of five open-weight models across 16,800 responses, compare source inputs with and without comments, and grade 7,200 answers on vulnerable inputs using two blinded LLM graders. The results reveal substantial differences across conditions: without comments, models diagnose 24% of vulnerable source inputs while frequently flagging the secure bridge. Transaction diagnosis is high for the missing-signer scenario but averages 6% across the other three scenarios. Original comments, some of which describe the flaw, increase source diagnosis to 60%. These findings highlight the importance of distinguishing correct vulnerability diagnoses from unsupported alarms in bridge security review.
실무자들은 LLM 정렬 방법을 대체로 시행착오로 선택한다. 우리는 이론적 토대를 제시한다. 각 쌍별 방법은 확률 단체 위에서 모델이 선호 완성과 비선호 완성 사이에 질량을 어떻게 재분배하는지를 좌우하는 벡터장을 정의한다. 단일 선호/비선호 쌍으로 사영하면 이는 닫힌 형태의 해를 갖는 1차원 마진 ODE로 환원된다. 이 해들은 DPO 마진이 한없이 커지는 반면(그래디언트 흐름 극한에서 $O(\log t)$로 로그적으로) IPO 마진은 유한한 $1/(2\tau)$로 수렴하며, 레이블 잡음이 DPO에서는 질적인 상전이(무한 $\to$ 유한)를 일으키지만 IPO에는 양적으로만 영향을 미치고, 비대칭 가중 하에서의 그래디언트 집중이 대규모 학습 가능성을 좌우함을 보여 준다. 우리는 네 가지 벤치마크에 걸친 다섯 모델 계열에서 세 가지 예측을 모두 확인한다. 닫힌 형태의 해는 원리에 기반한 방법 설계도 가능하게 한다. SimPO에 임의의 레이블 스무딩 $\varepsilon > 0$을 추가하면 $\Delta^* = \beta^{-1}\log((1-\varepsilon)/\varepsilon)$에서 유한한 마진 끌개가 생기는 반면, $\varepsilon = 0$(표준 SimPO)에는 끌개가 없음을 증명한다. 이를 세 모델(8B-9B)에서 시험하여 예측을 확인한다. 이론에서 도출한 구성(TPO-S, $\varepsilon = 0.05$)은 가장 강한 베이스라인과 경쟁력이 있으며 세 모델 모두에서 비교 방법 중 가장 높은 평균 IFEval 점수를 달성하는데, 이는 새로운 최고 성능 손실을 제안하는 것이 아니라 예측된 유한 끌개가 사용 가능한 동작점임을 검증한다.
표준모형 페르미온 질량은 큰 위계를 보이며, 쿼크 섹터만 해도 다섯 자릿수 이상에 걸쳐 있다. 본 논문에서는 초중력 근사가 계산적으로 통제되는 매끄러운 헤테로틱 칼라비-야우 컴팩트화에서 이러한 위계가 트리 수준에서 섭동적으로 생성될 수 있는지를 연구한다. 이러한 배경에서 물리적 유카와 결합은 정칙 초퍼텐셜 적분과 물질장 켈러 계량을 결합한 것이다. 전자는 대수적으로 계산할 수 있는 반면, 후자는 리치 평탄 계량, 에르미트 양-밀스 접속, 그리고 다발 값을 갖는 조화 형식에 대한 연립 편미분방정식을 풀어야 한다. 이 틀 안에서 복소 구조 모듈라이가 페르미온 질량 위계를 생성할 수 있는 두 가지 새로운 트리 수준 메커니즘을 확인하고, 이전에 연구된 테트라-이차 모형에서는 두 메커니즘 모두 가로막힌다는 것을 해석적·수치적으로 보인다. 이러한 장애에 착안하여 수만 개에 이르는 완전 교차 칼라비-야우 선다발 모형의 기존 데이터베이스를 탐색한 결과, 트리 수준에서 랭크 3의 업 쿼크 유카와 행렬을 허용하는 매끄러운 몫공간이 유일하게 존재함을 발견한다. 이 다양체에서 물리적 결합을 평가하고 재규격화군에 따라 진화시켜, 매끄러운 초중력 영역에서 탑, 참, 업, 보텀 쿼크에 대한 현실적인 질량 위계를 얻는다.
우리는 공학적 판단 벤치마크인 EJBench를 소개한다. 이는 모델이 몇 가지 이전 결과로부터 새로운 조건에서 설계가 어떻게 거동할지 예측하고 이에 대해 결정을 내릴 수 있는지를 평가한다. 에이전트가 시뮬레이션이나 CAD 소프트웨어를 조작할 수 있는지를 시험하는 기존 공학 벤치마크와 달리, EJBench는 소프트웨어에 무관하며 엔지니어가 시뮬레이션을 실행하지 않고 어떤 결론을 내릴지를 묻는다. 과제는 배터리 냉각판에 대한 켤레 열전달 설계 캠페인에서 나왔으며, 라벨이 없는 시험 결과를 운전 조건에 대응시키기, 설계를 승인하기 전에 저장된 실행 결과 중 무엇을 공개할지 선택하기, 새로운 부하를 셀 최고 온도 기준으로 순위 매기기의 세 계열로 구성된다. 모든 정답은 LLM 판정자가 아니라 수렴된 시뮬레이션에서 가져온다. 10개의 최전선 모델 중 최고 성능인 GPT-6 Astra는 0.71점을 기록했으며, 모델들은 틀린 과제와 맞힌 과제에서 거의 같은 수준의 확신을 나타낸다. 또한 Qwen3.5-9B를 LoRA와 강화학습으로 사후 학습시켰으며, 시뮬레이션 결과가 확인해 주는 정답 기준의 비율을 보상으로 사용했다. 홀드아웃 시험 분할에서 점수는 0.071에서 0.106으로 상승한다. 학습, 검증, 시험 분할과 평가 하네스, 리더보드를 공개한다.
해석 가능성 방법은 "죽어가는 아이를 위해 약을 훔치는 것은 도덕적으로"가 "정당하다"로 이어지는지 "잘못이다"로 이어지는지처럼, 언어 모델이 도덕적 프롬프트에 내놓는 답을 바꾸는 어텐션 헤드와 희소 오토인코더(SAE) 특징을 찾아낼 수 있다. 이러한 구성요소는 도덕적 내용에 반응할 수도 있고, 어떤 규범에 따른 행위 판단에 반응할 수도 있으며, 프롬프트의 "morally"라는 단어에 반응할 수도 있다. 우리는 다섯 명의 주석자가 검증한 짧은 구절의 최소 쌍 227개를 구축했다. 두 버전은 도덕적 기준, 다른 종류의 규범(신중함, 예절, 미학 또는 증거), 혹은 서술적 성질에서 차이가 난다. 이를 14개의 오픈 웨이트 모델(Llama, Gemma, Qwen, 1B~14B, 베이스 및 지시 튜닝)에 "morally"라는 단어가 있는 경우와 없는 경우로 제시했다. 모든 모델에서 도덕적 답을 바꾸는 헤드는 우리가 시험한 모든 종류의 규범적 판단에 모델이 사용하는 평가 회로에 속한다. 이 헤드들은 도덕적 쌍과 다른 규범적 쌍에서 효과의 동일한 비중을 담당하며(통합 비율은 해당 단어가 있을 때 1.00, 97.5% 신뢰구간 [0.92, 1.07], 없을 때 0.90, [0.84, 0.96]), 모델은 양쪽 모두에 이 헤드들을 똑같이 필요로 한다. 모델은 프롬프트가 판단을 요구하지 않을 때도 이 헤드들을 필요로 하며, ETHICS 벤치마크의 400개 시나리오에서도 마찬가지이다. 여기서 이 헤드들을 제거하면 허용 가능한 시나리오와 허용 불가능한 시나리오 간 차이의 37~39%가 사라지는 반면, 무작위 헤드 10개를 제거하면 1~3%가 사라진다. 우리가 찾은 SAE 특징은 구절이 다루는 내용보다는 주로 "morally"라는 단어에 반응한다. 모델은 쌍의 범주(주석자가 부여한 기준)를 표상하며, 이는 은닉 상태에서 읽어낼 수 있다. 시험한 여덟 개 모델에서 이 범주를 담는 방향을 제거하면 도덕적 판정이 수 퍼센트 약해지며, 그중 일곱 개 모델에서는 다른 판정보다 더 크게 약해진다. 우리는 쌍, 평가 점수, 코드, 학습된 SAE 사전, 결과 파일을 공개한다.
오픈 웨이트 언어 모델은 공개된 가중치가 수정된 후에도 계속 텍스트를 생성할 수 있으며, 워터마크 검증자는 여전히 원래의 기본 모델과 워터마크 모델에 대해 출력을 채점한다. 우리는 이러한 수정이 OpenStamp 방식 검증자가 이용할 수 있는 증거를 어떻게 변화시키는지 연구한다. 각 공유 접두사에서 수정을 다음 토큰 로짓의 잔차로 나타낸다. 잔차 생성공간 제약 하에서 기대 로그우도비 증거에 대한 정확한 유한 어휘 하한을 도출하며, 생성공간만으로 정해지는 날카로운 편차 경계도 함께 도출한다. 또한 명시적인 2차 나머지항을 갖는 공분산 항을 통해 1차 증거 변화를 특성화하고, 목표 증거 수준에 도달하는 데 필요한 잔차 생성공간을 결정한다. 시퀀스 수준 탐지에 대해서는 정확한 조건부 지수 적률 경계를 도출하고, 이를 상위마팅게일 논증 및 분포 무관 순서통계량 허용 경계와 결합한다. 이로써 보정 데이터에서 공격을 선택하고 독립적인 인증 연속 생성문에서 평가한 후의 미탐지 확률에 대한 고신뢰 상한을 얻는다. Llama-2-7B와 Mistral-7B-v0.3에서 OpenStamp를 사용한 실험에서 INT8 양자화와 30% 가지치기는 시험 참양성률 85.6~94.8%를 유지하는 반면, 500단계 LoRA 미세조정은 이를 28.8%와 11.6%로 낮춘다. 공분산 예측은 두 모델 모두에서 측정된 평균 LoRA 증거 변동을 따르며, 160,000개의 시험 접두사에서 나머지항 경계 위반은 없다. 또한 모델별 기본 모델 연속 생성문 500개에서 거짓양성은 0건이다. 이러한 이론적·실험적 결과를 통해 본 연구는 모델 편집·튜닝 공격에 대한 워터마크 강건성의 이해를 높인다.
Diagnostic models for cyber-physical power systems usually inspect every telemetry source for every event, although some events are clear from one source and others need several. We ask when a learned policy for choosing that evidence is worth its added complexity. To answer this, we present ActiGrid, a benchmark framework for active evidence acquisition that pairs a classifier trained to tolerate missing modalities with a Double Deep Q-Network (DQN), which either requests another source or stops and diagnoses but never operates grid actuators. On the public TU Delft digital substation and MSU/ORNL power system attack benchmarks, we compare the DQN with fixed subsets and orders, calibrated entropy stopping, a greedy value of information rule, and tree ensembles trained per subset. The learned policy does adapt to what it observes, yet it is statistically indistinguishable from entropy stopping on TU Delft and Pareto dominated by simple controls on MSU/ORNL, while compact subset classifiers outperform it while reading fewer sources on both benchmarks. Entropy stopping run over those subset classifiers reaches the highest mean Macro-F1 on TU Delft (0.928 while reading 57% of the sources) but brings no saving over a static three source subset on MSU/ORNL, where no method exceeds 0.45 Macro-F1. Selective acquisition can pay off, but on these benchmarks it does not need a learned policy.
심전도(ECG) 파형을 전송하면 의도한 진단 과제 이상의 인구통계 정보가 노출될 수 있다. 우리는 병원 12유도 기록에서 추출한 개별 리드에 대해 구조적 시간적 정보 병목인 TIBECG를 평가한다. 2,302,337개 매개변수의 처리기는 동일한 9점수 일관성 목적을 유지하면서 잠재 길이를 변화시키며, 보호기 적합에는 연령이나 성별 라벨을 사용하지 않는다. 6,386개 기록, 10개 폴드, 12개 리드, 21개 길이에 걸쳐, 소급적으로 선택된 설정은 각 리드의 원본 macro-F1의 최소 95%를 유지했다. 이들의 더 약한 연령/성별 구간 이득은 모든 리드에서 적격한 최선의 기존 변환을 상회했으며, 중앙값 기준 22.08 퍼센트포인트 차이였다. 구현된 샘플링률 비교는 직접 다운샘플링이 대체로 인구통계 추론을 더 강하게 억제하지만 진단 효용 손실이 더 크며, TIBECG는 효용 보존에 유리함을 보여준다. 선택 안정성 또한 리드에 따라 다르다. 더 낮은 잠재 쿨백-라이블러(KL) 발산은 고정된 길이에서 잔존 성별 누출의 순위를 신뢰성 있게 매기지 못한다. 이러한 결과는 파형 처리에 대한 리드별 평가를 뒷받침하며, 검증된 소비자 배포나 전문가가 읽을 수 있는 복원을 뒷받침하지는 않는다. 파형 입력 진단 분류기가 기기에 배포되지 않고 독점 클라우드 서비스의 일부로 호스팅될 때는 그 점수를 얻기 위해 파형 전송이 필요하다.
LiDAR와 카메라 등 다수의 센서를 갖춘 모바일 기기의 증가로 스마트 캐빈과 운전 보조 같은 분산 센싱 과제에 멀티모달 딥 인텔리전스가 도입되고 있다. 그러나 모바일 센서 데이터의 도착 시간은 모달리티 크기와 네트워크 동태에 따라 달라, 느린 데이터를 기다리면 지연이, 기다리지 않고 추론을 진행하면 정확도 저하가 발생할 수 있다. 더욱이 모바일 시스템의 다양성과 동적 특성이 이 문제를 악화시킨다. 이에 대응하여 우리는 비동기 분산 멀티모달 데이터에 대해 부분 데이터가 도착하는 즉시 추론을 가능하게 하는 \textit{기회주의적} 추론으로의 전환을 제시한다. 기존 방법은 모달 친화도로 알려진 모달리티 일관성과 상보성의 최적화에 초점을 두지만, 개방형 모바일 환경에서 이 친화도를 제어하는 \textit{계산적} 접근은 부족하다. \sysname은 계층적 분석 기반 정규화 행렬을 사용하여 모바일 맥락에서 구조화된 교차 모달리티 친화도를 정식화하는 데 선도적이다. 이 접근은 모달리티의 다양성과 동태를 수용하며, 입력의 종류와 개수에 걸쳐 일반화된다. 멀티모달 경량 Swin Transformer(MMLST)를 사용하여 \sysname은 재학습 없이 다양한 모달리티와 하위 과제에 적응하는 실시간의 유연한 데이터 대체(imputation)를 가능하게 한다. 실험에서 \sysname은 추론 지연을 최대 80.4% 줄이고 정확도를 최대 62.1% 향상시키며 에너지 소비를 거의 50% 절감하여 기존 접근을 능가한다. 또한 이 방법은 비동기 데이터를 전처리하는 LLM의 성능을 향상시킬 수 있다.
ACM Multimedia 2026의 EgoLink 챌린지는 1인칭 지각, 사회적 추론, 상호작용적 행동을 연결하는 자기중심 멀티모달 인텔리전스를 벤치마크한다. 눈에 보이는 객체와 활동에 중점을 둔 벤치마크와 달리, EgoLink는 모델이 감정적·사회적 단서를 해석하고, 시각적으로 근거가 있는 지시 표현을 해소하며, 사용자 요청을 검증된 도구 매개 행동으로 변환할 수 있는지를 평가한다. 두 트랙은 자기중심 영상에서의 사회적 추론과, 대화, 도구 사용, 폐루프 실행을 통해 서비스 과제를 완수하는 상호작용 에이전트를 다룬다. 이들은 함께, 오프라인 질의응답과 상태를 변화시키는 상호작용 모두에서 지각, 추론, 의사결정이 결합된 상태로 유지되는지를 시험한다. 우리는 객관식 질문(MCQ) 생성, 사고 사슬 생성, 자동 품질 등급화, 영상 기여도 필터링으로 이루어진 다단계 Track 1 데이터 파이프라인을 강조한다. 또한 과제 설계, 평가 지표, 규칙, 리더보드, 대표 해법을 요약한다. 이 벤치마크는 객관적 답안 채점과 과정 및 결과 기반 평가를 결합하여 최종 정답률과 실행 품질을 모두 분석할 수 있게 한다. 최고의 Track 1 시스템은 0.9263의 정확도를, 최고의 Track 2 시스템은 0.844의 결합 성공률과 0.916의 마이크로 정확도를 달성했다. 참가자 보고서는 공통된 원리를 보여준다. 강력한 시스템은 답하거나 행동하기 전에 후보 검증, 선택지에 강건한 추론, 시나리오 인식 계획, 도구 정규화, 상태 인식 보정을 통해 중간 증거를 명시적으로 드러낸다. 이러한 발견은 신뢰할 수 있는 자기중심 멀티모달 인텔리전스를 위해 과정 검증과 증거에 기반한 추론이 중요함을 강조한다.
대규모 언어 모델(LLM)은 원자력 공학의 지식 집약적이고 안전이 중요한 응용 분야에서 점점 더 활발히 탐구되고 있다. 그러나 기존의 원자력 분야 벤치마크는 내용 범위가 제한적이거나 근본적인 추론의 질을 체계적으로 평가하지 않은 채 주로 정답 정확도에 초점을 맞춘다. 본 연구는 18개 원자력 시설을 다루는 미국 원자력규제위원회(NRC)의 원자로 운전원 면허 시험에서 추출한 7,546개의 고유한 객관식 문항으로 구성된 추론 지향 벤치마크 NEBench R1을 소개한다. 각 문항은 NRC의 지식 및 능력(Knowledge and Abilities) 목록에 따라 분류되며, 추론 평가의 기준으로 쓰이는 공식 해설이 함께 제공된다. 여섯 개의 LLM을 평가한 결과 전체 정확도는 34.0%에서 73.9%까지 분포하였으며 세 개의 뚜렷한 성능 계층으로 나뉘었다. 추론의 질을 평가하기 위해 LLM 기반 판정자가 다차원 루브릭을 사용하여 정답으로 응답한 결과를 평가하였다. 응답은 대체로 문제 이해도가 높았으나 사실 및 절차 정확성과 오답 선택지 분석에서는 더 낮은 점수를 받았으며, 이는 정답이 반드시 기술적으로 타당한 근거로 뒷받침되는 것은 아님을 시사한다. 응답의 명료성 또한 기술적 품질을 약하게만 나타냈다. 더 나아가 두 최前선 추론 모델 모두에서 더 긴 추론 흔적이 더 낮은 정확도와 연관되었으며, 이는 추론 길이가 문제 해결 성능의 향상보다는 문항의 난이도를 반영할 수 있음을 시사한다. 따라서 추론 토큰 소비량은 신뢰하기 어려운 응답을 식별하는 추가적인 신호가 될 수 있다. NEBench R1은 정답 정확도와 추론의 질을 모두 평가하는 벤치마크를 확립하여, 원자력 공학에서 LLM의 분야 역량과 신뢰성을 평가하기 위한 기반을 제공한다.
언어 모델이 산출물과 이를 검사하기 위한 테스트를 모두 작성하면, 테스트 통과는 약한 증거가 된다. 요청을 한 번 잘못 해석하면 결함 있는 산출물과 이를 받아들이는 검사가 함께 만들어지기 때문이다. 본 논문은 AI가 생성한 산출물을 요청 자체에 비추어 검사하는 형식적 컨텍스트 프로토콜(FCP)을 제시한다. FCP는 모델 체커와 SMT 솔버가 판정하는 적합성(conformance, 산출물이 요구사항의 형식적 해석을 만족하는가?)과, 결정 절차는 없지만 구체적인 증거(witness)로 반박할 수 있는 충실성(fidelity, 그 해석이 산문의 의미와 일치하는가?)을 분리한다. 증명이 요구사항을 잘못 인증할 수 있는 여덟 가지 경우는 각각 증거를 반환하는 기계적 검사가 되며, 어떤 기계도 확정할 수 없는 부분은 요청 작성자에게 던지는 구체적인 질문이 된다. 어댑터는 하드웨어, 텍스트, 에이전트, 코드를 동일한 엔진 위에 올려놓는다. 네 가지 하드웨어 설계에서 AI가 작성한 단언문(assertion)을 신뢰하면 위반된 요구사항의 23%가 인증되었으나, FCP는 하나도 인증하지 않았다. 열 개의 코드 작업에서 세 언어 모델이 작성한 코드는 매번 자신의 테스트를 통과하면서도 요청을 위반하였다. 테스트를 신뢰하면 33건의 위반이 모두 인증되었으나, FCP는 세 건을 인증하였다. 모델, 해석, 또는 테스트 간의 일치는 정확성을 의미하지 않았다.
마스크 확산 모델은 샘플러가 어떤 예측을 영구적으로 확정할지 결정하기 전에 임시 토큰을 반복적으로 예측한다. 기존의 추론 시점 조향 방법은 주로 활성화, 로짓, 또는 노이즈 제거 궤적을 수정하며, 이러한 확정 정책은 고정된 디코딩 세부 사항으로 취급한다. 반면 본 논문은 토큰 확정을 확산 모델에 특화된 제어 표면으로 연구하고, 이를 어떤 토큰을 확정할 것인가와 각 단계에서 몇 개의 토큰을 확정할 것인가라는 두 가지 결정으로 분리한다. 첫 번째로, 모델 신뢰도와 한 토큰 제외(leave-one-token-out) 방식의 목표 기여도를 혼합하여 미확정 위치의 순위를 매기는 반사실적 목표 인식 확정을 제안한다. 두 번째로, 목표 진척도와 신뢰도에 따라 결정되는 보정된 적응형 예산을 제안한다. LLaDA 계열의 언어 및 비전-언어 설정, 여러 목표, 두 가지 활성화 조향 방법, 그리고 조향하지 않은 대조군에 걸쳐, 두 메커니즘 모두 평가한 모든 구성에서 경험적으로 단조로운 목표-품질 간 트레이드오프를 보인다. 또한 적응형 스케줄은 평균 노이즈 제거 비용을 맞춘, 점수기(scorer)가 없는 확률적 스케줄과 비교하여 경쟁력 있는 동작점을 회복한다. 두 메커니즘 모두 임시 완성문에 대해 평가된 스칼라 점수만 필요하므로, 목표가 출력 속성이 아니라 과제 성공의 자동 대리 지표일 때도 변경 없이 적용된다. 그 예로 대화 요약에는 NLI 함의를, 캡셔닝에는 CLIPScore를 사용하며, 이들 중 어느 것도 재사용 가능한 단일 조향 방향에 대응하지 않는다. 또한 두 번째 마스크 확산 계열인 Dream-7B에서 하나의 제어 목표와 하나의 과제 성공 목표에 대해 두 메커니즘의 동작을 재현한다. 이러한 결과는 어떤 임시 예측이 되돌릴 수 없게 되는지, 그리고 얼마나 빠르게 그렇게 되는지라는 확정을, 우리가 검증한 조건에서 마스크 확산 생성을 조향하기 위한 해석 가능한 제어 표면으로 규정한다.
활성화 조향은 학습 없이 LLM의 행동을 조절하는 간단한 방법이지만, 기존 방법은 대개 단일 층에 벡터를 주입하며 깊이 인식 전파나 내부 검증을 위한 메커니즘이 부족하다. 본 논문은 학습 가능한 층 간 경로를 제공하는 어텐션 잔차(AttnRes)와 야코비안 렌즈(J-space) 개념 판독이라는 두 최신 아이디어를 결합하여 가벼운 깊이 인식 조향 파이프라인을 구성한다. 두 개의 소형 오픈 모델(Qwen3-0.6B와 Qwen3.5-0.8B)에서, AttnRes 방식의 깊이 가중치에 따라 페르소나 벡터를 분산시키면 단일 층 주입보다 더 강한 내부 정렬(더 깊은 층의 개념 코사인과 순위, p<0.0001)과 더 강한 행동 변화가 나타난다. 이 효과는 부호에 특이적이다. 반대 방향 벡터는 여섯 가지 지표를 모두 반전시키고, 무작위 방향은 정렬을 저하시키며(p<0.0001), 짧은 LoRA 미세 조정은 그 흔적을 지운다. 주입은 주입 지점의 엄밀히 하류에 있는 어텐션만 재배선한다(상류 JS = 0.00000). 이로부터 세 가지 실용적 발견이 도출된다. 첫째, 코사인 판독의 층별 기하학적 분해이다. 주입 층에서는 증가분의 123%가 산술적인 반면, 5~11개 층 하류에서는 100%가 동역학적이다. 둘째, 강도 구간이다. 효과는 0.3~0.7 범위에서 단조적이며, 그 이후에는 생성이 붕괴한다(617자에서 306자, 25자). 셋째, 지표 규율이다. 키워드 규칙 기반 지표는 LLM 판정자 검증에 실패하며(kappa <= 0.09), 두 가지 규칙 기반 결론은 철회되었다. 조향 목적 함수로 깊이 가중치를 학습시키면(200 스텝, 백본 고정) 보류된 프롬프트에서 최종 정렬이 10배 향상된다. 교차 페르소나 벡터는 효과의 96~99%를 유지하며, 특이성은 의미적 방향이 아니라 무작위 방향에 대해서만 성립한다. 본 연구는 신중한 평가 프로토콜을 갖춘 실용적이고 오버헤드가 낮은 깊이 인식 조향 방법을 제시한다. 코드와 데이터를 공개한다.
Financial sentiment analysis is critical for automated trading, portfolio management, and risk assessment, heavily relying on models like FinBERT. Despite high benchmark accuracy, these models remain vulnerable to subtle adversarial text modifications, threatening the integrity of algorithmic decision-making. In this paper, we propose Agent-driven Semantic Inversion (ASI), a novel adversarial attack framework targeting financial sentiment models through domain-specific semantic manipulation. Utilizing an LLM-powered multi-agent pipeline, our approach identifies eligible financial news sentences and applies targeted lexical substitutions. We empirically evaluate ASI against FinBERT, one of the most widely deployed financial sentiment models. Our results reveal a striking vulnerability: the attack successfully deceived FinBERT in 90.85% of eligible cases, with the model frequently maintaining its original sentiment prediction despite the fundamental inversion of financial performance indicators. Through qualitative analysis and token-level investigation, we demonstrate that FinBERT critically over-relies on contextual keywords and syntactic patterns rather than true logical comprehension of financial semantics. Our findings highlight the urgent need for logic-aware, robust financial NLP models to ensure the reliability of automated decision-making systems.