심전도(ECG)는 심장 평가의 핵심이지만, 심층 학습 모델의 임상 배포는 해석 가능성의 제한과 대규모 언어 모델(LLM)의 환각(hallucination) 위험으로 인해 여전히 제약을 받고 있다. 기존 CNN+Grad-CAM+멀티모달 LLM 프레임워크는 ECG 보고서를 생성할 수 있지만, 그 설명은 종종 확립된 진단 기준에 약하게만 그라운딩(grounding)되어 신뢰성과 재현성을 떨어뜨린다. 우리는 보고서 생성을 선별된 임상 지식에 명시적으로 고정하는 가이드 그라운딩 멀티모달 프레임워크를 제안한다. 합성곱 신경망(CNN)과 Grad-CAM이 먼저 12-lead ECG 이미지로부터 클래스 확률과 클래스별 히트맵을 생성한다. 병행하여, 권위 있는 ECG 교과서와 가이드라인 자료를 오프라인에서 구조화된 ECG Interpretation Guide로 증류하여, 이를 모든 샘플에 대해 고정된 지식 블록으로 주입한다. ECG 이미지, Grad-CAM 오버레이, CNN에서 파생된 fact pack, 주입된 가이드를 조건으로 하여, 멀티모달 LLM이 가이드라인과 일관된 용어 및 기준 사용을 갖춘 구조화된 진단 보고서를 생성한다. PTB-XL 테스트 세트 전체에 대한 실험은 가이드 그라운딩이 경쟁력 있는 분류 성능을 유지하면서 생성된 보고서의 의미적 품질과 지각된 일관성을 향상시킴을 보여준다. 특히, 우리 방법은 강력한 CNN+Grad-CAM+MLLM 기준선 대비 생성된 impression의 평균 BERTScore를 0.818에서 0.953으로 높여, 참조 보고서와의 더 밀접한 정렬(alignment)을 나타낸다. 이러한 결과는 증류된 해석 가이드를 멀티모달 프롬프팅 파이프라인에 주입하는 것이 환각을 줄이고 LLM 기반 ECG 설명의 임상적 타당성을 높이는 실용적인 경로를 제공하며, 설명 가능한 심장 진단을 실제 배포에 더 가깝게 이끈다는 것을 시사한다.
대규모 언어 모델(LLM)은 실행 가능한 답이 있는 명확히 정의된 추론 과제에서 강한 성능을 보인다. 그러나 개방 세계에서 마주하는 문제는 일관되지 않은 조건, 상충하는 진술, 또는 상호 배타적인 요구로 인해 부적정해질 수 있으며, 유효한 응답을 허용하지 않는다. 우리는 갈등을 수반하는 이러한 부적정 문제에 대한 추론이 숨겨진 갈등을 명시화하고, 다중 추론 분기를 통해 경쟁 가설을 유지하며, 단일 패스로 대안적 응답을 생성하는 새로운 LLM 역량을 요구한다고 주장한다. 이 모든 것은 LLM의 다음 토큰 예측 메커니즘의 한계로 인해 도전적이다. 이를 위해 우리는 정보 이론적 원리를 활용하여 LLM의 내부 추론 흐름을 정량화하고 조절함으로써 유효한 가설 하에서 대안적 응답의 전체 집합을 생성하는 새로운 프레임워크인 FlowEdit을 제안한다. FlowEdit은 모델의 내부 추론 표현에 두 가지 이중 정보 이론적 목표를 적용하여 분기 인식(branch-aware) 추론 과정을 강제하는 것으로 볼 수 있다. 각 선택된 가설에서 분기 결과로의 정보 흐름을 최대화하는 동시에 형제 분기 간 겹침과 조건부 의존성을 최소화하여, 넓은 범위를 아우르는 다양하고 정보가 풍부한 응답 집합을 제공한다. 우리는 경계 임베딩(boundary embeddings)이 ε-충분(ε-sufficient)일 때 계산 가능한 변분 하한(variational bounds)을 통해 이를 달성하며, LLM 추론 과정의 기저 조건부 상호정보(conditional mutual information)를 최적화함을 보인다. 광범위한 실험은 FlowEdit이 선도적인 독점 모델을 능가하며 exact-set-match 정확도를 68% 향상시키고 전체 응답의 정보성을 24% 높인다는 것을 보여준다. 또한 흐름 조절이 토큰 스트림에서 다음 토큰 엔트로피의 재분배로 나타나며, 각 분기 내부에 집중되고, 흐름 경계에서 증폭되며, 문제가 요구하는 흐름 수에 따라 스케일링됨을 추가로 보인다.
대규모 언어 모델(LLM)은 표준 벤치마크에서 뛰어난 성능을 보여주었지만, 실제로 사용자 기대를 충족하는지는 대부분 탐구되지 않았다. 기존 평가 접근법은 모델 휴리스틱, 전문가 루브릭, 또는 사용자 시뮬레이션에 의존하여 실제 인간 기대의 다양성과 미묘함을 포착하지 못하고, 모델이 유능해 보이면서도 사용자가 실제로 원하는 것과 어긋나게 만든다. 우리는 실제 LLM 상호작용에서 사용자 기대에 대한 최초의 체계적 연구를 제시하며, 의미적으로 풍부한 기대를 추출하는 원칙적 절차를 제안하고 실제 사용자 기대에 기반한 벤치마크인 ExpectBench를 소개한다. 분석 결과, 현재 LLM은 사용자가 얻기를 희망하는 것을 충족하고 예측하는 데 어려움을 겪으며, 이는 정렬(alignment) 불일치의 근본적 원인임을 드러낸다. 이러한 관찰을 바탕으로, 우리는 경량 잠재 기대 인식(latent expectation-aware) 응답 생성 프레임워크인 LENS를 제안한다. LENS는 모델이 사용자 기대를 내재화하고 더 잘 정렬된 응답을 생성할 수 있게 하며, 기대 충족을 지속적으로 개선하고 현실적인 인간-AI 정렬을 위해 사용자 기대를 명시적으로 모델링하는 것의 중요성을 강조한다.
자기회귀 대규모 언어 모델(LLM)의 생성을 제약하는 것은 언어 모델을 형식 시스템에 통합하는 데 있어 중요한 구성 요소이다. 프로그램 합성과 같은 작업을 위한 코드 및 데이터 생성에서, 언어 모델이 구문적으로 유효한 출력을 생성하도록 보장하는 것은 그러한 출력을 처리하기 위한 전제 조건이다. 이러한 언어(SQL이나 JSON 등)는 종종 $LR(k)$ 문맥 자유 문법으로 설계된다. LLM을 계산 가능한 확률 모델로 증류함으로써, 그 자기회귀 생성을 조향하고 마스킹하여 논리적 제약을 만족할 확률을 반영할 수 있으며, 유효성이 보장된 고품질 출력을 확보할 수 있다. 본 논문은 유한 지속을 갖는 임의의 $LR(k)$ 문법에 대한 만족을 다항 시간에 계산할 수 있음을 보여내며, 이는 이러한 문법에 기존 방법을 적용할 때의 지수 시간 대비 개선이다. 이 결과는 LLM 생성을 형식적 구문 제약을 더 잘 만족하는 출력을 향해 효율적으로 제약하고 조향하는 것을 가능하게 한다.
LLM 추론에서 샘플링은 투기적 디코딩(speculative decoding)을 위한 로짓 처리, 토큰 선택, 검증 연산의 조합적 집합으로 구성된다. 그러나 기존 구현은 이 파이프라인의 일부만 가속하거나, 여러 커널 실행에 의존하거나, 배치 전체에 걸쳐 동질적인 샘플링 동작을 가정하여 동적 서빙 워크로드 지원을 제한하고 효율적인 CUDA Graph 실행을 방해한다. 우리는 전체 샘플링 파이프라인을 고정된 워크로드 인식 실행 모델로 수직 융합하는 통합 타일 인식 Triton 커널 모음인 $\textbf{SonicSampler}$를 제안한다. 우리 커널은 문법 제약 디코딩, 반복, 빈도 및 존재 페널티, 로짓 바이어스, 온도 스케일링, top-$k$ / top-$p$ / min-$p$ 필터링, 투기적 검증을 포함한 동적 요청별 샘플링 동작을 단일 배치 커널 내에서 지원하면서 완전히 CUDA Graph 호환을 유지한다. 우리 접근법의 핵심은 경쟁 기준선 대비 최대 $\textbf{10배}$ 속도 향상을 달성하는 새로운 계층적 2단계 top-$k$ 알고리즘이며, LLM 출력의 낮은 엔트로피 구조를 활용하여 대규모 어휘에 대한 효율적인 선택을 가능하게 한다. 이질적인 투기적 디코딩 워크로드 전반에 걸쳐 SonicSampler는 유연한 배치 실행을 유지하면서 최신 기준선 대비 최대 $\textbf{16배}$ 속도 향상을 달성한다.
대규모 언어 모델(LLM)은 유해한 요청에 대한 안전장치를 갖춘 오픈 가중치(open-weight) 모델로 점점 더 많이 공개되고 있다. 그럼에도 불구하고 문장 완성(sentence completion)은 불완전한 유해 프롬프트에 취약한 상태로 남아 있다. 본 연구에서는 이 현상을 불완전 프롬프트 탈옥(incomplete prompt jailbreak, IPJ)으로 형식화하고, 불완전한 프롬프트가 언제 어떻게 유해한 연속 생성을 유발하는지에 대한 체계적인 실증적 특성 분석을 제공한다. 우리는 불완전한 문장 연속 생성과 관련된 다양한 attractor 유형을 분석하고, LLM이 문장 종료까지 거부(refusal)를 체계적으로 지연한다는 것을 보인다. 또한 매개변수 튜닝을 통해 불완전한 유해 프롬프트를 거부하도록 모델을 학습시키는 것이 불충분하며, 콘텐츠 도메인과 attractor 유형 모두에 걸쳐 일반화하지 못한다는 것을 입증한다. 세밀한 제어를 가능하게 하기 위해, 우리는 두 가지 기능적 뉴런인 종료(termination) 뉴런과 연속(continuation) 뉴런을 식별한다. 문장 완성에서 이들의 역할을 명확히 함으로써, 보다 정밀하고 견고한 IPJ 방어를 위한 뉴런 수준 개입의 잠재력을 강조한다.
사용자가 언어 모델에게 유해한 내용을 물어볼 때, 그것이 진짜 공격인지 아니면 오해에서 비롯된 선의의 질문인지 판단하기 어렵다. 이러한 모호성은 LLM 안전성의 핵심 과제 중 하나이다. 최악을 가정하는 모델은 정당한 사용자에게 피해를 주고, 최선을 가정하는 모델은 쉽게 악용된다. 이 문제는 다중 턴 대화에서 더욱 심화되는데, 공격자의 진짜 의도는 여러 번의 교환에 걸쳐서야 서서히 드러날 수 있지만, 기존 안전성 프레임워크는 문맥적 bandit 방식을 적용하여 대화의 궤적을 무시한다. 이를 위해 우리는 대화의 매 턴마다 사용자 의도를 추론함으로써 이 문제를 해결하는 프레임워크인 Dialogue Critic Guided Sampling(DCGS)를 제안한다. 안전하거나 위험한지에 대한 고정된 규칙을 적용하는 대신, DCGS는 전체 대화 이력을 바탕으로 사용자 의도가 무엇일 가능성이 높은지 학습하고 이에 따라 응답을 생성한다. 형식적으로, 우리는 적대적 대화를 마르코프 결정 과정으로 모델링하고, 개별 토큰 수준과 발화(전체 응답) 수준 모두에서 가치 및 후회(regret) 기반 크리틱을 학습하며, 행동-가치(action-value) 크리틱을 통해 후보 응답을 점수화한다. 우리는 이러한 추론 시점 재가중화가 기본 정책의 지수 기울임(exponential tilting)을 근사함을 증명하며, 이는 임의의 유한 후보 풀에 대해 기대 수익(expected return)의 개선을 보장하는데, 이는 그룹 상대적(group-relative) 목적함수가 갖지 못하는 성질이다. CARES-18k, WildJailbreak, Redbench, Harmbench에서 평가한 결과, DCGS는 적대적 대화 과제에서 강력한 견고성 기준선 및 최첨단(frontier) 모델들을 능가한다. DCGS는 최첨단 모델에도 전이되어, 미세조정 없이 그들의 견고성을 향상시킨다.
대규모 언어 모델(LLM)은 하나의 파라미터 집합으로 많은 작업을 처리하지만, KV 캐시 추론에서는 prefill 단계가 아닌 디코드 시점에 어떤 작업 일반(task-general) 구조가 사용되는지, 있다면 무엇인지 불분명하다. 우리는 DecodeShare를 제안한다. 이는 디코드 시점 은닉 상태에서 작업 간 일관되게 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 해당 부분공간을 제거하여 그 인과적 역할을 검증하는 프로토콜이다. 실험에서 발견된 공유 부분공간을 교란하면, 동일한 개입 예산 하에서 prefill에서 유도된 부분공간이나 무작위 부분공간을 교란하는 것보다 의사결정 성능이 훨씬 더 크게 저하된다. 또한 이 디코드 공유 부분공간이 활성화 스티어링(activation steering)에 실질적 함의를 갖는다는 것을 보인다. 일반적인 스티어링 방향이 작업 일반 디코드 채널과 겹칠 수 있다. 이 공유 부분공간을 투영 제거(projecting out)하면 두 구성 요소의 기능적 역할을 직접 분리할 수 있으며, 디코드 시점에서 스티어링 벡터를 평가하면 prefill 기반 프록시보다 하류 배포를 위한 더 신뢰할 수 있는 신호를 제공한다. 크기가 작음에도 불구하고, 공유 부분공간은 디코드 시점에서 고레버리지(high-leverage) 인과 채널로 작용할 수 있다. 코드는 https://github.com/Zishan-Shao/decodeshare.git 에서 이용할 수 있다.
병렬 디코딩은 확산 대규모 언어 모델(dLLM)의 효율성에 핵심적이지만, 현재 전략들은 지나치게 보수적인 신뢰도 임계값으로 인해 종종 저해된다. 이러한 임계값은 결합 확률 의존성 오류(JPDE)로 인해 필요해지며, 중복적인 디노이징 반복과 최적이 아닌 추론 속도를 초래한다. 이를 극복하기 위해, 우리는 중간 신뢰도 영역에서 dLLM의 신뢰할 수 있는 가속을 가능하게 하는 무학습 프레임워크인 DC-Leap을 제안한다. DC-Leap은 엄격히 순서가 정해진 인과 제약을 병렬 디코딩 과정에 통합하는 동적 연속 검증(Dynamic Contiguous Verification) 전략을 도입한다. 토큰 의존성을 점진적으로 검증함으로써, 이 메커니즘은 JPDE를 효과적으로 상쇄하여 유사한 성능으로 신뢰할 수 있는 가속을 가능하게 한다. 또한 DC-Leap은 드래프트 가이드 디코딩 메커니즘을 통합하며, 여기서 드래프트는 여러 토큰에 걸쳐 앞으로 도약함으로써 컨텍스트를 확장하고, look-ahead 컨텍스트를 제공하며, 추론 중 양방향 어텐션의 구조적 이점을 유지한다. 표준 벤치마크에 대한 광범위한 실험은 DC-Leap이 상당한 속도 향상을 달성함을 보여주며, 긴 시퀀스 생성에서 MBPP 기준 최대 53.19배, KV-Cache와 결합 시 유사한 생성 품질로 최대 105.02배까지 달성한다. 코드는 https://github.com/ffh-wyls/DC-Leap 에서 이용 가능하다.
대규모 언어 모델(LLM)이 임상 워크플로에 점점 더 통합되면서, 워터마킹을 통한 모델 생성 출력의 신뢰할 수 있는 추적 가능성(traceability)에 대한 필요성이 더욱 부각되고 있다. 그러나 대부분의 워터마크는 범용 벤치마크에서 평가되어, 작은 토큰 수준 perturbation이 상당한 의미적 변화를 초래할 수 있는 의학과 같은 도메인은 충분히 탐구되지 않았다. 본 연구에서는 LLM 워터마크가 의료 성능에 미치는 영향에 대한 최초의 엄밀한 연구를 제시하며, 단일 모달 및 다중 모달 임상 추론에 걸친 다양한 과제에서 11개 LLM과 7개 비전-언어 모델(VLM)에 걸쳐 5가지 워터마킹 방식을 벤치마킹한다. 중요하게도, 우리는 의료 추론 품질, 용어적 정확성, 유발된 환각을 체계적으로 감사하기 위한 인간 전문가 검증 파이프라인을 도입하여 기존 평가를 보완한다. 우리 결과는 워터마킹이 어휘 손상, 환각적 용어, 이미지 소견의 오인 또는 누락 증폭 등 여러 실패 모드에 걸쳐 상당한 성능 저하를 유발할 수 있음을 보여준다. 특히, 도메인 특화 분석의 부재와 임상 텍스트에 내재된 실패를 놓치는 집계 지표가 결합되면, 실질적인 워터마크 유발 성능 저하를 체계적으로 가릴 수 있음을 발견했다. 우리 연구 결과는 현재 벤치마크가 임상적으로 중대한 실패를 가릴 수 있는 의학 분야에서, 워터마크가 적용된 모델의 안전한 배포를 위해서는 도메인 특화 평가가 전제 조건임을 확립한다.
현대 소프트웨어 품질 보증은 분산 클라우드 환경 전반에서 적응적 의사결정이 가능한 지능형 자율 시스템을 요구한다. 본 논문은 전통적인 테스트 관리를 자율적 품질 지능 생태계로 전환하는 다중 에이전트 에이전틱 AI 시스템인 AINTMA(Agentic Intelligent Test Management Architecture)를 제안한다. AINTMA는 클라우드 네이티브 마이크로서비스 인프라 위의 보안 다중 에이전트 통신 프레임워크를 통해 조율되는 여섯 개의 전문 AI 에이전트(테스트 탐색, 위험 평가, 강화학습 우선순위화, 실행 오케스트레이션, 생성형 품질 지능, 클라우드 보안 모니터)를 배치한다. 생성형 품질 지능 에이전트는 대규모 언어 모델(LLM)을 활용해 평이한 언어의 품질 서술, 결함 위험 요약, 데이터 증강 기반 테스트 권고를 생성한다. 강화학습 우선순위화 에이전트는 테스트 선택을 마르코프 결정 과정으로 모델링하고, 대규모 과거 테스트 실행 데이터(47개 특징, 36개월 롤링 윈도우)로부터 문맥적 정책을 학습한다. 보안 클라우드 통신은 OAuth2/JWT 인증, 암호화된 에이전트 간 메시징, 다중 테넌트 격리를 갖춘 제로 트러스트 API 게이트웨이를 통해 강제된다. 18개월에 걸친 12개의 이질적 소프트웨어 프로젝트에 대한 평가 결과는 다음을 보여준다: 88.4% 테스트 우선순위화 정확도(APFD, 무작위 51.2%, 최고 상용 기준선 82.1% 대비); 테스트 사이클 시간 43% 단축; 결함 누출률 8.3%에서 2.1%로 감소; 9개월 투자 회수 기간에 340% ROI. 에이전틱 아키텍처는 50,000개 이상의 테스트 케이스에 확장되며 400ms 미만의 응답 시간을 달성하고, 생성형 지능 모듈은 개발자 유용성 평가 4.3/5.0을 기록했다. AINTMA는 자율적 다중 에이전트 조율, 생성형 지능, 보안 스마트 연결을 결합한 에이전틱 AI가 클라우드 규모의 엔터프라이즈 환경에서 소프트웨어 품질 관리를 근본적으로 발전시킬 수 있음을 보여준다.
비전-언어 AI 어시스턴트는 생성된 토큰의 스트림 형태로 답변을 반환한다. 따라서 그 답변을 감시하는 안전 가드는 스트림 속도를 따라잡아 사용자가 읽기 전에 유해한 응답을 중단해야 한다. 최근 비전-언어 가드레일은 판정을 내리기 전에 사고의 연쇄(Chain-of-Thought)를 생성한다. 이들은 단계별 추론이 더 안전한 가드를 만든다고 본다. 이 설계는 유해성 탐지를 위해 모델이 많은 토큰을 디코딩해야 하므로 가드를 무겁고 느리게 만든다. 우리는 비전-언어 가드가 응답을 선별하기 위해 정말 추론이 필요한지라는 질문을 제기한다. 우리는 사고의 연쇄가 없는 가드로 이에 답한다. ResponseGuard는 요청, 응답, 이미지의 단일 풀링(pooled) 표현에서 한 번의 순전파로 유해 판정을 읽어낸다. 표준 멀티모달 가드레일 벤치마크에서, 우리의 2B ResponseGuard는 추론 없이 약 150배 낮은 시간 비용으로 최근 3B 추론 기반 비전-언어 가드보다 응답 유해성 탐지에서 더 우수한 성능을 보인다. 요청 유해성에서는 추론 기반 가드가 전반적인 우위를 유지하며, 두 트랙 모두에서 남은 격차는 이미지 전용(image-only) 셀에 집중되어 있다. 우리는 그 격차가 사고의 연쇄 부재가 아니라 두 설계가 공통으로 사용하는 고정(frozen) 비전 인코더에서 비롯될 수 있음을 관찰한다. 또한 추론 기반 가드는 판정 어텐션을 이미지에 거의 전혀 할당하지 않음을 발견했다. 단일 패스(single-pass) 탐지를 바탕으로 ResponseGuard는 스트리밍되는 답변을 문장 단위로 선별하고 완성되기 전에 유해한 답변을 중단할 수 있다. 비전-언어 모델의 응답을 가드하는 데 있어, 보정(calibrated)된 단일 패스 레이블이 충분한 안전성 신호를 제공할 수 있다. 우리는 모든 소스 코드, 학습된 모델, 데이터셋을 https://github.com/ndb796/ResponseGuard 에서 전면 공개한다.
딥페이크 탐지는 이진 분류 결정을 넘어, 그러한 결정을 뒷받침하는 시각적 증거를 설명할 수 있는 시스템으로 발전하고 있다. 이러한 전환은 실제 검증 환경에서 중요한데, 다양한 사용자가 이미지가 조작되었는지 여부뿐 아니라 왜 의심스러운 것으로 간주되는지도 이해해야 하기 때문이다. ACM Multimedia 2026의 설명 가능한 딥페이크 탐지 챌린지는 이러한 복합 역량을 벤치마크하기 위해 설계되었다. 설명 가능한 딥페이크 탐지를 위한 백만 규모 벤치마크인 XPlainVerse를 기반으로, 이 챌린지는 이미지 분류와 그라운딩(grounded) 자연어 설명 생성에 대한 방법들을 평가한다. 참가자는 각 이미지에 대해 real/fake 레이블과 함께 두 가지 설명을 제출한다: 기술 사용자를 위한 상세한 복합 설명과 일반 사용자를 위한 간결한 단순 설명. 평가는 분류 지표와 의미적 유사성, 단순성, 그리고 설명이 관련된 조작된 개체와 뒷받침하는 시각적 증거를 식별하는지 평가하는 의도 인식(intent-aware) 그라운딩 지표를 결합한다. 챌린지를 통해 개발된 방법론은 차세대 설명 가능한 딥페이크 탐지기 개발에 기여할 것이다. 평가 스크립트, 기준선 모델, 및 동반 코드는 https://github.com/Abhijeet8901/XPlainVerse-ACMChallenge 에서 이용할 수 있다.
Large language models (LLMs) reproduce homogeneity bias -- the tendency to portray marginalized groups as more internally similar than dominant groups -- but whether this bias generalizes across models, is stable under different inference settings, or depends on how group identity is signaled remains unstudied. We map homogeneity bias across seven open-weight instruction-tuned LLMs (7-20B parameters), a 5x5 temperature x top-p decoding grid, and two paradigms for signaling group identity (explicit labels vs. racially distinctive names). In six of seven models, Hispanic and Asian Americans are portrayed as significantly more homogeneous than White Americans at the default configuration, and the effect remains positive on average at every temperature and top-p tested; African American and gender bias instead vary in direction across models. A conservative cell-level re-analysis confirms Hispanic and Asian homogeneity as robust while weaker African American and gender signals largely do not survive, establishing group-specific robustness. We also apply the same grid to a names-based paradigm in which group identity is signaled via racially distinctive surnames rather than explicit labels. The names paradigm corroborates Hispanic and Asian homogeneity bias, but Black-coded surnames elicit robustly less homogeneous outputs than White-coded names in every model tested -- a reversal absent from the label paradigm -- showing that how group identity is operationalized shapes which biases surface and in which direction.
대규모 언어 모델(LLM)이 실제 응용에서 널리 채택됨에 따라, LLM이 비독성 및 논리적 일관성과 같은 안전성(safety) 제약과 과업·상황별 제약을 충족하도록 보장하는 것이 중요해졌다. 지시(instruction)를 통해 출력을 제어하는 것은 간단하고 매력적인 접근이지만, 여전히 취약하며 모델 행동에 어떤 영향을 미치는지 불투명하여 제약 충족을 신뢰성 있게 보장할 수 없다. 또한 최근 대부분의 제어 텍스트 생성(controlled text generation, CTG) 방법은 가중치(weight)나 로짓(logit)과 같은 언어 모델의 내부 구성 요소에 대한 접근을 요구하여, 널리 사용되는 API 기반 LLM과 호환되지 않는다. 본 연구에서는 제약을 충족하는 텍스트 수정 방법인 LaSEr-Edit을 제안하며, 이는 블랙박스·화이트박스 여부와 관계없이 모든 LLM에 적용할 수 있다. 우리는 먼저 경량의 과업별 에너지 기반 모델(energy-based model, EBM)이 훨씬 더 큰 LLM과 견줄 만하거나 그보다 나은 오류 국소화(error localization) 성능을 달성하면서도 훨씬 빠르게 동작한다는 것을 발견했다. 이 발견을 바탕으로, 에너지 기반 오류 국소화를 통합한 두 가지 텍스트 수정 방법 변형을 제안한다: EBM이 예측한 오류 스팬(span)을 바탕으로 LLM에 텍스트 편집을 지시하는 LaSEr-LLM Edit, 그리고 EBM을 국소화뿐 아니라 편집 후보를 재순위화(reranking)하여 편집에도 사용하는 LaSEr-EBM Edit. 다양한 단일 제약 제어 과업에서의 실험을 통해, LaSEr-LLM Edit이 대부분의 과업에서 단순 LLM 기반 편집보다 텍스트를 더 잘 제어함을 보인다. 또한 LaSEr-EBM Edit이 LaSEr-LLM Edit의 제어 성능을 더욱 향상시키며, 모든 과업에서 가장 강력한 제어 가능성(controllability) 중 하나를 달성함을 확인한다. 더 나아가 LaSEr-Edit, 특히 LaSEr-EBM Edit은 여러 제약을 동시에 제어할 때에도 잘 동작함을 확인한다.
본 보고서에서는 가사, 텍스트 설명, 음악적 속성으로부터 고품질의 전곡 음악을 생성할 수 있는 통합 노래 생성 프레임워크를 제시한다. 제안된 프레임워크는 세 가지 작업을 지원한다: 텍스트 설명, 가사, 음악적 속성으로부터 완전한 노래를 생성하는 Lyrics-to-Song Generation; 보컬 없이 음악을 생성하는 Instrumental Music Generation; 멜로디 내용을 보존하면서 다른 스타일로 기존 곡을 재해석하는 Cover Song Generation. 아키텍처적으로 본 시스템은 네 가지 주요 구성 요소로 이루어진다: semantic-aware tokenizer, hybird-LM, FullDiT, 2단계 melody module. 토크나이저는 오디오를 효율적인 이산 음악 표현을 위해 8-codebook RVQ 토큰으로 인코딩한다. 이러한 토큰을 기반으로 hybird-LM은 전곡 생성을 위해 계층적 자기회귀(autoregressive) 오디오-토큰 모델링을 수행한다. 오디오 충실도를 높이기 위해 FullDiT는 codec 토큰, 가사, 텍스트 캡션을 조건으로 하는 연속 VAE 잠재 공간에서 전곡 flow matching을 수행한다. Cover Song Generation의 경우 melody module은 참조 오디오에서 멜로디 단서를 추출·이산화하여 원래 멜로디 내용을 보존하면서 생성을 안내한다. 마지막으로 hybird-LM에 대해 DPO, GRPO, OPD를 보상 기반 사후 학습 전략으로 검토하고, FullDiT에 flow-based GRPO를 적용하여 음악성과 렌더링 품질을 개선한다. 다국어 자동 벤치마크에 대한 실험 결과와 Artificial Analysis Music with Vocals 리더보드가 이를 보완하며, 제안된 프레임워크가 평가된 설정에서 경쟁력 있는 성능을 달성함을 보여준다.
최근 대규모 언어 모델(LLM)의 발전으로 운영 금융(operational finance) 분야에서 에이전트 시스템의 배포가 가속화되고 있다. 기존 벤치마크는 일반 역량, 지시 따르기(instruction following), 또는 안전성(safety) 측정에 중점을 두지만, 에이전트 시스템이 자동화하도록 배포되고 있는 운영 금융 워크플로를 직접 다루는 벤치마크는 거의 없다. 금융 전문가들은 에이전트가 사실에 부합하고 적절히 그라운딩(grounding)된 정보를 제공할 뿐만 아니라, 이러한 정보가 검증 가능하고 운영 금융 도메인의 규칙과 제약을 일관되게 준수하는 것을 요구한다. 우리는 251개의 전문가 주석 쿼리를 포함하고, 운영 금융 도메인 요구사항에 맞게 보정된 루브릭 기반 프레임워크를 사용하여 응답을 정확성(accuracy), 인용(citations), 명확성(clarity), 깊이(depth), 그라운딩(groundedness), 최신성(recency), 관련성(relevance), 구조(structure)의 8개 차원에서 평가하는 FORCE-Bench를 제안한다. FORCE-Bench는 세 가지 작업 유형에서 에이전트 시스템을 평가한다: 재무 의무 조사(매출채권 및 매입채무 데이터를 위해 ERP 시스템을 조회), 금융 실체 성과 조사(공시 자료 및 시장 데이터로부터 시한이 정해진 질문에 답변), 비즈니스 브리프 생성(다중 출처의 기업 인텔리전스 보고서 종합). 실제 배포 조건을 반영하기 위해, 우리는 목적에 맞게 구축된 에이전트와 범용 에이전트 시스템 모두를 공통 도구 접근 및 지연 시간 제한(latency-bounded) 설정 하에서 평가한다. 결과는 범용 에이전트 시스템이 운영 제약 하에서 금융 도메인 품질 요구사항을 일관되게 충족하지 못하는 반면, Microsoft 365 Copilot을 위해 목적에 맞게 구축된 Finance Agent가 모든 차원에서 더 신뢰할 수 있음을 보여준다. 우리는 재현 가능한 비교와 다른 기업 금융 환경에의 적응을 지원하기 위해 데이터셋, 루브릭, 하네스, 분석 코드를 오픈소스로 공개한다.
활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.
스프레드시트 애플리케이션은 전 세계 수억 명이 사용하지만, 수식 작성은 여전히 큰 장벽으로 남아 있다. 기존 접근법은 정적 지도 데이터에 의존하며, 제한된 주석에서 빠르게 포화된다. 본 논문에서는 FORMULASPIN을 제안한다. 이는 추가 데이터 없이 반복적 자기 개선을 가능하게 하여 지도 미세조정의 한계를 돌파하는 셀프플레이 프레임워크이다. 바닐라 SPIN은 이 과제에서 실패한다. 일치하지 않는 모든 출력에 동일한 패널티를 부여하므로, 실행상 동등한 대안이 한 예시에서는 부정 샘플로 처벌받고 다른 예시에서는 정답(ground truth)으로 작용하여 모순된 gradient를 만든다. 우리 프레임워크는 수식 생성의 고유한 이점을 활용하여 이를 해결한다. 이진 실행 가능성(binary executability)이 암시적 지도(implicit supervision)를 제공하여 의미적 오류와 유효한 스타일 변형을 구분한다. 학습을 2인 게임으로 구성한다. 주 플레이어는 이전 버전의 수식보다 정답 수식을 선호하도록 학습하고, 실행 피드백(execution feedback)은 출력을 서로 다른 세분성(granularity)으로 분류하여 의미적 정확성에서 스타일적 정제(refinement)로 전환되는 적응형 커리큘럼(adaptive curriculum)을 가능하게 한다. 정확도를 더 높이기 위해 ExecVote를 도입한다. 이는 여러 유효한 표현을 자연스럽게 처리하는 의미 수준의 투표 메커니즘이다. 여러 벤치마크에서의 실험은 FORMULASPIN이 최신(state-of-the-art) 성능을 달성함을 보여준다. NL2FORMULA에서 정확 일치 74.9%, 실행 정확도(execution accuracy) 87.1%를 기록하며, 추가 선호(preference) 주석으로 학습한 모델과 동등한 수준을 달성하면서 전통적인 지도 미세조정(SFT)과 최신 독점(proprietary) 모델 모두를 능가한다. 이 결과는 희소 데이터 과제를 해결하는 셀프플레이의 잠재력을 강조하며, 실행 가능한 영역을 넘어 확장할 가능성의 문을 연다.
기밀 컴퓨팅(confidential computing)은 민감한 입력을 처리하거나 독점 모델 자산을 보호해야 하는 AI 추론 워크로드에 있어 실질적인 배포 요구사항이 되고 있다. 그러나 GPU 가속 대규모 언어 모델(LLM) 서빙을 위해 기밀 실행(confidential execution)을 활성화할 때 발생하는 성능 비용은 여전히 워크로드에 따라 달라지며 운영상 중요한 요소이다. 본 논문은 Intel TDX 기밀 인스턴스에서 호스팅된 단일 NVIDIA H100 80GB GPU 상에서 표준 비기밀(non-confidential) 실행과 기밀 컴퓨팅 모드를 비교하는 벤치마크 연구를 제시한다. 평가는 Mistral-7B v0.1과 Qwen3-30B-A3B라는 두 대표적인 언어 모델을 사용하며, 동시성(concurrency) 증가 하에서 첫 토큰까지의 시간(TTFT, time to first token), 종단 간(end-to-end) 요청 지연(latency), 요청당 토큰 생성 처리량(throughput), 전역 토큰 처리량, 폐루프(closed-loop) 요청 처리량을 측정한다. 고정 요청률(fixed request-rate) 실험에서 기밀 모드는 Mistral-7B의 평균 TTFT를 21.8%, Qwen3-30B-A3B의 평균 TTFT를 27.8% 증가시키는 반면, 전역 토큰 처리량은 각각 17.7%와 21.1% 감소한다. 폐루프 동시성 실험에서 처리량 격차는 11.5-20.2% 범위에 머물지만, 더 큰 모델은 기밀 모드에서 포화(saturation) 임계점(knee)에 더 일찍 도달한다. 결과는 기밀 GPU 추론이 부하 하에서도 사용 가능한 처리량을 유지할 수 있음을 시사하지만, 용량 계획(capacity planning) 시 안정적인 처리량 페널티와 더 큰 모델에서 관찰되는 조기 포화 동작을 모두 고려해야 함을 나타낸다.