대규모 언어 모델(LLM)의 기만적 출력을 탐지하기 위한 프로브(probe) 학습은 여전히 미해결 문제이다. 최근 연구는 탐지 프로브가 특히 도메인 외(out-of-domain) 시나리오에서 실패함을 보여주었다 — 한 유형의 거짓말에 대해 학습한 것은 다른 유형의 거짓말을 포함하는 기만 시나리오로 잘 전이되지 않는다. 본 연구에서는 탐지 성능에 영향을 미치는 다양한 요인에 대해 체계적으로 조사한다: 표현 깊이, 프로브 표현력, 희소 특징 표현, 그리고 학습 데이터의 거짓말 유형. 이를 위해 표준 벤치마크 학습 데이터에 허구(fabrication), 누락(omission), 과장(exaggeration) 사례를 포함한 다양한 유형의 기만을 담은 보조 데이터셋을 추가한다. 7가지 프로브 유형에 걸쳐 이러한 요인을 분석한 실험 결과, 최적의 표현 깊이는 데이터셋에 크게 의존하며, 더 표현력 있는 프로브는 선형 기준선 대비 선택적인 이득만을 제공하고, 희소 오토인코더 특징은 밀집 은닉 상태와 유사한 성능을 보인다. 궁극적으로 학습 데이터와 거짓말 유형의 선택이 탐지 가능성을 실질적으로 바꾼다는 것을 보여주며, 기만 탐지가 표현에 크게 의존하는 문제임을 강조한다.
텍스트 속성 그래프(Text-Attributed Graphs, TAGs)는 그래프 토폴로지와 풍부한 텍스트 의미론을 통합하는 표현력 있는 데이터 모델로 부상했다. 기존 TAG 표현 학습 방법은, 특히 대규모 언어 모델(LLM)과 함께 사용할 때 심각한 확장성 병목을 겪는다. 데이터 증류가 유망한 데이터 중심 해결책을 제공하지만, 기존 방법은 그래프와 텍스트 모달리티 간의 복잡한 상호작용을 포착하지 못하고, 반지도 설정에 내재된 레이블 부족 문제에 어려움을 겪으며, LLM 기반 후속 작업에 필요한 사람이 읽을 수 있는 텍스트 속성을 생성할 능력이 부족하다. 이러한 과제를 해결하기 위해, 우리는 Wasserstein Distance(WSD)에 의해 안내되는 통합 반지도 프레임워크 \algo{}를 제안한다. 실제 TAG에 대한 우리의 경험적 발견에 기반하여, \algo{}는 협력적 자기학습(collaborative self-training) 방식 내에서 이중 경로 인코더(그래프 인식 및 그래프 비인식)를 활용하는 그래프-텍스트 협력 인코딩 모듈을 도입하여, 신뢰할 수 있는 의사 레이블(pseudo-label)을 수확하고 상보적인 그래프-텍스트 특징을 융합한다. 또한, 우리는 이론적으로 정당화된 WSD 기반 그래프 스케치(sketching) 알고리즘과 비용 효율적인 LLM 텍스트 합성 모듈을 개발하며, 이는 클러스터 기반 키워드 추출을 활용하여 응축된 노드에 대해 일관되고 사람이 읽을 수 있는 요약을 생성한다. 벤치마크 데이터셋에 대한 광범위한 실험은 \algo{}가 GNN 및 LLM 기반 후속 작업 모두에서 최첨단(state-of-the-art) 성능-압축 트레이드오프를 달성하여, 효과적이고 효율적인 TAG 학습 또는 분석을 가능하게 함을 보여준다.
우리는 다섯 개의 대규모 언어 모델이 다중 센서 물리적 위험 데이터를 어떻게 평가하는지를 평가하는 실증 벤치마크를 제시한다. 세 가지 범주—다중 센서 공동 평가, 대응 비례성, 패턴 모호성 해소—에 걸쳐 60개 시나리오를 temperature 0.0으로 1,800회의 API 호출을 통해 테스트한 결과, 모든 테스트된 모델이 개별 안전 한계 이하에서 여러 센서가 동시에 상승한 테스트 시나리오에서 일관되게 예방적 경고 신호를 생성하지 않았으며, 단일 센서 임계값 위반에서는 거의 완벽한 정확도를 달성한 것으로 나타났다. 다섯 모델(ChatGPT-4o, Gemini 2.5 Flash, DeepSeek, Kimi, Llama 3.1 8B) 모두 Category A 다중 센서 시나리오에서 거의 0점(Q2: 0.000-0.208; Q3: 0.000-0.592)을 기록했으며, 이는 단일 센서 시나리오(Category B Q1: 0.975-1.000)에서의 우수한 성능과 대조적이다. 구조화된 표 형식은 일반 산문 대비 일관된 이점을 보이지 않았으며, ChatGPT-4o는 산문 형식에서 유의미하게 더 나은 성능을 보였다(p = 0.001). 이러한 결과는 물리적 안전 모니터링 시스템에 테스트된 모델을 배포하는 실무자에게 직접적인 함의를 갖는다.
LLM 추론에서 샘플링은 투기적 디코딩(speculative decoding)을 위한 로짓 처리, 토큰 선택, 검증 연산의 조합적 집합으로 구성된다. 그러나 기존 구현은 이 파이프라인의 일부만 가속하거나, 여러 커널 실행에 의존하거나, 배치 전체에 걸쳐 동질적인 샘플링 동작을 가정하여 동적 서빙 워크로드 지원을 제한하고 효율적인 CUDA Graph 실행을 방해한다. 우리는 전체 샘플링 파이프라인을 고정된 워크로드 인식 실행 모델로 수직 융합하는 통합 타일 인식 Triton 커널 모음인 $\textbf{SonicSampler}$를 제안한다. 우리 커널은 문법 제약 디코딩, 반복, 빈도 및 존재 페널티, 로짓 바이어스, 온도 스케일링, top-$k$ / top-$p$ / min-$p$ 필터링, 투기적 검증을 포함한 동적 요청별 샘플링 동작을 단일 배치 커널 내에서 지원하면서 완전히 CUDA Graph 호환을 유지한다. 우리 접근법의 핵심은 경쟁 기준선 대비 최대 $\textbf{10배}$ 속도 향상을 달성하는 새로운 계층적 2단계 top-$k$ 알고리즘이며, LLM 출력의 낮은 엔트로피 구조를 활용하여 대규모 어휘에 대한 효율적인 선택을 가능하게 한다. 이질적인 투기적 디코딩 워크로드 전반에 걸쳐 SonicSampler는 유연한 배치 실행을 유지하면서 최신 기준선 대비 최대 $\textbf{16배}$ 속도 향상을 달성한다.
자연어 인터페이스는 최적화 모델링의 접근성과 사용성을 크게 향상시킬 수 있으며, 대규모 언어 모델(LLM)의 최근 발전은 텍스트 문제 설명을 실행 가능한 솔버 공식화로 자동 변환하는 데 가능성을 보여준다. 그러나 기존 접근법의 핵심 과제는 추론된 공식화가 오류 없이 실행될 수 있더라도 의도된 작업을 올바르게 구현하는지 확인하는 것이다. 우리는 견고한 자연어-최적화 형식화를 위한 솔버 LLM 프레임워크인 VeriSimpl을 제안한다. 우리 접근법은 단순화 기반 검증(simplification-based verification)이라는 아이디어에 기반하며, 여기서 최적화 솔버를 활용해 후보 공식화에 대한 단순화된 진단 쿼리를 생성하고, 이를 통해 LLM이 작업 설명에 대한 공식화의 정확성을 다루기 쉽게 추론할 수 있게 한다. 문제 제약과 의사결정 변수와 관련된 다양한 차원에서 이러한 단순화 전략을 제시하며, 이는 LLM이 고정된 전역 문맥 하에서 국소적으로 추론할 수 있게 한다. 다양한 최적화 벤치마크에 대한 평가는 우리 접근법이 기존 방법 대비 정확도에서 일관된 개선을 제공함을 보여주며, 동시에 새로운 고정밀도 자가 검증 신호를 제공함을 보여준다.
대규모 언어 모델(LLM)은 유해한 요청에 대한 안전장치를 갖춘 오픈 가중치(open-weight) 모델로 점점 더 많이 공개되고 있다. 그럼에도 불구하고 문장 완성(sentence completion)은 불완전한 유해 프롬프트에 취약한 상태로 남아 있다. 본 연구에서는 이 현상을 불완전 프롬프트 탈옥(incomplete prompt jailbreak, IPJ)으로 형식화하고, 불완전한 프롬프트가 언제 어떻게 유해한 연속 생성을 유발하는지에 대한 체계적인 실증적 특성 분석을 제공한다. 우리는 불완전한 문장 연속 생성과 관련된 다양한 attractor 유형을 분석하고, LLM이 문장 종료까지 거부(refusal)를 체계적으로 지연한다는 것을 보인다. 또한 매개변수 튜닝을 통해 불완전한 유해 프롬프트를 거부하도록 모델을 학습시키는 것이 불충분하며, 콘텐츠 도메인과 attractor 유형 모두에 걸쳐 일반화하지 못한다는 것을 입증한다. 세밀한 제어를 가능하게 하기 위해, 우리는 두 가지 기능적 뉴런인 종료(termination) 뉴런과 연속(continuation) 뉴런을 식별한다. 문장 완성에서 이들의 역할을 명확히 함으로써, 보다 정밀하고 견고한 IPJ 방어를 위한 뉴런 수준 개입의 잠재력을 강조한다.
사용자가 언어 모델에게 유해한 내용을 물어볼 때, 그것이 진짜 공격인지 아니면 오해에서 비롯된 선의의 질문인지 판단하기 어렵다. 이러한 모호성은 LLM 안전성의 핵심 과제 중 하나이다. 최악을 가정하는 모델은 정당한 사용자에게 피해를 주고, 최선을 가정하는 모델은 쉽게 악용된다. 이 문제는 다중 턴 대화에서 더욱 심화되는데, 공격자의 진짜 의도는 여러 번의 교환에 걸쳐서야 서서히 드러날 수 있지만, 기존 안전성 프레임워크는 문맥적 bandit 방식을 적용하여 대화의 궤적을 무시한다. 이를 위해 우리는 대화의 매 턴마다 사용자 의도를 추론함으로써 이 문제를 해결하는 프레임워크인 Dialogue Critic Guided Sampling(DCGS)를 제안한다. 안전하거나 위험한지에 대한 고정된 규칙을 적용하는 대신, DCGS는 전체 대화 이력을 바탕으로 사용자 의도가 무엇일 가능성이 높은지 학습하고 이에 따라 응답을 생성한다. 형식적으로, 우리는 적대적 대화를 마르코프 결정 과정으로 모델링하고, 개별 토큰 수준과 발화(전체 응답) 수준 모두에서 가치 및 후회(regret) 기반 크리틱을 학습하며, 행동-가치(action-value) 크리틱을 통해 후보 응답을 점수화한다. 우리는 이러한 추론 시점 재가중화가 기본 정책의 지수 기울임(exponential tilting)을 근사함을 증명하며, 이는 임의의 유한 후보 풀에 대해 기대 수익(expected return)의 개선을 보장하는데, 이는 그룹 상대적(group-relative) 목적함수가 갖지 못하는 성질이다. CARES-18k, WildJailbreak, Redbench, Harmbench에서 평가한 결과, DCGS는 적대적 대화 과제에서 강력한 견고성 기준선 및 최첨단(frontier) 모델들을 능가한다. DCGS는 최첨단 모델에도 전이되어, 미세조정 없이 그들의 견고성을 향상시킨다.
대규모 언어 모델(LLM)의 과제별 능력을 향상시키려면 주로 대규모 지시 미세조정 데이터셋이 필요하다. 그러나 이러한 데이터의 방대한 규모는 상당한 주석 비용을 수반하며, LLM을 특정 과제에 맞게 조정하기 위한 최적화 방법이 부족하다. 위 문제들을 해결하기 위해, 데이터 분해, 지시 미세조정, 프롬프트 추론을 포함하는 \textbf{E}xtractive 기반 LLM 구축을 위한 \textbf{Plan}ning 프레임워크인 \textbf{PlanE}를 제안한다. 또한 특정 데이터셋에 대해 최적의 base-LLM과 그 DTI 조합을 선택하여 구축 효율을 개선하는 Data-Tuning-Inference(DTI) 플래너를 도입한다. 실험 결과는 두 가지 관점에서 PlanE의 효과를 보여준다: (1) 동일한 base-LLM을 사용할 때 서로 다른 데이터셋에서, (2) 동일한 데이터셋에서 서로 다른 base-LLM을 사용할 때. 또한 서로 다른 최적화 목표 하에서 제안한 DTI 플래너의 일반화 가능성을 검증한다. 코드는 https://github.com/gugugu-469/PlanE 에서 공개되어 있다.
대규모 언어 모델(LLM)은 하나의 파라미터 집합으로 많은 작업을 처리하지만, KV 캐시 추론에서는 prefill 단계가 아닌 디코드 시점에 어떤 작업 일반(task-general) 구조가 사용되는지, 있다면 무엇인지 불분명하다. 우리는 DecodeShare를 제안한다. 이는 디코드 시점 은닉 상태에서 작업 간 일관되게 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 해당 부분공간을 제거하여 그 인과적 역할을 검증하는 프로토콜이다. 실험에서 발견된 공유 부분공간을 교란하면, 동일한 개입 예산 하에서 prefill에서 유도된 부분공간이나 무작위 부분공간을 교란하는 것보다 의사결정 성능이 훨씬 더 크게 저하된다. 또한 이 디코드 공유 부분공간이 활성화 스티어링(activation steering)에 실질적 함의를 갖는다는 것을 보인다. 일반적인 스티어링 방향이 작업 일반 디코드 채널과 겹칠 수 있다. 이 공유 부분공간을 투영 제거(projecting out)하면 두 구성 요소의 기능적 역할을 직접 분리할 수 있으며, 디코드 시점에서 스티어링 벡터를 평가하면 prefill 기반 프록시보다 하류 배포를 위한 더 신뢰할 수 있는 신호를 제공한다. 크기가 작음에도 불구하고, 공유 부분공간은 디코드 시점에서 고레버리지(high-leverage) 인과 채널로 작용할 수 있다. 코드는 https://github.com/Zishan-Shao/decodeshare.git 에서 이용할 수 있다.
AI 에이전트는 연구 개발 작업 자동화에 점점 더 많이 사용되고 있지만, 기존 벤치마크는 일반적으로 정해진 워크플로 또는 좁은 행동 공간에서 이를 평가한다. 명목상 개방형(open-ended) 작업이라도 잘 알려진 레시피를 검색하고 몇 가지 하이퍼파라미터를 조정하는 것만으로 해결되는 경우가 많아, 우수한 결과가 진정한 최적화를 반영하는지 아니면 암기된 해법을 반영하는지 불분명하다. 우리는 에이전트가 OpenAI 호환 추론 서버를 배포하고 LLM 추론 속도를 최적화해야 하는 InferenceBench를 제안한다. 각 에이전트는 대상 LLM, H100 GPU 1대, 최적화 시나리오, 그리고 2시간의 실제 시간(wall-clock time) 예산을 받는다. 세 가지 최적화 시나리오는 추론의 서로 다른 병목(prefill 지연, decode 지연, 동시 요청 처리량)을 분리하고, 네 번째 시나리오는 세 가지를 동시에 균형 있게 다룬다. 15개의 최신 에이전트 구성에 걸쳐, 에이전트는 단순한 PyTorch 기준선 대비 안정적으로 개선(최대 $8.08\times$)하며 기본 설정의 서빙 엔진과 동등하거나 그 이상(vLLM에서 $4.05\times$)인 경우가 많지만, 동일한 시간 예산 하의 단순 하이퍼파라미터 탐색(최대 $11.53\times$)에는 여전히 미치지 못한다. 에이전트 궤적에 대한 정성적 분석은 에이전트가 관련 최적화 기법을 많이 열거하지만, 압도적으로 단일 추론 프레임워크로 수렴함을 보여준다. 이들은 소수의 서로 다른 구성만 시험하고, 남은 예산을 근본적으로 다른 전략을 탐색하기보다 재측정, 수정, 또는 하이퍼파라미터 최적화에 소비한다. 이는 병목이 도메인 지식이 아니라 다양한 구성을 제안하고, 체계적으로 평가하며, 식별된 최적 해법을 제출하는 능력에 있음을 시사한다. 전반적으로 InferenceBench는 암기된 해법이 제한적인 개선으로 이어지는 개방형 AI 엔지니어링 환경에서 에이전트가 작동하는 능력을 반영한다.
병렬 디코딩은 확산 대규모 언어 모델(dLLM)의 효율성에 핵심적이지만, 현재 전략들은 지나치게 보수적인 신뢰도 임계값으로 인해 종종 저해된다. 이러한 임계값은 결합 확률 의존성 오류(JPDE)로 인해 필요해지며, 중복적인 디노이징 반복과 최적이 아닌 추론 속도를 초래한다. 이를 극복하기 위해, 우리는 중간 신뢰도 영역에서 dLLM의 신뢰할 수 있는 가속을 가능하게 하는 무학습 프레임워크인 DC-Leap을 제안한다. DC-Leap은 엄격히 순서가 정해진 인과 제약을 병렬 디코딩 과정에 통합하는 동적 연속 검증(Dynamic Contiguous Verification) 전략을 도입한다. 토큰 의존성을 점진적으로 검증함으로써, 이 메커니즘은 JPDE를 효과적으로 상쇄하여 유사한 성능으로 신뢰할 수 있는 가속을 가능하게 한다. 또한 DC-Leap은 드래프트 가이드 디코딩 메커니즘을 통합하며, 여기서 드래프트는 여러 토큰에 걸쳐 앞으로 도약함으로써 컨텍스트를 확장하고, look-ahead 컨텍스트를 제공하며, 추론 중 양방향 어텐션의 구조적 이점을 유지한다. 표준 벤치마크에 대한 광범위한 실험은 DC-Leap이 상당한 속도 향상을 달성함을 보여주며, 긴 시퀀스 생성에서 MBPP 기준 최대 53.19배, KV-Cache와 결합 시 유사한 생성 품질로 최대 105.02배까지 달성한다. 코드는 https://github.com/ffh-wyls/DC-Leap 에서 이용 가능하다.
언어 모델이 반복 실행마다 다른 답을 낼 때, 그 변동이 모델이 모르는 것을 드러내는가? Self-consistency는 다수결 투표를 통해 그 변동을 질문별 불확실성 추정치로 바꾼다. 그러나 같은 변동이 교차-질문 구조—관련 질문들이 다양한 앙상블이 그러듯 함께 뒤집히는 현상—를 드러내는가? 우리는 동일한 질문들에 대해 두 가지 체제를 비교한다: $τ=1$에서 $100$회 실행한 단일 모델 대 $τ=0$에서 각각 1회씩 실행한 24개 LLM 앙상블. Marchenko--Pastur 무작위 행렬 검정이 양쪽 모두에서 신호와 샘플링 노이즈를 분리한다. 단일 모델 내에서는 5개 패밀리와 3개 벤치마크(MMLU, HellaSwag, GSM8K) 전반에 걸쳐 노이즈 위로 올라오는 차원은 최대 1개뿐이다. 앙상블에서는 4개의 고유값이 노이즈 경계를 넘지만, 난이도가 맞춰진 Bernoulli null은 $500$회 Monte Carlo 추출 중 최대 1개만 생성한다. Self-consistency는 질문별 불확실성은 정확하게 제공하지만 탐지 가능한 교차-질문 구조는 제공하지 않으며, 다양한 앙상블만이 모델이 모르는 것을 드러낸다.
본 논문은 사용자가 오해의 소지가 있는 인터넷 기사를 피할 수 있도록 클릭베이트를 식별하는 AI 기반 브라우저 확장 프로그램을 제안한다. 전통적인 탐지를 넘어, 이 애플리케이션은 트랜스포머 기반 임베딩과 언어학적으로 동기 부여된 특징, 그리고 사용자 정의 "baitness" 점수를 결합하는 하이브리드 머신러닝 아키텍처를 사용한다. 고전적 벡터화기부터 대규모 언어 모델(LLM) 임베딩까지 다양한 자연어 처리(NLP) 기법을 평가한 결과, 공개 통합 데이터셋에서 F1 점수 91%를 달성하는 XGBoost 기반 모델을 개발했다. 가장 중요한 점은, 이 도구가 사용자가 클릭베이트 기사에 접근하기 전과 후 모두 경고할 수 있다는 것이다. 기사를 연 뒤에는 사용자에게 해당 기사가 클릭베이트일 가능도를 나타내는 백분율 점수를 제공한다. 예측은 분석된 지표, 특히 제안된 시스템 내에서 개발된 지표를 바탕으로 설명된다. 브라우저 확장 프로그램은 또한 클릭베이트 스포일러—전체 기사의 1~2문장 요약—을 제공한다. 데모 영상: https://www.youtube.com/watch?v=IJ1gkQV82C4
대규모 언어 모델(LLM)이 임상 워크플로에 점점 더 통합되면서, 워터마킹을 통한 모델 생성 출력의 신뢰할 수 있는 추적 가능성(traceability)에 대한 필요성이 더욱 부각되고 있다. 그러나 대부분의 워터마크는 범용 벤치마크에서 평가되어, 작은 토큰 수준 perturbation이 상당한 의미적 변화를 초래할 수 있는 의학과 같은 도메인은 충분히 탐구되지 않았다. 본 연구에서는 LLM 워터마크가 의료 성능에 미치는 영향에 대한 최초의 엄밀한 연구를 제시하며, 단일 모달 및 다중 모달 임상 추론에 걸친 다양한 과제에서 11개 LLM과 7개 비전-언어 모델(VLM)에 걸쳐 5가지 워터마킹 방식을 벤치마킹한다. 중요하게도, 우리는 의료 추론 품질, 용어적 정확성, 유발된 환각을 체계적으로 감사하기 위한 인간 전문가 검증 파이프라인을 도입하여 기존 평가를 보완한다. 우리 결과는 워터마킹이 어휘 손상, 환각적 용어, 이미지 소견의 오인 또는 누락 증폭 등 여러 실패 모드에 걸쳐 상당한 성능 저하를 유발할 수 있음을 보여준다. 특히, 도메인 특화 분석의 부재와 임상 텍스트에 내재된 실패를 놓치는 집계 지표가 결합되면, 실질적인 워터마크 유발 성능 저하를 체계적으로 가릴 수 있음을 발견했다. 우리 연구 결과는 현재 벤치마크가 임상적으로 중대한 실패를 가릴 수 있는 의학 분야에서, 워터마크가 적용된 모델의 안전한 배포를 위해서는 도메인 특화 평가가 전제 조건임을 확립한다.
현대 소프트웨어 품질 보증은 분산 클라우드 환경 전반에서 적응적 의사결정이 가능한 지능형 자율 시스템을 요구한다. 본 논문은 전통적인 테스트 관리를 자율적 품질 지능 생태계로 전환하는 다중 에이전트 에이전틱 AI 시스템인 AINTMA(Agentic Intelligent Test Management Architecture)를 제안한다. AINTMA는 클라우드 네이티브 마이크로서비스 인프라 위의 보안 다중 에이전트 통신 프레임워크를 통해 조율되는 여섯 개의 전문 AI 에이전트(테스트 탐색, 위험 평가, 강화학습 우선순위화, 실행 오케스트레이션, 생성형 품질 지능, 클라우드 보안 모니터)를 배치한다. 생성형 품질 지능 에이전트는 대규모 언어 모델(LLM)을 활용해 평이한 언어의 품질 서술, 결함 위험 요약, 데이터 증강 기반 테스트 권고를 생성한다. 강화학습 우선순위화 에이전트는 테스트 선택을 마르코프 결정 과정으로 모델링하고, 대규모 과거 테스트 실행 데이터(47개 특징, 36개월 롤링 윈도우)로부터 문맥적 정책을 학습한다. 보안 클라우드 통신은 OAuth2/JWT 인증, 암호화된 에이전트 간 메시징, 다중 테넌트 격리를 갖춘 제로 트러스트 API 게이트웨이를 통해 강제된다. 18개월에 걸친 12개의 이질적 소프트웨어 프로젝트에 대한 평가 결과는 다음을 보여준다: 88.4% 테스트 우선순위화 정확도(APFD, 무작위 51.2%, 최고 상용 기준선 82.1% 대비); 테스트 사이클 시간 43% 단축; 결함 누출률 8.3%에서 2.1%로 감소; 9개월 투자 회수 기간에 340% ROI. 에이전틱 아키텍처는 50,000개 이상의 테스트 케이스에 확장되며 400ms 미만의 응답 시간을 달성하고, 생성형 지능 모듈은 개발자 유용성 평가 4.3/5.0을 기록했다. AINTMA는 자율적 다중 에이전트 조율, 생성형 지능, 보안 스마트 연결을 결합한 에이전틱 AI가 클라우드 규모의 엔터프라이즈 환경에서 소프트웨어 품질 관리를 근본적으로 발전시킬 수 있음을 보여준다.
고비용 시뮬레이션 기반 설계는 공학에서 가능한 한 적은 수의 고정밀 시뮬레이션으로 요구사항을 만족하는 설계를 찾는 데 널리 사용된다. 기존 대부분의 연구는 고정된 공식화 하에서 최적화 알고리즘을 개선하는 방식으로 이 과제를 다루지만, 공식화 자체가 솔버가 최적화하는 목표와 제약을 정의함으로써 탐색 공간을 형성한다. 최근 LLM 기반 자동 문제 공식화 방법들은 자연어 요구사항으로부터 공식화를 생성하지만, 주로 설계 의도 정렬에 초점을 맞추며 공식화가 효율적인 탐색 과정을 유도하는지는 간과한다. 이 한계를 해결하기 위해, 우리는 탐색 난이도 인식 LLM 기반 문제 공식화 프레임워크인 SHA-PF를 제안한다. 우리는 공식화가 더 큰 진행 잠재력을 가진 희귀 샘플을 우선시할 때 효율적인 탐색을 더 잘 이끌 가능성이 높다는 것을 발견했다. 이 발견에 기반하여 SHA-PF는 탐색 난이도에 의해 안내되는 공식화 탐색 목표를 정의하고, 우선순위에 따라 각 후보 공식화를 점수화한다. SHA-PF는 그다음 LLM 기반 생성, 수정, 그리고 진화적 정제를 통해 이 목표 하에서 공식화 공간을 탐색한다. 실세계 다목적 벤치마크와 다섯 개의 고비용 안테나 설계 벤치마크에서의 실험은 SHA-PF가 발견한 공식화가 다른 기준선들보다 설계 요구사항에 도달하는 데 현저히 적은 수의 평가가 필요함을 보여준다.
머신 언러닝(machine unlearning)은 최근 AI 규제를 준수하기 위해 학습된 모델에서 개인 데이터를 제거하는 도구로 부상했다. 멀티모달 대규모 언어 모델(MLLM)에서 언러닝 효과를 평가하기 위해, 선행 연구들은 가상의 신원(identity)에 대해 모델을 파인튜닝하고, 일반적으로 균등하게 분포된 이러한 ID의 부분집합에 대한 언러닝 요청을 시뮬레이션했다. 그러나 현실적인 시나리오에서는 서로 다른 인구통계학적 집단의 사람들이 서로 다른 빈도로 언러닝을 요청할 수 있으며, 이는 해당 집단에 대한 모델의 내부 신념을 변화시키고 바이어스가 있는 행동으로 이어질 수 있다. 이 공백을 메우기 위해, 우리는 불균형하고 현실적인 망각(forget) 요청 하에서 언러닝을 평가하는 최초의 시각적 질의응답(VQA) 벤치마크인 FAIRGET을 제안한다. 이러한 요청들은 공정성이 고려되지 않을 경우 바이어스가 있는 언러닝된 모델로 이어지는, 단순한 설정부터 도전적인 설정까지 다양한 현실적인 시나리오를 시뮬레이션하도록 설계되었다. 또한, 언러닝 데이터를 망각하면서 모델 공정성을 보존하는 MLLM용 최초의 언러닝 알고리즘인 FAUN을 제안한다. FAUN은 망각 데이터의 불균형한 특성을 고려하면서 신원을 언러닝하기 위해 바이어스 인식(bias-aware) 활성화 조향(activation steering) 메커니즘을 활용한다. FAIRGET과 기존 FIUBench에 대한 실험은 우리 방법이 언러닝 품질과 공정성 모두에서 우수함을 보여준다.
비주얼 이해에서 눈에 띄는 진전에도 불구하고, 다중모달 대규모 언어 모델(MLLM)은 공간 관계를 추론할 때 여전히 환각에 취약하며, 장면의 실제 3D 구조와 모순되는 판단을 내는 경우가 많다. 기존 여러 연구가 환각 완화를 제안했지만, 우리의 분석에 따르면 이들은 2D 시각 표현과 3D 공간적 현실 사이의 근본적 격차를 메우지 못해 공간 추론에서 제한적인 효과만을 보인다. 이 발견을 바탕으로, 우리는 공간 구조 모델링의 부족에서 기인하는 환각을 공간 추론 환각(spatial reasoning hallucination)으로 정의하며, 이는 기존 완화 방법이 다루지 못하는 관계 환각(relation hallucination)의 하위 범주이다. 또한 이러한 환각이 빈번히 발생하는 세 가지 전형적 시나리오를 밝혔다: 원근 효과(perspective effects), 객체 방향(object orientation), 시점 변화(viewpoint changes). 이에 우리는 기하학적 증거와 구조화된 3D 추론을 통합하여 공간 추론 환각을 완화하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 Geo3R을 제안한다. 세 가지 시나리오를 모두 아우르는 18개 과제를 포함한 세 벤치마크에서의 실험 결과, Geo3R은 추가 학습 없이 다양한 MLLM에서 공간 추론 환각을 크게 줄였으며, 기존 모델과 방법들을 능가했다.
멀티모달 대규모 언어 모델(MMLLM)은 막대한 메모리와 연산 비용이 필요하여 실용적인 배포를 제한한다. 사후 학습 양자화(PTQ) 기법은 모델 압축과 추론 가속을 위한 효율적인 해결책을 제공한다. 그러나 양자화된 모델은 이상치(outlier) 채널로 인해 성능 저하에 직면하는데, 이 채널들은 양자화에 매우 민감하여 활성화(activation) 충실도와 과제 정확도를 크게 저하시킨다. 양자화 과정에서 이러한 두드러진(salient) 채널을 보호하기 위해, 기존 PTQ 방법들은 LLM 디코더의 채널별 스케일링(CWS)을 안내하기 위해 모달리티 수준 또는 토큰 수준 지표를 활용한다. 그러나 이러한 직교(orthogonal) 측정은 과제별 손실에 대한 채널별 영향을 포착하지 못하며, 중요도와 스케일링 계수 간의 불일치가 궁극적으로 차선의 성능으로 이어진다. 이 문제를 해결하기 위해, 우리는 과제별 손실 섭동과 양자화 오류를 조화시키는 통합 채널별 PTQ 방법인 C-PTQ를 제안한다. 2차 도함수에서 영감을 받아, Fisher 가중 목적 함수를 다루기 쉬운 헤시안 근사로 설계하여 스케일링 과정에 과제 민감도를 원활하게 주입한다. 특히 LoRA와 같은 보조 모듈 없이 최신(state-of-the-art) 성능을 달성하여 높은 효율성을 유지한다. Qwen2.5VL, InternVL2, LLaVA-OV에 대한 8개 벤치마크 실험은 가중치 전용 및 가중치-활성화 설정 모두에서 우리 방법의 효과를 입증한다.
Multimodal Large Language Models (MLLMs) have achieved remarkable success across diverse expert-level tasks, but they still struggle with fundamental abilities that humans naturally develop through continuous observation of the real world, such as spatial perception and dynamic reasoning. Recent studies have recognized this gap and introduced dedicated benchmarks to evaluate the spatial-temporal capabilities of MLLMs. However, existing benchmarks mostly focus on static scenes or require exact quantitative predictions, leaving intuitive reasoning from temporal cues largely underexplored. In this paper, we introduce the Visual Spatial-Temporal Reasoning Benchmark (ViSTR-Bench), a novel evaluation suite designed to systematically assess whether MLLMs can perform qualitative reasoning from continuous visual cues in dynamic scenes. Guided by the principles of temporal emphasis, reasoning orientation, and qualitative evaluation, ViSTR-Bench establishes a comprehensive four-dimensional evaluations covering Motion Perception, Spatial Relations, Outcome Prediction, and Physical Dynamics. The benchmark comprises 15 distinct subtasks and 1,340 high-quality video question-answer pairs spanning diverse tabletop, indoor, and outdoor scenarios. Extensive evaluations of a broad spectrum of state-of-the-art proprietary, open-source, and specialized spatial MLLMs reveal that, despite their strong general video understanding capabilities, current models still face substantial bottlenecks in complex spatial-temporal reasoning and remain far below human performance.