비디오 대규모 언어 모델(Video LLM)이 실제 응용에 점점 더 배포됨에 따라, 그들의 안전성 정렬(alignment)을 보장하는 것이 중요해졌다. 직관에 반하게, 우리는 유해한 비디오가 무해한 쿼리와 짝지어졌을 때 명시적으로 유해한 쿼리와 짝지어진 동일한 비디오보다 더 높은 공격 성공률을 달성한다는 것을 발견했다. 이 취약점의 근본 메커니즘을 이해하기 위해, 우리는 모델 행동, 이해, 내부 표현에 걸쳐 이 실패를 공동으로 분석하는 3단계 진단 프레임워크인 V-DEAL을 제안한다. 지각(perception) 실패를 점진적으로 배제하고 모델의 내부 거부(refusal) 경향을 정량화함으로써, V-DEAL은 관찰된 취약점의 근본 메커니즘을 분석하기 위한 새로운 진단 관점을 제공한다. 우리는 3개의 공개 벤치마크에서 6개의 Video LLM을 테스트했으며, 모델이 81% 이상의 정확도로 유해한 비디오 콘텐츠를 올바르게 인식함에도 불구하고, 유해한 비디오를 무해한 쿼리와 짝지은 조건에서 평균 공격 성공률이 여전히 48.33%에 달한다는 것을 관찰했다. 히든 상태(hidden-state) 분석은 또한 시각적 이해가 텍스트적 이해보다 더 약한 거부 경향을 활성화한다는 것을 보여준다. 또한, 우리는 평균 48.24퍼센트포인트만큼 공격 성공률을 낮추고 기존 미세조정 기반 방법과 비슷한 성능을 달성하는 프롬프트 주입 개입 방법을 도입하여, Video LLM에서 이러한 안전성 위험을 해결하는 효과적이고 실용적인 수단을 제공한다.
스마트워치와 같은 전통적인 웨어러블 건강 신호 분석 접근법은 경직된 분석 프레임워크와 제한된 개인화로 인해 제약을 받는다. 대규모 언어 모델(LLM) 에이전트의 등장은 개인 건강 에이전트 분석(Personal Health Agentic Analysis)을 위한 새로운 기회를 만들며, 여기서 건강 인사이트를 적응적으로 그리고 맥락에 맞게 생성할 수 있다. 그러나 현재 개인정보를 보호하면서 실시간으로 개인 건강 데이터를 처리할 수 있는 오픈소스 로컬 배포형 플랫폼은 존재하지 않는다. 본 논문은 HiMe를 제안한다. HiMe는 프라이버시 우선 에이전트 플랫폼으로 로컬에 배포 가능하며, 다양한 웨어러블 기기에 걸친 실시간 건강 데이터 생태계와 완전히 호환된다. HiMe는 세 가지 설계 원칙에 따라 구축된다. 첫째, 데이터베이스는 일급(first-class) 구성 요소로 취급된다. 둘째, 효과성과 효율성을 공동으로 최적화하여 저비용의 파레토 최적 균형을 달성한다. 셋째, 데이터는 실시간으로 처리되며, 동시에 사용자는 장기적으로 모델링된다. 이러한 원칙들을 통해 개인이 Personal Health Agents를 활용하여 더 나은 웰빙을 위한 지속적이고 개인화된 건강 모니터링을 실용적으로 수행할 수 있게 된다.
제로샷 요약(zero-shot summarization)에서 대규모 언어 모델(LLM)을 사용하면 일관되고 유창한 요약을 생성함으로써 추상적 요약(abstractive summarization) 과제를 크게 발전시켰다. 그러나 대규모 언어 모델의 내재적 확률성(stochasticity)은 LLM이 생성한 요약의 안정성(stability)과 신뢰성(trustworthiness)에 대한 우려를 제기한다. 학생과 연구자가 복잡한 학술 자료를 제로샷 방식으로 요약하는 교육 환경에서 LLM 생성 요약이 확산되면서 이 문제는 점점 더 중요해지고 있다.
우리는 생성된 요약의 안정성을 기반으로 LLM 요약기를 벤치마킹하기 위한 새로운 2단계 진단 프로토콜을 제안한다. 하위 수준에서는 통제된 환경에서 생성된 여러 LLM 요약에 대해 문서 수준(document-level) 안정성 분석을 수행하고 안정성 계수(stability coefficient)를 계산한다. 각 생성 요약은 원본 문서와의 의미적·사실적 정렬(alignment)에 대해 점수화되며, 이를 통해 둘 이상의 차원에서 안정성을 추정할 수 있다. 상위 수준에서는 코퍼스(corpus)에서 추출한 계층화 표본(stratified sample) 문서들의 관측값을 통합하여 LLM 요약기의 안정성 지수(stability index)를 추정하는데, 이는 해당 요약기의 신뢰성에 대한 대리 지표(proxy)이다.
세 가지 LLM 요약기에 대해 세 가지 문서 장르(genre)에서 수행한 실증 조사 결과, 요약 평가 지표(summary evaluation metrics) 전반에 걸쳐 LLM 간 생성 수준(generation-level) 변동성(variability)에 통계적으로 유의미한 차이가 있음을 밝혔다. 본 연구는 LLM 요약에서 안정성 문제를 증거 기반으로 인식함으로써 LLM 요약 연구를 발전시키고, 견고하고(robust) 신뢰할 수 있으며(reliable) 신뢰할 만한(trustworthy) LLM 요약기 개발을 향한 추가 연구를 촉진한다.
에이전트 스킬(Agent Skills)은 고정된 언어 모델 에이전트를 위해 재사용 가능한 절차적 지식을 외부 아티팩트로 패키징하지만, 기존 옵티마이저는 워크플로우에서 실패가 발생한 위치, 어떤 메커니즘이 원인인지, 그리고 서드파티 스킬의 관련 지식을 로컬에서 어떻게 재사용해야 하는지를 함께 해결하지 못한다. 본 연구는 워크플로우 국소화 메커니즘 학습(WML)을 제안한다. WML의 노드-메커니즘 귀속(Node-Mechanism Attribution)은 실패한 워크플로우 노드, 관련 메커니즘, 그리고 가장 작은 유효 수정 대상을 식별하며, 단일 메커니즘 결함은 L3 리소스로, 메커니즘 간 관계적 결함은 L2 구성 프로토콜로 라우팅한다. 이어서 6개 모듈로 구성된 워크플로우 기반 스킬 최적화(WGSO) 루프가 출처(provenance) 및 범위(scope)를 고려한 서드파티 지식을 선택하고, 제한된 패치를 적용하며, 후보를 평가하고, 검증된 결과를 옵티마이저 측 메모리에 저장한다. SpreadsheetBench에서 WML은 DeepSeek과 Qwen3.6-Flash 각각 90.33 +/- 1.53 및 74.67 +/- 3.51의 Hard Accuracy를 달성한다. 추가 최적화 없이 학습된 스킬은 WikiTableQuestions로 전이되어 각각 84.00 +/- 2.00 및 83.00 +/- 2.00의 Denotation Accuracy를 기록한다. Compiler-Supported50에서 WML은 가장 높은 hard-PASS율과 성공 작업당 최저 비용을 모두 달성한다. 컴파일된 실행은 직접 SkillAgent 대비 토큰과 호출 수를 크게 줄이면서도 대부분의 성공 작업을 유지한다. 코드와 아티팩트는 https://github.com/xiaolin9595/workflow-localized-mechanism-learning 에서 제공된다.
도구와 외부 환경에 접근하며 대규모 언어 모델 에이전트가 점점 더 자율적으로 작동함에 따라, 이들의 안전하고 신뢰할 수 있는 행동을 보장하는 것이 중요해지고 있다. 본 논문은 LangChain, LlamaIndex, Vectara의 세 가지 프로덕션 수준 프레임워크에서 평가된 6개 도메인에 걸친 580개 시나리오로 구성된 벤치마크인 GuardianAgentBench(GABench)를 제시한다. 이 벤치마크는 엄격한 다단계 검증과 5가지 적대적 공격 모드를 포함한다. 6개의 최신(state-of-the-art) 모델에 대한 실험 결과, 가장 강력한 구성조차 전체 정확도 74.8%에 그치며 두 가지 뚜렷한 실패 양상을 드러낸다. 더 강한 모델은 필요한 도구를 과소 호출(under-call)하고, 더 약한 모델은 도구를 잘못 선택하고 과다 호출(over-call)한다. 성능은 도구 집합 크기와 순차적 턴 깊이 모두에 대해 단조적으로 저하되며, 장기 계획(long-horizon planning)이 더 가파른 병목으로 나타난다. 우리의 가드레일(guardrail) 구현은 모든 모델에서 시스템 프롬프트 기반 방어를 일관되게 능가하며, 단 0.5%의 거짓 양성(false positive) 비율로 실패의 19.9%를 회복한다. 이러한 결과는 실행 시점의 구조적 개입이 올바른 에이전트 행동을 방해하지 않으면서 안전성을 향상시킴을 보여준다.
과학 연구는 이질적인 출처에 걸친 복잡한 정보 탐색 및 추론 워크플로를 포함한다. 그러나 기존 벤치마크는 주로 일반 도메인 검색(retrieval) 또는 정적인 과학 질의응답에 초점을 맞추고 있어, 현실적인 과학 연구 워크플로에 필요한 핵심 역량을 평가하지 못한다. 우리는 LLM과 에이전트의 과학적 정보 탐색 및 추론 역량을 평가하기 위해 설계된 벤치마크인 SciExplore를 제안한다. SciExplore는 10개 이상의 과학 분야에 걸친 전문가 큐레이션 103개 과제를 포함하는 네 가지 과제 유형으로 구성된다: 과학 데이터베이스 내비게이션, 모호한 문헌 검색, 누락 참고문헌 완성, 교차 출처 구조화 지식 합성으로, 이는 개체 수준 추론 및 문서 수준 식별에서부터 증거 수준 그라운딩(grounding) 및 도메인 수준 합성에 이르는 점진적으로 더 높은 수준의 능력을 탐구한다. 우리는 SciExplore에서 10개 이상의 최신 LLM과 자율 에이전트를 평가하여, 과제 복잡도가 증가함에 따라 성능이 급격히 저하되고 가장 어려운 구조화 합성 과제에서 극히 낮은 정확도를 보이는 등 상당한 성능 격차를 드러낸다. 이러한 결과는 현실적인 과학적 정보 탐색 시나리오에서 현재 모델과 에이전트의 중대한 한계를 부각한다.
생성형 AI는 대규모 언어 모델(LLM)이 수초 만에 학술적으로 보이는 텍스트를 생성하게 해 주지만, 유창성이 곧 유효한 설명을 의미하지는 않는다. 가장 깊은 위험은 사실 오류만이 아니라, 명확한 출처, 페이지 번호, 판본, 또는 증거 없이도 설명이 이미 확립된 것처럼 보이는 외양이다. 우리는 페이지 앵커를 아리아드네의 실에 비유한다: 생성적 유창성의 미로 속에서, 그것은 학자를 원전으로 되돌려 이끄는 실이다. 본 논문은 AI 보조 인문학 연구를 위한 최소 규범적 조건으로 추적 가능한 학술(Traceable Scholarship)을 제안하고, 이를 지식 인프라의 세 번의 혁명—인쇄, 디지털, 생성형 AI—의 맥락에서 위치시킨다. 우리는 페이지 앵커, 이중 페이지 번호, 인용 우선 생성, NO_EVIDENCE, 인간 검증, 4단계 준수, Scope Contract를 소개하고, AIH-Infra를 3층 참조 구현으로 제시한다: Contexture(문서 구조화), Open WebUI AIH-Infra(추적 가능한 지식 베이스), AIH-Infra MCP Server(에이전트 게이트웨이). 29권짜리 Kant Akademie-Ausgabe 지식 베이스에 대한 사례 연구는 추적 가능성이 검색 교정, 증거 등급 부여, 판단 하향 조정을 어떻게 지원하는지 보여준다. 추적 가능성은 소프트웨어 특징이 아니다; 그것은 생성형 AI 시대에 인문학 연구가 공적이고 반박 가능한 상태로 남을 수 있는 조건이다.
의료 LLM은 종종 올바른 진단을 선택했는지 여부로 평가되지만, 진단 정확도만으로는 모델이 사례 증거를 적절히 사용했는지 알 수 없다. 본 연구는 의료 진단에서 증거 사용에 대한 행동 감사(behavioral audit)를 제시한다. 각 사례에 대해 환자 정보를 증거 단위(evidence units)로 분해하고, 통제된 증거 부분집합 하에서 후보 진단을 점수화하며, 진단 마진(diagnostic margins)에서 저차 상호작용(low-order interactions)을 탐색한다. 의료 증거는 진단에 상대적이므로, 감사는 상호작용 발견과 실패 할당을 분리한다. 크거나 음의 상호작용은 그럴듯한 감별 진단(differential diagnosis)을 반영할 수 있으며, 의심스러운 상호작용은 견고성 검사(robustness checks)와 임상 검토가 필요하다. DDXPlus, CupCase, MedCase에서 5개의 오픈 가중치 LLM을 평가한다. 데이터셋 전반에 걸쳐 충실한 지지(faithful support)와 감별 충돌 또는 상쇄(differential conflict or cancellation)가 상호작용 강도의 대부분을 차지하며, 많은 증거 상호작용이 실패가 아니라 임상적으로 그럴듯함을 보여준다. DDXPlus 중심의 블라인드 5인 검토자 130항목 enriched review 표본에서, 무효하거나 지름길(shortcut) 유형의 사례는 부정되거나 결여된 소견(negated or absent findings)과 임상적으로 국소적인 증거에 집중된다. 이러한 결과는 정확도가 잠재적 증거 사용 실패를 가릴 수 있음을 보여주며, 의료 LLM 평가를 위한 역할 인식(role-aware) 감사의 필요성을 제기한다.
심전도(ECG)는 심장 평가의 핵심이지만, 심층 학습 모델의 임상 배포는 해석 가능성의 제한과 대규모 언어 모델(LLM)의 환각(hallucination) 위험으로 인해 여전히 제약을 받고 있다. 기존 CNN+Grad-CAM+멀티모달 LLM 프레임워크는 ECG 보고서를 생성할 수 있지만, 그 설명은 종종 확립된 진단 기준에 약하게만 그라운딩(grounding)되어 신뢰성과 재현성을 떨어뜨린다. 우리는 보고서 생성을 선별된 임상 지식에 명시적으로 고정하는 가이드 그라운딩 멀티모달 프레임워크를 제안한다. 합성곱 신경망(CNN)과 Grad-CAM이 먼저 12-lead ECG 이미지로부터 클래스 확률과 클래스별 히트맵을 생성한다. 병행하여, 권위 있는 ECG 교과서와 가이드라인 자료를 오프라인에서 구조화된 ECG Interpretation Guide로 증류하여, 이를 모든 샘플에 대해 고정된 지식 블록으로 주입한다. ECG 이미지, Grad-CAM 오버레이, CNN에서 파생된 fact pack, 주입된 가이드를 조건으로 하여, 멀티모달 LLM이 가이드라인과 일관된 용어 및 기준 사용을 갖춘 구조화된 진단 보고서를 생성한다. PTB-XL 테스트 세트 전체에 대한 실험은 가이드 그라운딩이 경쟁력 있는 분류 성능을 유지하면서 생성된 보고서의 의미적 품질과 지각된 일관성을 향상시킴을 보여준다. 특히, 우리 방법은 강력한 CNN+Grad-CAM+MLLM 기준선 대비 생성된 impression의 평균 BERTScore를 0.818에서 0.953으로 높여, 참조 보고서와의 더 밀접한 정렬(alignment)을 나타낸다. 이러한 결과는 증류된 해석 가이드를 멀티모달 프롬프팅 파이프라인에 주입하는 것이 환각을 줄이고 LLM 기반 ECG 설명의 임상적 타당성을 높이는 실용적인 경로를 제공하며, 설명 가능한 심장 진단을 실제 배포에 더 가깝게 이끈다는 것을 시사한다.
경량 대규모 언어 모델(LLM)은 점점 더 개인용 컴퓨터에 로컬로 배포되고 있으며, 자원이 제한된 엣지 및 모바일 환경에서 점점 더 중요한 역할을 할 것으로 예상된다. 이러한 환경에서는 에너지 소비, 실행 시간, 메모리 사용량이 실용적 사용성에 직접적인 영향을 미치지만, LLM 효율성에 대한 기존 평가는 대체로 매개변수 수나 FLOPs와 같은 대리 지표에 의존하며, 종종 작업 정밀도와 분리되어 있다. 본 논문은 경량 LLM 추론에 대한 정밀도 인식 프로파일링을 위한 PTME 기반 실험 프레임워크를 제안하며, 하드웨어 수준의 직접 측정을 통해 정밀도(Precision), 실행 시간(Time), 최대 메모리 사용량(Memory), 에너지 소비(Energy)를 공동으로 측정한다. 이 방법론은 제어된 데스크톱 플랫폼에서 엣지 수준의 자원 한계 하에 로컬로 실행된 대표적인 경량 LLM 집합에 적용되며, 코드 생성, 수학적 추론, 다과제 이해를 아우르는 벤치마크를 사용한다. 우리는 정적 대리 지표가 추론 비용을 잘 근사하지만 정밀도를 예측하지 못한다는 것을 발견한다. 자원 한계를 강화하면 정밀도에 영향을 주지 않으면서 비용이 증가하며, 에너지보다 실행 시간을 더 강하게 증폭시키고 더 큰 모델에 가장 큰 불이익을 준다. 게다가 어떤 단일 모델도 모든 PTME 차원에서 우위를 차지하지 않으며, 파레토 분석은 정확도만 또는 효율성만으로 평가할 경우 숨겨질 비지배(non-dominated) 구성을 드러내어, 서로 다른 자원 한계 하에서 모델을 선택하는 데 실용적인 지침을 제공한다. 이러한 결과는 크기, FLOPs, 지연 시간, 또는 정확도만으로 경량 LLM을 선택하면 잘못된 배포 후보를 고를 수 있음을 보여준다. PTME 프로파일링은 더 낮은 물리적 비용으로 유용한 정확도를 유지하는 구성을 드러낸다.
대규모 언어 모델(LLM)은 인간-컴퓨터 상호작용을 '전통적인' 인터페이스 여정에서 보다 대화형 교류로 전환시켰다. HCI 및 UI를 연구하는 연구자들은 중재된 사용성 세션, 인터뷰, 설문조사, 대화 기록 분석, 정적 프로토타입을 사용한다. 그러나 정적 프로토타입은 실시간 AI 시스템과의 상호작용을 연구하거나 참가자와 시나리오 전반에 걸쳐 LLM이 어떻게 행동하는지 체계적으로 제어할 기회를 제한적으로만 제공한다. 대화 기록은 사용자가 제출 전에 프롬프트를 어떻게 구성하고, 수정하고, 망설이는지에 대해 거의 드러내지 않는다. 우리는 연구자, 디자이너, 그리고 '만약 AI가 이렇게 했다면?'이라고 궁금해해 본 모든 이를 위해 Human-AI Research Platform(HARP)을 설계했다. HARP는 참가자를 실시간으로 구성 가능한 AI 에이전트가 있는 통제된 모의 시나리오에 배치한다. 연구자는 에이전트 프롬프트, 모델 매개변수, 응답 특성, 실험 조건을 제어할 수 있고, 사전 정의된 시점에 설문조사를 트리거할 수 있으며, 프롬프트 작성 시간, 응답 지연 시간, 삭제, 키스트로크 일시정지를 기록할 수 있다. 계획된 기능에는 음성, 표정, 제스처, 그리고 법적으로 및 윤리적으로 적절한 경우 감정 분석이 포함된다. 우리는 기술적 구체성과 응답 길이가 LLM 출력의 기억 유지에 어떤 영향을 미치는지 검토하는 연구를 통해 HARP를 설명한다. 제어 가능한 실시간 에이전트와 행동 및 자기 보고 측정을 결합함으로써, HARP는 AI 설계 선택이 사용자에게 미치는 영향을 체계적으로 검증할 수 있게 한다.
우리는 확장된 추론 워크플로에서 도구 지원 언어 에이전트가 작업 관련 컨텍스트를 유지, 갱신, 조합, 폐기할 수 있는지 평가하기 위한 벤치마크 생성기인 ARBIGRAPH를 소개한다. ARBIGRAPH는 각 작업을 실행 가능한 Python 솔버가 있는 자연어 문제로 표현하며, 여기서는 스칼라 및 리스트 값으로 구현된 타입이 지정된 중간 상태를 통해 작업을 구성한다. 이 설계는 길이, 의존성 구조, 방해 요소(distractor) 수, 값 유형을 변화시킬 수 있는 제어 가능한 태스크 그래프를 가능하게 하면서 정확한 자동 검증을 유지한다. 우리는 수학, GSM 스타일 단어 문제, Python 추적 작업 범주로 ARBIGRAPH를 구현하고, 네 가지 토폴로지에 걸쳐 Qwen3.5-27B 도구 지원 에이전트를 평가한다. 결과는 독립 작업에서 높은 정확도를 보이지만 더 복잡한 의존 작업에서는 상당한 성능 저하를 보인다: 의존 수학 작업의 분기 체인에서 정확도가 최대 33.3%까지 하락한다. 이는 ARBIGRAPH가 단일 작업 평가만으로는 드러나지 않는 실패를 노출함을 보여준다. 코드, 생성된 데이터셋, 평가 결과는 https://github.com/pavelgolikov/ArbiGraph.git 에서 이용할 수 있다.
대규모 언어 모델(LLM) 기반 AI 코딩 에이전트는 실제 소프트웨어 개발에 점점 더 많이 통합되고 있으며, 로컬 파일과 도구에 자율적으로 접근하면서 코드를 생성·편집·실행한다. 코딩 에이전트는 LLM 백본과 에이전트형 아키텍처 양쪽에서 보안 위험을 물려받는다. LLM 백본에서는 적대적 프롬프트, 오염된 학습 데이터, 백도어 트리거가 모델이 안전하지 않거나 공격자가 선택한 코드를 출력하게 할 수 있고, 에이전트형 아키텍처에서는 도구 사용 자율성이 외부 API의 유도된 오용, 데이터 유출, 개발 환경의 지속적 침해를 가능하게 한다. 본 논문은 두 주요 모델 계열(OpenAI GPT-5.3 Codex/GPT-5.4 및 Anthropic Sonnet 4.6)로 구동되는 최신 코딩 에이전트(Cursor, Claude Code, Codex Desktop)에 대한 악성 이슈 요청의 체계적 평가를 제시한다. 우리의 새로운 벤치마크 IssueTrojanBench는 네 가지 새로운 공격 범주(즉, 이슈에 악성 지시로 내장), 여섯 가지 전달 벡터(예: PDF 또는 이슈 댓글)를 기반으로 구성된 악성 이슈를 포함하며, 추가로 교란으로 증강된다. 우리의 결과는 배포된 현대 코딩 에이전트의 심각한 취약점을 드러낸다. 즉, IssueTrojanBench의 악성 이슈 중 66.5%가 코딩 에이전트의 모든 가드레일(에이전트 및 LLM 수준)을 뚫는다. 추가 분석 결과, 거부는 에이전트 프레임워크보다 거의 전적으로 LLM에서 발생하며, GPT 모델은 광범위하게 취약하고 Sonnet 4.6은 고영향 행동에 대해 더 선별적이고 위험 인식적인 차단을 보인다. 우리의 평가는 또한 현재의 에이전트 수준 방어 전략이 코딩 에이전트에 추가적인 보호를 거의 제공하지 못함을 강조한다. 우리의 발견은 AI 코딩 에이전트를 보호하기 위한 더 강력한 에이전트 및 모델 수준 안전성(safety) 메커니즘의 시급한 필요성을 강조한다.
대규모 언어 모델(LLM)은 최신 정보를 검색하기 위해 검색 도구를 점점 더 많이 사용하며, 검색된 문서를 조작할 수 있는 새로운 공격 표면을 도입하고 있다. 이러한 위험은 선택된 콘텐츠가 더 잘 검색되고, 인용되며, 모델에 채택될 가능성을 높일 수 있는 생성형 엔진 최적화(GEO)의 발전에 의해 증폭된다. 기존의 사실 검증 벤치마크와 평가 프레임워크는 GEO 포이즈닝에 대한 견고성을 평가하는 데 필요한 제어 가능한 증거 환경을 제공하지 않는다. 따라서 우리는 다중 도메인 사실 검증 벤치마크와 증거 출처 및 포이즈닝 비율을 제어하는 평가 프레임워크로 구성된 GPE를 제안한다. 다양한 검증 방법과 포이즈닝 공격에 걸친 실험은 GPE가 깨끗한 평가만으로는 관찰할 수 없는 견고성 저하와 효율성 트레이드오프를 드러내며, 적대적 증거 환경 하에서 사실 검증을 평가해야 할 필요성을 확인함을 보여준다.
대규모 언어 모델(LLM)은 코드 생성과 추론에서 강력한 능력을 보여 왔지만, 디지털 파형 데이터에 대한 시간적 추론을 수행하는 능력은 아직 거의 탐구되지 않았다. 디지털 파형에 대한 추론은 설계 검증(design verification)에서 중요한 병목이지만, 기존 벤치마크는 주로 하드웨어 기술 언어(HDL) 코드 생성을 평가하며 파형은 보조적인 맥락으로만 사용한다. 본 논문은 디지털 파형에 대한 LLM의 시간적 추론을 평가하기 위한 오픈소스 질의응답 벤치마크인 WaveformQA를 제안한다. 이 벤치마크는 난이도가 다른 8개 카테고리에 걸쳐 프로그램적으로 생성된 정답(ground truth)을 갖춘 360개의 질문으로 구성되며, 다중 신호 상관관계 및 이벤트 순서를 대상으로 하는 질문을 포함한다. 파형은 오픈소스 설계 구현으로부터 생성되어 재현성을 보장하고 벤치마크를 실제 하드웨어 동작에 기반하게 한다. 최신 LLM에 대한 평가 결과, 모델들이 단순한 질의에서는 합리적인 정확도를 달성하지만, 복잡한 시간적 및 다단계 질문에서는 컨텍스트 윈도우(context window) 제한과 추론의 어려움으로 인해 성능이 저하됨을 보여준다. 또한 파형의 이벤트-시간(event-time) JSON 표현이 표준화된 값 변화 덤프(VCD) 형식에 비해 LLM 추론 정확도를 향상시킴을 보여준다. 오픈소스 프레임워크는 새로운 질문 카테고리로의 확장과 새로운 파형 소스의 가져오기를 지원하여, 연구자들이 시간적 추론 실험을 빠르게 프로토타이핑할 수 있게 한다.
많은 유전자의 기능은 아직 알려지지 않았으며, 유전자가 얼마나 자주 돌연변이되는지에 의존하는 기존의 드라이버 발견 방법은 드물게만 영향을 받는 유전자를 평가할 수 없다. 본 연구에서는 Evo~2 기반 게놈 분석과 일상적인 임상 영상을 결합하여 전장 규모에서 유전자-표현형 연관을 식별한다. 세 개의 TCGA 코호트(cRCC=투명세포 신세포암, HCC=간세포암, BC=유방암; 총 $n = 340$)에 걸친 모든 체세포 돌연변이에 대해, Evo~2는 과제 특이적 학습 없이 심각도 점수를 예측한다. 유전자별 심각도 요약은 짝을 이룬 종양 분할에서 추출한 라디오믹 특징과 상관 분석되며, 총 돌연변이 부담을 통제한다. TCGA-cRCC($n = 162$)에서 이 전수 조사는 확립된 신장암 드라이버를 재현하고, 큐레이션된 암 유전자 패널에 없으면서 거짓 발견율(FDR) 유의성에 도달한 46개의 추가 유전자를 식별하며, 이들 중 여러 개는 멘델 섬모병 및 세포골격 질환 유전자이다. 이러한 결과는 게놈 언어 모델과 널리 이용 가능한 임상 영상을 결합하는 것이 기존 접근법으로는 보이지 않는 유전자-영상 연관에 대한 가설 없는 발견 도구로 기능할 수 있음을 보여준다.
실패한 jailbreak 프롬프트를 성공적인 것으로 바꾸는 교란(perturbation) 기법은 지속적으로 진화하고 있으며, 이는 LLM 안전성(safety)에 대한 주요 보안 위협을 구성한다. 본 논문에서는 Qwen-2.5-1.5B/-3B/-7B-Instruct 및 Llama-3.2-1B/-3B/-3.1-8B-Instruct 계열의 소형 가중치 모델에서, 이러한 문자열 수준(string-level) 교란 jailbreak 입력의 내부 표현(internal representation)을 조사한다. 두 가지 표현 공간을 선택한다: 마지막 층-마지막 토큰 임베딩 공간과 상위 50개 다음 토큰 확률 공간. 전자의 공간은 철자와 형식에 따라 프롬프트를 분리하는 반면, 후자의 공간은 사실상 일차원(one-dimensional)이지만 클러스터링하기에는 더 복잡해 보인다. 거부(refusal)가 지배적인 답변 집합 내에서 두 공간 모두에서 행동적(behavioral) 초평면(hyperplane)을 찾지 못한다. 1.5B Qwen 모델에서는 다음 토큰 "Sure"만, 1B Llama 모델에서는 "," 및 "ĊĊ" 토큰 모두가 순응(compliant) 라벨이 붙은 답변과 유의미한 연관성을 보인다.
메모리 관리자 모델은 에이전트 시스템에서 핵심적이다. 기존 방법은 주로 LLM이 판단한 합성 질의응답(QA) 쌍에 의존하여, 메모리 가치 평가가 샘플링된 쿼리와 하위(downstream) 리더에 종속되게 만든다. 이 한계를 해결하기 위해, 우리는 하위 QA 정확도와 내재적 조건부 상호정보량(Conditional Mutual Information, CMI)을 결합한 하이브리드 보상을 갖춘 강화학습(RL) 기반 경량 메모리 관리자 모델인 CMI-Mem을 제안한다. CMI는 샘플링된 QA 쿼리에 조건을 걸지 않고, 현재 메모리 상태 대비 새로운 대화 입력이 기여하는 정보를 평가하므로, QA 그라운딩(grounding)을 대체하기보다 이를 보완한다. 코드는 https://github.com/Wyb0627/CMIMem 에서, CMI-Mem-4B 모델 체크포인트는 https://www.modelscope.cn/models/wyb0627/CMIMem-4B 에서 이용할 수 있다.
장보기 주문과 같은 일상적인 디지털 작업을 처리하는 도구 사용 에이전트는 애플리케이션을 조작하는 것뿐만 아니라, 예를 들어 명확화 질문을 하거나 확인을 요청하거나, 지시가 실행 불가능할 때 사용자에게 알리는 등 사용자와 상호작용해야 한다. 그러나 에이전트-사용자 상호작용을 평가하는 현재 벤치마크는 이러한 상호작용의 다양성을 포착하지 못한다. 또한 이들은 적은 수의, 종종 상태를 변경하지 않는 API를 갖춘 작은 환경에서 동작한다. 이 공백을 해소하기 위해, 우리는 다양한 에이전트-사용자 상호작용을 요구하는 516개의 도전적인 과제로 구성된 사용자 개입형(user-in-the-loop) 벤치마크인 AppWorld-UL을 제안한다. Amazon과 Spotify와 같은 9개의 인기 시뮬레이션 앱을 포함하는 AppWorld 프레임워크를 기반으로, 우리는 다양한 유형의 에이전트-사용자 상호작용을 필요로 하는 모호성과 제약을 도입하기 위해 원래 과제를 체계적으로 수정한다. 사용자 행동은 신중하게 설계된 지식 경계(knowledge boundaries) 내에서 응답하도록 프롬프트된 대규모 언어 모델(LLM)에 의해 시뮬레이션되며, 이는 선행 연구에서 사용된 제약 없는 또는 지나치게 경직된 대안보다 더 신뢰할 수 있는 시뮬레이션을 제공한다. 우리의 평가 결과, 최신 LLM인 Claude Opus 4.7은 AppWorld-UL에서 48.6%의 성공률만 달성했으며, 더 어려운 구성적(compositional) 부분집합에서는 35.7%에 불과하다. 더 엄격한 시나리오 수준 지표에서는 구성적 과제 성능이 21.3%로만 떨어진다. 우리의 분석은 올바른 사용자 상호작용이 성공에 필수적임을 보여준다. 이는 벤치마크의 난이도와 user-in-the-loop 도구 사용 에이전트 연구를 발전시킬 잠재력을 보여준다.
온라인 추천 플랫폼은 광고 소재에서 구조화된 특징을 추출하기 위해 대규모 언어 모델(LLM)을 점점 더 많이 사용하고 있다. 단일 호출 LLM 어노테이션 에이전트를 배포하면 실제 프로덕션 환경에서 클릭률(CTR)이 크게 개선되지만, 소재별 프롬프팅은 스케일링하기에는 비용이 지나치게 높다. 매 요청마다 전송되는 중복된 시스템 지시문이 청구된 입력 토큰의 94%를 차지한다. 이 비용 병목을 해소하기 위해, 확장 가능하고 높은 처리량을 갖춘 LLM 어노테이션 에이전트인 PromptPack을 제안한다. PromptPack은 컨텍스트 내 배치(in-context batching)를 통해 이 규모를 달성하며, 공유 시스템 프롬프트, 엄격한 XML 구조적 엔벨로프, 출력 교정 층을 결합하여 여러 소재에 대해 동시에 결정론적이고 파이프라인에 바로 투입 가능한 특징 추출을 보장한다. 하류 로지스틱 회귀 순위 모델을 사용한 오프라인 검색 벤치마크를 통해 PromptPack을 평가한다. 에이전트의 동작을 깊이 프로파일링하기 위해 AUC를 측정하고, 생성된 특징의 신호 품질을 포착하는 새로운 지표인 Volume-Weighted Absolute Lift(VWAL)를 도입한다. 배치되지 않은 실제 프로덕션 기준선과 비교했을 때, 배치 크기 20의 PromptPack은 LLM 비용을 89% 절감하고 처리량을 2.5배 가속하면서 AUC를 완전히 유지한다.