클라우드-엣지 대형 비전-언어 모델(LVLM) 추론은 엣지 디바이스와 클라우드 서버 간에 연산을 분할함으로써 효율적인 배포를 가능하게 한다. 이 과정에서 중간 비전 토큰이 통신 링크를 통해 엣지에서 클라우드로 전송되어 새로운 공격 표면이 노출된다. 우리는 블랙박스 중간자(man-in-the-middle) 환경에서의 비전 토큰 조작 공격(VTM-Attack)을 연구한다. 이 환경에서 공격자는 예산 제약 하에 전송되는 비전 토큰의 일부를 가로채어 조작한다. 우리는 네 가지 단순 공격 전략과 최적화 기반 토큰 선택 방법을 제안한다. 4개의 벤치마크에서 6개의 최신 LVLM(3B~72B)을 대상으로 한 실험 결과, 비전 토큰의 단 10%만 조작해도 정확도가 최대 88.31%까지 감소할 수 있음을 보인다. 이러한 결과는 클라우드-엣지 LVLM 추론의 심각한 취약점을 드러낸다.
autoresearch와 같은 장기 실행 코딩 에이전트는 개방형 문제에 대한 최적화를 지속적으로 발견할 수 있다. 그러나 이러한 에이전트는 단일 고수준 접근법으로 수렴하는 경향이 있으며, 이후 저수준 수정을 진행하면서 문제에 대한 다른 우월한 접근법을 놓친다. 우리는 두 가지 하네스 수준의 설계 선택이 이러한 행동에 기여한다고 가설을 세운다: 단일 장기 실행 에이전트에 컨텍스트를 누적하는 것과 수정 가능한 단일 프로그램 상태만을 노출하는 것이다. 우리는 SwarmResearch를 소개한다. 이는 Shepherd 에이전트가 전역 컨텍스트를 활용하여 각각 자신의 git 브랜치에서 로컬 컨텍스트로 동작하는 Search 에이전트 집단을 이끄는 오케스트레이터-서브에이전트 하네스이다. 개방형 최적화 태스크에서 SwarmResearch는 고수준 탐험을 통해 15개 태스크 중 13개에서 최신 대규모 언어 모델(LLM) 가이드 진화 및 다중 에이전트 기법과 비교하여 더 나은 혹은 동등한 솔루션을 발견한다. 직렬 및 병렬 에이전트의 고정 스케일링과 비교하여, SwarmResearch의 오케스트레이터 가이드 스케일링은 다양한 탐색 깊이에서 병렬성을 조정함으로써 더 우수한 성능의 솔루션을 발견한다.
머신러닝(ML) 및 인공지능(AI) 모델의 예측 결과는 이해 가능한 설명이 수반되지 않으면 종종 회의적으로 받아들여진다. 저스트-인-타임 결함 예측(just-in-time defect prediction)의 맥락에서, 규칙 기반 린트(lint)를 넘어 소프트웨어 변경 사항(diff) 중 위험이 집중될 수 있는 소규모 부분을 부각하는 방법은 아직 광범위하게 연구되지 않았다. 본 연구에서는 LLM 기반 Diff Risk Score(DRS) 모델의 어텐션 가중치를 활용하여, 위험도 예측 시 모델이 집중하는 diff의 특정 부분을 강조한다. 토큰 수준의 어텐션을 해석 가능한 코드 단위(라인, 헝크(hunk), 파일)로 집계하고, 상위 K개 단위를 코드 리뷰 과정에서 개발자에게 경량 가이던스 형태로 제공한다. 실제 장애를 유발한 변경 사항에 대해 전문가가 레이블링한 데이터를 사용하여 접근법을 평가하였다. 결과에 따르면, 상위 2개 헝크를 강조할 때 전문가가 레이블링한 장애 유발 변경 라인의 53.85%를 커버하며, 개발자가 검토해야 하는 변경 라인은 평균 26.28%에 불과하다. 어텐션은 표준 모델 추론 과정에서 생성되므로, 이 접근법은 대규모 개발 워크플로에 적용 가능하며 추가적인 지연을 최소화하면서 코드 리뷰 UI에 노출될 수 있다.
안전성 정렬(safety alignment)이 대규모 언어 모델(LLM) 학습의 필수적인 단계라는 점은 의심할 여지가 없다. 그러나 개념적으로 안전성 정렬은 다양한 도메인과 쿼리의 잠재적 위해 수준을 구분하지 않으며, 이는 모델이 합법적이고 승인된 작업의 목표를 달성하기 위해 안전 회로에 의해 제한받아서는 안 되는 사이버보안과 같은 분야에서 중대한 문제를 야기한다. 본 연구에서는 24개의 오픈소스 LLM에 대한 대규모 어블리터레이션(abliteration) 실험 결과를 공유하고, 1조 매개변수 규모의 Kimi K2를 예시로 표준 방법론을 통해 도메인 특화 어블리터레이션이 달성 가능함을 보인다. LLM의 거부(refusal)가 레이어 내 다차원 부분공간을 차지한다는 최근 연구를 토대로, 거부가 레이어 전반에 걸쳐 광범위하게 분산되어 있음을 발견하였으며, 특히 1조 매개변수 규모의 전문가 혼합(MoE) 아키텍처에서 두드러짐을 확인한다. 이에 따라 사이버보안 도메인의 유해한 개념을 독점적으로 나타내는 부분만을 포착하는 것을 목표로 한다. 또한 모델의 특성과 도메인 특화 어블리터레이션 효과 간의 상관관계를 조사하여, 안전성 학습 유형과 아키텍처가 가장 신뢰할 수 있는 예측 인자임을 확인한다. 마지막으로 모델을 3가지 어블리터레이션 민감도(abliteration susceptibility) 등급으로 분류하고, 특정 모델에서 해당 개입으로 인해 특정 효과가 관찰될 수 있는 이유에 대한 일련의 추측을 제시한다.
본 논문에서는 LLMoxie를 소개한다. LLMoxie는 기관용 AI 플랫폼으로, 3계층 아키텍처를 통해 멀티클라우드 및 온프레미스 추론, 인증·예산 관리·PII 마스킹·관측 가능성을 위한 LiteLLM/MLflow 제어 플레인, 그리고 AI 코딩 에이전트를 위한 애플리케이션 증강 층을 지원한다. 그 위에 오픈소스 RSE-Plugins 에코시스템이 쌓인 RSE 지식을 Plugin-Agent-Skill 계층구조로 인코딩하며, 이는 과학적 Python 실천, 도메인별 지식, 6단계 연구-구현 워크플로우, 프로젝트 생명주기 관리를 아우른다. 과학 소프트웨어는 순수한 코드 품질보다 인용 가능성, 감사 가능성, 재현 가능성, 확장 가능성으로 평가된다. 상용 소프트웨어 벤치마크에 최적화된 기성 AI 코딩 에이전트는 이러한 환경에 적합하지 않다. 이들은 호출하는 과학용 Python 라이브러리의 관례를 무시하고, 민감하거나 공개 제한된 데이터를 부적절하게 처리하며, 사후에 재구성하기 어려운 의사결정 흔적을 남긴다. 우리는 대학 기반 연구 소프트웨어 엔지니어링(RSE) 센터에서의 20개월간 실천 사례를 보고한다. 이 센터에서 천문학, 지구 및 기후 과학, 농업, 보건 프로젝트에 내재된 RSE들이 이 격차를 해소하기 위해 노력했다. 우리는 다중 도메인 RSE 센터 내에서 에이전틱 AI(Agentic AI)를 도입할 때 반복적으로 나타나는 인프라, 거버넌스, 프로세스 과제를 분류하고, 플랫폼 및 플러그인 설계를 기술하며, 실제 과학 소프트웨어 배포에서 얻은 운영 교훈을 정리한다. 플랫폼과 플러그인은 함께 AI 코딩 에이전트를 범용 코드 생성기에서 커뮤니티 규범을 존중하고 기술적 추론의 감사 가능한 출처를 생성하는 도메인 인식 협력자로 전환시킨다.
부분 관측 환경에서 동작하는 강화학습 에이전트는 불완전한 정보를 기반으로 행동해야 하므로, 광범위한 추론 사전 지식을 보유한 소형 언어 모델(SLM)의 안내를 받기에 자연스러운 후보이다. 그러나 이 환경에 SLM 안내를 통합하는 것은 어렵다는 것이 밝혀졌다: 모든 테스트 환경에서 일반적인 불확실성 게이팅 방식은 덮어쓰기 비율(overwrite rate)이 0에 가깝거나 0을 기록하여, SLM이 독립적인 행동을 거의 기여하지 못한다. 우리는 이 실패의 원인을 진정한 추론을 위한 컨텍스트가 부족한 자기중심적 프롬프트에서 찾아내며, 이를 용량 문제가 아닌 컨텍스트 문제로 규명한다. 우리는 ASK+를 제안하는데, 이는 SLM에 궤적 인식 컨텍스트(부분적으로 공개된 지도, 방문 위치, 행동 이력)와 구조화된 사고의 연쇄(Chain-of-Thought) 추론을 제공하여, SLM을 수동적인 중복 검사 도구에서 정책을 때때로 교정하는 더 유익한 컨설턴트로 전환한다. 또한 선택적 질의에 사용되는 예측 엔트로피 신호가 상태 불확실성이 아닌 행동 불확실성을 측정하며 부분 관측 마르코프 결정 과정(POMDP)에서도 정보적 가치를 유지한다는 점을 규명하여, 완전 관측 환경을 넘어 불확실성 게이팅 보조가 실행 가능함을 보인다. 상태 보존 프롬프트는 상당한 성능 향상을 이끈다: DoorKey에서 일반 ASK가 PPO와 동일한 성공률(둘 다 89%)을 기록하는 반면 ASK+는 93%에 도달하고, FourRooms에서는 성공률이 53%에서 70%로 상승하며, HigherLower에서는 정확도가 73.7%에 달해 SLM 단독 상한선과 일치한다. 모든 환경에서 Qwen3.5-2B는 Qwen3.5-4B와 동등하거나 이를 능가하여, 프롬프트 설계와 선택적 게이팅이 모델 스케일의 영향보다 우세함을 확인하며, 대형 모델 없이도 안내가 가능함을 보여준다.
실시간 인터랙션 모델(Moshi, MiniCPM-o, Qwen-Omni)은 서빙을 주기적 실시간 태스크로 전환한다. 각 프레임마다 세션은 스트리밍 오디오를 수신하고 반복되는 실제 시간 마감 기한 내에 응답해야 하며, KV 캐시는 단조 증가하여 대화 전체 동안 메모리에 고정된 상태를 유지한다. 이 방식에는 위험한 장애 모드가 숨어 있다. 실제 전이중(full-duplex) 스택에서 지속적인 부하는 서빙을 점진적으로 저하시키지 않는다. 누적된 세션 상태가 KV 풀을 소진하면, 프레임당 밀리초 단위 응답에서 스톨된 엔진으로 한 번에 추락한다. 이 붕괴는 준안정(metastable) 상태로, 동일한 5분 실행이 실행마다 달리 붕괴하거나 생존하며 조용히 발생한다. 지연 시간과 마감 기한 초과 지표는 전 과정에서 정상으로 나타난다. 우리는 안정성과 관측 가능성을 모두 회복시키는 단 하나의 방법을 제시한다: 각 세션의 상주 상태를 제한하면 지연 시간이 실제 상황을 반영하기 시작한다. Metronome의 인-엔진 KV 윈도우는 붕괴를 제거하고(두 배치에서 20회 중 0회 vs. 14회 붕괴), 프레임당 지연 시간을 단조 증가하는 부하 신호로 전환하며, 이를 기반으로 온라인 어드미션 컨트롤러가 스케줄 가능한 동시성을 탐색한다. 윈도우 없이는 동일한 컨트롤러가 과도 허용하여 한계에 부딪힌다. 1차 모델은 주요 모델에서 붕괴 시간을 몇 퍼센트 이내로 예측하며, 품질 프로브는 에이블레이션을 통해 제한 설계를 검증한다. 윈도우 자체는 턴 기반 디코딩에서 품질 손실이 없으며, 고정된 소수의 어텐션 싱크 토큰이 자유 실행 생성의 품질을 유지한다. 모든 측정은 하나의 GPU에서 네 가지 인터랙션 모델에 걸쳐 실제 오디오로 엔드-투-엔드 수행되었다.
수십 년간 데이터 엔지니어링은 조직 데이터의 통합, 거버넌스, 검증, 카탈로그화 및 서빙을 위한 성숙한 아키텍처 원칙을 발전시켜 왔다. 대규모 언어 모델(LLM)의 부상은 이러한 문제들을 제거하는 것이 아니라, 그것의 더 광범위한 형태를 드러낸다. 조직 지식은 실행 가능한 인프라가 되어 가고 있으며, 시스템은 점점 더 이를 검색하고, 조립하고, 그 위에서 추론하며, 이를 기반으로 행동한다. 이 논문은 기업 인공지능(AI) 시스템이 조직 지식을 표현하고, 유지하며, 거버닝하고, 운영적으로 전달하기 위한 아키텍처 규율로의 전환을 시사한다고 주장한다. 우리는 이 규율을 지식 아키텍처(knowledge architecture)라고 부른다. 우리는 관리 단위가 레코드에서 지식 아티팩트로 전환될 때 고전적인 데이터 엔지니어링 보장이 어떻게 재정의되어야 하는지를 보여주는 개념 모델과 분류 체계를 제시한다: 추출·변환·적재(ETL)는 지식 수집(knowledge ingestion)이 되고, 변경 데이터 캡처(CDC)는 지식 변경 감지(knowledge change detection)가 되며, 리니지(lineage)는 출처(provenance)가 되고, 카탈로그는 지식 카탈로그가 되며, 구체화된 뷰(materialized views)는 지식 뷰가 되고, 메달리온 아키텍처는 원시-정제-운영 지식 레이어가 된다. LLM Wiki 및 개방형 지식 포맷(OKF, Open Knowledge Format)과 같은 신흥 형식은 이 전환의 종착점이 아닌 초기 증거로 다루어진다. 핵심 주장은, 조직 지식이 수동적인 정보 자원에서 벗어나 인간, 에이전트(agent), 워크플로우, 모델이 업무를 수행하는 데 활용하는 운영 자산이 될 때 지식 아키텍처가 유용해진다는 것이다.
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 일반적으로 최종 답변의 정확성 또는 LLM 판정자(judge)로 평가된다. 그러나 두 방식 모두 답변이 어떻게 생성되었는지는 포착하지 못한다. 안전이 중요한 환경에서는 절차 자체가 정확성의 일부다. 본 논문에서는 1차 선형 시제 논리(FO-LTL, First-Order Linear Temporal Logic)에서 파생된 언어인 AgentLTL을 소개한다. AgentLTL은 에이전트 트레이스(trace)에 대한 절차적 규칙을 표현하며, 결정론적이고 판정자 없는 준수 점수를 산출한다. 이 프레임워크에서 단일 명세(specification)는 두 가지 용도로 활용된다. 첫째는 하네싱(harnessing)으로, 제약 조건이 완료된 트레이스의 점수를 매기거나, 실행 전에 각 접두 문맥을 온라인으로 검사하여 도구 호출을 차단한다. 둘째는 파인튜닝(fine-tuning)으로, 점수가 밀집 보상(dense reward)으로 활용된다. 순서, 분기, 반복, 그라운딩(grounding)을 아우르는 벤치마크에서, 차단 및 경고(block-and-warn) 하네싱은 7개 모델 중 5개에서 준수율을 향상시켰다. 동일한 보상을 활용한 파인튜닝은 미확인 도구 이름 별칭(alias)을 포함한 홀드아웃(held-out) 패턴에서 정확도와 준수율을 각각 38 및 17.5 퍼센트 포인트 향상시켰다. 이러한 결과는 모델이 표면적인 도구 이름과 절차를 암기하는 것이 아니라 절차적 구조를 습득하고 있다는 해석과 일치한다.
키-값(KV) 캐시는 대규모 언어 모델(LLM) 서빙에서 요청별 임시 텐서가 아닌 최우선 메모리 객체로 자리잡았다. 본 서베이는 30개 이상의 KV 관리 시스템 및 프레임워크를 지역성(locality), 수명(lifetime), 소유권(ownership), 기반 자원(substrate)의 네 가지 축으로 분류한다. 이 축들은 로컬 페이징(local-paged), 비집계 파이프라인(disaggregated-pipeline), 공유 스토어(shared-store), 메모리 풀(memory-pool), 하이브리드 계층(hybrid-tier)의 다섯 가지 아키텍처 원형을 드러낸다. 워크로드와 하드웨어가 고정된 상황에서는 소유권이 분산 시스템 간 나머지 설계 분산의 상당 부분을 차지한다. 본 서베이는 또한 현행 평가를 검토하여 KV 특화 측정 지표 중 누락된 일곱 가지를 식별하고, 이를 내결함성(fault tolerance), 격리(isolation), 계층적 제거(tiered eviction), 추측 디코딩(speculative decoding), 전문가 혼합(MoE) 서빙, 공유 캐시 의미론(shared-cache semantics)의 미해결 문제들과 연결한다.
본 논문에서는 온라인(스트리밍) 및 오프라인(배치) 대규모 언어 모델(LLM) 서빙 모두를 위한 경량 스케줄링 및 제거 프레임워크인 PEEK를 소개하며, 이 논문은 온라인 환경에 초점을 맞춘다. PEEK는 대기 큐에 대해 점진적 래딕스 트리를 유지하여 기존 엔진에서는 드러나지 않는 접두 문맥 공유 클러스터를 노출한다. 오버헤드가 낮은 이중 탐색(dual-walk)은 트리를 엔진의 접두 문맥 캐시와 대조하여 대기 중인 모든 요청에 대해 최장 접두 문맥 매칭을 도출하며, PEEK는 클러스터 선두 요청을 먼저 수용하여 이후 요청들이 새로 캐시된 접두 문맥을 상속받도록 하고, 공동 설계된 제거 훅(eviction hook)이 대기 중인 요청의 상위 블록을 보호하며, 다중 레인 스트라이드 스케줄러가 기아 현상을 억제한다. SGLang 및 vLLM에서 최대 4×H100(DP=2, TP=2)을 사용하는 5가지 워크로드에 대해, PEEK는 각 엔진의 가장 강력한 기본 기준선(SGLang/vLLM) 대비 캐시 히트 최대 3.0×/2.6×, TTFT 7.9×/7.1×, E2E 6.7×/5.5×, 처리량 3.6×/4.5× 향상을 달성하며, 활용 가능한 접두 문맥 구조가 없는 워크로드에서는 기준선과 노이즈 범위 내에서 동등한 성능을 보인다. KV 캐시 부하와 추론 병렬성이 확장될수록 성능 향상은 유지된다.
자동화된 연구 에이전트는 코드를 생성하고 문헌을 검색하며 과학적 산출물을 초안으로 작성하는 기능이 점점 향상되고 있지만, 생성된 실험이 올바르게 실행되는지 또는 인용된 출처가 생성된 주장을 뒷받침하는지 검증하지 못하는 경우가 많다. 본 논문에서는 신뢰할 수 있는 연구 워크플로 자동화를 위한 실행 기반 다중 에이전트 프레임워크인 AutoResearch를 제안한다. AutoResearch는 샌드박스 Python/PyTorch 실행, 반복적 코드 수정, 인용 검증, 주장 지지 감사, 의사결정 제어, 구조화된 LaTeX 산출물 생성을 결합한다. 이 시스템은 런타임 오류, 인용 검증 실패, 리뷰 에이전트 피드백을 생성된 연구 산출물에 대한 실질적인 필터링 신호로 처리한다. HumanEval, MBPP, SciCode 부분집합, 인용 검증 태스크, 주장 지지 감사, 소규모 엔드투엔드 워크플로 스트레스 테스트에 대한 통제된 평가에서 AutoResearch는 직접 비교 가능한 기준 모델 대비 실행 성공률, 인용 유효성, 로컬 주장 지지, 워크플로 완료율을 향상시켰다. 코드 중심 에이전트는 부분 비교로서 별도 보고된다. AutoResearch는 완전 자율 과학자나 독립적인 논문 품질 벤치마크가 아닌 신뢰성 지향 연구 보조 도구로서 설계되었다. 소스 코드: https://github.com/raja21068/AutoResearch
OpenClaw 요청은 시스템 프롬프트, 대화 기록, 컨텍스트 윈도우에 재입력되는 도구 출력을 포함하는 길고 도구가 보강된 프리픽스(prefix)로 구성됩니다. 요청당 약 28,000~30,000개의 입력 토큰과 500개의 출력 토큰을 갖는 이 워크로드에서, 서빙 품질은 단순한 짧은 프롬프트 처리량만이 아니라 처리량(throughput), TTFT(첫 번째 토큰 생성 시간), 꼬리 지연(tail latency)에 의해 결정됩니다. 본 보고서는 MaaS 멀티 모델 추론 최적화 아키텍처 내에서 GLM-5 서빙 매개변수 튜닝을 연구합니다. 연구 범위는 추론 최적화 층의 단일 노드 최적화 블록으로, 하나의 GLM-5 서빙 배포에 대해 청크 프리필(chunked prefill), 텐서 병렬화(TP), 파이프라인 병렬화(PP), 요청 동시성이 튜닝됩니다. 본 보고서에서 '단일 노드 최적화'는 아키텍처 블록을 지칭하며, 실험은 2노드 16-GPU 클러스터에서 수행됩니다. 테스트된 구성 공간 내에서 최적 구성은 chunked-prefill-size=3072, tp=4, pp-size=4, max-running-requests=24입니다. 보수적인 2048/4/4/16 기준선과 비교하여, 요청 처리량은 0.43에서 0.48 req/s로, 총 토큰 처리량은 9,029.64에서 9,993.23 tok/s로 증가하며, 평균 TTFT는 8.98초에서 6.69초로, 지연 P90은 40.23초에서 32.64초로 감소합니다. 동일한 하드웨어 환경에서, 이는 요청당 서빙 비용 약 10.4% 절감 및 토큰당 비용 9.6% 절감에 해당합니다. 결과는 최적값이 워크로드에 따라 다름을 보여줍니다. 청크 크기가 클수록, 큐잉(queueing)이 깊을수록 성능이 단조롭게 향상되지는 않습니다. 따라서 3072 / tp4 / pp4 / max24를 기본 OpenClaw 배포 프로파일로 권장합니다.
온톨로지는 인간과 시스템 모두가 이해할 수 있는 정보를 조직하고 유지하는 데 유용한 구조이다. 그러나 수작업으로 구축하는 것은 노력이 많이 드는 작업이므로, 많은 특정 도메인에는 참조 온톨로지가 부족하다. 대규모 언어 모델(LLM)이 보여준 뛰어난 자연어 이해 능력은 온톨로지 개발을 포함한 다양한 분야에서 이를 보조하는 데 활용하려는 동기를 불러일으켰다. 본 연구는 LLM을 도메인 전문가 역할로 사용하여 주어진 초기 개념에 대한 개념 계층을 구축하는 기법을 실험한 결과를 제시한다. GPT-3.5와 GPT-4를 사용하여 브라질 해양 영토(일명 Blue Amazon) 도메인에 대해 자동으로 구축한 20개의 온톨로지를 인간 전문가가 평가하였다. 모델들은 전반적으로 해당 도메인에 대해 일관된 개념화를 구축할 수 있었지만, 정제 없이는 어떤 출력도 맥락을 대표하는 표현으로서 완전히 만족스럽지는 않았다.
Gumbel-max 워터마킹 메커니즘 하에서 혼합 문서의 LLM 생성 비율을 추정하는 표본 복잡도(sample complexity) 문제를 다루며, 피벗 통계량만 관측하는 경우 라게르 다항식 추정기를 통해 비모수적 수렴 속도를, 의사난수 벡터까지 완전 관측하는 경우 사건 계수 추정기를 통해 더 빠른 모수적 수렴 속도를 각각 정보이론적 하한과 함께 확립한다. 피벗 환원이 널리 쓰이는 우아한 방법이지만 워터마크 비율 추정에서는 완전 관측 대비 표본 효율성을 손실할 수 있음을 보인다.
LLM이 개인식별정보(PII)를 매개변수에 실제로 삭제하는지 단순히 은폐하는지를 평가하기 위해, 마스크드 연속 사전학습으로 합성 PII를 사전 정의된 파라미터에 주입한 최초의 파라미터 수준 정답(ground-truth) 언러닝 테스트베드 LACUNA를 제안한다. 1B·7B OLMo 기반 모델에서 현재 SOTA 언러닝 방법들을 벤치마크한 결과, 출력 수준 성능과 달리 로컬라이제이션 정밀도가 매우 낮고 재부상 공격에 취약하며, 정밀한 로컬라이제이션이 성공할 경우 단순 그래디언트 기반 방법만으로도 강건한 지식 삭제가 가능함을 확인하였다.
장편 TV 드라마에서의 화자 인식(speaker recognition)을 위해 900명 이상의 등장인물에 걸쳐 53만 2천 개의 대화 라인을 주석한 대규모 벤치마크 DramaSR-532K를 구축하고, 청각·언어·시각 단서를 멀티모달 도구 사용으로 통합하는 대규모 추론 모델 기반의 DramaSR-LRM을 제안한다. Qwen3-8B를 백본으로 SFT와 강화학습(RL)으로 학습된 DramaSR-LRM은 기존 베이스라인 대비 전반적으로 성능이 향상되며, 특히 음성 생체 인식이 불안정한 짧은 발화에서 최대 9.20%p의 정확도 향상을 달성한다.
비전-언어 모델(LVLM)이 멀티모달 추론 시 시각적 입력을 제대로 반영하지 못해 분포 이탈(out-of-distribution) 환경에서 자기반성(self-reflection) 능력이 저하되는 문제를 해결하기 위해, 랜덤 턴 마스킹(Random Turn Masking)과 버퍼드 롤인(Buffered Roll-In)을 결합한 강화학습 프레임워크 VRRL을 제안한다. 테이블·차트 시각적 그라운딩 및 공간 내비게이션 벤치마크에서 VRRL은 표준 RL 및 기존 반성 지향 파인튜닝 기법 대비 분포 이탈 정확도를 크게 향상시켰다.
소프트웨어 테스트와 코드의 공동 진화(co-evolution)를 평가하기 위해, 152개의 오픈소스 Java 프로젝트에서 실제 커밋 이력을 기반으로 746개의 테스트 생성 및 509개의 테스트 업데이트 태스크를 포함한 실행 가능한 라이브 벤치마크 TestEvo-Bench를 제안한다. Claude Code, Gemini CLI, SWE-Agent 등 최신 에이전트를 평가한 결과 테스트 생성에서 최대 77.5%, 테스트 업데이트에서 74.6%의 성공률을 달성했지만, 학습 데이터 오염을 줄이기 위해 모델의 학습 컷오프 이후 태스크로 한정할 경우 성공률이 유의미하게 하락했다.
언어 모델을 문화 측정 도구로 활용할 때 발생하는 '측정 장치와 문화적 결과물의 얽힘(entanglement)' 문제를 Karen Barad의 agential cut 개념을 통해 이론화하며, TV·영화 대화를 대상으로 한 세 가지 사례 연구(대화 구조, 상호작용, 규범 이탈 측정)를 통해 모델·데이터·어노테이션 등 장치의 모든 설계 선택이 측정 대상인 문화적 현실을 수동적으로 기록하는 것이 아니라 능동적으로 구성함을 보인다. 이를 바탕으로 각 agential cut을 방법론적·윤리적 의식적 결정으로 다루는, 이론 기반의 엄밀하고 문화적으로 맥락화된 자연어 처리(NLP) 연구 프로그램을 제안한다.