기존 문헌은 다지선다 벤치마크를 사용해 대규모 언어 모델(LLM)의 다언어 친족 이해를 평가하며, 이를 인식 문제로 다룬다. 우리는 대신 두 가지 의사소통 과제에 걸쳐 세 가지 비서구 언어(힌디어, 타밀어, 한국어)에서 친족 호칭을 생성하도록 다섯 개의 오픈 가중치 LLM에 프롬프트를 주고, 이를 일치하는 선택지 지원 선택 기준선과 짝지었다. 동일한 관계-언어 셀에서 GPT OSS120B는 75개의 유효 셀 중 90.67%에서 올바른 용어를 선택하지만, 해당 시도의 36.00%에서만 수용 가능한 용어를 생성한다; Llama 3.370B도 같은 패턴을 보인다(77.92% 대 24.24%). 4지선다 조건은 후보 용어를 제시하며 문자 생성을 요구하지 않으므로, 이 차이는 어휘 지식이 온전함을 직접 증명하기보다는 평가 형식 간극으로 해석된다. 명시적으로 지정된 L3 프롬프트에서 정확도는 GLM-5.1의 72.29%부터 Llama-3.370B의 24.24%까지 크게 달라진다. 부계 혈통 우위는 언어별로 다르며, 힌디어에서는 크지만 한국어에서는 약하거나 역전되고, 타밀어의 공유 용어 쌍은 측정 변동에 대한 통제를 제공한다. 이 결과는 관계가 명시적으로 진술된 경우에도 문화적으로 특수한 친족 호칭 생성이 여전히 어렵다는 것을 보여 주며, 다지선다 검사와 병행한 생성 기반 평가의 필요성을 제기한다.
대규모 텍스트 어노테이션은 수백만 건의 문서에 전문가의 통찰을 반영하며, 이는 흔히 AI 어노테이터가 따르는 코드북을 통해 이루어진다. 그러나 견고한 코드북을 개발하는 데에는 수개월이 걸린다. 대규모 언어 모델(LLM)은 초기 코드북을 데이터에 적용하고, LLM 간 불일치가 큰 사례를 찾아내며, 이를 해결하기 위한 전문가 피드백을 이끌어냄으로써 이 과정을 가속할 수 있다. 우리는 LLM 코드북 개정을 위해 전문가가 피드백을 제공하는 세 가지 방식을 살펴보았다: (i) LLM 간 불일치에 기반해 LLM이 생성한 개정안을 전문가가 편집하는 방식(Codebook Verifying), (ii) LLM 불일치에 관한 질문에 답하는 방식(Question Answering), (iii) 불일치 사례에 근거(rationale)와 함께 레이블을 부여하는 방식(Rationale Labeling). 수천 건의 튜터링 세션 녹취록을 대상으로 한 실험에서 Rationale Labeling은 전문가 레이블 대비 가장 높은 LLM 레이블링 정확도(64.9%)를 기록하여, 전문가가 개정한 코드북(57.8%)을 능가했다. 가장 성능이 좋은 Question Answering 설정 또한 이를 능가했다(60.5%). 본 연구는 LLM을 활용해 전문가의 어텐션을 전략적으로 집중시킬 수 있으며, 레이블링 성능을 희생하지 않고 수개월이 걸리던 코드북 개정을 며칠로 단축할 수 있음을 보여준다.
어떤 단일 대규모 언어 모델(LLM)도 모든 질의에 대해 일관되게 신뢰할 수는 없으며, 이는 모델 간 라우팅을 수행하거나 모델들의 출력을 결합하는 다중 모델 추론(inference) 시스템의 필요성을 이끌어냈습니다. 그러나 라우팅은 초기 모델을 선택한 후 멈추는 반면, 밀집 협업(dense collaboration)은 모든 질의마다 동료 모델(peers)을 호출합니다. 본 연구에서는 협업이 비단조적(non-monotonic)임을 보여줍니다. 동료 모델은 어떤 모델도 단독으로 해결하지 못한 실패를 복구할 수도 있지만, 초기에 정답이었던 답변을 손상시킬 수도 있습니다. 이에 따라 선택적 교차 모델 협업을 위한 앵커 사후 컨트롤러인 COMED(Controlled Model Escalation for Multi-LLM Deliberation)를 제안합니다. COMED는 앵커 자체 일관성(self-consistency), 라우터 마진(margin), 그리고 경량 동료 프로브(probe)를 활용하여 확신도가 높은 답변은 수용하고, 모호한 경우는 검증하며, 협업이 유익할 가능성이 높을 때만 에스컬레이션합니다. 본 논문에서는 협업으로 유발되는 피해보다 복구된 오류가 더 많을 때 선택적 협업이 성능을 향상시킨다는 점을 구제-피해 분해(rescue-harm decomposition)를 통해 정식화합니다. 의학, 과학 및 일반 추론 벤치마크 전반에 걸쳐 COMED는 밀집 협업보다 더 적은 수의 모델을 호출하고 더 적은 디코딩 토큰(token)을 사용하면서도, 16개의 모든 오픈 가중치(weight) 설정에서 고정 및 라우팅된 앵커를 개선하였으며 MedQA에서는 최대 +10.7%p의 향상을 달성했습니다. 프론티어 모델을 활용한 HLE에서 COMED는 GPT-5.5의 성능을 23.1%에서 28.1%로 끌어올려 밀집 협업을 능가하고 최고 성능을 기록했습니다.
계산사회과학(computational social science)은 텍스트 어노테이션(annotation)에 대규모 언어 모델(LLM)에 점점 더 의존하고 있으며, 발표된 연구 결과의 타당성은 이제 이러한 모델이 생성한 레이블에 달려 있다. 범주형 질의응답을 위해 만들어진 새로운 모델 클래스인 의사결정 모델(decision model)은 자유 형식 텍스트 대신 선택지, 레이블 집합에 대한 확률 분포, 그리고 신뢰도 점수로 유형화된 질문에 답하며, 그 비용은 프런티어 모델 추론 가격의 극히 일부에 불과하다. 이러한 모델의 답변이 정확한지, 그리고 모델이 제시하는 신뢰도를 사회과학 구성 개념(construct)에서 신뢰할 수 있는지는 알려져 있지 않다. 본 연구에서는 18개 계산사회과학 분류 과제(7,977개 항목)에 대해 Ziems et al.(2024)의 평가를 재현하여, 최초의 상용 의사결정 모델과 두 개의 오픈 가중치(open-weight) 모델을 19개의 프런티어 및 오픈 가중치 언어 모델과 동일한 제로샷 프로토콜 하에서 비교하고, 의사결정 모델 비교를 그 이후 일주일 동안 공개된 11개의 오픈 가중치 시스템으로 확장한다. 의사결정 모델은 15개 평가 과제 중 14개에서 과제별 최고 성능 LLM에 뒤처졌으며, 매크로 F1 기준 중앙값 격차는 11.6점이었고, 측정된 비용은 중앙값 기준 44배 낮았다. 이 모델의 신뢰도는 19개 LLM 중 16개의 언어화된(verbalized) 신뢰도보다 더 잘 보정되어 있으나, 세 개의 프런티어 모델은 더 낮은 중앙값 보정 오차를 보인다(0.157 대 0.066). 신뢰도 0.9를 초과하는 항목은 일반적으로 정확하게 레이블링되지만(중앙값 정확도 0.815), 또래 지원 대화에서의 공감(empathy) 과제 하나에서는 모델이 높은 신뢰도를 보고하면서도 무작위 수준에 가까운 성능을 보였다. 그럼에도 본 연구 결과는 의사결정 모델이 어노테이션 파이프라인의 첫 단계로서 유용함을 시사한다. 신뢰도가 낮은 항목을 LLM으로 라우팅하면 LLM 단독 사용과 같거나 더 나은 성능을 LLM 비용의 4분의 1에서 절반 수준으로 달성할 수 있다.
대규모 오디오-언어 모델(large audio-language model)은 음성을 직접 처리하고 사기 관련 증거를 바탕으로 추론함으로써 사기 방지 탐지에서 가능성을 보여 왔다. 그러나 이러한 모델을 실제로 배포하려면 예측이 사전에 정의된 레이블 공간과, 서비스 시나리오 식별, 사기 탐지, 조건부 사기 유형 분류로 이루어진 구조화된 의사결정 프로토콜을 따라야 한다. 기존의 미세조정 및 프롬프트 기반 접근법은 일반적으로 태스크 지식, 제약 조건, 의사결정 규칙을 모델 파라미터나 수동으로 관리되는 프롬프트에 인코딩하기 때문에, 사기 패턴과 레이블링 정책이 변화함에 따라 이에 적응하기가 어렵다. 이를 해결하기 위해 본 논문에서는 기반 오디오-언어 모델을 변경하지 않고 그대로 두면서, 스킬 프로그램(skill program), 경로별 정책(route-specific policy), 의사결정 규칙으로 이루어진 외부 층을 최적화하는 구조화된 가중치 고정(frozen-weight) 적응 프레임워크인 FRAUDSkill을 제안한다. 또한 프로토콜을 준수하는 예측을 보장하기 위해 구조화된 출력 제어를 검증 기반 다중 경로 추론과 결합한다. TeleAntiFraud 벤치마크에서 FRAUDSkill은 Macro-F1 73.50%를 달성하여, 공유 가중치 고정 모델 기준선보다 31.96% 높은 성능을 보였으며 유효하지 않은 출력 비율은 1.94%로 감소했다. 광범위한 실험을 통해, 외부 스킬 최적화가 기반 모델을 수정하지 않고도 구조화된 오디오 사기 방지 탐지를 위한 효과적이며 적응 가능한 해결책이 됨을 확인하였다. 소스 코드는 https://anonymous.4open.science/r/FRAUDSKILL-114514 에서 확인할 수 있다.
능동적 의료 대화(proactive medical dialogue)는 에이전트가 불완전한 환자 정보를 바탕으로 무엇을 질문할지 결정해야 한다. 기존의 정보 탐색 접근법은 일반적으로 진단 불확실성을 가장 많이 줄이는 질문을 우선시하지만, 이 기준은 의료 진단의 중요한 특성, 즉 진단 오류마다 그 결과가 크게 다를 수 있다는 점을 간과한다. 따라서 가장 많은 정보를 주는 질문이 후속 의사결정에 가장 가치 있는 질문과 다를 수 있다. 우리는 각 후보 질문을 심각도를 반영한 최종 위험(severity-aware terminal risk)의 기대 감소량으로 평가하는, 결과 인식 질문 지도(question-supervision) 목적 함수인 Expected-Severity-Risk(ESR)를 제안한다. 질문은 그에 대한 답변이 관측되기 전에 선택되어야 하므로, ESR은 학습 데이터만으로 계산한 모집단 통계를 사용하여 가능한 답변에 대해 주변화(marginalize)한다. 이렇게 얻은 순위는 접두 문맥(prefix)만 사용하는 언어 정책으로 증류되므로, 배포 시에는 교사 측 위험 계산이 필요하지 않다. DDxPlus에서 짝을 맞춘 세 개의 Qwen3-4B 학습 시드에 걸쳐, ESR은 평균 고위험 진단 누락률을 0.0645에서 0.0455로 낮추고(29.5% 상대 감소), 평균 진단 정확도를 0.9123에서 0.9320으로 향상시켰으며, 이때 대화당 추가로 필요한 질문은 0.14개에 불과했다. 고정 예산 분석에서는 질문 수를 통제하더라도 이러한 차이가 유지됨을 보였고, 짝을 맞춘 기대 0/1 위험(expected-0/1-risk) 학생 모델 대조군은 비대칭적 심각도 가중치의 기여를 추가로 분리해 보여준다. 이러한 결과는 능동적 의료 대화를 불확실성 감소에서 벗어나 결과 인식 증거 수집(consequence-aware evidence acquisition)으로 발전시켜야 한다는 주장을 뒷받침한다.
대규모 언어 모델(LLM)은 이론 전산학(TCS) 연구 자동화에서 점점 더 큰 잠재력을 보여 왔지만, 기존 벤치마크는 현실적인 연구 환경과는 여전히 거리가 멀다. 본 논문에서는 최전선(frontier)의 end-to-end TCS 연구에 대한 LLM 평가를 위한, 전문가가 검증한 벤치마크인 \ourbenchmark를 소개한다. \ourbenchmark는 2025-2026년 STOC, FOCS, SODA, COLT에 채택된 논문에서 추출한 $143$개의 인스턴스로 구성되며, 논문별 정의, 가정, 증명 의존성을 그대로 보존하고, 전문가가 검증한 Lean 형식화와 증명을 포함한다. 주요 LLM에 대한 평가 결과, 현재 모델들은 전체 연구 파이프라인을 안정적으로 완수하는 데 여전히 크게 못 미치는 것으로 나타났다. 특히 자동 형식화(autoformalization)가 가장 큰 병목이다. 가장 성능이 좋은 모델은 자연어 주장을 형식 정리 명제로 번역하는 과제에서 $11.5$에 그친 반면, 사람이 제공한 형식 명제를 증명하는 과제에서는 Pass@8 기준 $28.6$을 달성했다. \ourbenchmark를 바탕으로, 새로운 주장을 생성하고, 형식화하고, 필터링하고, 증명하는 자동화된 TCS 연구 프레임워크도 추가로 개발한다. 생성된 $64$개의 주장 중 최종적으로 전문가 평가와 증명 검증을 모두 통과한 것은 $6$개에 불과했으며, 이는 형식화 외에도 제한적인 연구 안목(research taste)이 자율적 TCS 연구를 가로막는 또 다른 주요 장벽임을 시사한다.
비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.
본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.
머신 언러닝(machine unlearning)은 대규모 언어 모델에서 점점 더 중요해지고 있지만, 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처에서의 언러닝은 아직 충분히 연구되지 않았다. 밀집(dense) 모델과 달리 MoE 아키텍처는 각 층(layer)마다 라우터(router)를 사용하여 각 토큰을 전문가(expert)의 희소한 부분집합에 할당한다. 본 연구에서는 망각(forget) 데이터가 소수의 전문가를 불균형적으로 자주 활성화하는 반면, 이 전문가들이 유지(retain) 데이터로부터는 훨씬 약하게 활성화될 수 있음을 관찰한다. 이러한 망각-유지 간 라우팅 불일치(routing mismatch)는 언러닝 과정에서 망각에 핵심적인 전문가들이 충분히 정규화(regularization)되지 못한 채로 남게 할 수 있다. 이를 해결하기 위해 본 논문은 MoE 언러닝을 위한 방법인 \textbf{TRACE}(Targeted Routing-Aware Calibration of Experts)를 제안한다. TRACE는 먼저 오프라인 활성화 통계로부터 망각에 핵심적인 전문가를 탐지한 다음, 선택된 각 전문가의 유지 데이터 측 활성화 빈도가 망각 데이터 측 활성화 빈도와 더 잘 일치하도록 토큰 단위 유지 손실(retain loss)의 가중치를 재조정하여 유지 정규화를 보정한다. 여러 MoE LLM에서 WMDP와 MUSE-BOOKS로 수행한 실험 결과, TRACE는 망각-유용성(utility) 간 트레이드오프를 일관되게 개선하였으며, 비슷한 수준의 망각 품질에서 가장 강력한 기준선(baseline) 대비 9%의 상대적 유용성 향상을 달성하고 MUSE-BOOKS의 네 가지 지표 중 세 가지에서 최고 성능을 기록하였다.
대규모 언어 모델(LLM)의 안전성(safety) 평가는 여전히 영어 중심적이어서, 저자원 언어(LRL), 특히 아프리카 언어에 대한 탐색은 심각하게 부족한 상황이다. 본 논문에서는 JBB(JailbreakBench) 프롬프트의 인간 번역, 아프리카 맥락에 맞춘 영어 각색 후 인간 번역, GPT-5.2와의 상호작용을 통해 검증된 인간 큐레이션 프롬프트, 그리고 영어와 아프리카 언어를 결합한 코드 스위칭 프롬프트의 네 가지 설정을 통해 단순 번역을 넘어 JailbreakBench(JBB)를 확장한 7개 아프리카 언어 대상 탈옥 벤치마크인 TUKABENCH를 소개하며, 언어, 문화적 그라운딩(cultural grounding), 프롬프트 회피성이 모델 안전성에 미치는 영향을 분리하여 분석한다. 폐쇄형 및 오픈형 모델 전반에서 아프리카 언어로 프롬프팅할 경우 영어 대비 거부율이 감소하며, 문화적으로 각색된 프롬프트가 가장 낮은 거부율을 보였다. 또한 본 평가는 저자원 언어에서의 모델 이해 실패와 LLM-as-a-judge 신뢰도 저하라는 두 가지 구조적 한계를 드러낸다. 첫 번째 문제를 포착하기 위해 저자들은 Refused(거부) 및 Jailbroken(탈옥)과 함께 Deflection(회피/빗겨가기)을 도입하고, 두 번째 문제를 평가하기 위해 인간 주석으로 출력을 검증하여 자원이 더 부족한 언어와 덜 보편적으로 지원되는 문자 체계에서 판정관과 인간 간의 일치도가 떨어진다는 점을 보여준다.
LLM 다중 에이전트 시스템은 종종 자연어 대화나 느슨하게 구조화된 공유 메모리로 조율되어, 중간 상태를 검증·귀속·감사하기 어렵다. 본 논문은 PatchBoard를 제안한다. 이는 에이전트 간 대화를 공유 구조화 상태에 대한 검증된 JSON Patch 변경으로 대체하는 스키마 기반 협업 아키텍처이다. Architect 에이전트가 작업별 스키마와 워크플로 규칙을 구성하고, 결정론적 커널이 각 제안된 상태 변경을 스키마 제약, 역할별 쓰기 계약, 런타임 불변식에 대해 검증한 뒤 트랜잭션적으로 커밋한다. 630개의 매칭된 ALFWorld 에피소드에서 PatchBoard는 성공률 84.6%를 기록했으며, LangGraph 30.8%, Flock 61.6%에 비해 성공 작업당 토큰 수를 각각 368.3k, 64.2k 대비 45.5k로 줄였다.
SpeechLLM은 도메인 맞춤화가 일반적인 전문 환경에서 점점 더 많이 배포되고 있다. 사용자는 민감한 정보가 담긴 컨텍스트를 프롬프트로 제공하거나, 자체 보유한 녹음 데이터로 미세조정하거나, 혹은 두 가지를 모두 수행한다. 본 연구는 이러한 맞춤화에서 간과되어 온 프라이버시 위험을 규명하고 체계적으로 조사한다. 도메인 특화 용어를 인식하도록 적응된 모델은 다른 단어가 발화되었더라도 컨텍스트나 학습 데이터에 있는 발음이 유사한 단어를 전사하도록 유도될 수 있으며, 그 결과 비공개 정보가 유출된다. 이 위험을 평가하기 위해 우리는 이러한 공격의 벤치마크를 자동으로 구성하는 기법을 제안하고, 이를 적용하여 프롬프트와 미세조정이라는 두 가지 맞춤화 메커니즘 전반의 유출률을 측정한다. 두 메커니즘 모두 측정 가능한 수준의 유출을 일으키며, 함께 사용하면 유출이 누적된다. 또한 프롬프트 수준의 완화 전략을 평가하고 맞춤화 접근법별 정확도-유출 간 트레이드오프를 분석한 결과, 컨텍스트 프롬프트 없이 미세조정하는 방식이 가장 좋은 균형을 제공함을 확인하였다.
LLM-as-a-judge는 대규모로 모델 출력을 평가하는 지배적인 패러다임이 되었지만, 동일한 모델임에도 출력 포맷이 변경되면(예: 1~5점 척도 평가 vs. 참/거짓 라벨) 체계적으로 서로 다른 점수를 부여합니다. 이러한 포맷 유발 비일관성에 대한 기존 진단은 입력-출력 수준에 머물러 있습니다. 본 연구에서는 위치 인식 엣지 귀속 패칭(Position-aware Edge Attribution Patching, PEAP)을 사용하여 5개의 판정 태스크에 걸쳐 5개의 공개 가중치 인스트럭션 튜닝(instruction tuning) 모델(Gemma-3, Qwen2.5, Llama-3.1)의 내부 메커니즘을 인과적으로 조사합니다. 그 결과, 구조화된 이해 및 개방형 선호도 태스크 전반의 판정이 중간-후반부 레이어에 위치한 희소한 잠재 평가자(Latent Evaluator) 하위 그래프를 공유함을 발견했습니다. 아키텍처적으로 모듈화된 모델에서 이를 제로 제거(zero-ablation)하면 판정 기능은 붕괴하지만, 동일한 크기의 무작위 제거에 비해 지식 프로브 손상은 실질적으로 훨씬 적었습니다. 추상적 판정과 출력 포매팅을 구조적으로 분리함으로써, 본 연구는 연구 대상 공개 가중치 모델들에서 나타나는 포맷 유발 비일관성에 대한 기제론적 설명을 제공합니다. 즉, 공유된 트렁크에서 계산된 연속적인 판정 신호가 취약하고 포맷에 특화된 말단 브랜치를 거쳐 매핑됩니다. 따라서 판정 자체는 요청된 출력 포맷과 무관하게 독립적으로 읽어낼 수 있습니다. 본 연구의 결과는 포맷 간 판사 신뢰도에 대한 벤치마크(benchmark) 비교가 취약한 포매팅 단계를 부분적으로 측정하며, 기저에 있는 평가의 품질을 과소평가할 수 있음을 시사합니다.
대규모 언어 모델(LLM) 기반 에이전트가 복잡한 실제 과제를 수행하는 데 점점 더 많이 배포됨에 따라, 사용자-에이전트-환경 간의 장기적인 상호작용을 악용하여 단일 턴 설정에서는 달성하기 어려운 악의적 목적을 추구하는 공격이 늘어나고 있습니다. 이러한 장기 지평(long-horizon) 위협은 핵심 도메인에서 LLM 에이전트를 안전하게 배포하는 데 상당한 위험을 초래합니다. 본 논문에서는 다양한 장기 지평 위협에 대응하도록 설계된 새로운 방어 프레임워크인 ShadowMem을 제안합니다. 시스템 보안의 "섀도 스택(shadow stack)" 추상화에서 착안한 ShadowMem은 안전성에 초점을 맞춘 전용 에이전트 메모리를 유지하며, 에이전트의 전체 실행 궤적에 걸쳐 안전 관련 핵심 컨텍스트를 증류하여 보존합니다. 그리고 이 섀도 메모리를 활용하여 대기 중인 행동을 실행하기 전에 그 위험을 사전에 평가합니다. 폭넓은 평가 결과, ShadowMem은 다양한 장기 지평 위협에 대해 탐지 정확도에서 기존 방어 기법을 크게 능가하고, 대부분의 공격을 초기 단계에서 탐지하며, 에이전트의 유용성에는 무시할 만한 수준의 오버헤드만 추가하는 것으로 나타났습니다. 저자들이 아는 한, ShadowMem은 에이전트 메모리 접근 방식을 사용하여 장기 지평 위협을 탐지하고 완화하는 최초의 프레임워크로서, 이 중요한 과제에 대한 새로운 패러다임을 확립하고 향후 연구를 위한 유망한 방향을 제시합니다. 아티팩트는 https://github.com/ZJUWYH/ShadowMem 에서 확인할 수 있습니다.
확산 대규모 언어 모델(Diffusion Large Language Model, D-LLM)은 반복적인 노이즈 제거(denoising)를 통해 텍스트를 생성하므로, 최종 출력을 넘어 신뢰성 신호를 포함할 수 있는 은닉 궤적(hidden trajectory)을 드러냅니다. 본 논문에서는 궤적의 은닉 상태(hidden state)를 압축하고, 유의미한 단계-층(step-layer) 증거를 선택하며, 연속적인 접두 문맥 임베딩(prefix embedding)을 통해 검증기(verifier)를 조건화하여 환각 점수와 구조화된 진단을 생성하는 HIVE를 제안합니다. 두 종의 D-LLM과 세 가지 QA 벤치마크 전반에 걸쳐, HIVE는 6개 설정 모두에서 8개의 기존 기준 모델(baseline)과 검증기 백본이 일치하는 텍스트 전용 대조군보다 우수한 성능을 보입니다. 텍스트 전용 검증 대비 은닉 증거 조건화는 AUROC를 1.73--4.60포인트, AUPRC를 1.10--3.62포인트 향상시키며 각각 평균 3.15포인트 및 2.28포인트의 성능 향상을 달성합니다. 절제 연구(ablation), 증거 개입, 교차 데이터셋 전이(cross-dataset transfer) 실험은 세밀한 은닉 궤적 증거의 상호보완적 가치를 더욱 뒷받침합니다.
대규모 언어 모델(LLM)은 검색, 메모리, 도구, 다른 에이전트 등으로 각 프롬프트를 조립하는 상태ful 파이프라인에서 점점 더 많이 동작한다. 이러한 파이프라인은 드리프트한다. 다음 응답을 형성해야 할 정보가 누락·압축·잘못된 라우팅을 받는데도 모든 구성요소는 여전히 성공을 보고한다. 기존 진단은 고립된 프롬pt, 응답, 과제 점수만 평가하기 때문에 이를 놓치며, 실제로 분리되는 것은 프롬pt와 그것이 이끌어낸 응답 사이의 관계이다. 본 연구는 프롬pt→응답→다음 프롬pt 사슬을 분석의 기본 단위로 두면 이러한 관계를 측정할 수 있음을 보인다. 구조적 통신 일관성(structural communication coherence)을 도입하고, communication closure(한 턴에서 파이프라인이 반환한 내용이 다음 턴에서 마주하는 내용과 일치하는지)와 normalized conditional action contribution(보낸 메시지가 후속 응답을 얼마나 해소하는지) 두 지표로 정량화한다. 사람-사람 2,171건, 사람-LLM 58건, LLM-LLM 8건 대화에서 이 지표들은 방향성 상호작용 구조를 드러낸다. 특히 주변 프롬pt는 그대로 두고 응답만 다른 턴의 것으로 바꾸면 측정된 기여도는 87~92% 감소한다. 이 접근은 레이블, 정상 참조 데이터, 사전 정의 규칙 없이 원시 프롬pt와 응답만 필요하므로, 드리프트를 최종 과제 실패로부터 추론하는 대신 운영 트래픽에서 직접 정의하고 측정할 수 있다. 전향적 탐지 성능을 확립하는 것이 다음 단계이다.
대규모 언어 모델(LLM)이 AI 튜터로 빠르게 도입되고 있으나, 기존의 평가 패러다임은 문제 해결 정확도와 일반적인 안전성(safety)을 분리하여 평가하므로 학생과 튜터 간의 상호작용 전반에서 모델이 교육학적으로 효과적인 동시에 안전한지를 포착하지 못합니다. 본 연구는 튜터링의 안전성이 기존 LLM 안전성과 근본적으로 다르다고 주장합니다. 즉, 주된 위험은 유해한 콘텐츠가 아니라 정답 과잉 공개, 오개념 강화, 비계(scaffolding) 설정의 포기를 통한 학습의 조용한 훼손입니다. 이러한 실패 모드를 체계적으로 연구하기 위해, 본 논문에서는 수학, 물리학, 화학 전반에 걸쳐 안전성과 교육학적 유효성을 공동으로 평가하는 벤치마크인 SafeTutors를 소개합니다. SafeTutors는 학습과학 문헌에서 도출된 11개의 유해 차원과 48개의 하위 위험으로 구성된 이론적 기반의 위험 분류 체계를 중심으로 구성됩니다. 연구 결과 모든 모델에서 광범위한 유해가 나타나며, 스케일링(scaling)이 안정적인 해결책이 되지 못하고, 다중 턴(multi-turn) 대화가 동작을 악화시켜 교육학적 실패율이 17.7%에서 77.8%로 증가함을 발견했습니다. 또한 유해성은 과목별로 다르므로 완화책은 학문 분야를 고려해야 하며, 단일 턴에서의 "안전함/도움됨" 결과는 장기적인 상호작용에서 발생하는 체계적인 튜터 실패를 은폐할 수 있습니다.
다양한 과제에서 대규모 오디오 언어 모델(LALM)이 강한 성능을 보임에도, 음향 특징과 텍스트 문맥을 정확히 어떻게·어디에서 통합하는지는 여전히 불명확하다. 우리는 오디오 이해 과정에서 LALM의 내부 정보 흐름을 조사하기 위해 인과 추적(causal tracing)을 적용한다. DeSTA, Qwen, Voxtral에 걸쳐 층별 및 토큰별 분석을 수행함으로써 개별 은닉 상태의 인과적 효과를 평가한다. 층별 분석은 DeSTA의 점진적 통합부터 Qwen의 급격한 후기 단계 융합에 이르까지 서로 다른 융합 전략을 규명한다. 토큰별 분석은 최종 시퀀스 토큰이 정보 병목으로 작용하며, 네트워크가 오디오로부터 관련 정보를 결정적으로 회수하는 지점임을 보여준다. 또한 중간 토큰 위치에서 어텐션과 유사한 쿼리 메커니즘이 관찰되며, 이는 모델이 과제 관련 오디오 문맥을 끌어오도록 유발한다. 이러한 발견은 LALM 내부에서 다중 모달 통합이 언제·어디서 일어나는지에 대한 명확한 특성화를 제공한다.
대규모 생체의학 문헌으로부터의 자동화된 약물 조합 추출(DCE)은 정밀도(precision) 의학과 약리학 연구를 발전시키는 데 매우 중요합니다. 그러나 기존의 관계 추출 방법들은 주로 이진 상호작용에 초점을 맞추고 있어, 복잡한 호환성 논리와 분산된 증거를 고려해야 하는 가변 길이 n-ary 약물 조합 모델링에 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 대규모 언어 모델(LLM)을 기반으로 한 n-ary 약물 조합 추출용 종단간 추론 강화 관계 추출 프레임워크인 RexDrug를 제안합니다. RexDrug는 2단계 학습(training) 전략을 채택합니다. 첫째, 지도 미세조정(supervised fine-tuning)을 위한 고품질 전문가 수준의 추론 과정을 자동으로 생성하기 위해 멀티 에이전트(agent) 협업 메커니즘을 활용합니다. 둘째, DCE에 맞춤화된 다차원 보상(reward) 함수를 적용한 강화학습(reinforcement learning)을 통해 추론 품질과 추출 정확도를 더욱 향상시킵니다. DrugComb 데이터셋(dataset)에 대한 광범위한 실험은 RexDrug가 n-ary 추출에서 최첨단 베이스라인들을 일관되게 능가함을 보여줍니다. DDI13 코퍼스에 대한 추가 평가는 이진 약물-약물 상호작용 작업에 대한 일반화 가능성을 입증합니다. 인간 전문가 평가 및 자동 추론 지표는 RexDrug가 복잡한 치료 요법을 정확하게 식별하면서 일관된 의학적 추론을 생성함을 더욱 뒷받침합니다. 이러한 결과들은 비정형 텍스트로부터 복잡한 생체의학 관계를 추출하기 위한 확장 가능하고 신뢰할 수 있는 솔루션으로서 RexDrug의 입지를 확립합니다. 소스 코드와 데이터는 https://github.com/DUTIR-BioNLP/RexDrug 에서 이용할 수 있습니다.