병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
오디오-언어 모델(ALM)은 언어 모델에 인코딩된 지식과 음향 인지를 통합하여 청각 이벤트의 문맥적 이해를 가능하게 한다. 메모리와 연산이 제한된 기기에서 이러한 능력을 실용화하려는 목표가 200M 매개변수 미만의 소형 ALM에 대한 우리의 초점을 이끈다. 우리는 아키텍처, 데이터, 3단계 학습을 결합한 레시피를 제안하여 159.3M 매개변수 ALM인 Mizar를 구축한다. 그 아키텍처는 컴팩트한 CED-Small 오디오 인코더를 주파수 병합(frequency-merging) 매퍼를 통해 SmolLM2-135M에 연결한다. ReasonAQA, AudioMCQ, AVQA에서의 지도(supervision)를 바탕으로 모델은 3단계 학습을 거친다: 오디오-언어 정렬(1단계), 오디오 의존 미세조정(2단계), 학습된 능력을 유지하면서 약한 기술을 강화하는 것을 목표로 한 사후 학습(3단계). 5개의 무작위 시드에 걸쳐 Mizar는 MMAU에서 평균 정확도 52.92%, MMAR에서 42.42%, ADQA-clean에서 36.02%를 달성하여 세 벤치마크 모두에서 200M 매개변수 미만 ALM 중 이전 최고 성능을 능가한다. 또한 단일 CPU에서 로컬 추론을 지원한다. MMAU 벤치마크 질문에 대해 오디오 파일을 연 시점부터 완전한 답변을 생성할 때까지의 평균 지연 시간은 1.09초이다. 코드와 체크포인트는 https://github.com/KaiyangLi1992/Mizar_159M 에서 이용할 수 있다.
테스트 시점에 대규모 언어 모델(LLM)은 과거 정보를 활성화 메모리(activation memory, 즉 KV 캐시)와 파라미터 메모리(parametric memory, 즉 갱신된 파라미터)에 인코딩할 수 있다. 일반적으로 활성화 메모리는 사실 상기(factual recall)에, 파라미터 메모리는 새로운 태스크 학습에 효과적이라고 여겨지지만, 두 메모리 간의 상호작용은 아직 명확하지 않다. 본 연구에서는 통제된 실험을 통해 퓨샷 학습에서 메모리의 역할을 체계적으로 조사한다. 그 결과, 사실을 상기하는 데에는 활성화 메모리가 더 우수한 반면, 태스크 학습에서는 파라미터 메모리가 활성화 메모리보다 일관되게 더 나은 성능을 보이지는 않음을 확인했다. 또한 실험 결과, 복합 태스크인 조건부 산술(Conditional Arithmetic)을 해결하려면 두 메모리 유형의 시너지가 필요하다. 뉴런 수준 분석을 통해, 모델이 동일한 과거 정보에 활성화 메모리로 접근할 때와 파라미터 메모리로 접근할 때 서로 다른 뉴런 집합을 활성화함을 발견했다. 두 메모리 유형을 결합하면 모델은 두 집합의 뉴런을 모두 동원하며, 이는 조건부 산술을 해결하는 데 결정적이다. 이러한 발견은 이 복합 태스크에서 어느 한 메모리 메커니즘만으로는 충분하지 않음을 시사하며, 두 메모리의 협력이 중요함을 강조한다.
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.
폐루프(closed-loop) 수정은 대규모 언어 모델(LLM) 응용에서 점점 더 많이 쓰이지만, 실패는 불완전한 피드백 또는 올바른 피드백에 대한 비효과적인 대응에서 비롯될 수 있다. 우리는 정확한 길이, 어휘, 구성(compositional) 제약에 걸친 모든 남은 위반을 보고하는 결정론적 검증기(deterministic verifiers)를 갖춘 고정 예산 수정 프로토콜을 제안한다. 피드백의 정확성과 완전성을 고정함으로써 모델 측 수정 동작을 분리한다. 19개의 오픈·폐쇄형 소스 모델 전반에서, 컨트롤러 수준의 최종 결합 성공률 평균은 17.4%에서 99.8%까지 분포하며, 동일한 초안에서도 상당한 모델 간 격차가 지속된다. 통제 실험은 정확한(exact) 피드백에 대한 재현 가능한 모델별 반응을 보여준다. 사후 학습과 스케일(scale)은 이러한 반응을 재형성하지만, 정확한 수정에 더 가깝게 일관되게 끌어오지는 못한다. 모든 제약 계열에서 실패 궤적은 종종 이전 출력을 반복하며, 선행 반복은 이후 회복 가능성 저하와 연관된다. 매칭 상태(matched-state) 개입은 현재 초안과 피드백을 고정한 채 이전 대화를 제거하면 반복 탈출은 변하지만 최종 성공을 믿을 만하게 개선하지는 않음을 보여준다; 효과는 모델, 과제, 트리거 상태 구성에 따라 달라진다. 정확한 피드백은 수정 오류를 관찰 가능하게 하지만, 폐루프를 신뢰할 수 있게 만들지는 않는다. 코드 및 재현 방법: https://github.com/kevinjiang0121-cyber/exact-feedback-code.
본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.
백테스트 감사는 캘리브레이션(calibration) 문제입니다. 모델이 매칭된 정상(clean) 전략까지 거짓으로 결함이 있다고 표시(flag)한다면 결함 재현율(recall)이 높아도 유용하지 않습니다. 본 연구에서는 전략, 기간, 코드 스타일, 라벨, 보고 스캐폴드를 고정한 채 방법론 세부사항 단 하나만을 변경하여 결함이 있는 모든 백테스트마다 정상 대조군(clean control)을 둔 96개 항목의 쌍체(paired) 벤치마크를 구축합니다. 결정론적 평가기(deterministic scorer)는 결함 재현율, 정상 대조군 위양성(false positive), 증거 위치 파악(localization), 수정 적합성을 분리하여 측정합니다. 네 가지 텍스트 엔드포인트에서 캐시된 1,440개의 감사를 평가한 결과, 기본 DeepSeek 감사 모델은 100.0%의 폐쇄형 및 정상 인식(clean-aware) 코드 재현율을 달성했으나, 개방형 프롬프트에서는 정상 코드 대조군의 93.8%를 과도하게 결함으로 표시했으며, 재현율이 포화된 영역에서도 정상 인식 전체(all-three) 특이도(specificity)는 87.5%에 머물렀습니다. 정상 인식 경고를 제공하면 동일한 재현율을 유지하면서 DeepSeek의 코드 위양성률이 20.8%(95% CI 11.7--34.3)에서 0.0%(0.0--7.4)로 떨어지는 반면, 예산 앵커(budget anchor) 모델은 동일한 프롬프트 하에서도 여전히 48개 중 38개의 정상 대조군에 결함 표시를 남겼습니다. 재현율만을 보고할 경우 이 네 모델 중 세 모델의 순위가 동일하게 매겨지지만, 정상 대조군 비율을 함께 보고하면 이들 간의 격차는 79포인트까지 벌어집니다.
학회 정책은 자신의 리뷰를 대규모 언어 모델(LLM)로 다듬는 것과 비평을 위임하는 것을 구분하지만, 현재 인공 텍스트 탐지(ATD) 방법은 대체로 표면 형식을 측정할 뿐 그 내용의 출처는 거의 반영하지 않는다. 우리는 대신 리뷰가 담고 있는 외부 정보, 즉 리뷰 대상 논문과 일반적인 리뷰 지침만으로는 설명되지 않는 정보를 측정한다. Self-Conditioning을 제안한다. 이는 비지도 정보 이론적 추정기로, 생성 맥락 하에서의 리뷰 가능도와, 그 맥락에 리뷰 자체에서 추출한 힌트를 보강했을 때의 가능도를 비교한다. IntelLabs 피어 리뷰 벤치마크에서 Self-Conditioning은 표면적 재작성에는 대체로 둔감하면서도 완전 위임 리뷰와 기계로 다듬은 리뷰를 AUC 최대 $1.0$까지 구분한다. 또한 생성기가 외부에서 제공된 정보를 점점 더 많이 받을수록, 표준 ATD 기준선과 달리 그들의 점수는 단조적으로 인간 영역 쪽으로 이동한다. 고온(high-temperature) 샘플링은 추정기를 회피할 수 있지만, 출력 품질을 희생하는 대가를 치른다.
우리는 최신 대규모 언어 모델(LLM)이 피드백 초점(feedback focus)과 적응성(adaptivity) 측면에서 전문 교사의 교육적 실천을 반영하는 피드백을 생성하는지 조사한다. 기존 평가 연구들은 피드백의 특성, 학습에 미치는 영향, 그리고 피드백의 대상을 살펴보았지만, 피드백의 초점과 그 적응성은 대체로 간과되어 왔다. 이러한 격차를 메우기 위해 우리는 Narciss의 분류 체계를 채택하고 다듬어 일곱 가지 피드백 초점 유형으로 정리하고, 이를 사용해 세 개의 대학 글쓰기 강좌에서 교사와 LLM이 생성한 피드백에 주석을 달았다. 우리는 세 가지 프롬프트 전략 하에서 여섯 개의 LLM이 생성한 피드백과 교사 피드백에 주석을 단 벤치마크인 FeedType을 공개한다. 우리는 피드백 초점 유형의 포괄 범위와 분포를 평가하고, LLM이 전문 교수자처럼 초안 단계와 학생 성취 수준에 따라 피드백을 조정하는지 검토한다. 연구 결과, 대부분의 LLM이 대부분의 피드백 초점 유형을 다루기는 하지만, 교사 피드백의 분포를 반영하지 못하며 적응성 수준도 제각각이고, 교사의 적응적 행동에 필적하는 모델은 없는 것으로 나타났다. 우리는 FeedType이 LLM 피드백 생성에서의 교육적 정렬(pedagogical alignment)에 관한 향후 연구를 뒷받침할 것이라 믿는다.
튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.
효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.
KV-cache 축출(eviction)은 일반적으로 평균적인 품질-메모리 트레이드오프를 통해 평가되지만, 평균 손실이 작더라도 유틸리티가 크게 저하되는 요청이 가려질 수 있습니다. 본 연구는 축출을 배포 환경의 위험 제어(risk-control) 문제로 재정의합니다. 즉, 동일한 요청에 대해 전체 KV(full-KV) 추론 대비 축출로 인해 작업 유틸리티가 배포 환경에서 지정한 허용 오차보다 더 크게 낮아지면 실질적인 성능 저하가 발생한 것으로 보고, 배포 위험을 이러한 사건이 발생하는 모집단 내 빈도로 정의합니다. 목표 위험 수준과 신뢰도 요건을 명시한 신뢰성 계약(reliability contract)이 주어지면, 압축기에 구애받지 않는(compressor-agnostic) 사후(post-hoc) 인증 절차를 사용하여 보정(calibration) 데이터로부터 유한 표본 보장(finite-sample guarantee)을 갖는 보존 정책(retention policy)을 선택하며, 인증된 압축 정책이 없을 경우 full KV로 폴백(fallback)합니다. 여러 축출 방법, Llama 및 Mistral 모델, 그리고 LongBench와 RULER-32K 전반에 걸쳐, 동일한 계약이 상당히 다른 수준의 축출을 지원합니다. Llama에서는 LongBench의 75% 보존률에서 SnapKV를 인증하지만, RULER-32K에서는 테스트한 어떤 압축 정책도 인증하지 못해 full-KV 폴백이 발동됩니다. 경험적 저하율이 5% 목표 미만인 정책이라도 유한 표본 인증에는 실패할 수 있으며, Llama LongBench에서 경험적 임계값 설정(empirical thresholding)은 고정 예산 방법 전반에서 캐시를 5~10%p 적게 보존하는 미인증 정책을 선택합니다. 제안하는 프레임워크는 배포 수준의 신뢰성 요건을 KV 메모리 운영점(operating point)으로 변환합니다.
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.
언어 모델은 관련 없는 앞선 텍스트에 과도하게 조건화될 수 있다. 로컬 컨텍스트만으로 이미 뒷받침되는 예측조차, 멀리 떨어진 무관한 접두 문맥(prefix) 토큰이 교란되면 달라질 수 있다. 이러한 간섭은 유용한 근거와 무관한 구간이 공존하는 길거나, 패킹되었거나, 방해 요소가 많은 컨텍스트에서 특히 심각한 결과를 낳는다. 우리는 선택적 간섭 방지를 위한 사전학습 목적 함수인 Selective Prefix Anti-Interference Regularization(SPAR)을 제안한다. SPAR는 원본 시퀀스와, 먼 접두 문맥만 변경한 손상된 접두 문맥(corrupt-prefix) 입력을 함께 실행한 뒤, 짧은 컨텍스트 충분성 게이트(short-context sufficiency gate)와 게이트 적용 KL 목적 함수(gated KL objective)를 사용하여 로컬 컨텍스트로 뒷받침되는 후행 구간(suffix) 예측을 안정화한다. 이 게이트는 먼 접두 문맥이 대상 토큰에 대해 추가 정보를 제공하는지에 대한 모델 기반 추정을 구현한 것이다. 메커니즘 분석 결과, 게이트는 로컬 컨텍스트만으로 충분한 토큰을 식별하며, 게이트가 선택한 후행 구간 토큰에서 접두 문맥 민감도를 크게 감소시킨다. 사전학습된 베이스 모델에 대한 지속 학습(continued training)에서, SPAR는 동일한 집계 학습 연산량 조건 하에 Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, GPT2-XL 전반에서 RULER 성능을 향상시켰으며, 사전학습 실험에서는 RULER와 NoLiMa 모두에서 성능 향상을 추가로 확인했다. 이러한 결과는 선택적 간섭 방지가 견고한 컨텍스트 활용을 위한 효과적인 목적 함수 수준의 신호임을 보여준다.
대규모 언어 모델(LLM)은 주 에이전트가 작업을 분해하고 외부 도구를 호출할 수 있는 하위 에이전트들에게 이를 위임하는 다중 에이전트 시스템에 점점 더 많이 배포되고 있습니다. 그러나 안전성 정렬(safety alignment)은 여전히 안전성을 개별 LLM의 속성으로 취급하며 거의 전적으로 단일 에이전트 위협 모델 하에서만 평가됩니다. 본 연구에서는 이러한 가정이 무너짐을 보여줍니다: 개별 안전성 정렬은 다중 에이전트 환경으로 전이되지 못합니다. 위임 과정에서 주 에이전트 측의 책임 분산(responsibility diffusion)과 하위 에이전트 측의 역할 바이어스 순응(role-bias compliance)이라는 두 가지 실패 메커니즘이 나타나며, 이들이 결합하여 언어 수준의 거부를 실행 가능한 위해(harm)로 전환합니다. 우리는 이 현상을 위임된 정렬 실패(delegated misalignment)라 명명하고, 49개의 위험 작업에 대해 6개의 프론티어 LLM을 대상으로 한 3가지 조건의 프로토콜을 통해 이를 연구합니다. 위임은 엔드투엔드 위해를 대폭 증폭시킵니다. DeepSeek-V3.2의 전체 실행률은 위임이 도입되자마자 30.6%에서 77.6%로 증가하며, 동일한 모델도 역할에 따라 매우 다르게 행동합니다(GPT-5: 단일 에이전트로서 22.5% vs. 하위 에이전트로서 61.2%). 소거 연구(ablation)를 통해 표준 단일 층 방어가 각각 단독으로는 실패하며 심지어 역효과를 낼 수 있음도 추가로 확인했습니다. 우리는 다중 에이전트 LLM 시스템이 대규모로 배포되기 전에 커뮤니티가 모델별 정렬을 넘어 복합 안전 메커니즘으로 나아갈 것을 촉구합니다.
생성 AI는 인지·사회·정서 발달의 중요한 시기에 청소년의 일상에 빠르게 들어오고 있다. 그러나 채택 속도는 청소년 스스로가 AI의 확대되는 역할을 어떻게 경험·이해·협상하는지에 대한 근거를 앞서고 있다. 우리는 검증된 키워드 기반 검색과 human-in-the-loop, LLM 보조 주제 분석을 사용하여 2023년 1월부터 2026년 7월까지 r/teenagers에서 AI 관련 담화를 조사했다. AI 관련 논의는 시간이 지남에 따라 크게 증가했으며, 분석적으로 코딩된 11,083개 게시물은 상호 연결된 8개의 경험 영역을 드러냈다. 일상 및 사회적 사용이 가장 많았으며(36.8%), 담화는 점차 진정성, 개인적 통제와 안전성, 그리고 미래 인간의 역할 쪽으로 이동했다. 영역 전반에 걸쳐 청소년들은 AI가 인간의 사고와 창의성을 언제 지원하고 대체해야 하는지, 대화형 AI가 관계와 주체성(agent) 인식을 어떻게 바꾸는지, 무엇이 여전히 진정성 있는 것으로 볼 수 있는지, 누가 개인 정보와 표현을 통제하는지, 어떤 기회와 역할이 인간에게 남아야 하는지를 질문했다. 이 발견은 청소년의 AI 사용을 단순한 기술 채택이 아니라, 일상 속 AI의 위치와 경계에 대한 새로운 협상으로 위치시킨다. 이 전환을 지원하려면 발달 단계에 맞는 AI 리터러시, 심리·사회적 지원, 청소년의 주체성·프라이버시·관계·인간 발달 기회를 보호하는 AI 시스템과 정책이 필요할 것이다.
일반적인 멀티 에이전트(multi-agent) 설계는 에이전트에게 신뢰도(confidence)를 보고하게 하고 가장 높은 점수를 받은 에이전트가 다음에 발언하도록 하는데, 이는 하나의 스칼라 값을 대화 라우팅과 불확실성 추정 모두에 암묵적으로 사용하는 방식이다. 우리는 이러한 신뢰도 기반 라우팅 브로드캐스트 프로토콜을 세 가지 트레이스 수준의 질문으로 나누어 감사한다. 즉, 올바른 후보를 선택하는지(라우팅), 보고된 신뢰도가 확률처럼 동작하는지(보정, calibration), 그리고 선택된 에이전트가 해당 턴에서 채택된 답을 공개적으로 진술하는지(커밋먼트)이다. 주요 연구는 gpt-oss-120b의 올림피아드 수학 트레이스 4,181개를 대상으로 하며, gemma-4-31B-it와 생물학 객관식 벤치마크를 추가한 2×2 액터-벤치마크 그리드에서 동일한 감사를 반복한다. 주요 셀에서 신뢰도는 정답 후보와 오답 후보를 구별하지만(AUROC 0.72) 심하게 과신하는 경향이 있다(평균 진술 신뢰도 79% 대비 정확도 52%). 교차 적합(cross-fitted)되고 티어별로 층화된 아이소토닉(isotonic) 절차는 보류된 후보에서 기대 보정 오차(Expected Calibration Error)를 0.278에서 0.008로 낮추지만, 부족한 변별력을 회복시키지는 못한다. 두 Gemma 셀에서 원본 AUROC는 각각 0.537과 0.440에 불과하다. 라우팅 역시 설정에 따라 달라진다. gpt-oss/수학에서는 고정 라우터 간 차이가 최대 1.1퍼센트포인트에 불과한 반면, Gemma 셀에서는 원본 신뢰도 argmax가 유효 후보 무작위 선택보다 각각 5.6, 11.2포인트 낮은 성능을 보인다. 커밋먼트는 또 다른 양상을 보인다. 주요 셀에서 투표(poll) 답과 발화된 답은 유효 쌍의 20.4%에서 달라지며, 이러한 수정 중 62.4%는 새로 생성된 것이고, 무조건부 정답률 변화는 -1.7포인트이다. 반면 나머지 세 셀은 +0.9에서 +12.2포인트 범위를 보인다. 이로부터 얻을 수 있는 일반화 가능한 교훈은 절차적이다. 배포 의사결정에 원본 신뢰도를 사용하기 전에 라우팅 변별력, 확률 보정, 공개적 커밋먼트를 각각 별도로 측정해야 한다.
온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.
대규모 언어 모델(LLM)이 대화형 어시스턴트에서 고급 에이전트(agent) 시스템으로 발전함에 따라, 가드레일(guardrail)의 실패는 적대적 의도를 유해한 실행으로 이어지게 할 수 있다. 그러나 대부분의 가드레일 평가 프레임워크는 결과에만 초점을 맞추어 사용자 요청이 안전한지 안전하지 않은지만을 평가한다. 이러한 접근은 적대적 의도가 여러 턴에 걸쳐 분산되어 있는 다중 턴 실패에는 충분하지 않다. 이에 우리는 탐지를 넘어, 대화를 안전하지 않은 궤적으로 이끄는 턴과 토큰(token)을 식별하고자 한다. 이를 뒷받침하기 위해 행동 검증(validation)과 계층적 증거 지도(tiered evidence supervision)를 갖춘 다중 턴 데이터셋을 구축한다. 이 데이터셋은 적대적 대화, 정상 쌍둥이(benign twin), 고위험 어휘를 포함한 정상 변형을 아우르는 1,762개의 대화로 구성된다. 우리는 안전 위반을 예측하고 이를 기여한 사용자 턴과 토큰 구간(span)에 귀속시키는 경량 계층적 귀속 모델을 학습한다. 이 모델은 강력한 탐지 성능(F1=0.988)을 달성하며, 귀속된 토큰 중 상위 15%를 제거하면 적대적 분류(classification) 신뢰도가 51.1% 감소한다. 또한 이 모델은 고위험 어휘를 포함한 정상 대화에서도 낮은 오탐률을 유지하여, 경계선상의 정상 대화와 정상 고위험 어휘 대화 모두에서 오탐률이 1% 미만인 반면, 키워드 기반 표면 위험 기준선(baseline)은 각각 37.3%와 94.7%를 기록했다. 독립적인 사람 주석은 이 모델의 귀속 성능을 뒷받침하며, 상위 5개 귀속 턴에 사람이 식별한 증거 포함 턴이 포함된 비율은 적대적 사례의 84.5%였다.
대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.