제공자·애플리케이션별 모델 명세서를 정렬의 핵심 대상으로 하는 SpecAlign은 구조화된 규칙 주석, 제어 가능한 명세서 인스턴스화, 다중 에이전트 적대적 데이터 합성으로 준수·위반을 포착한 선호 쌍을 생성한다. 여러 명세서와 백본 모델 실험에서 규칙 준수가 일관되게 향상되고 일반 능력은 유지되며 과도하게 보수적인 행동을 피할 수 있었다.
루브릭 기반 점수 평가는 모델 평가에서 널리 사용되는 패러다임으로 자리잡았으며, 일반적으로 루브릭 점수 산정에 LLM-as-a-judge(LaaJ)를 활용한다. 그러나 루브릭 점수 산정에서 LaaJ의 신뢰성은 아직 충분히 연구되지 않았다. 이 문제는 특히 에이전틱(agentic) 시나리오에서 두드러지는데, 길고 복잡한 출력이 신뢰성 있는 점수 산정을 더욱 어렵게 만들기 때문이다. 이를 해결하기 위해, 우리는 루브릭 검증에서 LaaJ 신뢰성에 대한 체계적인 메타 평가를 수행한다. 우리는 에이전틱 시나리오에서 루브릭 검증에 관한 LaaJ 신뢰성을 평가하는 최초의 벤치마크인 RuVerBench를 소개한다. RuVerBench는 심층 리서치(deep research)와 에이전틱 코딩(agentic coding)이라는 두 가지 주요 에이전틱 도메인을 포함하며, 모델이 생성한 출력물, 루브릭, 그리고 해당 출력물이 루브릭을 충족하는지를 나타내는 사람이 주석을 단 레이블로 구성된 2,458개의 인스턴스를 담고 있다. RuVerBench를 활용하여 다수의 최신 대규모 언어 모델(LLM)을 평가한 결과, 가장 발전된 모델들도 높은 성능을 달성하지만 여전히 상당한 노이즈를 보임을 확인하였다. 또한 프롬프트 설계, 일괄 처리(batching), 다수결 투표(majority voting)를 포함한 주요 LaaJ 전략이 루브릭 검증에 미치는 영향을 분석한다. 분석 결과, 성능이 낮은 모델일수록 프롬프트 변형에 더 민감하고, 일괄 검증은 정확도와 효율성 사이의 상충 관계를 보이며, 다수결 투표는 효과적이지만 수익 체감(diminishing returns) 현상을 나타냄을 발견하였다. 향후 연구를 촉진하기 위해 데이터셋과 코드를 공개하였다: https://github.com/THU-KEG/RuVerBench.
에이전트 AI 시스템이 더욱 복잡한 수학적 과제를 처리함에 따라, 문제 데이터베이스, 정리 라이브러리, 교육 자료를 탐색하기 위한 정보 검색(IR)에 점점 더 의존하고 있다. 그러나 적절한 검색기를 선택하는 것은 쉽지 않으며, 하위 성능에 대한 검색기의 영향을 직접적으로 분리하는 것은 현실적으로 불가능하다. 반면, 기존의 검색 특화 벤치마크는 세밀한 수학적 관련성을 포착하지 못하는 경우가 많아 관련 문서에 불이익을 주기도 한다. 본 연구에서는 이러한 한계를 해결하기 위해 전문가 어노테이션 없이 수학적 IR을 평가하는 최초의 완전 자동화 벤치마크인 SABER-Math를 소개한다. SABER-Math는 풀이가 포함된 283K개의 고등학교 수준 수학 문제를 기반으로, 세 단계를 거쳐 도전적인 재순위(reranking) 태스크를 구성한다: (i) 먼저 대규모 언어 모델(LLM)이 각 문제에 대한 간결한 풀이 요약 및 수학적 주제를 추출하고, (ii) 온톨로지 주제 기반 유사도와 어휘 기반 풀이 요약 유사도를 활용하여 쿼리별 관련 문서를 발굴하며, (iii) 마지막으로 스위스식 LLM 선호도 토너먼트를 통해 문서에 대한 세밀한 관련성 등급을 산출한다. 본 연구에서는 어휘 기반 검색기, 수학 특화 검색 시스템, 그리고 최신 임베딩 모델을 평가한다. 현대적인 임베딩 모델이 고전적 방법 및 수학 특화 기준선을 크게 상회하는 반면, 가장 강력한 시스템조차 대수(Algebra)와 미적분(Calculus)과 같이 기호가 많은 영역에서는 어려움을 겪는 것으로 나타났다. 특히, MTEB와 같은 범용 IR 벤치마크는 수학적 성능, 특히 최신 임베딩 모델의 성능을 신뢰할 수 있게 예측하지 못함을 보이며, 이는 수학 특화 검색 벤치마크의 필요성을 강조한다.
이 논문은 멀티모달 대규모 언어 모델(MLLM)의 영역 이해(region understanding)와 지역화(localization)를 공동으로 최적화하는 통합 강화학습 프레임워크인 Cycle Group Relative Policy Optimization(CycleGRPO), 즉 '액터를 자체 비평가로(Actor as Its Own Critic)'를 소개한다. 기존의 분리된 파이프라인과 달리, 본 연구는 두 태스크 간의 내재적 이중성을 활용하여 "영역 → 텍스트 → 영역'"이라는 자기 평가 강화학습 패러다임을 구성한다. 구체적으로, 단일 MLLM이 먼저 액터로서 영역 캡션을 생성한 후, 즉시 비평가로 전환하여 생성된 텍스트를 공간 도메인으로 다시 그라운딩한다. 따라서 CycleGRPO는 마스크나 바운딩 박스와 같은 영역 입력만을 필요로 하며, 텍스트 정답 레이블이 전혀 필요하지 않다. 품질 인식 토큰 수준의 주기 일관성 보상(cycle-consistency reward)을 통해 물리적 지역화 정확도를 기반으로 텍스트 캡션의 의미적 변별력을 평가한다. 실험적으로, SAMTok을 기반으로 구축된 CycleGRPO 프레임워크는 두 가지 능력을 동시에 성공적으로 부트스트랩한다. 태스크별 미세조정 없이도, 영역 캡셔닝(region captioning), 영역 VQA(region VQA), 그라운디드 대화(grounded dialogue), 참조 분할(referring segmentation)을 포함한 광범위한 벤치마크에서 일관된 성능 향상을 달성한다. 전반적으로, CycleGRPO는 MLLM의 픽셀 수준 능력을 향상시키는 간단하고 확장 가능한 방법을 제공한다. 코드와 모델은 https://github.com/devinxzhang/CycleGRPO에서 공개되어 있다.
LLM 에이전트가 시스템의 '두뇌' 역할을 할 수 있다는 능력은 분석 범위를 단독 모델을 넘어 근본적으로 확장한다. 따라서 안전성은 더 이상 입력-출력 콘텐츠 정렬만의 문제가 아니다. 시스템 행동과 실세계 실행 결과도 다룬다. 그러나 현재 문헌은 공격 유형, 응용, 벤치마크에 걸쳐 파편화되어 있다. 이로 인해 프롬프트 인젝션, 도구 오용, 메모리 포이즈닝과 같은 실패가 왜 종종 동일한 구조적 원인을 공유하는지, 그리고 이것이 에이전트 워크플로를 통해 어떻게 확산되는지 설명하기 어렵다. 본 서베이에서는 LLM-에이전트 시스템 안전에 대해 격리를 1급 원칙으로 취급한다. 여기서 격리란 사용자 입력, 도구 접근, 실행 채널, 에이전트 간 통신, 환경 기원 컨텍스트의 분리를 가리킨다. 우리는 다섯 가지 경계—사용자-에이전트, 에이전트-도구, 에이전트-실행, 에이전트-에이전트, 시스템-환경—에 대한 경계 중심 분류 체계로 문헌을 정리한다. 이 관점은 격리 손실이 처음 발생하는 지점, 침해가 경계를 가로질러 어떻게 전파되는지, 각 인터페이스에서 어떤 방어가 가장 관련 있는지 파악하는 데 도움이 된다. 또한 경계 간 실패 경로를 요약하고, 미해결 과제를 논의하며, 향후 에이전트 시스템에서 구축 시 격리(isolation-by-construction)를 위한 연구 의제를 제시한다.
대규모 언어 모델(LLM)은 유창하지만 틀릴 수 있는 출력을 생성합니다. 허위 정보를 제공할 때 종종 단서를 나타내는 인간과 달리, LLM은 자기회귀적 디코딩이 상태 진행 이전에 중간 추론을 검증하는 메커니즘을 제공하지 않기 때문에 탐지하기 어려운 오류를 생성합니다. 우리는 헤비사이드 게이트(Heaviside Gate)에 의해 제어되는 술어 게이팅 상태 전이로 추론을 재정의하는 검증 우선 실행 프레임워크인 롤링 계수의 헤비사이드 연속성(HCRC, Heaviside Continuity of Rolling Coefficients)을 소개합니다. HCRC는 모델 신뢰도와 병렬 워커 아키텍처의 독립적인 검증 신호를 결합하여, 사전 정의된 정확성 술어가 충족될 때만 실행이 진행될 수 있도록 합니다. 이를 통해 유효하지 않은 중간 상태의 전파를 방지하고, 기반 모델을 수정하지 않고도 인식론적 엔트로피를 줄입니다. 우리는 네 개 공급업체의 열세 개 제안자(proposer)를 대상으로 소프트웨어 엔지니어링 및 추론 작업에서 HCRC를 평가합니다. 성능이 우수한 제안자의 경우, 게이트는 거짓 완료율(FCR)을 4--7%에서 0%로 줄이면서 지연 시간 측면에서도 경쟁력을 유지하며, 일부 설정에서는 래핑되지 않은 모델보다 빠릅니다. 성능이 약한 제안자의 경우, 거짓 완료를 다운스트림 상태를 손상시키는 대신 정직한 중단으로 전환합니다. 벤치마킹을 넘어, HCRC는 에이전트 코딩 환경의 프로덕션 제어 플레인으로 수개월간 운영되며, 파일 변경 승인, 검증 기반 진행 보고, 메모리 압축을 수행하고 있습니다. 이러한 결과는 HCRC를 검증 기반 LLM 실행을 위한 범용 프레임워크로 확립하며, 신뢰할 수 있는 추론이 모델 스케일만이 아닌 원칙적인 실행 제어를 통해 달성될 수 있음을 보여줍니다.
Mechanistic interpretability has made substantial progress in automatically localizing circuits, but explaining what localized components do remains labor-intensive and difficult to standardize. In this work, we study whether language model (LM) agents can assist with this explanation problem once a circuit has already been identified. We introduce AgenticInterpBench, a benchmark for circuit explanation built from 84 semi-synthetic transformer circuits with 163 component-level annotations. We propose HyVE (Hypothesize, Validate, Explain), an agentic explainer that analyzes each component through an iterative loop of observation, hypothesis generation, and causal validation, eventually producing a component-level explanation and a circuit-level task description. Across four LM backbones, HyVE recovers useful component- and task-level explanations, but no backbone is uniformly best. Our analysis shows that strong backbones usually form observation-grounded hypotheses, while failures more often arise later in the validation loop, through incomplete validation plans, code execution errors, or unresolved hypotheses. A case study on an arithmetic circuit in Llama-3-8B shows that the same formulation can extend beyond semi-synthetic benchmarks to naturally trained models. Overall, LM agents are promising circuit explainers, but reliable validation remains the key obstacle.
대규모 언어 모델(LLM) 기반 쇼핑 에이전트가 프로덕션 환경에 진입함에 따라, 기존 벤치마크들은 쇼핑객의 요구사항이 전달되는 방식—쿼리에 암묵적으로 명시되거나, 프로필에 기록되거나, 적절한 질문을 받을 때만 드러나는 방식—을 포착하지 못하고 있다. 전체 의도를 처음부터 노출하고 최종 선택만을 평가하는 벤치마크는 이러한 장기(long-horizon) 과제를 제기하지도, 에이전트가 어떤 요구사항을 놓쳤는지 설명하지도 못한다. 이 간극을 해소하기 위해 우리는 실제 Amazon 상품 및 리뷰에 기반한 662개 작업으로 구성된 벤치마크인 EComAgentBench를 소개한다. 각 작업은 요구사항을 가시적인 쿼리, 도구 접근이 필요한 프로필, 그리고 스크립트된 명확화 과정에 분산시키며, 에이전트는 숨겨진 의도를 발견하고, 속성 및 리뷰 근거를 바탕으로 후보 상품을 검증하며, 100회의 도구 호출 내에 단일 상품을 확정해야 한다. 또한 유형화되고 출처가 태그된 루브릭(rubric)이 모든 작업을 평가하여, 각 실패를 해당 요구사항과 그 출처에 귀속시킨다. 구성 과정은 자동화되어 있으면서도 신뢰할 수 있으며, 모든 정답은 텍스트 생성 이전에 코드로 고정되고 모든 샘플은 검증된다. 7개 모델에 대한 평가 결과, 가장 강력한 모델도 전체 정확도 57.1%에 그치며, 루브릭 만족도는 가시적 출처에서 숨겨진 출처로 갈수록 저하됨을 확인하였다. 전반적으로, 우리는 EComAgentBench가 쇼핑 에이전트를 단일 쿼리 검색에서 장기적으로 신뢰할 수 있는 보조로 발전시키기 위한 재현 가능한 기반으로 기능할 것이라 믿는다.
대규모 언어 모델(LLM)의 추론 품질을 최종 답변 정확도 하나로만 평가하는 한계를 극복하고자, 인지과학에 기반한 정확성(CQ), 일관성(CS), 강건성(RS), 국소 논리적 일관성(LS), 효율성(ES), 안정성(SS) 등 6가지 차원의 통합 행동 평가 프레임워크를 제안한다. 7개 LLM과 4개 벤치마크 실험에서 단일 지표 평가로는 드러나지 않는 배포 맥락별 모델 순위 역전 현상과 차원 간 독립성을 실증적으로 확인하였다.
AI copilots represent a new generation of AI-powered systems designed to assist users, particularly knowledge workers and developers, in complex, context-rich tasks. As these systems become more embedded in daily workflows, personalization has emerged as a critical factor for improving usability, effectiveness, and user satisfaction. Central to this personalization is preference optimization: the system's ability to detect, interpret, and align with individual user preferences. While prior work in intelligent assistants and optimization algorithms is extensive, their intersection within AI copilots remains underexplored. This survey addresses that gap by examining how user preferences are operationalized in AI copilots. We investigate how preference signals are sourced, modeled across different interaction stages, and refined through feedback loops. Building on a comprehensive literature review, we define the concept of an AI copilot and introduce a taxonomy of preference optimization techniques across pre-, mid-, and post-interaction phases. Each technique is evaluated in terms of advantages, limitations, and design implications. By consolidating fragmented efforts across AI personalization, human-AI interaction, and language model adaptation, this work offers both a unified conceptual foundation and a practical design perspective for building user-aligned, persona-aware AI copilots that support end-to-end adaptability and deployment.
상황판단검사(SJT)를 통한 성격 평가는 기존의 리커트 척도 기반 자기보고식 검사에 비해 고유한 이점을 제공하지만, 문항 개발에 많은 노동력과 시간이 소요되며 해당 분야 전문가에 대한 의존도가 매우 높다는 한계가 있습니다. 최근 대규모 언어 모델(LLM)의 발전은 자동 문항 생성(AIG) 분야에서 유망한 가능성을 보여주었습니다. 이러한 발전에 기반하여, 본 연구는 GPT-4와 ChatGPT-5를 실증적 사례로 활용하여 성격 SJT를 자동으로 생성하기 위한 구조화되고 일반화 가능한 프레임워크를 개발하고 평가하는 데 초점을 맞춥니다. 총 세 가지 연구가 수행되었습니다. 연구 1에서는 성격 SJT를 위한 효과적이고 안정적인 LLM 기반 AIG 접근법을 개발하고자 프롬프트 설계와 온도(temperature) 설정이 LLM 생성 문항의 내용 타당도에 미치는 영향을 체계적으로 비교했습니다. 그 결과, 최적화된 프롬프트와 1.0의 온도 설정이 GPT-4에서 창의성과 정확도 간의 최적의 균형을 달성함을 확인했습니다. 연구 2에서는 여러 차례의 반복을 통해 이러한 자동 SJT 생성 접근법의 교차 모델 일반화 가능성과 재현성을 검증했습니다. 그 결과, 해당 접근법이 ChatGPT-5에서도 재현 가능하고 고품질인 문항을 일관되게 생성함을 보여주었습니다. 연구 3에서는 5대 성격 특성(Big Five)의 5개 하위 요인을 다루는 LLM 생성 SJT의 심리측정적 특성을 평가했습니다. 평가 결과 대부분의 요인에서 만족스러운 신뢰도와 타당도를 보였으나, 순응성(compliance) 요인의 수렴 타당도와 기준 관련 타당도의 특정 측면에서는 한계가 관찰되었습니다. 이러한 연구 결과는 제안된 LLM 기반 AIG 접근법이 전통적인 방식과 대등하거나 이를 능가하는 효율성으로 문화적으로 적절하고 심리측정학적으로 타당한 SJT를 생성할 수 있음을 보여주는 강력한 증거를 제공합니다.
심초음파는 가장 널리 사용되는 비침습적 심장 영상 검사 방식으로, 심혈관 질환 진단에 필수적인 정보를 제공한다. 심초음파 영상을 해석하려면 여러 심장 뷰에 걸친 상호 보완적인 근거를 종합하여 이상 소견을 식별하고 구조화된 임상 보고서를 작성해야 한다. 최근 연구는 분류 성능 향상에 초점을 맞추고 있지만, 대부분의 모델은 명시적인 진단 추론과 공간적으로 그라운딩된 해부학적 근거가 부족하여 임상의의 신뢰를 제한한다. 우리는 심초음파 검사로부터 다중 라벨 질병 분류와 보고서 생성을 공동으로 수행하는 다중 뷰 추론형 비전-언어 모델 EchoSonar-R을 제안한다. EchoSonar-R은 시공간 비디오 인코더와 구조 인식 심장 검출기를 결합하여, 교차 뷰 추론 과정에서 해석 가능성과 임상의 신뢰를 높이기 위해 공간적으로 그라운딩된 해부학적 단서를 제공한다. EchoSonar-R은 두 단계로 학습된다: 추론 주석이 달린 목표에 대한 지도 미세조정(SFT)에 이어, 분류와 보고서 생성을 통합 강화학습(RL) 프레임워크 내에서 공동으로 정렬하는 과제별 보상을 사용한 Group Relative Policy Optimization(GRPO)이 수행된다. 사설 다중 뷰 데이터셋과 두 공개 벤치마크에서 EchoSonar-R은 가장 강력한 기준선 대비 사설 데이터셋에서 매크로 균형 정확도를 17.1%, MIMICEchoQA에서 6.1% 향상시키고, GREEN 임상 충실도 점수 0.800을 달성하며, 다중 뷰 시각적 근거에 그라운딩된 해석 가능한 추론 추적을 생성한다.
대규모 비전-언어 모델(LVLM)은 이미지 및 영상 이해 작업 전반에서 인상적인 성능을 보이지만, 계산 비용은 시각 토큰 수에 따라 급격히 증가한다. 기존 토큰 가지치기 방법은 경험적 접근을 통해 이 문제를 완화하지만, 어텐션의 내부 메커니즘은 간과한다. 본 논문에서는 어텐션의 이중 형태(dual form) 관점에 기반한 새로운 학습 없는(training-free) 토큰 가지치기 프레임워크를 제안한다. 우리는 어텐션을 암시적 선형 계층으로 재공식화하는데, 이 계층의 가중치 행렬은 각각 단일 토큰의 key-value 쌍에 의해 생성되는 rank-1 외적의 합이다. 따라서 토큰 가지치기는 원래의 이중 가중치 행렬을 가장 잘 근사하는 이러한 rank-1 갱신의 최적 부분집합을 선택하는 문제로 환원된다. 이 관점을 LVLM의 표준 소프트맥스 어텐션으로 확장하여, 토큰의 정보량과 정보 중복을 모두 정량화하는 새로운 지표를 유도한다. 제안한 지표로 부분집합을 효율적으로 선택하기 위해 Progressive Chunked Maximal Marginal Relevance를 도입한다. 광범위한 실험 결과, 본 방법은 성능과 효율성 사이에서 더 나은 절충을 달성하며, 기존 가지치기 접근법에 대한 또 다른 관점을 제공함을 보여준다.
자연어 요구사항으로부터 배포 가능하고 탄력적인 네트워크 토폴로지를 자동 생성하는 문제를 다루며, 계층적 모델링과 Pydantic 기반 검증을 결합한 제약 기반 파이프라인 ResiNet-LLM을 제안한다. 독점 및 오픈웨이트 대규모 언어 모델(LLM)을 4가지 현실적 네트워크 시나리오에서 노드·엣지 F1-score와 서버·콘텐츠 연결성 지표로 비교 평가하여, AI 기반 네트워크 설계를 위한 체계적 벤치마크를 제공한다.
서사학의 스타일화·통일성 등 8가지 인물 묘사 범주 쌍을 자동 분류하는 CAspER 프레임워크로 인기 LLM 생성 단편과 최근 인간 창작 이야기의 인물을 비교·분석한다. LLM과 인간 이야기의 인물 유사성, LLM 생성물의 인물 다양성, 모델 크기·계열·장르별 차이 등을 다루며 유사점·차이점과 핵심 시사점을 제시한다.
에이전트형 시스템이 지리정보 시스템(GIS)과 점점 더 통합되고 있으며, 다중 에이전트 협조는 복잡한 대화형 및 공간 분석을 가능하게 하지만 보안 위험을 수반한다. 본 연구는 더 넓은 에이전트형 아키텍처에 대한 적응성을 유지하면서 다중 에이전트 GIS 시스템에서 위험 식별, 평가 및 완화를 위한 보안 중심 프레임워크를 제안한다. 상용 지리공간 파트너의 에이전트형 시스템을 테스트하는 동시에, 에이전트 행동을 재사용 가능한 구성 요소로 추상화하는 모듈형 상태 기계 기반 오케스트레이션 프레임워크를 개발한다. 적응형 공격자 대규모 언어 모델(LLM)과 다중 턴 공격 전반에 걸쳐 뒷받침 근거와 함께 이진 결과를 산출하는 결정론적 심판을 갖춘 레드팀 테스팅 프레임워크를 사용하여 견고성을 평가한다. 또한 프롬프트를 구조화된 시그니처로 취급하고 적대적 시연을 주입하는 프롬프트 최적화 프레임워크로 복원력을 더욱 향상시켜, 과제 성능을 저하시키지 않으면서 체계적인 보안 개선을 가능하게 한다.
대규모 언어 모델(LLM)이 대규모 도구 카탈로그를 대상으로 에이전트로 배포될 때 핵심적인 도구 검색 병목 현상이 발생한다. 임베딩 기반 검색 방식은 특화된 도구 의미론을 충분히 포착하지 못할 수 있는 소형 인코더에 의존하는 반면, 파라메트릭 도구 검색(parametric tool retrieval)은 각 도구를 LLM 어휘에 추가된 가상 토큰으로 인코딩하고, 두 단계(암기 후 검색 SFT)로 파인튜닝하여 LLM을 검색기로 활용함으로써 표준 ToolBench 검색 벤치마크에서 높은 성능을 달성한다. 그러나 이러한 벤치마크는 상세하고 완전히 명세된 쿼리를 사용하며, 평가 시 출력을 유효한 토큰 경로로 제한하는 제약 디코딩(constrained decoding)을 적용하므로, 모델이 실제로 도구를 이해하는지 여부를 파악하기 어렵다. 우리는 임의의 도구 카탈로그를 입력으로 받아 세 가지 벤치마크를 자동으로 생성하는 오픈소스 LLM 기반 진단 프레임워크 ToolSense를 소개한다: 세 가지 모호성 수준의 쿼리를 포함하는 현실적 검색 벤치마크(RRB, Realistic Retrieval Benchmark), MCQ 탐색 벤치마크, QA 탐색 벤치마크. ToolSense를 ToolBench(약 47,000개 도구)에 적용하고 다섯 가지 파라메트릭 모델 학습 구성을 평가한 결과, 지식-검색 해리(knowledge-retrieval dissociation) 현상이 드러났다: RRB 쿼리에서 여러 구성은 완전히 명세된 ToolBench 벤치마크 대비 약 50~64 퍼센트포인트 하락하여 임베딩 모델 기준선 이하로 떨어졌다. 또한 높은 검색 성능에도 불구하고 일부 모델은 사실적 탐색에서 거의 무작위 수준의 점수를 기록하여 지식-검색 해리를 시사한다. ToolSense 프레임워크와 ToolBench 진단 벤치마크는 https://github.com/SAP/toolsense에서 오픈소스로 공개한다.
블랙박스 LLM 분류에서 신뢰도 점수를 임계값으로 얼마나 세밀하게 조절할 수 있는지를 점수 세분화 격차(score granularity gap)로 정의하고, 9개 LLM·3개 벤치마크·25개 모델-데이터셋 쌍에서 신뢰도를 만드는 7가지 방식을 통제 비교했다. 단일 샷 언어화 신뢰도는 클래스 확률로 올바르게 변환하면 순위는 좋지만 서로 다른 값이 몇 개뿐이라 거친 임계값만 제공하고, 다중 질의 집계는 약한 모델에는 도움이 되지만 이미 강한 모델의 순위를 떨어뜨릴 수 있어 추론 비용·해상도·순위 트레이드오프를 배치 가이드로 정리했다.
이미지 기반 전자상거래 AI 어시스턴트의 다양한 사용자 의도를 처리하기 위해 스킬 생성, 라우팅 정렬, 반복적 정제를 통해 스킬 생애 주기를 자동화하는 SkillChain을 제안한다. 이 방식은 응답 품질을 크게 향상시키며 온라인 A/B 테스트에서 사용자 참여도와 유지율을 유의미하게 개선하였다.
ChatGPT 및 기타 대규모 언어 모델(LLM) 기반 챗봇이 언어를 사용하는 방식을 연구함으로써 우리는 언어에 대해 무엇을 배울 수 있는가? 본 논문에서는 자연어 처리(NLP)의 선구자이자 비트겐슈타인의 제자인 마거릿 마스터먼(Margaret Masterman)이 제기한 질문들과 관련하여 ChatGPT가 생성하는 언어의 고유한 특성을 분석한다. LLM 기반 챗봇이 프랑크푸르트(Frankfurt)의 유명한 단행본 『개소리에 대하여(On Bullshit)』에서 다룬 의미의 "헛소리(bullshit)"를 생성한다는 잦은 불만에 주목하여, 우리는 1,000편의 과학 출판물에 쓰인 언어와 ChatGPT가 생성한 전형적인 텍스트를 대조하는 실증적 연구를 수행한다. 이어서 우리는 정치적 담화에 대한 조지 오웰(George Orwell)의 비판과 데이비드 그레이버(David Graeber)의 '불릿 잡(bullshit jobs, 무의미한 일자리)' 규정이라는 두 가지 잘 알려진 사회적 기능 장애 맥락에서도 동일한 언어적 특성이 감지될 수 있는지 탐구한다. 단순한 가설 검정 방법을 사용하여, 우리는 통계적 헛소리 모델이 ChatGPT의 프랑크푸르트적 인공 헛소리를 자연 인간 언어에서 관찰되는 헛소리의 정치적·직장 내 기능과 신뢰성 있게 연결할 수 있음을 입증한다.