언어 모델(language model) 사전학습(pre-training)은 상당한 계산 비용으로 인해 여전히 많은 연구자들에게 어려운 과제입니다. 이에 따라 보다 경제적인 사전학습 방법을 개발하는 것에 대한 관심이 커지고 있습니다. 이 분야에서 주목할 만한 발전 중 하나는 단 하루 만에 단 1대의 GPU만을 사용하여 BERT 스타일 언어 모델의 사전학습을 가능하게 한 Cramming 기법(Geiping and Goldstein, 2022)입니다. 이러한 혁신적인 접근법을 기반으로, 본 논문에서는 의존 관계 일치(dependency agreement)에 대한 정보를 사전학습 과정에 통합하는 효율적인 프레임워크인 DA-Cramming(Dependency Agreement Cramming)을 소개합니다. 파인튜닝(fine-tuning) 과정에서 유사한 의미 정보를 활용하는 기존 방법들과 달리, 우리의 접근 방식은 사전학습 동안 의미 정보를 활용하여 기초적인 언어 이해력을 향상시키는 데 집중한 선구적인 시도입니다. 우리는 청크(chunk) 수준에서 대표적인 의존 관계 일치를 포착하기 위해 4개의 전용 서브모델로 구성된 2단계 사전학습 워크플로우를 세심하게 설계하였으며, 이러한 일치 관계를 임베딩(embedding)으로 효과적으로 변환하여 사전학습에 도움을 주도록 했습니다. 광범위한 실험 결과는 우리의 방법이 다양한 태스크에 걸쳐 이전 방법들보다 뛰어난 성능을 보임을 입증합니다.
휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.
대규모 언어 모델(LLM)은 수치 시계열 이력과 텍스트 이벤트로부터 예측을 수행하는 데 점점 더 많이 사용되고 있다. 그러나 정확도만으로는 정답이 두 입력의 효과적인 통합을 반영하는지, 아니면 이벤트 극성(polarity), 단일 모달리티 사전 편향(unimodal prior), 또는 피상적 단서에서 비롯된 것인지 밝힐 수 없다. 마찬가지로, 그럴듯한 설명은 모델 행동을 실제로 이끄는 근거를 충실하게 반영하지 않으면서도 예측을 합리화할 수 있다. 우리는 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 진단하는 벤치마크인 TimeLitmus를 소개한다. TimeLitmus는 금융(Finance)과 교통(Traffic) 두 영역에 걸쳐 4,856개의 평가 레코드를 포함하며, 자연 예측(natural prediction)과 통제된 반사실적(counterfactual) 및 대조적(contrastive) 개입, 설명 대상 충실성 테스트, 그리고 체계적인 지름길(shortcut) 통제를 결합한다. 열 가지의 대표적인 LLM을 대상으로 한 실험에서, 표준 예측 정확도는 신뢰할 수 있는 교차 모달 이해를 상당히 과대평가하는 것으로 나타났다: Hard Paired Contrast(HPC) 쌍 정확도는 금융에서 최고 19.2%, 교통에서 최고 11.7%에 그쳤으며, 열 개 모델 모두 금융 시계열 측 통제에서 기대보다 낮은 일관성을 보였다. 모델들은 시나리오 간 관계를 명시적으로는 인식하면서도 독립적인 예측 시에는 이를 적용하지 못하는 경우가 많았다. 설명 충실성에서도 유사한 격차가 나타났다: 교통 영역에서 대부분의 모델은 90% 이상의 경우 조작된 시간적 요인을 근거로 언급했지만, 행동적 뒷받침(behavioral support)은 22% 미만에 그쳤다. 인간 주석자는 동일한 조건의 통제 및 하드 페어(hard-pair) 진단 과제에서 LLM보다 우수한 성능을 보여, 이러한 구분이 입력으로부터 복원 가능함을 확인시켜 주었다. 자연 예측 데이터만을 이용한 적응(natural-only adaptation)은 증거 선택과 입력 민감도에서는 선택적인 향상을 가져왔지만, 통제 조건이나 하드 페어 행동에서는 일관된 향상을 가져오지 못했다. 벤치마크, 평가 스위트, 지도 적응 데이터는 공개될 예정이다.
암묵적 전제(Enthymeme)는 명시되지 않은 전제나 결론을 포함하는 논증으로, 설득적인 담론에 널리 퍼져 있으나 이에 대한 주석 달기는 여전히 악명 높을 정도로 주관적입니다. 우리는 라벨 변동성을 연구하기 위해 설계된, 정치적으로 논쟁적인 담론의 1,482개 트윗으로 구성된 리소스를 제시합니다. 이 데이터는 5명의 주석자가 암묵적 전제의 존재 여부와 그 논증 구조에 대해 주석을 달았습니다. 우리는 먼저 암묵적 전제의 정의를 재조명하고 월튼(Walton)의 논증 스킴에 기반을 둔 주석 가이드라인을 제안하며, 이는 구조적이고 제한적인 접근 방식을 제공하면서도 과제의 해석적 성격을 고려한 여지를 보존합니다. 이는 불일치를 제거하는 경향이 있어 그 원인을 모호하게 만들고 모델 성능에 미칠 수 있는 잠재적 이점에 대한 조사를 방해했던 과거의 리소스와 대조됩니다. 또한, 우리는 과제의 복잡도 분석을 제안하여 주석 작업이 높은 인지 부하를 주고 주석 불일치를 야기할 수 있는 지점을 식별합니다. 우리의 예비 실험에 따르면, 주석자 불일치로 학습된 모델이 단순 다수결 라벨로 학습된 모델보다 성능이 더 뛰어납니다. 마지막으로, 암묵적 전제의 정의와 가이드라인에 있는 구조적 개방성이 인간 추론과 관련된 미래의 리소스 및 다운스트림 자연어 처리(NLP) 애플리케이션을 위해 주관적 추론 과정의 변동성 연구를 어떻게 가능하게 하는지 고찰합니다.
Large Language Models and Evolutionary Computation: A Critical Review of Bidirectional Interaction, Automated Algorithm Design, and Co-Adaptive Systems
대규모 언어 모델(LLM)과 진화 연산(EC)은 자동화된 최적화, 알고리즘 설계, 적응형 의사결정을 지원하기 위해 점점 더 결합되고 있다. 본 서베이는 두 패러다임 간의 양방향 상호작용을 검토하고, 하이브리드 지능 시스템에서 그들의 상보적 강점을 어떻게 활용할 수 있는지 살펴본다. 첫째, EC가 프롬프트 최적화, 하이퍼파라미터 튜닝, 아키텍처 탐색을 통해 LLM 기반 시스템을 어떻게 향상시킬 수 있는지 분석한다. 둘째, LLM이 메타휴리스틱 설계, 대리(surrogate) 추론, 적응형 연산자 제어, 휴리스틱 생성을 지원함으로써 EC를 어떻게 개선할 수 있는지 검토한다. 또한 LLM과 EC가 반복적 피드백 루프를 통해 상호작용하는 새로운 공적응 프레임워크에 대해 논의한다. 최근 동향을 요약하는 것을 넘어, 본 서베이는 상호작용 메커니즘, 적용 패턴, 방법론적 과제(계산 비용, 재현성, 해석 가능성, 벤치마킹, 일반화를 포함)에 대한 구조화된 관점을 제공한다. 마지막으로, 더 견고하고 투명하며 확장 가능한 LLM-EC 시스템 개발을 위한 미해결 연구 질문과 미래 방향을 제시하며 논문을 마무리한다.
다중 홉 질의응답(multi-hop QA)은 시스템이 여러 문서에 흩어진 증거를 식별하고 통합해야 하지만, 대규모 언어 모델(LLM)은 여전히 무관한 컨텍스트(context)에 취약하다. 우리는 영어 HotpotQA distractor 설정에서 이 증거(evidence) 병목을 조사하고, 문단 선택, 지원 문장(supporting-sentence) 식별, 답변 생성을 분리하는 모듈형 selector-reader 프레임워크인 Bactrainus를 제안한다. 선택적 질문 분해(question decomposition)와 교사 생성 rationale 지도학습(teacher-generated rationale supervision)을 통해 추가 추론 구조가 어디에서 유용한지 검증할 수 있다. 평가(evaluation)는 파운데이션 모델 스크리닝, 통제된 컨텍스트 및 프롬프팅(prompting) ablation, Llama 3.1 8B Instruct 및 Llama 3.1 70B Instruct 리더의 매개변수(parameter) 효율적 적응(adaptation), 통합 selector-reader 실험을 결합한다. gold supporting facts 대신 전체 후보 컨텍스트를 제공하면 답변 토큰(token) 중첩 F1이 17–21포인트 감소하여, 스케일링(scaling)만으로는 컨텍스트 민감성을 제거할 수 없음을 보여준다. 관측된 가장 큰 차이는 리더 적응과 문장 수준 증거 통제와 연관된다. 보고된 최강 구성은 answer F1 89.01, joint F1 79.70을 달성한 반면, 분해 및 rationale 지도 변형은 더 작고 레시피에 따른(recipe-dependent) 변화를 낳는다. 이 결과는 고정 후보(fixed-candidate) 다중 홉 QA를 위한 감사 가능(auditable)하고 명시적으로 지도된 증거 인터페이스를 뒷받침하며, 남은 작은 차이에 대한 맹목(blind), 매칭(matched), 다중 시드(multi-seed) 평가를 촉진한다.
선거 강령 텍스트에서 정당의 이념적 위치를 예측하는 정치 스케일링(political scaling) 과제에서, SBERT·ModernBERT 기반의 레이블 집계(label aggregation)와 청크 단위 회귀(chunk-level regression), 멀티태스크·대조 학습 등 다양한 아키텍처를 RILE 및 GAL-TAN 척도에 대해 체계적으로 비교한다. 실험 결과, GAL-TAN 예측도 RILE 수준으로 가능하지만 두 척도를 동시에 예측하는 조인트 모델이 개별 예측 대비 성능을 개선하지 못했으며, 청크 크기는 성능에 거의 영향을 주지 않아 분류와 회귀 사이에 연속적인 스펙트럼이 존재함을 보여준다.
다이어그램은 논리적 추론을 지원하는 데 널리 사용되며, 선행 연구는 오일러 다이어그램(Euler diagrams)과 같은 표현이 인간의 추론 성능을 향상시킬 수 있음을 시사한다. 최근 연구에서는 이들이 대규모 언어 모델(LLM)에 미치는 영향도 탐구해 왔다. 본 논문에서는 삼단논법 추론을 위해 자연어, 논리 표기법, 선형 다이어그램, 오일러 다이어그램의 네 가지 표현 조건을 비교한다. Ando et al. (2024)의 285개 문제를 사용하여 Claude 3.5~Sonnet과 GPT-4o-mini의 두 최신 LLM을 평가한다. 결과는 다이어그램적 표현이 성능을 일관되게 향상시키지 않음을 보여준다. 모델들은 함의(entailment) 및 모순(contradiction) 문제에서는 양호한 성능을 보이지만, 중립(neutral) 문제에서는 어려움을 겪으며 종종 체계적인 변환 오류를 범한다. 전반적으로, 결과는 검증된 모델들이 논리적 추론 과제에서 다이어그램으로부터 얻는 이점이 제한적임을 시사한다.
본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.
대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.
다국어 추론 평가는 압도적으로 영어 벤치마크를 번역하는 방식에 의존하며, 이 관행은 언어적 인공물을 도입하고 문화적으로 근거 있는(culturally-grounded) 추론을 검증하지 못한다. 본 연구는 ADAGE(Analogical Difficulty-by-design Assessment for Grounded Evaluation)를 제안하는데, 이는 원어민 큐레이션과 LLM 보조 생성을 결합하여 추상적 유추적 추론을 위한 어려운 번역 없는 벤치마크를 구축하는 언어 무관 파이프라인이다. ADAGE를 아랍어, 암하라어, 일본어 벤치마크 구축으로 검증했으며, 14개 오픈 가중치(open-weight) 모델을 평가한 결과 일관된 문화적 추론 격차가 나타났다. 영어 속담 추론에서 우수한 성능을 보인 모델들도 세 가지 원어 벤치마크에서는 모두 크게 어려움을 겪었으며, 영어 대비 정확도가 12–52 percentage points 하락했다. 파이프라인, 세 벤치마크, 전체 평가 스위트를 공개한다.
수학 단어 문제(MWP)는 자연어 이해와 정량적 추론을 평가하는 데 중요한 벤치마크이다. 고자원 언어에서 최근 진전이 있었음에도, 대규모 주석 데이터셋의 가용성이 제한적이어서 벵골어는 여전히 충분히 탐구되지 않았다. 본 연구에서는 원본 PatiGonit 데이터셋을 복잡한 수학 문제의 훨씬 더 큰 수집으로 확장하여 개발한, 22,441개의 문제를 포함하는 확장된 벵골어 MWP 데이터셋인 PatiGonit22K를 소개한다. 데이터셋에는 단순 방정식과 다중 연산 방정식이 모두 포함되어, 서로 다른 난이도 수준에서 수학적 추론을 평가하기 위한 균형 잡힌 벤치마크를 제공한다. 각 문제는 언어적 일관성과 수학적 정확성을 보장하기 위해 신중하게 번역, 주석 처리, 문화적 적응, 검증되었다. 벵골어 MWP의 규모와 복잡성을 모두 확대함으로써, PatiGonit22K는 저자원 언어에서의 수학적 추론 및 교육용 자연어 처리(NLP) 응용에 관한 향후 연구를 위한 더욱 포괄적인 자원을 제공한다.
인공지능(AI) 동반자가 농담을 포함한 인간과 유사한 의사소통을 할 수 있게 되면서, 사람들이 AI 귀속 유머에 대해 인지적으로·정서적으로 어떻게 반응하는지 이해하는 것이 점점 더 중요해지고 있다. 본 연구는 EEG를 사용하여 참가자들이 AI 에이전트 또는 인간에 귀속된 말장난(pun)과 대조군을 어떻게 처리하는지 비교했다. 상호작용 과제에서 참가자들은 대화 상대가 펀치라인을 공개하기 전에 농담 설정에 기반해 펀치라인을 추측했다. 행동 분석 결과, 참가자들은 AI 귀속 유머와 인간 귀속 유머를 비슷한 수준으로 재미있다고 평가했다. 그러나 신경생리학적 데이터는 AI 귀속 유머가 인간 귀속 유머에 비해 감소되고 지속적인 N400 효과를 유발했으며, 이는 의미적 충돌 탐지 및 해결에 필요한 인지적 노력이 줄었거나 피드백 관련 처리가 약화되었음을 시사한다. 이는 더 큰 후기 양성 전위(late positive potential, LPP)와도 함께 나타났으며, 후기 단계의 정서적·평가적 처리가 강화되었음을 반영한다. 이는 아마도 뇌가 문화적으로 내재된 말장난에 대한 AI의 전달을 사전의 낮은 기대와 조화시키는 과정을 반영하며, 그 결과 정서적 몰입과 대화 상대 모델 업데이트가 강화되는 것으로 보인다. 사회적 인식의 개인차가 신경 반응에 추가로 영향을 미쳤다. AI의 진정성과 신뢰성에 대한 높은 지각은 전역적으로 감소한 N400과 관련되어 있었으며, 유머러스한 AI 언어와 그렇지 않은 AI 언어 모두에서 의미 통합을 촉진했다. 또한 AI 신뢰성 증가는 LPP의 증가를 예측했으며, 이는 유머 이해 과정에서 대화 상대 모델의 더 강화된 업데이트를 나타낸다. 이러한 결과는 AI 귀속 유머에 대한 뇌의 신경 민감도가 알고리즘 회피(algorithm aversion)와 같은 편향을 우회함을 나타낸다. 이는 새로운 출처의 유머에 대한 뇌의 적응을 강조하며, 인간-AI 사회적 상호작용에서 진정한 참여를 촉진하는 유머의 잠재력을 부각한다.
최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다.
이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.
대규모 언어 모델(LLM)의 급속한 부상은 기업 전반에 걸쳐 혁신적인 도입을 이끌고 있다. 그러나 이러한 모델을 실제 환경에 배포하는 것은 복잡한 시스템 제약과 예상치 못한 사용자 행동으로 인해 고유한 과제를 제기한다. 이러한 애플리케이션 중 슬롯 채우기(slot filling)는 비구조화 입력을 구조화되고 실행 가능한 데이터로 변환하는 데 필수적이다. 본 연구에서는 8개의 고유 도메인에 걸쳐 810개의 다중 턴(multi-turn) 샘플과 6530개의 슬롯으로 구성된 도전적인 Enterprise Slot Filling 벤치마크인 ESF-Bench를 제안한다. 실제 기업 배포 과정에서 관찰된 57가지 가장 도전적인 슬롯 채우기 시나리오의 분류체계를 바탕으로 구축된 ESF-Bench는 현재 최첨단 LLM의 현저한 한계를 드러내며, GPT-OSS-120b low는 벤치마크 샘플의 20.7%에서만 슬롯을 성공적으로 추출한다. 이 분야의 지속적인 연구를 지원하기 위해 벤치마크 데이터셋, 분류체계, 그리고 동봉된 평가 코드를 GitHub에 공개한다.
목표 지향 대화 시스템은 상호작용 대화를 통해 사용자 목표를 완수하는 데 강한 능력을 보여주었다. 그러나 기존 연구는 주로 단일하고 명시적인 목표 완수를 위해 설계되었으며, 전화 통화 어시스턴트는 기기 소유자의 명시적 사전 설정 목표와 발신자의 암묵적이고 동적인 목표를 조율해야 하는 대리(proxy) 설정에 직면한다. 우리는 전화 통화 어시스턴트에서 이중 목표 조율을 평가하기 위한 중국어 벤치마크 CallBench를 제안한다. CallBench는 배달 음식, 배송, 택시, 업무, 생활, 괴롭힘 등 6가지 시나리오에 걸친 50,000개의 완전한 다중 턴 전화 통화 대화를 포함한다. 일반 사전 설정, 창발적(emergent) 사전 설정, 사전 설정 없음 케이스를 다루며, 정렬(alignment), 상호 보완, 무관, 충돌 등 소유자 측과 발신자 측 목표 간의 다양한 관계를 포함한다. 또한 의미 이해, 문맥 활용, 능동적 안내, 응답 품질, 사전 설정 준수, 대화 리듬, 안전성(safety)을 포괄하는 사전 설정 인식 턴 수준 평가 프로토콜을 설계한다. 대표적인 대화 방법에 대한 실험 결과, 기존 접근법은 여전히 이 과제에서 어려움을 겪는 것으로 나타나며, 대리 제약 하에서 두 독립적 목표 사이에서 신뢰할 수 있는 턴 수준 결정을 내릴 수 있는 전화 통화 어시스턴트의 필요성을 부각한다.
대규모 언어 모델(LLM) 평가는 다양한 태스크와 벤치마크에 걸쳐 있지만, 증거는 여전히 그들이 탐색하는 역량보다는 태스크를 중심으로 조직되어 있다. 이러한 파편화는 연구 간 비교를 제한하고, 태스크가 동원하는 역량을 흐리게 하며, 커버리지 공백을 식별하기 어렵게 만든다. 우리는 원시(Primitive), 구성(Constructed), 통합(Integrative) 층에 걸친 14개 역량 영역과 91개 하위 기술로 구성된 다층 분류체계를 제안한다. 인간 인지과학이 LLM 아키텍처가 아닌 역량 정의와 조직을 이끈다. 층 배정은 발달적 우선순위와 가설적 기능적 지원에 기반하며, 인간 기원의 구성요소는 관찰 가능한 모델 행동에 맞게 조정된다. 운영적 유용성을 보여하기 위해, 2023년부터 2025년 사이 ACL, AAAI, ICML, NeurIPS의 31,505편 논문을 선별하고, 다중 모델 주석, 합의, 중재를 통해 15,934편의 LLM 중심 논문을 매핑했다. 직접적인 연구 관심은 Language-Semantic Competence(3,551; 22.3%), Reasoning(3,388; 21.3%), Planning and Decision-Making(2,149; 13.5%), Perception(1,954; 12.3%)에 집중되었으며, 6개 영역은 논문의 2% 미만에서만 나타났다. 영역 내에서 가장 빈번한 하위 기술의 중앙값 출현률은 97.9%였으며, 14개 영역 중 10개에서 논문의 최소 90%에 나타났다. Language-Semantic Competence와 Reasoning이 가장 많은 쌍을 이루었고(n = 1,864; 11.7%; lift = 2.47), Theory of Mind와 Social Reasoning and Interaction은 최소 20회 공존을 가진 쌍 중 가장 높은 lift를 보였다(n = 62; lift = 30.84). 분석 단위를 고립된 태스크에서 구조화된 역량으로 전환함으로써, 이 분류체계는 연구 조직, 커버리지 점검, 평가 해석, 그리고 진단, 학습, 전이(transfer)를 위한 검증 가능한 가설을 지원한다.
대규모 언어 모델(LLM)을 다중 턴 대화 상대로 평가하려면 단일 턴 벤치마크가 놓치는 역량을 탐색해야 한다: 페르소나 일관성, 진화하는 의도 추적, 감정 역학, 그리고 여러 턴에 걸친 목표 달성. 우리는 EYT-Bench를 제안한다. 이는 인간 중심 벤치마크로, 평가 프로토콜이 분리된 3자 설계를 중심으로 구성된다: 페르소나에 그라운딩된 사용자 시뮬레이터, 의도 인식과 응답 생성 모두에서 평가되는 타깃 모델, 그리고 독립적이고 설정 가능한 LLM 판정자 앙상블. 17개 타깃 모델에 걸친 3,400개 대화에서 EYT-Bench는 이전 벤치마크가 놓친 네 가지 발견을 드러낸다: (i) 최첨단 폐쇄형 및 오픈소스 모델은 주관적 차원에서 통계적으로 구별되지 않지만, 객관적 의도 추적에서는 최대 9배까지 차이가 난다; (ii) 추론(reasoning)은 긴 컨텍스트 페르소나에서 객관적 추적의 상전이(phase transition)이지만 주관적 점수에서는 본질적으로 평탄하다; (iii) 페르소나 형식은 궤적 분산에 강하게 영향을 미치며, FICR(final-intent completion rate, 최종 의도 완료율)은 Nemotron-USA에서 0.95 이상으로 포화되지만 PersonaMem-v2에서는 0.53에서 0.88까지 범위를 보인다; (iv) 워밍업 효과(warm-up effect)는 17개 모델 중 16개에서 관찰된다.
대규모 언어 모델(LLM)은 언어 이해와 논리적 추론을 위한 강력한 도구가 되었다. 그러나 문제가 의미 이해와 논리적 따름을 모두 요구할 때 여전히 실수를 한다. 핵심 이유는 자연어 진술이 형식적 추론이 시작되기 전에 종종 암묵적 의미 관계를 담고 있기 때문이다. 이러한 숨겨진 의미가 적절히 조직되지 않으면, 이후 추론 과정이 논리적으로 타당해 보이더라도 모델이 잘못된 결론에 도달할 수 있다. 기존 방법들은 분해, 기호적 번역, 외부 솔버, 또는 자기 검증을 통해 추론을 개선하지만, 추론이 의존하는 의미 구조에는 상대적으로 덜 주목한다. 본 논문에서는 의미 조직이 LLM에서 논리적 추론에 어떻게 영향을 미치는지를 추가로 조사한다. 이를 위해 우리는 자연어 진술의 의미를 먼저 조직한 다음 구조화된 검증을 통해 논리적 추론을 안내하는 프레임워크인 HexLogicAgent를 제안한다. 조사 과정에서 우리는 또한 두 가지 관찰을 한다. 첫째, 연역적 추론 자체보다는 불완전한 의미 표현이 LLM에서 논리적 추론 실패의 주요 원인이다. 둘째, 의미적 대립의 완전한 구조를 명시적으로 모델링하면 논리적 복잡성이 증가함에 따른 추론 성능 저하가 상당히 지연된다. 어려운 논리적 추론 벤치마크에서의 실험은 HexLogicAgent가 여러 LLM에서 추론 신뢰성을 일관되게 향상시킴을 보여준다. 핵심 아이디어는 대립하는 의미의 완전한 구조가 신뢰할 수 있는 추론에 왜 필요한지를 설명하는 논리 육각형 이론에 의해 뒷받침된다.
문화는 대화를 통해 살아 숨 쉬지만, 기존 인도네시아 문화적 상식 벤치마크는 대규모 언어 모델(LLM)을 짧고 고립된 프롬프트로 평가하여, 문화적 뉘앙스가 실제로 드러나는 대화적 맥락을 제거한다. 우리는 CultureTalk-ID를 제안한다. 이는 인도네시아어 및 그 지역 언어에서 문화적 상식을 평가하기 위한 최초의 대화 기반 벤치마크로, 11개 언어와 13개의 문화적으로 중요한 주제에 걸친 4,496개의 문화적으로 정합된 대화로 구성되며, 진정성을 보장하기 위해 원어민 화자가 참여한 다단계 인간 파이프라인을 통해 구축되었다. CultureTalk-ID는 세 가지 상호 보완적인 과제, 즉 대화 기반 다지선다 문화적 상식 추론, 문화적으로 충실한 기계 번역, 그리고 언어 스티어링(language steering)을 도입하며, 이들은 LLM이 문화적으로 정합된 언어를 이해하고, 전달하고, 생성할 수 있는지를 함께 탐색한다.