확산 대규모 언어 모델(dLLM)의 추론 효율은 두 가지 과제에 의해 제약된다. 양방향 어텐션은 효율적인 KV-cache 재사용을 막고, 정적 신뢰도 임계값으로 디코딩 병렬성을 높이면 생성 품질이 저하될 수 있다. 우리는 두 과제 모두 공통 현상에서 비롯된다는 것을 관찰한다. 토큰이 디코딩될수록 양방향 어텐션을 통한 문맥 통합으로 인해 토큰 표현이 디코딩 단계마다 드리프트(진화)한다. 이 통찰은 Polestar를 동기 부여한다. Polestar는 토큰 표현 드리프트를 통합 신호로 사용하여 두 과제를 함께 해결하는 학습 없는 추론 프레임워크이다. Polestar는 두 구성 요소로 이루어진다. Polestar-Cache는 드리프트를 통해 오래된 KV-cache 위치를 식별하고 희소 KV-cache 갱신을 수행하여 효율적 재사용을 가능하게 하며, Polestar-Commit은 급격한 드리프트 이벤트를 감지하여 커밋 준비가 된 토큰을 신뢰성 있게 식별한다. 여러 dLLM 계열에서 수학 및 코딩 벤치마크에 걸쳐 Polestar는 정확도-처리량 Pareto 프론티어에서 새로운 최고 수준을 달성하며, 기존 베이스라인 대비 최대 10.73% 정확도 향상, 최대 3.7배 높은 처리량, 순전파당 3.67 토큰의 높은 디코딩 병렬성을 달성한다.
본 논문은 학습자가 게임 플레이를 통해 우즈베크어를 연습할 수 있게 하는 교육 시스템 아키텍처를 제시한다. 이 아키텍처는 UzWordnet과 현재 이용 가능한 최대 규모의 우즈베크어 정서법 사전을 핵심 어휘 자원으로 통합하며, 학습 지원을 위한 핵심 구성 요소로 생성형 AI를 함께 사용한다. 우리는 우즈베크어 학습을 촉진하기 위해 네 가지 교육용 게임을 설계하고, 게임 역학의 직접적인 부산물로 UzWordnet을 개선하기 위한 게임 기반 방법론을 제안한다. 우리의 접근법은 게임 설계와 어휘 자원을 결합하여 교육적 목표(언어 학습)와 어휘적 목표(어휘 자원의 개선 및 확장)를 동시에 달성한다.
대규모 언어 모델(LLM)의 등장으로, 진정성과 사회적 신뢰를 확보하기 위해 인간이 작성한 텍스트와 LLM이 생성한 텍스트를 구별할 필요성이 긴절해졌다. 기존 탐지기는 일반적으로 전체 구절에 대해 이진 분류를 제공하지만, 인간-LLM 공동 작성 텍스트에서는 목표가 인간 또는 LLM이 작성한 특정 구간을 국소화하는 것이므로 이 방식으로는 부족하다. 이 격차를 해소하기 위해, 텍스트를 인간 작성 부분과 LLM 작성 부분으로 세분화하는 알고리즘을 제안한다. 핵심 관찰은, 이러한 세분화 작업이 시계열 분석의 고전적 변화점 탐지(change point detection)와 개념적으로 유사하다는 점이다. 이 유추를 활용하여, LLM 생성 텍스트 탐지에 변화점 탐지를 적용하고, 이질적인 탐지 점수 변동성을 수용하기 위한 가중 알고리즘과 일반화된 알고리즘을 개발하며, 우리 방법의 minimax 최적성을 확립한다. 실험적으로, 다양한 기존 베이스라인 대비 우리 방법의 강력한 성능을 입증한다. 제안 방법의 Python 구현은 https://github.com/Mamba413/DetectLLMSegmentation 에서 제공된다.
최근 몇 년간 언어 추론 모델(LRM) 분야는 매우 활발했으며, 학습 및 추론 기법의 발전으로 LRM이 더 길고 더 정확하게 추론할 수 있게 되었다. 그러나 점점 더 많은 연구들이 LRM이 여전히 비효율적이며, 검증 및 반성(reflection) 단계를 과도하게 생성한다는 것을 보여준다. 이 문제에 대응하기 위해, LRM이 생성하는 추론 단계의 유형을 실시간으로 주석화할 수 있는 경량 문장 분류기인 Step-Tagging 프레임워크를 제안한다. 추론 행동을 모니터링하기 위해, 추론 단계에 대한 새로운 분류 체계인 ReasonType을 도입했다. 이 프레임워크를 기반으로, 특정 단계 수의 온라인 모니터링이 LRM 추론의 효과적이고 해석 가능한 조기 종료 기준을 만들 수 있음을 입증했다. Step-Tagging 프레임워크를 표준 벤치마크 데이터셋 MATH500, GSM8K, AIME 및 비수학적 과제(GPQA, MMLU-Pro)에 대해 세 개의 오픈 소스 추론 모델로 평가했다. 표준 생성과 비슷한 정확도를 유지하면서 20~50% 토큰 감소를 달성했으며, 가장 큰 이득은 계산량이 더 많은 과제에서 관찰되었다. 이 연구는 LRM 생성에 대한 제어를 강화하는 새로운 방법과 LRM 행동을 연구하는 새로운 도구를 제공한다.
사후 학습 정렬은 LLM의 다양성을 자주 감소시켜 모드 붕괴(mode collapse)로 알려진 현상을 유발한다. 알고리즘적 한계에 이 효과의 원인을 두는 기존 연구와 달리, 우리는 근본적이고 광범위한 데이터 수준의 요인을 밝힌다: 선호도 데이터의 전형성 바이어스(typicality bias)로, 어노테이터가 인지 심리학의 잘 확립된 연구 결과에 따라 친숙한 텍스트를 체계적으로 선호한다는 것이다. 우리는 이 바이어스를 이론적으로 형식화하고, 선호도 데이터셋에서 실증적으로 검증하며, 모드 붕괴에서 핵심적인 역할을 한다는 것을 보인다. 이 분석에 영감을 받아, 모드 붕괴를 우회하기 위한 간단하고 학습 없는(training-free) 프롬프팅 전략인 Verbalized Sampling(VS)을 제안한다. VS는 모델에게 일련의 응답에 대한 확률 분포를 언어화하도록 프롬프트한다(예: "커피에 관한 농담 5개와 각각의 확률을 생성하라"). 포괄적인 실험은 VS가 창의적 글쓰기(시, 이야기, 농담), 대화 시뮬레이션, 개방형 QA, 합성 데이터 생성 전반에서 성능을 크게 향상시키며, 사실적 정확성과 안전성을 희생하지 않음을 보여준다. 예를 들어 창의적 글쓰기에서 VS는 직접 프롬프팅 대비 다양성을 1.6-2.1배 증가시킨다. 또한 더 유능한 모델일수록 VS로부터 더 큰 이득을 얻는다는 창발적(emergent) 경향을 관찰한다. 요약하면, 본 연구는 모드 붕괴에 대한 새로운 데이터 중심 관점과 사전학습(pre-training) 생성 다양성을 확보하는 데 도움이 되는 실용적인 추론 시점 해결책을 제공한다.
언어 모델(LM)의 출력이 점점 더 자연스러워지면서, 그 품질을 평가하기는 그 어느 때보다 어려워지고 있다. 동시에, 테스트 시점 연산(test-time compute) 스케일링을 통해 언어 모델의 "사고" 시간을 늘리는 것은 수학과 코드 같은 영역의 도전적인 문제를 풀기 위한 효과적인 기법임이 입증되어 왔다. 여기서 자연스러운 질문이 제기된다: 테스트 시점 연산에 더 많은 자원을 투입하면 언어 모델의 평가 역량 또한 개선할 수 있는가? 이에 답하기 위해, 우리는 추론 모델—원래 긴 사고의 연쇄(Chain-of-Thought) 추론을 생성하는 언어 모델—을 평가자로 활용하는 방안을 조사한다. 구체적으로, 우리는 (1) 추론 모델을 사용하고, (2) 이러한 모델에 응답 전체(즉, 결과 평가)뿐만 아니라 응답의 각 단계를 개별적으로 평가(즉, 과정 평가)하도록 프롬프트를 주는 방식으로 더 많은 테스트 시점 연산을 활용하는 방법을 검토한다. 실험에서, 평가자의 성능은 더 많은 추론 토큰을 생성할수록 단조적으로 개선되는 것을 확인했으며, 이는 언어 모델 기반 생성에서 관찰된 추세와 유사하다. 또한, 이러한 더 정확한 평가자를 사용해 여러 생성 결과를 재순위화하고, 평가 시점에 더 많은 연산을 투입하는 것이 언어 모델의 문제 해결 역량을 개선하는 데 생성 시점에 더 많은 연산을 사용하는 것만큼 효과적일 수 있음을 보인다.
중국어 ASR 교정은 오류가 종종 발음(phonetic)적 성격을 띠기(많은 한자가 유사한 병음(Pinyin)을 공유함) 때문에 어렵고, 교정 모델은 노이즈가 있는 N-best 가설 하에서 길이 제약(length constraint)도 준수해야 한다. 기존 접근법은 병음(Pinyin)을 프롬프트/특징 수준에서만 활용하고 모델 표현에 통합하지 않거나, 길이가 어긋날 수 있는 생성적 디코딩(generative decoding)에 의존한다. 우리는 중국어 N-best ASR 교정을 위한 제약 재구성(rephrasing) 파이프라인인 PERL을 제안한다. PERL은 (i) 목표 길이를 예측하고 마스크 예산(mask budgeting)으로 이를 강제하며, (ii) 문장 의미에 조건화된 토큰 단위 게이트를 통해 의미(semantic) 및 발음(phonetic, Pinyin) 표현을 융합한다. Aishell-1과 새로운 도메인 N-best 벤치마크 DoAD에서의 실험은 PERL이 CER을 지속적으로 낮추면서(Aishell-1에서 29.11%, DoAD에서 최대 ~70%) 낮은 지연(latency)을 유지함을 보여준다. 또한 길이 일반화와 발음-의미 상호작용에 대한 분석을 제공하여, PERL이 발음 단서와 의미 제약 중 어느 쪽에 의존하는지를 보여준다.
ChatGPT와 Gemini 같은 대규모 언어 모델(LLM)의 배치는 강력한 자연어 생성 능력을 보여주었다. 그러나 이러한 모델은 학습 과정에서 민감한 정보와 유해 콘텐츠를 의도치 않게 학습하고 보유할 수 있어, 심각한 윤리적·법적 우려를 낳는다. 이러한 문제를 해결하기 위해 머신 언러닝(machine unlearning)이 잠재적 해결책으로 도입되었다. 기존 언러닝 방법은 LLM의 특수한 특성을 고려하지만, 높은 계산 요구, 제한된 적용 가능성, 또는 치명적 망각(catastrophic forgetting)의 위험으로 인해 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 검색-증강 생성(RAG) 기술에 기반한 경량 행동적 언러닝 프레임워크를 제안한다. RAG의 외부 지식 베이스를 수정함으로써, 언러닝된 LLM과 직접 상호작용하지 않고도 망각의 효과를 시뮬레이션한다. 우리는 언러닝된 지식의 구축을 제약 최적화(constrained optimization) 문제로 접근하여, RAG 기반 언러닝의 효과를 뒷받침하는 두 가지 핵심 구성요소를 도출한다. 이 RAG 기반 접근법은 기존 언러닝 방법이 종종 실패하는 폐쇄형 LLM에 특히 효과적이다. 우리는 ChatGPT, Gemini, Llama-2-7b-chat, PaLM 2를 포함한 오픈소스 및 폐쇄형 모델에 대한 광범위한 실험을 통해 프레임워크를 평가한다. 결과는 우리 접근법이 효과성(effectiveness), 보편성(universality), 무해성(harmlessness), 단순성(simplicity), 견고성(robustness)이라는 다섯 가지 핵심 언러닝 기준을 충족함을 보여준다. 한편, 이 접근법은 멀티모달 대규모 언어 모델 및 LLM 기반 에이전트(agent)로 확장될 수 있다.
지식 그래프 질문 생성(KGQG)은 구조화된 그래프 증거로부터 자연어 질문을 생성하는 것을 목표로 한다. 그러나 기존 KGQG 벤치마크는 대부분 정적 지식 그래프 위에 구축되어 있으며 그래프 사실의 시간 범위를 인코딩하지 않는다. 결과적으로, 생성된 질문이 시간적 유효성, 사건 순서, 답을 결정하는 시간 제약을 충실히 보존하는지 평가할 수 없다. 본 논문에서는 생성된 질문이 지원 서브그래프와 목표 답을 식별하는 데 필요한 시간 제약 모두에 충실해야 하는 시간 지식 그래프 질문 생성(TKGQG)을 연구한다. 우리는 TKGQG를 위한 최초의 시간적으로 표현력 있고 hop 제한형 벤치마크 구축 프레임워크인 ChronoQG를 제안한다. ChronoQG는 포괄적인 시간 제약 분류체계, 토폴로지-시간 서브그래프 샘플링, 추적(trace) 기반 질문 생성을 통합하여 시간적으로 충실한 질문을 구축한다. 이 프레임워크는 이질적인 시간 지식 그래프로부터 총 16,011개의 검증된 질문을 포함하는 네 개의 벤치마크 데이터셋을 생성한다. 우리는 시간 제약 개수, 토폴로지 템플릿, 시간 제약 유형을 포함한 다양한 TKGQG 설정에서 대표적인 LLM 기반 KGQG 방법과 프롬프팅(prompting) 베이스라인을 평가한다. 결과는 기존 방법들이 특히 다중 제약 설정과 더 어려운 시간 제약 유형에서 시간 제약을 보존하는 데 어려움을 겪음을 보여준다. 이러한 발견은 정적 KGQG와 TKGQG 사이의 뚜렷한 격차를 드러내며, ChronoQG를 시간적으로 충실한 질문 생성을 위한 도전적인 테스트베드(testbed)로 확립한다.
검증 가능 보상 강화학습(RLVR)은 일반적으로 어드밴티지 셰이핑에 엔트로피를 사용한다. 그러나 엔트로피는 유용한 불확실성과 해로운 혼란을 구분할 수 없어, 정확성 신호로서의 효과가 제한된다. 우리는 참조 안내(reference-guided) 생성 분포와 일반(vanilla) 생성 분포 사이의 토큰 수준 대조적 불일치를 정확성 인식 어드밴티지 셰이핑에 활용하는 대조적 정책 최적화(CPO)를 제안한다. 이론적·실증적 결과 모두 이 불일치가 토큰 수준 정확성을 신뢰성 있게 나타냄을 보여준다. 또한 온-정책 지식 증류(On-policy Distillation)가 후방 분포가 외부 교사 모델에 의해 구현되는 CPO의 특수 사례임을 보인다. CPO는 제로-어드밴티지 문제도 해결한다. 도메인 내 및 도메인 외 벤치마크 실험에서 CPO는 강한 일반화를 유지하면서 엔트로피 기반 RLVR 방법을 크게 능가함을 보여준다. 추가 분석에 따르면, 정확한 응답과 부정확한 응답이 각각 자연스럽게 탐험과 활용을 지원하며, 둘의 균형이 최고 성능으로 이어진다.
Dance Dance Revolution과 In the Groove은 노래와 이에 수반되는 안무(차트(chart)라고 부름)로 구성된 리듬 게임이다. 플레이어는 댄스 패드(dance pad)라고 불리는 장치에서 화살표를 눌러, 곡의 차트가 정한 박자에 맞춰 스텝을 밟는다. 수동 차트 생성 과정은 시간이 많이 소요되고 어려워 자동화에 대한 관심을 불러일으킨다. 우리는 DDR/ITG 차트 생성을 위한 새로운 트랜스포머 기반 아키텍처 ITGPT를 제안하고, 선행 연구와 비교하여 생성 정확도와 계산 비용 모두에서 상당한 개선을 입증한다.
산업 공정에서 자동화된 최적화가 점점 더 널리 채택되고 있으나, 이러한 알고리즘을 설계하는 엔지니어와 권고 사항에 따라 조치해야 하는 운영자 사이에는 여전히 신뢰 격차가 존재한다. SHAP(SHapley Additive exPlanations)와 같은 설명 가능 AI(Explainable AI) 방법은 머신러닝 예측의 해석 가능성을 변화시켰으며, 최적화 결과 역시 유사한 기법의 이점을 누릴 수 있다. 본 연구는 암시함수 정리(Implicit Function Theorem, IFT) 기반 민감도 분석을 SHAP 속성 부여와 대규모 언어 모델(LLM)을 통한 서술 생성에 통합하여 운영자 맞춤형 설명을 생성하는 접근법을 제시한다. 본 접근법은 IFT를 활용해 최적성 조건으로부터 정확한 매개변수 민감도 $\partial p^*/\partial x$를 계산하고, 이를 통해 효율적인 GradientSHAP 계산을 가능하게 한다. 22개 특성을 갖는 산업용 고압 롤 분쇄기(High Pressure Grinding Roll, HPGR) 제어 최적화 문제에서 KernelSHAP과 상관관계 $>$0.99의 동등한 SHAP 속성 부여를 달성하면서 40$\times$ 이상 속도 향상을 이루어 실시간 자연어 설명을 가능하게 한다. 산업 시나리오에서 이를 검증하고 생성된 설명에 대한 도메인 전문가 피드백을 제시한다.
트랜스코더는 최근 기계론적 해석 가능성(mechanistic interpretability, MI) 분석을 위한 유망한 접근법으로 부상했으며, 모델 행동의 회로 수준 분석을 가능하게 합니다. 본 논문에서는 안전성(safety) 및 보안 위험을 초래하는 행동인 언어 모델의 기만적 행동을 분석하기 위해 트랜스코더의 사용을 조사합니다. 사전학습(pre-trained)된 트랜스코더, 특히 층별 트랜스코더(per-layer transcoders, PLTs)가 적용된 Qwen3-4B 모델을 사용하여, 특징 활성화와 특징 간 의존성을 포착하는 attribution graph를 구성하고 기만에 대한 회로 수준 분석을 수행합니다. 특징 스티어링(feature steering)과 회로 분석을 통해 기만 관련 특징 사전을 식별했으며, 이러한 특징들이 기만적 출력과 비기만적 응답 사이의 예측 가능한 전환을 유발함에 따라 기만적 출력에 더 강한 영향을 미친다는 것을 보여줍니다. 이러한 결과는 기만이 모델 내부 메커니즘에서 창발한다는 것을 시사하며, 언어 모델의 악의적 행동과 관련된 보안 취약점에 대한 행동 모니터링 및 조기 탐지를 위해 트랜스코더가 가진 잠재력을 강조합니다.
최근 대규모 언어 모델(LLM)의 발전과 이를 시각-언어 모델(VLM)로 확장한 연구 덕분에 보고서 생성과 같은 작업에서 텍스트와 이미지를 결합하기가 더 쉬워졌다. 기존 의학 분야 VLM은 일반적으로 2D 이미지(흉부 X-ray)에 초점을 맞추며, 3D 영상-텍스트 페어 데이터의 부족으로 3D 영상으로의 확장이 어려웠다. 따라서 우리는 교종(glioma)과 수막종(meningioma) 사례의 3D MRI 스캔을 사용하여 뇌 종양학을 위한 3D 영상-텍스트 데이터셋을 구축하는 새로운 방법을 제안한다. 우리는 여러 LLM이 협력하여 보고서를 생성하고 검증하는 협력 시스템을 사용하여 보고서가 정확하고 명확하도록 한다. 새로운 3D MRI-텍스트 데이터셋을 활용하여, 우리는 MRI 스캔을 토큰(token)으로 변환하고 이를 텍스트 지시와 정렬하는 VLM을 구축한다. 우리의 VLM은 보고서 생성 및 시각 질의응답(visual question answering) 작업에서 다른 2D 및 3D 방법보다 더 우수한 성능을 보였다. 우리의 방법은 보고서의 품질을 개선할 뿐만 아니라 뇌 종양학에서의 더 나은 진단과 치료에도 도움이 된다.
확산 다중 모달 대규모 언어 모델(DMLLM)은 다중 모달 추론에 매우 효과적이지만, 고정 길이 생성 제약으로 인해 추론 효율이 크게 저해된다. 실제 출력 길이를 알 수 없기 때문에 출력 시퀀스는 사전 정의된 최대 길이까지 패딩되어, 불필요한 [EOS] 토큰에 대한 상당한 중복 연산이 발생한다. 본 연구에서는 DMLLM이 첫 번째 디노이징 단계에서 MLP 활성화 희소성의 뚜렷한 변화를 통해 유효한 의미적 경계를 암묵적으로 드러낸다는 사실을 발견한다. 이 관찰을 활용하여, 본 논문은 신호 대 잡음비(SNR) 기반 기준으로 이 경계를 탐지하고 이후 모든 연산에 대해 불필요한 접미사를 일회성으로 절단하는 학습 없는 프레임워크인 Seer를 제안한다. 배치 서빙 중 이러한 이론적 이득을 유지하기 위해, Seer는 동적 시퀀스 길이를 원활하게 수용하면서 처리량을 극대화하는 하이브리드 실행 전략을 포함한다. 실험 결과 Seer가 패딩 낭비를 효과적으로 제거하여 처리량을 최대 $\sim$31$\times$까지 가속함을 보여준다. 9개 벤치마크에서 Seer는 전반적인 성능을 견고하게 유지하고, 노이즈 누출을 완화함으로써 복잡한 시각 작업에서 정확도까지 향상시킨다(예: DocVQA 점수가 63.52에서 63.66으로 증가). 이는 DMLLM 가속을 위한 매우 효율적인 플러그 앤 플레이 솔루션을 제공한다.
본 연구는 논증 에세이에 대해 정확하고 신뢰할 수 있는 점수와 효과적인 종합 피드백을 제공하는 WrAFT(Writing Assessment and Feedback Tool)를 제시한다. WrAFT는 자동 글쓰기 평가(AWE) 작업을 채점, 표면 수준 피드백, 심층 수준 피드백으로 나누는 모듈형 설계를 채택한다. 시스템 구축 과정에서 LLaMA-3.3-70B-Instruct, GPT-4o, Claude 3.7 등 다양한 대규모 언어 모델(LLM)을 직접 프롬프팅과 지도 미세조정 방식으로 평가했다. 공식 벤치마크 점수가 포함된 480편의 TOEFL Independent Writing 에세이 전용 데이터셋을 활용했다. 벤치마크 기반 평가 결과, WrAFT는 채점에서 최첨단 성능을 달성했으며, 0–5 척도의 공식 점수 대비 이차 가중 카파(quadratic weighted kappa, QWK) 0.84, 평균제곱근오차(root mean square error, RMSE) 0.44를 기록했다. 시스템이 생성한 피드백에 대한 인간 평가에서도 높은 승인률이 나타났다: 표면 수준 피드백 96.14%, 심층 수준 거시(macro) 피드백 93.03%, 심층 수준 미시(micro) 피드백 94.69%. 해당 시스템의 대화형 사용자 인터페이스가 개발되어 공개되어 무료로 이용할 수 있다.
복잡한 지식 베이스 질의응답(KBQA)은 일반적으로 질문별 서브그래프에 대한 정보 검색 또는 실행 가능한 논리형으로의 의미 구문 분석(semantic parsing)을 통해 접근한다. 우리는 후자의 패러다임을 연구한다. 최근 대규모 언어 모델(LLM) 에이전트는 의미 구문 분석을 대화형으로 만든다: 추론, 지식 베이스 질의, 부분 SPARQL 쿼리 확장을 번갈아 수행한다. 이러한 교차 수행은 one-shot 생성에 대한 의존을 줄이지만, KB 그라운딩의 품질이 상호작용 도구가 무엇을 노출하는지에 달리게 만든다. 기존 에이전트는 엔티티 타입, 속성의 domain과 range, 기대되는 답변 타입에 체계적으로 조건화하지 않은 채 주로 어휘적 관련성과 인스턴스 수준 관찰을 통해 후보 속성을 검색하거나 가지치기한다. 우리는 이러한 실패 양식을 타입 맹목(type-blind) 그라운딩이라고 부른다. 이는 그라운딩 탐색 공간을 확대하고, 종종 그럴듯해 보이지만 의미적으로 호환되지 않는 트리플 패턴을 생성하여 빈 결과로 실행된다. 우리는 SAGA(에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩)를 제안한다. 이는 속성 탐험을 스키마 제약 그라운딩 연산으로 전환하는 학습 없는 프레임워크이다. SAGA는 지속적인 양방향 타입 상태를 유지하고, 구성 시점에 알려진 비호환 속성 후보를 필터링하며, 남은 그래프 패턴을 간결한 스키마 주석 형식으로 제시하고, 경험적 및 trace-local 증거를 통해 누락된 스키마 정보를 관대하게 처리한다. Wikidata와 Freebase에 걸친 9개의 벤치마크 설정에서 SAGA는 9개 설정 모두에서 최고 F1을, 8개에서 최고 exact-match 정확도를 달성했으며, 보고된 모든 Wikidata 설정에서 빈 결과 쿼리를 줄였다.
상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.
구현 인지(embodied cognition)는 에이전트(agent)가 고수준 작업 추론을 달성해야 할 물리적 상태와 연결하는 것을 요구한다. 우리는 언어-시각 추론 및 상상을 결합한 구현 인지 기반 모델인 Hy-Embodied-RxBrain을 소개한다. 장면 이해와 텍스트 기반 의사결정을 강조하는 비전-언어(vision-language) 모델이나, 주로 미래 시각 상태를 예측하는 생성형 월드 모델과 달리, RxBrain은 언어와 시각적 상상이 상호 보완적 역할을 하는 단일 계획 시퀀스에서 구현 계획을 표현한다. 언어는 작업 분해, 계획 원시 요소, 제약, 시간적 순서, 의사결정 논리를 포함한 계획의 추상적 구조를 제공하고, 시각적 상상은 월드 상태 예측과 결합된 하위목표 계획을 통해 이 구조를 그라운딩(grounding)하며, 각 계획 단계를 중간 및 최종 물리적 상태와 연관 짓는다. RxBrain은 하나의 모델 내에서 언어, 이미지, 비디오 이해 및 생성을 지원하는 통합 멀티모달 Mixture-of-Transformers 아키텍처를 채택한다. 이 능력을 학습(training)하기 위해, 우리는 구현 비디오를 계획 단계로 분해하고 시각적 상태 전이와 정렬하여 결합된 텍스트-시각 계획 지도(supervision)로 변환하는 자동 파이프라인을 구축한다. 또한 RxBrain-Bench를 도입하여, 모델이 분리된 이해 또는 생성이 아니라 결합된 텍스트 및 시각 구성요소를 통해 구현 계획을 표현할 수 있는지 평가한다. 실험 결과, RxBrain은 구현 이해 및 생성 능력을 유지하고, 결합된 텍스트 추론, 월드 상태 예측, 결합된 하위목표 계획을 갖춘 계획을 생성하는 것으로 나타난다. 또한 RxBrain을 연속 로봇 동작 생성으로 확장했으며, 대규모 동작 데이터 사전학습(pre-training) 없이도 유망한 실제 로봇 성능을 보인다. 이러한 결과는 구현 인지를 위한 기반 모델(foundation models)로 나아가는 초기 단계를 제공한다.
RoboCup은 항상 실세계 문제를 해결하는 시스템을 개발하기 위한 시나리오였다. 2050 FIFA 월드컵 우승팀과 대국한다는 주요 목표에 따라 RoboCup Soccer 리그는 연구 커뮤니티가 얼마나 진전하고 있는지 지속적으로 측정할 필요가 있다. 경기 영상으로부터 시각 통계를 계산하는 것은 이러한 진전을 추적하는 중요한 방법이다. 이러한 과제를 해결하기 위해 본 논문은 RoboCup 경기를 위한 완전 자율형 실시간 스포츠 해설 시스템을 제안한다. 원시 운동학적 추적(kinematic tracking)과 자연어 생성(NLG) 사이의 간극을 메움으로써, 우리의 신경-기호(neuro-symbolic) 아키텍처는 영상 스트림에서 정밀한 통계를 추출하고 이를 유창하고 환각(hallucination) 없는 해설로 변환한다. 제안된 시스템은 라이브 경기 스트리밍 중과 경기 후 분석 모두에서 통계와 해설을 생성할 수 있으며, 서로 다른 크기의 다양한 휴머노이드 로봇이 동일한 경기장을 공유하는 리그의 새로운 역동성에도 손쉽게 적응한다. 보충 자료는 https://lab-rococo-sapienza.github.io/MARIO/ 에서 확인할 수 있다.