자율주행차 및 게임 플레이 에이전트와 같은 현대 AI 시스템은 초인적인 성능을 달성할 수 있지만, 인간 수준의 일반화 능력, 해석 가능성, 그리고 인간 사용자와의 상호 운용성이 부족한 경우가 많습니다. 인간의 언어와 의사결정 간의 풍부한 상호작용에서 영감을 받아, 우리는 보상 행동의 기저에 있는 고수준 전략을 포착하는 언어적 규칙을 AI 에이전트가 생성할 수 있도록 하는 프레임워크인 언어 병목을 활용한 정책 학습(Policy Learning with a Language Bottleneck, PLLB)을 제안합니다. PLLB는 언어 모델의 유도를 받는 *규칙 생성(rule generation)* 단계와, 규칙이 복잡한 정책 전체를 설명하기에 불충분한 경우에도 해당 규칙의 안내를 받아 새로운 정책을 학습하는 *업데이트(update)* 단계를 번갈아 수행합니다. 2인 신호 게임(two-player signaling game), 미로 내비게이션, 이미지 재구성, 로봇 파지 계획(grasp planning)을 포함한 5가지 다양한 태스크 전반에서, PLLB 에이전트가 더 해석 가능하고 일반화 가능한 행동을 학습할 수 있을 뿐만 아니라 학습된 규칙을 인간 사용자와 공유하여 더욱 효과적인 인간-AI 협업을 가능하게 함을 보입니다. 실험을 위한 소스 코드는 https://github.com/meghabyte/bottleneck 에서 제공됩니다.
대규모 언어 모델(LLM)은 일반적으로 주류 최적화 프로토콜에 통합됩니다. 그러나 모델의 무결성을 유지하는 것이 유의미한 성능을 위해 \textit{필수적}인지는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 가중치를 업데이트하지 않고도 모델의 구조적 무결성을 정교하게 깨뜨림으로써 놀랍게도 성능을 향상시킬 수 있음을 입증하는 새로운 LLM 미세조정 패러다임인 마스크 미세조정(Mask Fine-Tuning, MFT)을 소개합니다. MFT는 표준 LLM 미세조정 목적 함수를 감독 신호로 사용하여, 잘 최적화된 모델에 적용할 이진 마스크를 학습하고 적용합니다. 완전히 미세조정된 모델을 기반으로, MFT는 동일한 미세조정 데이터셋을 활용하여 여러 도메인 및 백본 전반에서 일관된 성능 향상을 달성합니다(예: LLaMA2-7B/3.1-8B 기반 IFEval에서 평균 2.70/4.15 향상). 상세한 절제 연구(ablation study) 및 분석을 통해 희소 비율(sparse ratio)과 손실 표면(loss surface)을 포함한 다양한 관점에서 제안된 MFT를 검토합니다. 또한 잘 훈련된 모델에 적용할 경우, MFT는 다른 LLM 최적화 절차와도 호환되어 전반적인 모델 성능을 향상시킵니다. 나아가 본 연구는 모델 압축을 위한 네트워크 가지치기에서의 전통적 용도를 넘어 마스킹 연산을 확장하여 더 광범위한 모델 역량을 아우르도록 합니다.
대규모 언어 모델(LLM)은 다양한 영역에서 상당한 성공을 거두었습니다. 그러나 인과 문제와 인과 이론의 본질적인 복잡성으로 인해 이를 자연어로 정확하게 기술하기 어렵고, 이로 인해 LLM이 이를 효과적으로 이해하고 활용하는 데 어려움이 있습니다. 인과적 방법은 자연어를 통해 쉽게 전달되지 않으며, 이는 LLM이 이를 정확하게 적용하는 능력을 저해합니다. 또한 인과 데이터셋은 일반적으로 표(tabular) 형태인 반면, LLM은 자연어 데이터 처리에 뛰어나므로 표 형식 데이터에 대한 효과적인 추론을 방해하는 구조적 불일치가 발생합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 LLM에 에이전트 프레임워크 내에서 인과 도구를 탑재한 Causal Agent를 개발하여 인과 문제를 해결할 수 있도록 했습니다. Causal Agent는 도구, 메모리, 추론 모듈로 구성됩니다. 도구 모듈에서 Causal Agent는 Python 코드를 호출하고 캡슐화된 인과 함수 모듈을 사용하여 표 형식 데이터를 자연어와 정렬합니다. 추론 모듈에서 Causal Agent는 도구와의 다중 반복 과정을 통해 추론을 수행합니다. 메모리 모듈에서 Causal Agent는 고유한 이름을 키로 하고 인과 그래프를 값으로 하는 딕셔너리 인스턴스를 유지합니다. Causal Agent의 인과 능력을 검증하기 위해, 변수 수준, 엣지 수준, 인과 그래프 수준, 인과 효과 수준의 4개 수준 인과 문제로 구성된 Causal Tabular Question Answer(CausalTQA) 벤치마크를 구축했습니다. CausalTQA는 이 4개 수준에 걸쳐 약 1.4K개의 질문으로 구성됩니다. Causal Agent는 4개 수준의 인과 문제에서 모두 80% 이상의 정확도를 기록하며 뛰어난 효능을 입증했습니다. 실제 데이터셋인 QRData를 통한 검증에서 Causal Agent는 기존 최고 성능(SOTA)보다 6% 더 높은 결과를 달성했습니다. 추가적인 통찰과 구현 세부 사항을 위한 코드는 GitHub 저장소(https://github.com/kairong-han/causal_agent)에서 확인할 수 있습니다.
Protein engineering is important for biomedical applications, but conventional approaches are often inefficient and resource-intensive. While deep learning (DL) models have shown promise, their training or implementation into protein engineering remains challenging for biologists without specialized computational expertise. To address this gap, we propose AutoProteinEngine (AutoPE), an agent framework that leverages large language models (LLMs) for multimodal automated machine learning (AutoML) for protein engineering. AutoPE innovatively allows biologists without DL backgrounds to interact with DL models using natural language, lowering the entry barrier for protein engineering tasks. Our AutoPE uniquely integrates LLMs with AutoML to handle model selection for both protein sequence and graph modalities, automatic hyperparameter optimization, and automated data retrieval from protein databases. We evaluated AutoPE through two real-world protein engineering tasks, demonstrating substantial performance improvements compared to traditional zero-shot and manual fine-tuning approaches. By bridging the gap between DL and biologists' domain expertise, AutoPE empowers researchers to leverage DL without extensive programming knowledge. Our code is available at https://github.com/tsynbio/AutoPE.
최근 중국어 사전학습 모델들은 중국어에 특유한 두 가지 중요한 측면인 자형(glyph)과 병음(pinyin)을 간과하는데, 이는 언어 이해를 위한 중요한 구문 및 의미 정보를 담고 있다. 본 연구에서는 중국어 한자의 자형과 병음 정보를 모두 언어 모델 사전학습에 통합하는 ChineseBERT를 제안한다. 자형 임베딩은 중국어 한자의 서로 다른 글꼴(font)을 기반으로 얻어지며 시각적 특징으로부터 한자의 의미를 포착할 수 있고, 병음 임베딩은 중국어 한자의 발음을 특징화하여 중국어에서 매우 흔한 동음이의어(heteronym) 현상, 즉 같은 한자가 의미에 따라 서로 다른 발음을 갖는 경우를 처리한다. 대규모 비라벨 중국어 말뭉치로 사전학습된 제안 ChineseBERT 모델은 더 적은 학습 단계로 기준선 모델 대비 상당한 성능 향상을 보인다. 제안 모델은 기계 독해(machine reading comprehension), 자연어 추론(natural language inference), 텍스트 분류, 문장 쌍 매칭(sentence pair matching) 등 광범위한 중국어 자연어 처리(NLP) 과제에서 새로운 SOTA 성능을 달성하고, 개체명 인식에서도 경쟁력 있는 성능을 보인다. 코드와 사전학습 모델은 https://github.com/ShannonAI/ChineseBert 에서 공개적으로 이용할 수 있다.
현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.
RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.
선택지 없는 개방형 의료 질문 데이터셋 MedQA-Open과 임상의의 점진적 추론을 반영한 5-shot 사고의 연쇄(CoT) 프롬프트 ClinicR을 제안하며, 기존 5-shot CoT 프롬프트보다 우수한 성능을 보인다. MCQ-ClinicR로 감별진단을 탐색한 뒤 MCQ-Eliminative 또는 보상 모델(reward model)로 최종 진단을 좁히는 전방-후방 접근도 제시한다.