A large fraction of the arithmetic operations required to evaluate deep neural networks (DNNs) consists of matrix multiplications, in both convolution and fully connected layers. We perform end-to-end learning of low-cost approximations of matrix multiplications in DNN layers by casting matrix multiplications as 2-layer sum-product networks (SPNs) (arithmetic circuits) and learning their (ternary) edge weights from data. The SPNs disentangle multiplication and addition operations and enable us to impose a budget on the number of multiplication operations. Combining our method with knowledge distillation and applying it to image classification DNNs (trained on ImageNet) and language modeling DNNs (using LSTMs), we obtain a first-of-a-kind reduction in number of multiplications (over 99.5%) while maintaining the predictive performance of the full-precision models. Finally, we demonstrate that the proposed framework is able to rediscover Strassen's matrix multiplication algorithm, learning to multiply $2 \times 2$ matrices using only 7 multiplications instead of 8.
대규모 언어 모델(LLM)은 일반적으로 주류 최적화 프로토콜에 통합됩니다. 그러나 모델의 무결성을 유지하는 것이 유의미한 성능을 위해 \textit{필수적}인지는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 가중치를 업데이트하지 않고도 모델의 구조적 무결성을 정교하게 깨뜨림으로써 놀랍게도 성능을 향상시킬 수 있음을 입증하는 새로운 LLM 미세조정 패러다임인 마스크 미세조정(Mask Fine-Tuning, MFT)을 소개합니다. MFT는 표준 LLM 미세조정 목적 함수를 감독 신호로 사용하여, 잘 최적화된 모델에 적용할 이진 마스크를 학습하고 적용합니다. 완전히 미세조정된 모델을 기반으로, MFT는 동일한 미세조정 데이터셋을 활용하여 여러 도메인 및 백본 전반에서 일관된 성능 향상을 달성합니다(예: LLaMA2-7B/3.1-8B 기반 IFEval에서 평균 2.70/4.15 향상). 상세한 절제 연구(ablation study) 및 분석을 통해 희소 비율(sparse ratio)과 손실 표면(loss surface)을 포함한 다양한 관점에서 제안된 MFT를 검토합니다. 또한 잘 훈련된 모델에 적용할 경우, MFT는 다른 LLM 최적화 절차와도 호환되어 전반적인 모델 성능을 향상시킵니다. 나아가 본 연구는 모델 압축을 위한 네트워크 가지치기에서의 전통적 용도를 넘어 마스킹 연산을 확장하여 더 광범위한 모델 역량을 아우르도록 합니다.
대규모 언어 모델(LLM)은 상용 코드 자동완성 엔진에 널리 채택되어 코딩 효율과 생산성을 크게 높였다. 그러나 기능적으로 올바른 LLM 생성 코드라도 코딩 표준과 모범 사례를 위반하는 비기능적 품질 문제—예를 들어 스타일 불량이나 유지보수성 부족—를 보일 수 있다. 이를 해결하기 위해, 우리는 LLM이 기준을 준수하는 코드를 생성하도록 유도하는 품질 인식 선호 학습 프레임워크를 제안한다. 우리 접근법은 세 단계로 구성된다. 첫째, 각 쌍이 특정 비기능적 품질 이슈를 보이는 코드와 그 이슈를 해결한 수정 버전을 포함하는, 기준 위반·기준 준수 샘플 쌍으로 데이터셋을 구축한다. 둘째, 품질에 민감한 코드 영역을 강조하기 위한 적응형 토큰 가중 메커니즘을 설계한다. 셋째, 순위 손실(ranking loss)과 언어 모델링 손실 및 KL 발산을 결합한 하이브리드 최적화 목표를 도입하여 효과적인 비교 최적화를 가능하게 한다. DeepSeek-Coder와 Qwen2.5-Coder에 대한 광범위한 실험에서, 우리 방법은 기능적 정확성을 유지하면서 목표 비기능적 품질 기준 준수를 크게 개선하였으며, Qwen2.5-Coder에 대해 MBPP-sanitized에서 Quality Reciprocal Score(QRS)가 75.7% 상대 증가를 달성했다. 7B 모델의 미세조정에는 3시간 미만이 필요하여 실용적 타당성이 높음을 보여준다. 절제 연구와 사용자 연구가 제안 프레임워크의 효과를 추가로 뒷받침한다.
인공 신경망의 뉴런은 생물학적 뉴런에 대해 오늘날보다 훨씬 적게 알려져 있던 시기에 처음 고안되었다. 본 연구는 핵심 뉴런 단위를 생물학적 뉴런에 더 가깝게 만들기 위한 수정 방안을 탐구한다. 이 수정은 생물학적 수상돌기가 단순히 수동적인 활성화 깔때기가 아니라, 활성화를 세포체로 전달하는 과정에서 복잡한 비선형 함수를 계산하기도 한다는 지식에 기반한다. 본 논문은 딥 뉴럴 네트워크의 인공 뉴런이 원래 아키텍처에서 코딩하던 것과 동일한 특징을 코딩하면서도 더 나은 성능을 달성할 수 있도록 하는 새로운 ``퍼포레이티드(perforated)'' 역전파 시스템을 탐구한다. 초기 네트워크 학습 단계 이후, 추가적인 ``수상돌기(dendrite)'' 노드를 네트워크에 추가하고, 이들의 출력을 원래 뉴런에 남아 있는 오차와 상관시킨다는 다른 목표로 별도로 학습시킨다. 이후 학습된 수상돌기를 고정(freeze)하고, 수상돌기가 제공하는 추가적인 오차 신호를 반영하여 원래 뉴런을 추가로 학습시킨다. 원래 뉴런을 학습시킨 다음 수상돌기를 추가하고 학습시키는 이 사이클은 만족스러운 성능에 도달할 때까지 여러 번 반복할 수 있다. 본 알고리즘은 여러 도메인에 걸친 최신 PyTorch 네트워크에 성공적으로 적용되어 원래의 정확도를 향상시켰으며, 정확도 손실 없이 상당한 수준의 모델 압축을 가능하게 했다.
대규모 언어 모델(LLM)은 다양한 영역에서 상당한 성공을 거두었습니다. 그러나 인과 문제와 인과 이론의 본질적인 복잡성으로 인해 이를 자연어로 정확하게 기술하기 어렵고, 이로 인해 LLM이 이를 효과적으로 이해하고 활용하는 데 어려움이 있습니다. 인과적 방법은 자연어를 통해 쉽게 전달되지 않으며, 이는 LLM이 이를 정확하게 적용하는 능력을 저해합니다. 또한 인과 데이터셋은 일반적으로 표(tabular) 형태인 반면, LLM은 자연어 데이터 처리에 뛰어나므로 표 형식 데이터에 대한 효과적인 추론을 방해하는 구조적 불일치가 발생합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 LLM에 에이전트 프레임워크 내에서 인과 도구를 탑재한 Causal Agent를 개발하여 인과 문제를 해결할 수 있도록 했습니다. Causal Agent는 도구, 메모리, 추론 모듈로 구성됩니다. 도구 모듈에서 Causal Agent는 Python 코드를 호출하고 캡슐화된 인과 함수 모듈을 사용하여 표 형식 데이터를 자연어와 정렬합니다. 추론 모듈에서 Causal Agent는 도구와의 다중 반복 과정을 통해 추론을 수행합니다. 메모리 모듈에서 Causal Agent는 고유한 이름을 키로 하고 인과 그래프를 값으로 하는 딕셔너리 인스턴스를 유지합니다. Causal Agent의 인과 능력을 검증하기 위해, 변수 수준, 엣지 수준, 인과 그래프 수준, 인과 효과 수준의 4개 수준 인과 문제로 구성된 Causal Tabular Question Answer(CausalTQA) 벤치마크를 구축했습니다. CausalTQA는 이 4개 수준에 걸쳐 약 1.4K개의 질문으로 구성됩니다. Causal Agent는 4개 수준의 인과 문제에서 모두 80% 이상의 정확도를 기록하며 뛰어난 효능을 입증했습니다. 실제 데이터셋인 QRData를 통한 검증에서 Causal Agent는 기존 최고 성능(SOTA)보다 6% 더 높은 결과를 달성했습니다. 추가적인 통찰과 구현 세부 사항을 위한 코드는 GitHub 저장소(https://github.com/kairong-han/causal_agent)에서 확인할 수 있습니다.
Protein engineering is important for biomedical applications, but conventional approaches are often inefficient and resource-intensive. While deep learning (DL) models have shown promise, their training or implementation into protein engineering remains challenging for biologists without specialized computational expertise. To address this gap, we propose AutoProteinEngine (AutoPE), an agent framework that leverages large language models (LLMs) for multimodal automated machine learning (AutoML) for protein engineering. AutoPE innovatively allows biologists without DL backgrounds to interact with DL models using natural language, lowering the entry barrier for protein engineering tasks. Our AutoPE uniquely integrates LLMs with AutoML to handle model selection for both protein sequence and graph modalities, automatic hyperparameter optimization, and automated data retrieval from protein databases. We evaluated AutoPE through two real-world protein engineering tasks, demonstrating substantial performance improvements compared to traditional zero-shot and manual fine-tuning approaches. By bridging the gap between DL and biologists' domain expertise, AutoPE empowers researchers to leverage DL without extensive programming knowledge. Our code is available at https://github.com/tsynbio/AutoPE.
최근 중국어 사전학습 모델들은 중국어에 특유한 두 가지 중요한 측면인 자형(glyph)과 병음(pinyin)을 간과하는데, 이는 언어 이해를 위한 중요한 구문 및 의미 정보를 담고 있다. 본 연구에서는 중국어 한자의 자형과 병음 정보를 모두 언어 모델 사전학습에 통합하는 ChineseBERT를 제안한다. 자형 임베딩은 중국어 한자의 서로 다른 글꼴(font)을 기반으로 얻어지며 시각적 특징으로부터 한자의 의미를 포착할 수 있고, 병음 임베딩은 중국어 한자의 발음을 특징화하여 중국어에서 매우 흔한 동음이의어(heteronym) 현상, 즉 같은 한자가 의미에 따라 서로 다른 발음을 갖는 경우를 처리한다. 대규모 비라벨 중국어 말뭉치로 사전학습된 제안 ChineseBERT 모델은 더 적은 학습 단계로 기준선 모델 대비 상당한 성능 향상을 보인다. 제안 모델은 기계 독해(machine reading comprehension), 자연어 추론(natural language inference), 텍스트 분류, 문장 쌍 매칭(sentence pair matching) 등 광범위한 중국어 자연어 처리(NLP) 과제에서 새로운 SOTA 성능을 달성하고, 개체명 인식에서도 경쟁력 있는 성능을 보인다. 코드와 사전학습 모델은 https://github.com/ShannonAI/ChineseBert 에서 공개적으로 이용할 수 있다.
다국어 지시 미세조정(MIT)은 다국어의 저주, 데이터 부족, 높은 계산 비용으로 인해 어려움을 겪는다. 자연스러운 가설은 언어학적으로 다양한 언어 집합을 신중하게 선택하면 보편적으로 더 나은 모델을 얻을 수 있다는 것이다. 우리는 유형론적, 지리적, 의미적, 학습된 특징에 기반한 언어학적 정보 기반 선택 전략을 무작위 기준선과 비교 평가하여, 세 가지 모델 패밀리(mGPT, mT5-xl, BLOOM)와 다섯 개의 다국어 벤치마크에 걸쳐 이를 체계적으로 검증한다. 우리의 핵심적인 부정적 발견은 고정 예산 설정에서 보편적인 언어 선택 전략이 나타나지 않는다는 것이다. 성능은 작업과 모델에 크게 의존하며, 적당한 임계값을 넘어 더 많은 언어를 추가하면 다국어의 저주와 일치하는 성능 저하가 발생한다. MIT 데이터 큐레이션에 대한 함의와 벤치마크 평균 평가의 함정에 대해 논의한다. 모든 자료는 https://github.com/GGLAB-KU/ling-informed-mit 에서 공개적으로 이용할 수 있다.
현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.
RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.
새로운 지식이 빠르게 축적되면서, 사전학습된 지식을 갖춘 언어 모델(LM)은 급속히 시대에 뒤처지게 된다. LM을 업데이트하는 일반적인 접근은 새로운 지식에 직접 미세조정하는 것이다. 그러나 최근 연구들은 암기를 위한 미세조정이 지식 저장에 비효율적일 수 있거나 환각(hallucination)을 악화시킬 수 있음을 보여준다. 본 연구에서는 연속적 암기(continual memorization)라고 부르는 설정을 제안한다. 이 설정에서 모델은 후속 데이터셋에 대한 여러 단계의 미세조정을 거치면서 일련의 사실(factoid)을 암기하고 유지해야 한다. 광범위한 실험을 통해 망각 패턴을 분석한 결과, LM이 광범위하게 망각에 시달리며, 특히 두 번째 단계에서 사실을 암기해야 할 때 더욱 그러함을 보인다. 망각은 학습 동역학을 수정함으로써 완화할 수 있다고 가정한다: (1) 사실을 학습할 때 암기 과정을 보호하거나 (2) 후속 학습 단계로 인한 간섭을 줄이는 것. 흥미롭게도, 다양한 학습 단계에서 무작위로 생성된 단어 시퀀스나 사전학습 코퍼스에서 샘플링한 일반 데이터를 혼합하는 것이 망각을 효과적으로 완화함을 발견한다(REMIX: Random and Generic Data Mixing). REMIX는 심각한 망각으로부터 성능을 회복할 수 있으며, 리플레이(replay) 방법 및 기타 연속 학습 베이스라인을 능가한다. REMIX가 학습 과정에 미치는 영향을 분석한 결과, 견고한 암기는 뚜렷한 패턴을 따름을 확인한다: 모델이 사실을 평소보다 더 이른 레이어에 저장하고 이를 보존하는 레이어를 다양화하며, 이로 인해 학습한 사실을 더 쉽게 회상하고 조작할 수 있다.
Mamba2 모델에 PubMed, C4, Wikipedia의 균형 잡힌 데이터를 사용하여 지속 사전학습을 수행한 BioMamba는 바이오의학 문헌 및 임상 텍스트에서의 성능을 향상시키면서 일반 언어 모델링 유창성을 유지합니다. 파인튜닝 후 MIMIC-IV 및 PubMedQA 벤치마크에서 기존 모델과 동등하거나 우수한 성능을 달성했습니다.