PyTorchKR Papers

최신 논문

총 2,120편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2501.05396v4cs.CL공식 코드 · Papers with Code

FairCoder: 코딩 과제를 통한 고위험 의사결정에서 LLM 바이어스 탐색

FairCoder: Probing LLM Bias in High-Stakes Decision Making via Coding Tasks

대규모 언어 모델(LLM)은 채용 및 대학 입학과 같은 고위험 의사결정에 점점 더 많이 사용되고 있어, 그 사회적 바이어스가 중요한 우려사항이 되고 있다. LLM은 명시적으로 편향된 요청을 거절하도록 학습되지만, LLM의 계획 및 추론 과정에서 바이어스가 암묵적으로 누출될 수 있다. 코드가 LLM의 내부 논리 작성의 주요 매체가 되면서, 우리는 의사결정을 코딩 과제로 구성하여 고용, 교육, 의료 분야에 걸쳐 여러 공정성 정의를 포괄하며 LLM 바이어스를 체계적으로 탐색하는 벤치마크인 FairCoder를 제안한다. LLM이 요청을 자주 거절할 때 기존 지표가 실패할 수 있다는 점을 고려하여, 거절 행동과 그룹 수준 결과 다양성을 함께 포착하는 지표인 FairScore를 제안한다. 강력한 LLM을 대상으로 1k 샘플 데이터셋으로 실험한 결과, 대학 입학에서 고소득 가족 출신 지원자를 우선시하는 것과 같은 일관되고 이전에 충분히 탐구되지 않았던 바이어스 패턴이 드러난다. 우리의 발견은 LLM을 의사결정 에이전트로 배치할 때의 위험을 강조하며, 향후 연구를 위한 포괄적인 평가 프레임워크를 제공한다.

arXiv:2502.07780v4cs.LG공식 코드 · Papers with Code

DarwinLM: 대규모 언어 모델의 진화적 구조적 가지치기

DarwinLM: Evolutionary Structured Pruning of Large Language Models

대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 태스크에서 상당한 성공을 거두었다. 그러나 거대한 계산 비용은, 특히 실시간 응용에서, 이들의 널리 사용을 제한한다. 구조적 가지치기(structured pruning)는 모델을 압축하고 하드웨어 환경과 무관하게 end-to-end 속도 향상을 직접 제공함으로써 효과적인 해결책을 제시한다. 한편, 모델의 서로 다른 구성 요소는 가지치기에 대해 서로 다른 민감도를 보이므로, 균일하지 않은(non-uniform) 모델 압축이 필요하다. 그러나 가지치기 방법은 유능한 하위 구조를 식별하는 것뿐만 아니라 압축 후 학습도 고려해야 한다. 이를 위해 우리는 학습을 고려한(training-aware) 구조적 가지치기 방법인 DarwinLM을 제안한다. DarwinLM은 진화적 탐색 과정을 기반으로 하며, 각 세대에서 변이(mutation)를 통해 여러 자손 모델을 생성하고 생존에 가장 적합한 것을 선택한다. 사후 학습의 효과를 평가하기 위해, 우리는 자손 집단 내에 경량의 다단계 학습 과정을 통합하여 토큰 수를 점진적으로 늘리고 각 선택 단계에서 성능이 낮은 모델을 제거한다. 우리는 Llama-2-7B, Llama-3.1-8B, Qwen-2.5-14B-Instruct에 대한 광범위한 실험을 통해 방법을 검증하였으며, 구조적 가지치기에서 최신(state-of-the-art) 성능을 달성하였다. 예를 들어, DarwinLM은 압축 후 학습 동안 5배 적은 학습 데이터를 필요로하면서 ShearedLlama를 능가한다. 코드: https://github.com/IST-DASLab/DarwinLM

arXiv:2505.18610v2cs.CL공식 코드 · Papers with Code

PM-KVQ: 긴 사고의 연쇄(Long-CoT) 대규모 언어 모델을 위한 점진적 혼합 정밀도 KV 캐시 양자화

PM-KVQ: Progressive Mixed-precision KV Cache Quantization for Long-CoT LLMs

최근 긴 사고의 연쇄(Chain-of-Thought, CoT) 기법을 통해 추론 능력을 갖춘 대규모 언어 모델(LLM) 개발에 있어 상당한 진전이 이루어졌다. 그러나 이 긴 CoT 추론 과정은 대용량 Key-Value(KV) 캐시로 인해 상당한 메모리 오버헤드를 유발한다. 사후 학습 KV 캐시 양자화는 유망한 압축 기법으로 부상하여 짧은 컨텍스트 시나리오에서 광범위하게 연구되어 왔다. 그러나 기존 방법을 긴 CoT LLM에 직접 적용하면 다음 두 가지 이유로 심각한 성능 저하가 발생한다: (1) 큰 누적 오류: 기존 방법들은 가용 메모리를 충분히 활용하지 못하며, 각 디코딩 단계에서 KV 캐시를 직접 양자화하여 큰 누적 양자화 오류를 초래한다. (2) 짧은 컨텍스트 보정: 회전 위치 임베딩(Rotary Positional Embedding, RoPE)으로 인해 보정 시 짧은 컨텍스트 데이터를 사용하면 Key 캐시 내 출현 빈도가 낮은 채널의 분포를 반영하지 못해 성능 손실이 발생한다. 우리는 위의 문제를 두 가지 측면에서 해결하기 위해 긴 CoT LLM을 위한 점진적 혼합 정밀도 KV 캐시 양자화(Progressive Mixed-Precision KV Cache Quantization, PM-KVQ)를 제안한다: (1) 누적 오류를 줄이기 위해 각 블록에서 KV 캐시의 비트 폭을 점진적으로 낮추는 점진적 양자화 전략을 설계한다. 이어서 민감도가 높은 트랜스포머 블록에 더 높은 비트 폭을 할당하는 블록 단위 메모리 할당을 제안한다. (2) 추가 오버헤드 없이 보정 길이를 늘리기 위해, 짧은 보정 데이터에 위치 보간(positional interpolation)을 적용하여 긴 컨텍스트 데이터의 분포를 근사하는 새로운 보정 전략을 제안한다. 7B~70B 규모의 긴 CoT LLM에 대한 광범위한 실험 결과, PM-KVQ는 동일한 메모리 예산 하에서 최신 기법(SOTA) 대비 추론 벤치마크 성능을 최대 8% 향상시키며, 원래 16비트 LLM 대비 2.73~5.18배의 처리량을 달성한다.

arXiv:2502.15631v2cs.LG공식 코드 · Papers with Code

대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다

The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer

대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.

arXiv:2406.07089v4cs.CV공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.

arXiv:2501.08579v3cs.CL공식 코드 · Papers with Code

LLM 기반 인간 시뮬레이션은 아직 신뢰할 수 없다

LLM-based Human Simulations Have Not Yet Been Reliable

대규모 언어 모델(LLM)은 다양한 분야에서 인간 행동을 시뮬레이션하는 데 점점 더 많이 활용되고 있다. 그러나 우리의 입장은 현재 LLM 기반 인간 시뮬레이션이 아직 충분히 신뢰할 수 없다는 것이며, 이는 시뮬레이션 결과와 실제 인간 행동 사이의 상당한 불일치로 입증된다. 본 연구는 사회적·경제적·정책적·심리적 맥락에서 LLM 기반 인간 시뮬레이션에 대한 체계적 문헌 고찰로 시작하여, 공통 프레임워크, 최근의 발전, 그리고 지속되는 한계를 파악한다. 이 고찰을 통해 해당 불일치가 주로 LLM의 고유한 한계와 시뮬레이션 설계상의 결함에서 비롯된다는 사실이 드러나며, 이 두 가지를 상세히 검토한다. 이러한 통찰을 바탕으로, 우리는 신뢰성 향상을 위해 데이터 기반 강화, LLM 역량 향상, 견고한 시뮬레이션 설계 보장을 강조하는 체계적 해결책 프레임워크를 제안한다. 마지막으로, 신뢰할 수 있고 인간과 정렬된 LLM 기반 시뮬레이션을 안내하기 위해 제안된 프레임워크를 구체화한 구조화된 알고리즘을 소개한다. 추가 연구를 촉진하기 위해 관련 문헌 및 자료 목록을 https://github.com/Persdre/awesome-llm-human-simulation 에서 제공한다.

arXiv:2311.17633v2cs.CL공식 코드 · Papers with Code

Introduction to Transformers: an NLP Perspective

Transformers have dominated empirical machine learning models of natural language processing. In this paper, we introduce basic concepts of Transformers and present key techniques that form the recent advances of these models. This includes a description of the standard Transformer architecture, a series of model refinements, and common applications. Given that Transformers and related deep learning techniques might be evolving in ways we have never seen, we cannot dive into all the model details or cover all the technical areas. Instead, we focus on just those concepts that are helpful for gaining a good understanding of Transformers and their variants. We also summarize the key ideas that impact this field, thereby yielding some insights into the strengths and limitations of these models.

arXiv:2412.15529v4cs.CL공식 코드 · Papers with Code

XRAG: 핵심 분석 — 고급 검색-증강 생성의 기반 구성 요소 벤치마킹

XRAG: eXamining the Core -- Benchmarking Foundational Components in Advanced Retrieval-Augmented Generation

검색-증강 생성(RAG)은 관련 데이터 검색과 대규모 언어 모델(LLM)의 생성 능력을 결합하여, 생성된 출력이 문맥적으로 적절할 뿐만 아니라 정확하고 최신의 내용을 담도록 보장한다. 본 논문에서는 고급 RAG 모듈의 기반 구성 요소 성능에 대한 포괄적인 평가를 지원하는 오픈소스 모듈형 코드베이스인 XRAG를 소개한다. 이 구성 요소들은 사전 검색(pre-retrieval), 검색(retrieval), 사후 검색(post-retrieval), 생성(generation)의 네 가지 핵심 단계로 체계적으로 분류된다. 우리는 재구성된 데이터셋을 통해 이를 체계적으로 분석하여 각 요소의 효과성에 대한 종합적인 벤치마크를 제공한다. RAG 시스템의 복잡성이 지속적으로 증가함에 따라, 우리는 RAG 시스템 내 잠재적 실패 지점을 식별하는 것의 중요성을 강조한다. 우리는 RAG 엔지니어링에 내재된 실패 지점을 분석하기 위한 일련의 실험 방법론과 진단 테스트 프로토콜을 수립한다. 이어서 이러한 모듈의 전반적인 성능을 강화하기 위한 맞춤형 해결책을 제안한다. 본 연구는 RAG 시스템 내 고급 핵심 구성 요소의 성능을 철저히 평가하고, 일반적인 실패 지점에 대한 최적화 방향을 제시한다.

arXiv:2506.10355v2cs.LG공식 코드 · Papers with Code

TreeLoRA: 계층적 그래디언트 유사도 트리 기반 층별 LoRA를 활용한 효율적 지속 학습

TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree

많은 실세계 응용에서는 데이터를 스트리밍 환경에서 수집하며, 학습 태스크가 순차적으로 등장한다. 이는 모델을 온라인으로 갱신하는 지속 학습(CL)을 필요로 하며, 새로운 태스크에 적응하면서 과거 지식을 보존하여 치명적 망각을 방지한다. 최근 대규모 사전학습 모델(LPM)의 성장과 함께, 상당한 계산 요구와 증가하는 매개변수 규모로 인해 CL에서 효율성이 점점 더 중요해졌다. 본 논문에서는 TreeLoRA(K-D Tree of Low-Rank Adapters)를 제안한다. 이는 계층적 그래디언트 유사도를 활용하여 층별 어댑터를 구성하고, 특히 LPM을 위한 효율적인 CL을 가능하게 하는 새로운 접근법이다. 태스크 유사도 추정의 계산 부담을 줄이기 위해, 밴딧(bandit) 기법을 사용하여 하한 신뢰 구간(lower confidence bounds)에 기반한 알고리즘을 개발하고 태스크 구조를 효율적으로 탐색한다. 또한 희소 그래디언트 업데이트를 사용하여 매개변수 최적화를 촉진하고, 이 접근법을 LPM에 더 적합하게 만든다. 접근법의 근거를 정당화하는 이론적 분석을 제공하며, 비전 트랜스포머(ViT)와 대규모 언어 모델(LLM) 모두에 대한 실험을 통해 비전 및 자연어 처리(NLP) 태스크를 포함한 다양한 도메인에서 본 접근법의 효과와 효율성을 입증한다.

arXiv:2411.07175v3cs.CL공식 코드 · Papers with Code

언어 모델에서 사실(factoid)의 연속적 암기

Continual Memorization of Factoids in Language Models

새로운 지식이 빠르게 축적되면서, 사전학습된 지식을 갖춘 언어 모델(LM)은 급속히 시대에 뒤처지게 된다. LM을 업데이트하는 일반적인 접근은 새로운 지식에 직접 미세조정하는 것이다. 그러나 최근 연구들은 암기를 위한 미세조정이 지식 저장에 비효율적일 수 있거나 환각(hallucination)을 악화시킬 수 있음을 보여준다. 본 연구에서는 연속적 암기(continual memorization)라고 부르는 설정을 제안한다. 이 설정에서 모델은 후속 데이터셋에 대한 여러 단계의 미세조정을 거치면서 일련의 사실(factoid)을 암기하고 유지해야 한다. 광범위한 실험을 통해 망각 패턴을 분석한 결과, LM이 광범위하게 망각에 시달리며, 특히 두 번째 단계에서 사실을 암기해야 할 때 더욱 그러함을 보인다. 망각은 학습 동역학을 수정함으로써 완화할 수 있다고 가정한다: (1) 사실을 학습할 때 암기 과정을 보호하거나 (2) 후속 학습 단계로 인한 간섭을 줄이는 것. 흥미롭게도, 다양한 학습 단계에서 무작위로 생성된 단어 시퀀스나 사전학습 코퍼스에서 샘플링한 일반 데이터를 혼합하는 것이 망각을 효과적으로 완화함을 발견한다(REMIX: Random and Generic Data Mixing). REMIX는 심각한 망각으로부터 성능을 회복할 수 있으며, 리플레이(replay) 방법 및 기타 연속 학습 베이스라인을 능가한다. REMIX가 학습 과정에 미치는 영향을 분석한 결과, 견고한 암기는 뚜렷한 패턴을 따름을 확인한다: 모델이 사실을 평소보다 더 이른 레이어에 저장하고 이를 보존하는 레이어를 다양화하며, 이로 인해 학습한 사실을 더 쉽게 회상하고 조작할 수 있다.

arXiv:2502.08660v4cs.CL공식 코드 · Papers with Code

사전학습 언어 모델 시대의 의미역 할당 체계적 서베이

A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models

의미역 할당(SRL)은 텍스트 내 술어-인수(predicate-argument) 구조를 이해하고 하위 응용을 가능하게 하는 자연어 처리(NLP)의 핵심 과제이다. 광범위한 연구에도 불구하고, 통합적 관점에서 해당 분야를 비판적으로 종합하는 포괄적 서베이는 여전히 부족하다. 본 서베이는 기존 연구를 정리하는 것을 넘어 여러 기여를 한다. 우리는 모델 아키텍처, 구문 특징 모델링, 응용 시나리오, 멀티모달 확장을 축으로 SRL 연구를 분류하는 통합 4차원 분류체계를 제안한다. 구문 특징이 언제, 왜 도움이 되는지에 대한 비판적 분석을 제공하며, 구문 보조 접근법이 구문 비사용 대안 대비 일관된 이득을 제공하는 조건을 밝힌다. 대규모 언어 모델(LLM) 시대의 SRL에 대한 최초의 체계적 논의를 제공하며, LLM과 전문 SRL 시스템의 상보적 역할을 검토하고 하이브리드 접근의 방향을 제시한다. SRL 서베이의 범위를 시각, 비디오, 음성 모달리티를 포함한 멀티모달 설정까지 확장하고, 이러한 모달리티 간 평가의 구조적 차이를 분석한다. 문헌은 ACL Anthology, IEEE Xplore, ACM Digital Library, Google Scholar에 대한 체계적 검색을 통해 수집하였으며, 2000년부터 2025년까지의 출판물을 대상으로 명시적 포함·제외 기준을 적용하여 약 200편의 핵심 참고문헌을 도출하였다. SRL 벤치마크, 평가 지표, 패러다임 모델링 접근법을 도메인 전반의 실용적 응용과 함께 논의한다. 대규모 언어 모델과 더 넓은 NLP 영향력 속에서 변화하는 SRL의 역할을 다루며, 향후 연구 방향을 분석한다.

arXiv:2403.11425v4cs.LG공식 코드 · Papers with Code

Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure

Cancer treatments are known to introduce cardiotoxicity, negatively impacting outcomes and survivorship. Identifying cancer patients at risk of heart failure (HF) is critical to improving cancer treatment outcomes and safety. This study examined machine learning (ML) models to identify cancer patients at risk of HF using electronic health records (EHRs), including traditional ML, Time-Aware long short-term memory (T-LSTM), and large language models (LLMs) using novel narrative features derived from the structured medical codes. We identified a cancer cohort of 12,806 patients from the University of Florida Health, diagnosed with lung, breast, and colorectal cancers, among which 1,602 individuals developed HF after cancer. The LLM, GatorTron-3.9B, achieved the best F1 scores, outperforming the traditional support vector machines by 39%, the T-LSTM deep learning model by 7%, and a widely used transformer model, BERT, by 5.6%. The analysis shows that the proposed narrative features remarkably increased feature density and improved performance.

arXiv:2506.23921v5cs.CL공식 코드 · Papers with Code

대규모 언어 모델에서 진실의 트릴레마

The Trilemma of Truth in Large Language Models

LLM 내부 확률적 지식의 진위를 탐칭하는 기존 방법의 세 가지 결함 있는 가정을 분석하고, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 sAwMIL로 진술을 참·거짓·둘 다 아님으로 분류하는 다중 클래스 탐칭 프레임워크를 제안한다. 16개 오픈소스 LLM 평가에서 일반 탐칭은 신뢰 가능하고 전이 가능한 진위 방향을 제공하지 못하며, 진실과 거짓은 대칭적으로 인코딩되지 않고 참·거짓과 구별되는 제3의 신호가 존재함을 확인했다.

arXiv:2305.14985v3cs.CV공식 코드 · Papers with Code

IdealGPT: 대규모 언어 모델을 통한 비전-언어 추론의 반복적 분해

IdealGPT: Iteratively Decomposing Vision and Language Reasoning via Large Language Models

비전-언어(VL) 이해 분야는 엔드-투-엔드 대규모 사전학습 VL 모델(VLMs)을 통해 전례 없는 발전을 이루었습니다. 그러나 이 모델들은 다단계 추론이 필요한 제로샷 추론 작업에서는 여전히 부족합니다. 이 목표를 달성하기 위해 이전 연구들은 분할 정복(divide-and-conquer) 파이프라인을 사용해 왔습니다. 본 논문에서 우리는 이전의 노력들이 몇 가지 본질적인 단점을 가지고 있다고 주장합니다: 1) 도메인 특화 하위 질문 분해 모델에 의존합니다. 2) 하위 질문이나 하위 답변이 불충분한 정보를 제공하더라도 모델이 최종 답변을 예측하도록 강요합니다. 우리는 대규모 언어 모델(LLMs)을 사용하여 VL 추론을 반복적으로 분해하는 프레임워크인 IdealGPT를 통해 이러한 한계점을 해결합니다. 구체적으로, IdealGPT는 하위 질문을 생성하기 위해 LLM을, 해당 하위 답변을 제공하기 위해 VLM을, 그리고 최종 답변에 도달하기 위해 추론하기 위해 또 다른 LLM을 활용합니다. 이 세 가지 모듈은 모델이 주요 질문에 대한 최종 답변을 확신할 때까지 분할 정복 절차를 반복적으로 수행합니다. 우리는 제로샷 설정 하에서 여러 가지 도전적인 VL 추론 작업에 대해 IdealGPT를 평가했습니다. 특히, 우리의 IdealGPT는 VCR에서 절대 10%, SNLI-VE에서 15%만큼 기존 최고의 GPT-4와 유사한 모델들을 능가했습니다. 코드는 https://github.com/Hxyou/IdealGPT 에서 확인할 수 있습니다.

arXiv:2505.23851v3cs.CL공식 코드 · Papers with Code

ASyMOB: 대수적 기호 수학 연산 벤치마크

ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark

기존 평가가 패턴 암기와 진정한 수학 추론을 구분하지 못하는 문제를 겨냥해, ASyMOB는 적분·극한·미분방정식 등 35,368개의 기호 수학 문제에 기호·수치·동등성 보존 변형을 체계적으로 적용하는 고해상도 벤치마크를 제시한다. 평가 결과 대부분의 LLM은 사소한 변형에서도 성능이 급락하고(비변형 74.6%→전체 46.8%), 코드 도구는 약한 모델을 안정화하며, CAS가 실패한 문제는 LLM이나 LLM-CAS 하이브리드로 해결되는 사례도 확인되었다.

arXiv:2503.07459v3cs.CL공식 코드 · Papers with Code

복잡한 의료 추론을 위한 MedicalAgentsBench: 내면화된 추론 모델 대 외면화된 에이전트 기반 프레임워크 비교

MedicalAgentsBench for Complex Medical Reasoning: Comparing Internalized Reasoning Models versus Externalized Agent-based Frameworks

복잡한 의료 추론은 여러 추론(inference) 단계에 걸쳐 이질적인 임상 증거를 통합해야 합니다. 대규모 언어 모델(LLM)은 현재 내면화된 추론(internalized reasoning)과 외면화된 에이전트 스캐폴딩(여러 LLM 간에 협력적으로 문제를 분해하는 프레임워크)이라는 두 가지 경로를 통해 이에 접근합니다. 이러한 경로가 배타적인지 상호 보완적인지 확인하기 위해, 우리는 난이도 인식 큐레이션과 오염 선별을 통해 8개 의료 데이터셋의 합집합에서 추출한 862개의 복잡한 임상 질문으로 구성된 필터링된 벤치마크인 MedicalAgentsBench를 소개합니다. 3개의 내면화된 추론 모델(DeepSeek-R1, o1-mini, o3-mini), 7개의 기본 모델, 9개의 외면화된 에이전트 기반 방법을 평가한 결과, 내면화된 접근 방식과 외면화된 접근 방식은 각각 독립적으로 성능을 향상시키며, 그 이점은 결합됩니다: 즉, 내면화된 추론 모델에 에이전트 워크플로우를 계층화했을 때 가장 높은 정확도를 달성했습니다(즉, o3-mini + MDAgents가 35.1%). 파레토 분석은 이 조합이 비용-성능 프론티어를 지배함을 보여줍니다. 또한, 저렴한 모델에 대한 경량 최적화는 리소스가 제한된 환경을 위한 진입점을 제공합니다. 우리의 벤치마크는 https://github.com/gersteinlab/MedicalAgentsBench에서 확인할 수 있습니다.

arXiv:2502.08363v3cs.CL공식 코드 · Papers with Code

Top-Theta 어텐션: 보상된 임계값 적용을 통한 트랜스포머 희소화

Top-Theta Attention: Sparsifying Transformers by Compensated Thresholding

본 논문에서는 추론(inference) 과정에서 트랜스포머 어텐션(attention)을 희소화하는 학습(training)이 필요 없는 방법인 Top-Theta (Top-$θ$) 어텐션을 제안합니다. 핵심 통찰은 정적이고 헤드별(per-head) 임계값을 조정하여 각 어텐션(attention) 행마다 원하는 개수만큼의 유의미한 요소를 유지할 수 있다는 점입니다. 이 접근 방식은 재학습 없이 콘텐츠 기반 희소성(sparsity)을 가능하게 하며, 다양한 데이터 도메인에서 견고한 성능을 유지합니다. 또한, 적극적인 희소화(sparsification) 상황에서 정확도를 보존하기 위한 보상 기법을 도입하여, 어텐션(attention) 임계화(thresholding)를 top-k 어텐션에 대한 실용적이고 원칙적인 대안으로 자리 잡게 합니다. 자연어 처리(NLP) 작업에 대한 광범위한 평가를 통해 Top-$θ$가 추론(inference) 시 V-cache 사용량을 3~10배 줄이고 어텐션(attention) 요소를 최대 10배 줄이면서도 정확도 저하는 1% 이내로 유지됨을 확인했습니다.

arXiv:2503.06573v3cs.CL공식 코드 · Papers with Code

WildIFEval: 실제 환경에서의 지시사항 준수

WildIFEval: Instruction Following in the Wild

다중 제약 조건(multi-constraint)이 있는 지시사항 처리의 어려움을 해결하기 위해 실제 사용자 지시사항 7천 개를 포함하는 WildIFEval 데이터셋을 제안합니다. 이를 통해 주요 대규모 언어 모델(LLM)을 평가하여 모델 크기에 따른 성능 차이와 제약 조건 유형이 성능에 미치는 영향을 규명했습니다.

arXiv:2410.12327v2cs.CL공식 코드 · Papers with Code

대규모 언어 모델에서의 뉴런 기반 성격 특성 유도

Neuron-based Personality Trait Induction in Large Language Models

대규모 언어 모델(LLM)의 성격 특성 유도를 위해 심리학적 기반의 데이터셋인 PersonalityBench를 구축하고, 특정 뉴런의 값을 조작하여 모델 파라미터 수정 없이 성격을 세밀하게 제어하는 방법을 제안한다. 해당 방법은 파인튜닝(fine-tuning) 없이도 파인튜닝된 모델과 대등한 성능을 달성한다.

arXiv:2408.02600v3cs.CL공식 코드 · Papers with Code

BioMamba: 도메인 적응 바이오의학 언어 모델

BioMamba: Domain-Adaptive Biomedical Language Models

Mamba2 모델에 PubMed, C4, Wikipedia의 균형 잡힌 데이터를 사용하여 지속 사전학습을 수행한 BioMamba는 바이오의학 문헌 및 임상 텍스트에서의 성능을 향상시키면서 일반 언어 모델링 유창성을 유지합니다. 파인튜닝 후 MIMIC-IV 및 PubMedQA 벤치마크에서 기존 모델과 동등하거나 우수한 성능을 달성했습니다.