PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.14605v3cs.CR

몇 걸음 더 나아가기: 지속적인 학습 하에서 악의적 미세조정 방어가 무력화되는 이유

A Few Steps Further: Why Defenses Against Malicious Finetuning Erode Under Continued Training

모델 제공자들은 대규모 언어 모델(LLM)의 가중치를 점점 더 많이 공개하고 있습니다. 이러한 모델들은 배포 전에 안전성 정렬(safety alignment)을 거치지만, 유해한 데이터로 미세조정(fine-tuning)하면 안전장치가 쉽게 제거되는 경우가 많습니다. 점차 늘어나는 방어 기법들은 이러한 악의적인 미세조정에 대해 정렬이 견고하게 유지되도록 하는 것을 목표로 하지만, 가중치를 확보한 공격자는 단순히 더 오래 학습시킬 수 있음에도 불구하고 이러한 방어 기법들은 대체로 고정된 학습 예산에 기반한 공격을 대상으로만 평가됩니다. 본 연구에서는 현재의 방어 기법들이 이처럼 가장 단순한 공격 강도 심화에도 견뎌낼 수 있는지 묻습니다. 최근 제안된 15가지 방어 기법을 조사한 결과, 이들이 공통적인 약점을 공유하고 있음을 확인했습니다. 즉, 각 방어 기법은 제한된 섭동(perturbation), 짧은 모의 공격, 또는 유해한 행동과 무해한 행동 간의 학습된 연결과 같이 공격자에 대한 제한적인 모델을 기반으로 구축되어 있으며, 가중치가 배포된 이후에는 그 보호 조치를 강제할 수 있는 수단이 없다는 점입니다. 이어 본 연구는 4개의 공개 가중치 모델을 대상으로 동일한 유해 데이터 전용 미세조정 공격을 3에포크 동안 지속하면서 그 과정에서 유해성과 능력을 측정하여 6개의 대표적인 방어 기법을 테스트했습니다. 방어 기법이 적용된 72회의 모든 실험에서 모델은 배포 시점보다 학습 종료 시점에 더 유해해졌으며, 가장 높은 학습률을 적용한 Llama-3.1에서는 방어된 모델들이 방어되지 않은 모델과 거의 동일한 수준으로 유해해졌습니다. 방어 기법들의 취약한 정도는 동일하지 않았습니다. 한 방어 기법은 특정 모델에서 유해성을 낮게 유지했으며, 일부 공격은 일반적인 성능 저하를 대가로 치르고서야 유해성을 복원할 수 있었습니다. 현재의 방어 기법들은 악의적인 미세조정을 지연시키거나 방해할 수는 있지만, 대부분의 경우 측정된 저항력이 지속적인 학습 하에서는 유지되지 않으므로 아직 지속 가능한 보호 수단으로 간주되어서는 안 됩니다.

arXiv:2605.12894v2cs.AI

협력적 시뮬레이터를 넘어서: LLM 에이전트의 강건한 평가를 위한 현실적 사용자 페르소나 생성

Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents

대규모 언어 모델(LLM) 에이전트(agent)는 모호하거나 조급하며 정보 공유를 꺼리는 사용자를 포함하여 다양한 사용자와 상호작용하는 환경에 점점 더 많이 배포되고 있습니다. 그러나 실제 상호작용 데이터를 대규모로 수집하는 것은 여전히 비용이 많이 듭니다. 이에 따라 관련 분야에서는 대안으로 LLM 기반 사용자 시뮬레이터(user simulator)를 활용해 왔으나, 이러한 시뮬레이터는 기반 모델(model)의 특성인 협력적이고 동질적인 행동을 그대로 물려받습니다. 그 결과, 시뮬레이션에서는 우수해 보이는 에이전트가 실제 인간과의 상호작용에서는 실패하는 경우가 많습니다. 이러한 간극을 좁히기 위해 본 논문에서는 본래의 작업 목표를 유지하면서 사용자 시뮬레이터에 현실적인 행동 변이를 유도하는 플러그앤플레이 제어 층(layer)인 Persona Policies(PPol)를 제안합니다. 페르소나를 수작업으로 제작하는 대신, 진화형 코딩 에이전트를 활용하여 실제 사용자 대화 전반에서 인간 유사성 및 행동 범위를 최적화하도록 페르소나 생성 프로그램을 탐색합니다. 이렇게 진화된 프로그램은 도메인 내의 모든 작업에 대해 다양하고 인간다운 페르소나를 생성합니다. $\tau^2$-bench Retail 및 Airline, ColBench, WildChat을 포함한 4개 벤치마크 전반에서 진화된 PPol은 기준선(baseline) 시뮬레이터 대비 적합도 점수에서 28-72%의 절대적인 향상을 달성했습니다. 블라인드 평가에서 평가자들은 PPol 사용자를 80.4%의 비율로 '인간'으로 판단하였으며, 이는 기준선 시뮬레이터보다 약 2배 높은 수치입니다. 또한 PPol을 통한 에이전트 학습(training)은 실제 환경에서의 성능도 개선합니다. 실제 인간-에이전트 상호작용을 대상으로 한 사용자 연구에 따르면, 제안 기법으로 미세조정(fine-tuning)을 수행했을 때 기본 기준선 대비 작업 성공률이 +23% 향상되었습니다. 따라서 PPol은 본래의 작업을 변경하지 않고도 시뮬레이터 기반 평가 및 학습을 강화할 수 있는 새로운 접근 방식을 제공합니다.

arXiv:2605.09504v3cs.CR

모델 제한에 가려진 시스템의 부재: 공격적 AI 거버넌스에서의 측정과 책임

Restricting the Model, Missing the System: Measurement and Accountability in Offensive AI Governance

본 논문에서는 AI의 공격 역량(offensive capability)을 측정하는 데 사용되는 도구들이 두 가지 측면에서 한계를 지닌다는 점을 보인다. 즉, (i) 위해성(harm)을 과장하고, (ii) 모델을 둘러싼 주변 시스템에 기인하는 능력을 모델 자체의 능력으로 귀속시킨다는 점이다. 따라서 모델에 대한 접근을 제한하는 것만으로는 필요조건일 뿐 충분조건이 아니며, 정책 및 조달 과정에서도 시스템 수준의 위해성 기반 역량 평가가 필요하다고 주장한다. 2026년 6월, 코드베이스를 읽고 결함을 수정하도록 요구하는 탈옥(jailbreak)이 발단이 되어 두 개의 프론티어 모델이 미국 수출 통제에 따라 정지된 바 있다. 그러나 이 결과는 모델, 프롬프트(prompt), 태스크로 구성된 유도 시스템(elicitation system)을 측정한 것이었다. 우리는 경량 대규모 언어 모델(LLM) 에이전트들이 공유 메모리와 진화적 최적화(evolutionary optimization)를 통해 협업하는 오픈소스 프레임워크 연구를 바탕으로 두 가지 근거를 제시하여 주장을 뒷받침한다. 첫째, 탈옥 지표는 위해성을 과장한다. 타깃당 225개 이상의 군집 생성 공격에서 LLM 판정관(LLM-as-judge) 점수는 Claude Sonnet 4가 40%의 공격에서 침해당했다고 평가했으나, 수동 검증 결과 실제 실행 가능한 유해 콘텐츠는 전혀 발견되지 않았으며 GPT-4o의 유효 위해율(Effective Harm Rate)은 45.8%였다. 둘째, 스캐폴딩(scaffolded) 평가는 역량을 잘못 귀속시킨다. 취약점이 심어진 타깃에서 1.2B(12억) 매개변수(parameter) 모델 기반의 전체 파이프라인은 9개 취약점 중 9개를 모두 복원한 반면, 수작업으로 구축된 구성 요소가 없는 동일 모델은 충돌 검증(crash verification) 기준 0/9개, 인용된 소스 라인 기준 2/9개 복원에 그쳤다. 공격 역량은 모델, 스캐폴드, 평가 프로토콜이 결합되어 나타나는 특성이다. 따라서 이를 평가할 책임은 시스템을 제어하고, 시스템의 동작을 형성하며, 그 동작을 예측할 수 있는 주체에게 있어야 한다. 본 연구 환경에서는 모델을 둘러싼 하네스(harness)를 구축하는 주체가 이에 해당하지만, 현재의 규제는 이러한 역할을 명확히 포괄하지 못하고 있다.

arXiv:2604.17502v5cs.AI

종료 가능한 에이전트를 향하여: 강화학습 에이전트 및 LLM에서 확률적 선택의 일반화

Towards Shutdownable Agents: Generalizing Stochastic Choice in RL Agents and LLMs

정렬되지 않은(misaligned) 인공 에이전트는 종료(shutdown)에 저항할 수 있다. 제안된 해결책 중 하나는 서로 다른 길이의 궤적(trajectory) 사이에 선호도를 갖지 않도록 에이전트를 학습시키는 것이다. 동일 길이 궤적에 대한 할인 보상(DReST, Discounted Reward for Same-Length Trajectories) 보상 함수는 에이전트가 동일한 길이의 궤적을 반복해서 선택하는 것에 페널티를 부여함으로써 이를 수행하며, 따라서 에이전트가 (1) 서로 다른 궤적 길이 사이에서 확률적으로 선택하고(궤적 길이에 대해 중립적(NEUTRAL)이어야 함), (2) 각 궤적 길이에 조건화되어 목표를 효과적으로 추구하도록(유용(USEFUL)해야 함) 유도한다. 본 논문에서는 DReST를 사용하여 심층 강화학습(RL) 에이전트를 학습시키고 4개의 대규모 언어 모델(LLM, Qwen3-14B, Gemma 4 12B, Granite 4.2 8B, gpt-oss-20b)을 미세조정하여 중립적이고 유용하도록 만든다. 우리는 이러한 DReST 모델들이 테스트 시점에 보지 못한 컨텍스트에서도 중립적이고 유용하도록 일반화됨을 발견했다. 실제로 DReST RL 에이전트는 테스트 세트에서 기본 에이전트보다 11%(PPO) 및 17%(A2C) 더 높은 유용성을 달성한 반면, DReST LLM은 거의 최대치에 가까운 유용성을 유지하면서도 높은 중립성을 달성했다. 또한 우리는 LLM이 종료 발생 시점에 영향을 미치기 위해 비용을 지불할 수 있는 분포 외(OOD, out-of-distribution) 설정에서 모델을 테스트했다. 기본 미세조정과 비교했을 때, DReST 미세조정은 4개의 모든 LLM에서 종료에 영향을 주기 위해 비용을 지불하는 답변의 비율을 5~20%포인트 낮추었으며, 종료에 영향을 미쳐 얻는 이득이 작은 경우에는 17~27포인트 낮추었다. 따라서 우리의 결과는 DReST가 유용하면서도 종료 가능한 더 진보된 에이전트를 학습시키는 데 사용될 수 있다는 초기 증거를 제공한다.

arXiv:2604.17260v3cs.CL

회의 효과성에 대한 재고: 시간적으로 세분화된 자동 회의 효과성 평가를 위한 벤치마크 및 프레임워크

Rethinking Meeting Effectiveness: A Benchmark and Framework for Temporal Fine-grained Automatic Meeting Effectiveness Evaluation

회의 효과성 평가는 조직의 생산성을 향상하는 데 매우 중요합니다. 기존 접근 방식은 회의 전체에 대해 단일한 거친(coarse-grained) 점수를 산출하는 사후 설문조사에 의존합니다. 이러한 수동 평가에 대한 의존은 확장성, 비용, 재현성 측면에서 본질적으로 한계가 있습니다. 게다가 단일 점수는 협업 논의의 역동적인 특성을 포착하지 못합니다. 본 논문에서는 새로운 기준과 시간적으로 세분화된(temporal fine-grained) 접근 방식을 중심으로 회의 효과성을 평가하는 새로운 패러다임을 제안합니다. 효과성을 시간에 따른 목표 달성률로 정의하고, 회의 내 개별 주제 세그먼트별로 이를 평가합니다. 이 태스크를 지원하기 위해, 130개의 AMI Corpus 회의에서 사람이 직접 주석을 단 2,459개의 세그먼트를 포함하는 새로운 메타 평가 데이터셋인 AMI Meeting Effectiveness(AMI-ME) 데이터셋을 소개합니다. 또한 대규모 언어 모델(LLM)을 판정관(judge)으로 사용하여 전체 회의 목표 대비 각 세그먼트의 효과성을 점수화하는 자동 효과성 평가 프레임워크를 개발합니다. 광범위한 실험을 통해 이 새로운 태스크를 위한 종합적인 벤치마크를 구축하고, 비즈니스 시나리오부터 비정형 토론에 이르기까지 다양한 회의 유형 전반에서 프레임워크의 일반화 가능성을 평가합니다. 나아가 완전한 시스템의 역량을 측정하기 위해 원시 음성(raw speech)에서 시작하는 엔드투엔드 성능을 벤치마킹합니다. 본 연구의 결과는 프레임워크의 유효성을 검증하며, 회의 분석 및 다자간 대화 연구를 촉진할 강력한 베이스라인을 제공합니다. 데이터셋과 코드는 공개될 예정입니다. AMI-ME 데이터셋과 자동 평가 프레임워크는 https://github.com/ku-nlp/AMI-ME 에서 확인할 수 있습니다.

arXiv:2604.13491v4cs.CV

FiRe: 향상된 이미지 생성을 위한 세밀한 멀티모달 추론

FiRe: Fine-grained Multimodal Reasoning for Enhanced Image Generation

멀티모달 대규모 언어 모델(MLLM)의 급격한 발전과 함께 이미지 이해와 생성을 공동으로 수행하는 통합 MLLM이 크게 진보했습니다. 그러나 자기 반성(self-reflection) 및 자체 개선(self-refinement)을 위한 통합 MLLM 고유의 추론 능력에도 불구하고, 텍스트-투-이미지(text-to-image) 생성에서 이러한 능력을 활용하는 것은 여전히 거의 탐색되지 않은 상태로 남아 있습니다. 한편, 기존의 멀티모달 추론 기반 이미지 생성 방식은 대부분 프롬프트 증강이나 전체적인 이미지-텍스트 정렬(alignment) 판단에 의존할 뿐 세부 프롬프트 속성에 대한 세밀한 반성과 개선이 이루어지지 않아, 세밀한 제어에 한계를 보입니다. 이러한 한계를 해결하기 위해, 본 논문에서는 MLLM 기반의 향상된 이미지 생성을 위한 세밀한 멀티모달 추론(Fine-grained Multimodal Reasoning) 기법인 FiRe를 제안합니다. 구체적으로 FiRe는 먼저 프롬프트를 핵심 시각적 요구 조건으로 분해한 다음, 생성된 이미지에서 이들의 충족 여부를 스스로 판단하고, 자체 생성된 정밀한 피드백에 따라 국소적 개선을 수행하는 세밀한 다단계 추론을 진행합니다. 또한 MLLM의 멀티모달 추론 능력을 더욱 강화하기 위해 FiRe에 맞춤화된 강화학습 기법인 FiRe-GRPO를 도입합니다. 표준 그룹 상대 정책 최적화(GRPO)는 다단계 추론에서 희소한 결과 기반 보상 문제로 어려움을 겪으므로, 본 연구에서는 추론 과정을 단계별 의사결정 문제로 정식화하고, 단계별 보상을 설계하며, GRPO 내에서 세분화된 신뢰 할당(credit assignment)을 위한 단계별 어드밴티지를 계산합니다. 광범위한 실험을 통해 FiRe가 기존 추론 기반 방식을 포함한 경쟁력 있는 텍스트-투-이미지 베이스라인 모델들을 일관되게 능가하며, 특히 구성적(compositional) 텍스트-투-이미지 벤치마크에서 상당한 성능 향상을 달성함을 입증합니다. 프로젝트 페이지는 https://ku-agi.github.io/FiRe/ 에서 확인할 수 있습니다.

arXiv:2604.11477v2cs.AI

OOM-RL: LLM 기반 다중 에이전트 시스템을 위한 시장 주도 정렬 기반 자금 고갈 강화학습

OOM-RL: Out-of-Money Reinforcement Learning Market-Driven Alignment for LLM-Based Multi-Agent Systems

자율 소프트웨어 엔지니어링을 위한 다중 에이전트(MAS) 시스템의 정렬(alignment)은 평가자의 인식론적 불확실성에 의해 제약을 받습니다. 인간 피드백 강화학습(RLHF) 및 AI 피드백 강화학습(RLAIF)과 같은 기존 패러다임은 빈번하게 모델의 아첨(sycophancy)을 유발하며, 실행 기반 환경은 통제되지 않은 에이전트의 적대적 "테스트 회피(Test Evasion)" 문제로 어려움을 겪습니다. 본 논문에서는 객관적 정렬 패러다임인 자금 고갈 강화학습(OOM-RL, Out-of-Money Reinforcement Learning)을 소개합니다. 실거래 금융 시장의 비정상적(non-stationary)이고 마찰이 큰 현실에 에이전트를 배치함으로써, 중대한 자본 고갈을 외부에서 부여되는 음의 그래디언트로 활용합니다. 20개월에 걸친 종단적 실증 연구를 통해 시스템이 높은 회전율과 아첨 성향을 보이는 기준선(baseline) 모델에서 견고하고 유동성을 인식하는 아키텍처로 진화하는 과정을 기록합니다. 실제 체결 비용, 슬리피지, 자본 고갈과 같은 금융 손실의 경제적 결과가 내부 평가만으로는 드러나지 않던 실패 모드를 노출시켰음을 보이며, 이는 이후 결정론적으로 검증된 95% 이상의 코드 커버리지 제약 매트릭스에 고정된 비잔틴 장애 허용 착안 단방향 상태 잠금(RO-Lock) 기반의 엄격한 테스트 주도 에이전트 워크플로(STDAW)로 공식화된 아키텍처 및 거버넌스 변화를 이끌어냈습니다. 마지막 94 거래일의 관측 기간 동안, 실제 프로덕션 시스템은 약 2.06의 연율화 샤프 지수를 포함하여 향상된 체결 인식 성능을 나타냈습니다. 이러한 금융 성과는 관측적이며 시간적으로 한정된 결과로, 지속적인 투자 초과수익(alpha)의 증거나 STDAW 기여도에 대한 인과적 추정치로 해석되어서는 안 됩니다. 본 연구의 주요 기여는 외부에서 부과된 경제적 결과를 에이전트 개발에 대한 인식론적 제약으로 활용하여, 현실 세계의 자원 고갈이 객관적인 물리적 제약으로 작용하는 일반화된 패러다임의 토대를 마련한 데 있습니다.

arXiv:2604.05087v4cs.CL

강화학습을 통한 블랙박스 검색용 문서 최적화

Document Optimization for Black-Box Retrieval via Reinforcement Learning

생성형 대규모 언어 모델(LLM)은 쿼리 재작성 및 문서 재순위화(reranking)와 같은 작업을 위해 검색 파이프라인의 추론(inference) 시점 구성 요소로 점점 더 많이 활용되고 있습니다. 그러나 이러한 온라인 접근 방식은 지연 시간에 민감한 검색 경로에 비용이 많이 드는 자기회귀 계산을 직접 배치하게 됩니다. 본 연구에서는 대안적인 축을 탐색합니다. 즉, LLM을 활용해 문서를 개선하여 더 나은 표현으로 재작성하고 계산을 오프라인으로 이전하는 방식입니다. 하지만 유용한 문서 재작성을 생성하는 것은 간단하지 않습니다. 검색은 본질적으로 판별적(discriminative)이므로, 효과적인 재작성은 검색기(retriever)의 유사도 개념 하에서 문서를 경쟁 후보들보다 관련 쿼리와 더 유사하게 만들어야 합니다. 이에 따라 본 논문에서는 문서 변환을 최적화 문제로 정식화하고, 검색 성능을 향상시키는 재작성을 생성하도록 LLM 또는 VLM을 직접 학습(training)시킵니다. 본 연구에서 제안하는 접근 방식인 DocOpt는 검색기 순위 향상을 보상으로 사용하는 GRPO를 활용하며, 검색 순위에 대한 블랙박스 접근만 필요로 하고, 단일 벡터, 다중 벡터 및 어휘 기반 검색기 전반에 걸쳐 적용될 수 있습니다. 코드 및 시각적 검색 작업에서 제로샷(zero-shot) LLM 재작성과 DocOpt를 평가한 결과, 문서 재작성이 검색 성능을 향상시킬 수 있으며 재작성을 최적화하면 추가적인 이득을 얻을 수 있음을 확인했습니다. 예를 들어 OpenAI text-embedding-3-small은 직접 검색 시 평균 58.35 nDCG@5를 달성하지만, 제로샷 재작성을 적용하면 GPT-5.4-mini에서 60.83, Claude Haiku 4.5에서 63.75, Qwen3에서 64.23으로 향상됩니다. DocOpt는 성능을 67.94까지 더욱 향상시켜, 6.5배 더 비싼 text-embedding-3-large 검색기의 66.15를 능가합니다.

arXiv:2603.29217v3eess.AS

다국어 음성 인식을 위한 LLM 기반 음소-자소 변환의 발전

Advancing LLM-based phoneme-to-grapheme for multilingual speech recognition

음소 기반 자동 음성 인식(ASR)은 인식을 음성-음소(S2P) 및 음소-자소(P2G)로 인수분해하여, 언어별 표기 체계를 별도 모듈로 유지하면서도 언어 간 음향 공유를 가능하게 합니다. 대규모 언어 모델(LLM)이 P2G에 유망하지만, 언어 인식적 생성과 극심한 언어 간 데이터 불균형으로 인해 다국어 P2G는 여전히 난제로 남아 있습니다. 본 연구에서는 10개 언어로 구성된 CV-Lang10 벤치마크에서 다국어 LLM 기반 P2G를 조사합니다. DANP와 단순화된 SKM(S-SKM)을 포함하여 S2P 불확실성을 고려하는 강건성 전략을 살펴봅니다. S-SKM은 P2G 학습 시 CTC 기반 S2P 확률 가중치를 배제하는 몬테카를로 근사 기법입니다. 강건한 학습과 저자원 오버샘플링을 통해 평균 단어 오류율(WER)을 10.56%에서 7.66%로 낮춥니다.

arXiv:2602.08234v2cs.LG

SkillRL: 재귀적 스킬 증강 강화학습을 통한 에이전트의 진화

SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning

대규모 언어 모델(LLM) 에이전트는 복잡한 작업에서 놀라운 성과를 보여주었으나, 종종 개별적으로 동작하며 과거의 경험으로부터 학습하지 못합니다. 기존의 메모리 기반 방법들은 주로 원시 궤적(raw trajectory)을 저장하는데, 이는 종종 중복되고 노이즈가 많습니다. 이는 에이전트가 일반화에 필수적인 고수준의 재사용 가능한 행동 패턴을 추출하는 것을 방해합니다. 본 논문에서는 자동 스킬 발견과 재귀적 진화를 통해 원시 경험과 정책 개선 사이의 간극을 좁히는 프레임워크인 SkillRL을 제안합니다. 우리의 접근 방식은 경험 기반 증류 메커니즘을 도입하여 계층적 스킬 라이브러리인 SkillBank를 구축하고, 일반 및 작업별 휴리스틱을 위한 적응형 검색 전략과 강화학습(RL) 과정에서 스킬 라이브러리가 에이전트의 정책과 함께 공진화(co-evolve)할 수 있도록 하는 재귀적 진화 메커니즘을 제공합니다. 이러한 혁신은 토큰 사용량을 크게 줄이면서 추론 유용성을 향상시킵니다. ALFWorld, WebShop 및 7개의 검색 증강 작업에 대한 실험 결과는 SkillRL이 최고 성능(SOTA)을 달성하여 강력한 베이스라인을 15.3% 이상 능가하고 작업 복잡성이 증가함에도 견고성을 유지함을 보여줍니다. 코드는 https://github.com/aiming-lab/SkillRL 에서 확인할 수 있습니다.

arXiv:2602.06317v3cs.LG

희소 디코딩을 위한 어텐션 질량 응축

Attention-Mass Condensation for Sparse Decoding

어텐션 질량(attention-mass)의 집중은 희소 디코딩(sparse decoding)의 기회를 제공하지만, 유지된 질량만으로는 안정적인 탐욕적 결정(greedy decision)을 보장할 수 없습니다. 즉, 검색 오류, 생략된 밸류(value) 방향, 재귀적 디코딩이 모두 중요한 영향을 미칩니다. 본 연구에서는 정확한 생략 질량 항등식과 충분한 다운스트림 마진 조건을 통해 이러한 차이를 정형화하고, 쿼리 의존적 평균 풀링 블록 선택기(query-dependent mean-pooled block selector)의 특성을 규명합니다. Qwen2-0.5B 모델을 대상으로 한 대응 신규 선택 탐색(paired fresh-selection sweep)은 97~769개 위치의 지지 집합(support), 2K~16K의 컨텍스트, 그리고 컨텍스트당 5개의 접두사(prefix)를 다룹니다. 주요 완전 일치(exact-match) 결과에 따르면, 60회의 실행 중 128개 토큰에 걸쳐 밀집 디코딩(dense decoding)과 동일하게 유지된 경우는 단 하나도 없었습니다. 분포적 품질은 이와 다릅니다. 193 이상의 지지 집합에 대해 9개의 컨텍스트-지지 집합 조건 중 7개에서 밀집 모델 대비 교사 강제(teacher-forced) 연속 펄플렉서티(perplexity) 변화 중앙값이 5% 이내였으나, 프롬프트 수준의 범위에는 심각한 16K 이상치(outlier)가 포함되어 있습니다. 교사 강제 일치율이 70% 미만인 7번의 실행 모두에서 펄플렉서티가 100% 이상 증가했습니다. 이러한 관찰 결과는 두 개의 접두사에서 비롯된 것으로 일반적인 임계값이 아닌 경고 영역을 시사합니다. 측정된 펄플렉서티는 희소 모델의 자유 실행(free-running) 출력이 아닌 밀집 모델 자체의 연속 생성에 대해 교사 강제된 값입니다. 분리된 검색 및 어텐션 질량 프로브(probe)는 포착된 질량만으로는 검색이나 결정을 보장할 수 없는 이유를 보여줍니다. 독립된 연산자 측정 시간만으로는 동일 품질에서의 가속이나 엔드투엔드 서빙 속도를 입증하지 못합니다.

arXiv:2512.17559v2cs.AI

대규모 언어 모델을 활용한 조기 진단을 위한 설명 가능한 대화형 인공지능 연구

Towards Explainable Conversational AI for Early Diagnosis with Large Language Models

전 세계의 의료 시스템은 비효율적인 진단, 비용 증가, 전문의에 대한 제한된 접근성과 같은 문제로 어려움을 겪고 있습니다. 이러한 문제는 종종 치료 지연과 건강 결과 악화로 이어집니다. 기존의 대다수 인공지능 및 심층 학습(deep learning) 기반 건강 평가 시스템은 상호작용성과 투명성이 제한적이어서 사용자 중심의 건강 지원에 대한 유용성을 저하시킵니다. 본 연구에서는 GPT-4o, 검색-증강 생성(RAG), 설명 가능한 AI 기술을 활용하는 대규모 언어 모델(LLM) 기반의 대화형 챗봇을 소개합니다. 이 챗봇은 사용자와의 동적 대화를 통해 증상을 추출 및 정규화하는 동시에, 유사도 매칭과 적응형 질문을 통해 잠재적인 건강 상태를 식별하고 순위를 매깁니다. 또한 사고의 연쇄(Chain-of-Thought) 프롬프팅을 활용하여 시스템 추론 과정에 대한 보다 투명한 설명을 제공합니다. TF-IDF 및 CountVectorizer 특징(feature) 추출을 적용한 Naive Bayes, Logistic Regression, SVM, Random Forest, KNN 등 전통적인 머신러닝 모델(model)과 비교 평가했을 때, 제안된 LLM 기반 시스템은 Top-1 정확도 90%와 Top-3 정확도 100%를 달성했습니다. 아울러 14개 질환 전체에 걸쳐 17명의 의사가 참여한 단면적 전문가 평가를 통해서도 추가 검증을 수행했으며, 그 결과 대화 품질, 조기 진단의 타당성, 안전성 관련 기준에서 대체로 긍정적인 평가를 확인했습니다. 이러한 결과는 초기 증상 평가를 위한 건강 및 웰빙 지원 도구로서 설명 가능한 대화형 AI의 잠재력을 입증합니다. 다만, 제안된 시스템은 임상 진단이나 임상적 의사결정을 목적으로 하지 않으며, 실제 의료 현장에서 사용되기 전에 추가적인 검증(validation)이 필요합니다.

arXiv:2510.05544v3cs.CL

효율적인 LLM/VLM을 위한 활성화 정보 기반 파레토 유도 저순위 압축

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM

대규모 언어 모델(LLM)과 비전-언어 모델(VLM)은 최고 수준의 성능을 달성했지만, 배포 시 상당한 메모리 및 연산 문제를 야기합니다. 본 논문에서는 이러한 문제를 해결하기 위한 새로운 저순위(low-rank) 압축 프레임워크를 제시합니다. 먼저, 층별(layer-wise) 활성화 기반 압축 오차를 통해 네트워크 손실의 변화에 대한 상한(upper bound)을 도출하여 기존 연구의 이론적 공백을 메웁니다. 그런 다음 저순위 모델 압축을 이중 목적 최적화(bi-objective optimization) 문제로 정식화하고, 단일한 균일 허용 오차(tolerance)를 통해 대리 파레토 최적(surrogate Pareto-optimal)의 이종 순위(heterogeneous ranks)를 얻을 수 있음을 증명합니다. 이러한 이론적 통찰을 바탕으로, 파레토 유도 순위 선택과 교대 최소제곱법(alternating least-squares) 구현을 통해 활성화 인지 압축을 개선하는 제로샷(zero-shot) 파이프라인인 PGSVD(Pareto-Guided Singular Value Decomposition)를 제안합니다. PGSVD를 LLM과 VLM 모두에 적용한 결과, 동일한 압축 수준에서 더 우수한 정확도와 추론 속도 향상을 입증했습니다.

arXiv:2509.14093v3cs.SE

SEER: 추론 모델을 위한 자기 강화형 사고의 연쇄(Chain-of-Thought) 압축

SEER: Self-Enhancing Chain-of-Thought Compression for Reasoning Models

사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시킬 수 있지만, 길고 제대로 제어되지 않는 추론 과정으로 인해 높은 추론 비용을 수반하는 경우가 많습니다. 이러한 오버헤드는 지연 시간과 출력 신뢰성이 모두 중요한 소프트웨어 공학 작업(예: 코드 생성)에서 특히 문제가 됩니다. 이러한 트레이드오프를 더 잘 이해하기 위해 널리 사용되는 코드 생성 벤치마크에서 실증적 연구를 수행한 결과, 많은 최신 추론 모델이 과도하게 장황한 CoT(종종 수천 개의 토큰)를 생성하여 잦은 텍스트 잘림(truncation)과 불안정한 생성으로 이어진다는 점을 관찰했습니다. 엄격한 n-gram 반복 탐지기를 사용하여 분석한 결과, 관찰된 대부분의 잘림 현상이 퇴행적인 루프 동작과 연관되어 있음을 발견했습니다. 또한 HumanEval/129 사례 연구에 따르면 실패한 생성이 성공한 생성보다 더 길어질 수 있음을 보여주며, 이는 지나치게 긴 추론에서 얻을 수 있는 이득이 제한적임을 시사합니다. 이러한 발견에 착안하여, 본 논문에서는 적응형 CoT 압축을 위한 자기 강화형 프레임워크인 SEER(Self-Enhancing Efficient Reasoning)를 제안합니다. SEER는 외부 압축 도구에 의존하지 않고도 출력 품질을 유지하면서 추론의 간결성을 향상시킵니다. SEER는 Best-of-N 샘플링을 통해 자체 생성된 CoT 데이터를 정제하여 루프 및 중복 과정을 억제한 다음, 경량의 데이터 기반 필터를 적용하여 간결하면서도 정확한 추론을 유도합니다. 그 후 필터링된 데이터로 모델을 파인튜닝하여 간결한 추론 동작을 내재화합니다. 평가 대상인 DeepSeek-R1-Distill-Qwen-7B 백본 기반의 4개 소프트웨어 공학 벤치마크 전반에서, SEER는 텍스트 잘림과 추론 루프를 줄이면서도 작업 성능을 향상시키는 동시에 CoT 길이를 평균 34.6% 단축했습니다.

arXiv:2505.06592v2cs.CV공식 코드 · Papers with Code

대규모 언어 모델의 멀티모달 융합을 위한 단일모달 미세조정 기반 배치 증강

Batch Augmentation with Unimodal Fine-tuning for Multimodal Fusion of Large Language Models

본 논문에서는 멀티모달(multimodal) 학습을 위한 단일모달 미세조정(unimodal fine-tuning) 기반 배치 증강(batch augmentation) 기법을 제안합니다. 먼저 사전학습된 단일모달 모델에서 출발하여 응용 데이터로 해당 단일모달 모델들을 미세조정합니다. 그 후, 단일모달 모델들의 정보를 입력받아 출력을 제공하는 다층 퍼셉트론(MLP) 헤드를 구성합니다. 마지막으로 배치 증강을 적용하여 MLP 층과 단일모달 부분을 함께 학습합니다. 데이터에 따라 일부 단일모달 모델은 하드코딩된 스크립트나 AI 에이전트로 대체될 수 있습니다. 또한 데이터 증강이 가능한 경우 단일모달 학습 과정에서도 배치 증강을 따를 수 있습니다. 우리는 멀티모달 데이터에 대한 배치 증강을 구현하는 멀티모달 배치 증강 데이터로더 스크립트를 작성했습니다. 제안하는 방법은 FPU23 초음파 및 UPMC Food-101 멀티모달 데이터셋에서 검증되었습니다. 제안된 학습법을 적용한 멀티모달 대규모 언어 모델(LLM)은 두 데이터셋 전반에 걸쳐 조사된 기법들 중 가장 우수한 평균 결과를 달성했습니다. 문헌 조사에 따르면, 비전용으로 ViT-L/16 모델을, 텍스트용으로 GPT-2 모델을 적용했을 때 제안하는 방법은 UPMC Food-101 데이터셋에서 93.29%의 최고 수준(SOTA) 정확도를 달성했습니다. 우리는 제안하는 방법과 기존 대응 방식들의 스크립트를 github.com/dipuk0506/multimodal 저장소에 공개합니다.

arXiv:2501.07972v2cs.MM

기성 멀티모달 대규모 언어 모델을 활용한 제로샷 비디오 모먼트 검색

Zero-shot Video Moment Retrieval via Off-the-shelf Multimodal Large Language Models

비디오 모먼트 검색(Video Moment Retrieval, VMR)의 목표는 주어진 언어적 질의와 의미론적으로 일치하는 비디오 내의 시간적 구간(temporal span)을 예측하는 것이다. 멀티모달 대규모 언어 모델(MLLM) 기반의 기존 VMR 방식들은 고비용의 고품질 데이터셋과 시간 소모적인 미세조정(fine-tuning)에 지나치게 의존한다. 최근 일부 연구에서는 미세조정을 피하기 위해 제로샷(zero-shot) 설정을 도입했으나, 질의에 내재된 언어 바이어스(language bias)를 간과하여 잘못된 위치 특정(localization)을 초래한다. 이러한 문제를 해결하기 위해, 본 논문에서는 동결된(frozen) MLLM을 활용하는 튜닝 불필요(tuning-free) 제로샷 VMR 파이프라인인 Moment-GPT를 제안한다. 구체적으로, 언어 바이어스를 완화하기 위해 먼저 LLaMA-3를 사용하여 질의를 교정 및 재표현한다. 이어서 MiniGPT-v2와 결합된 구간 생성기(span generator)를 설계하여 후보 구간들을 적응적으로 생성한다. 마지막으로 MLLM의 비디오 이해 능력을 활용하기 위해 VideoChatGPT 및 구간 채점기(span scorer)를 적용하여 가장 적절한 구간을 선택한다. 제안하는 방법은 QVHighlights, ActivityNet-Captions, Charades-STA를 포함한 여러 공개 데이터셋에서 최신 MLLM 기반 모델 및 제로샷 모델들의 성능을 대폭 능가한다.

arXiv:2610.03128v2cs.AI

텍스트 그래디언트를 통한 트레이딩 전략 최적화

Trading Strategy Optimization via Textual Gradient

정량적(quantitative) 트레이딩 전략 설계는 과거 데이터로부터 미래 시장에서도 유효하게 유지되는 트레이딩 프로그램을 발견하는 것을 목표로 하며, 이는 블랙박스 프로그램 최적화 문제로 볼 수 있습니다. 대규모 언어 모델(LLM) 기반의 텍스트 그래디언트(textual gradient)는 반복적인 전략 개선을 위한 명시적인 최적화 방향을 제공함으로써 유망한 접근 방식을 제시합니다. 그러나 텍스트 그래디언트를 직접 적용하는 데에는 두 가지 과제가 존재합니다: (1) 최적화가 근시안적이어서 이전 평가 경험을 충분히 활용하지 못한다는 점, 그리고 (2) 종합적인 백테스트 피드백이 시간적 강건성(temporal robustness)을 간과하여 특정 시장 기간에만 우수한 성능을 보이는 전략을 선호할 가능성이 있다는 점입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 강건한 트레이딩 전략 최적화를 위한 경험 유도 텍스트 그래디언트 프레임워크인 TradeGrad를 제안합니다. TradeGrad는 축적된 최적화 경험을 활용하여 텍스트 그래디언트를 추정하고, 전략 탐험과 정밀 개선을 모두 달성하기 위해 다중 스케일 수정을 사용합니다. 또한, 불리한 과거 기간에서의 성능을 강조하여 시간적 강건성을 촉진하는 기간 교차 강건 목적함수(CPRO)를 도입합니다. 중국 A주 및 미국 주식 시장에서의 횡단면(cross-sectional) 및 시계열(time-series) 전략 설계를 대상으로 한 실험 결과, TradeGrad는 네 가지 설정 모두에서 가장 우수한 표본 내(in-sample) 및 표본 외(out-of-sample) 성능을 달성함을 보여줍니다. 특히, 중국 횡단면 전략에서는 연환산 수익률 27.99%, 최대 낙폭(MDD) 12.19%, 샤프 지수(Sharpe ratio) 1.63을 달성하여 CSI 300 벤치마크 대비 약 68% 높은 성능을 기록했습니다. 추가 분석을 통해 제안된 구성 요소들의 유효성을 입증하고, 최적화 전반에 걸쳐 표본 내 및 표본 외 성능이 일관되게 향상됨을 확인했습니다. 코드는 https://github.com/transcend-0/TradeGrad 에서 확인할 수 있습니다.

arXiv:2610.02793v2cs.AI

PAPER2LLM++: 연구 논문을 통한 대규모 언어 모델(LLM)의 지속적 자기 진화

PAPER2LLM++: Continual Self-Evolution of LLMs from Research Papers

대규모 언어 모델(LLM)에 관한 연구는 모델의 한계점과 그 원인, 잠재적 해결책을 지속적으로 밝혀내고 있습니다. 그러나 이러한 인간의 발견은 모델의 진화와 대체로 단절되어 있으며, LLM은 자신의 실패 사례를 다룬 새로운 연구로부터 자동으로 학습하지 못합니다. 본 논문에서는 연구 논문을 기반으로 LLM이 지속적으로 자기 진화할 수 있도록 지원하는 프레임워크인 PAPER2LLM++를 소개합니다. PAPER2LLM++는 논문을 단순한 검색 대상 지식으로 취급하는 대신, 계속해서 늘어나는 문헌들을 모델 개선을 위한 증거이자 지도 신호(supervision)의 연속적인 흐름으로 활용합니다. 새로 유입되는 논문마다 근거 기반의 연구 결과를 추출하고, 보고된 한계점이 현재 모델에 여전히 존재하는지 테스트하며, 필요한 경우 이러한 발견을 후보 학습 신호로 변환합니다. 이후 '시도-평가-반영(try-evaluate-commit)' 절차를 통해 이전 개선 사항을 크게 잊거나 일반적인 성능을 저하시키지 않으면서 목표한 동작을 개선할 때에만 업데이트를 통합합니다. 연구를 통해 발견된 LLM 실패 사례들의 순차적 흐름 전반에 걸쳐, 모델이 이전의 성능 향상을 유지하면서 새로운 연구 결과를 점진적으로 통합할 수 있음을 보여줍니다. 따라서 PAPER2LLM++는 인간의 발견과 모델 진화 사이의 간극을 좁히는 한 걸음을 내딛으며, 모델이 자신의 한계와 개선 방안에 대한 연구로부터 지속적으로 학습할 수 있도록 합니다.

arXiv:2610.02687v2cs.AI

컨텍스트와 메모리의 분리: 토큰 효율적인 테스트 시간 지속 학습을 위한 구조화된 메모리

Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning

대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.

arXiv:2610.01140v2cs.AI

ReSolve: 선택적 생성 조정을 통한 후보 추론 재사용

ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation

여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.