다중 형식 학습을 통한 언어 모델의 형식 간 견고성 향상
Improving Cross-Format Robustness in Language Models with Multi-Format Training
한국어 초록
대규모 언어 모델은 종종 답변 형식에 민감합니다: 한 형식에서는 올바르게 해결된 질문이 의미적으로 동등한 다른 형식에서는 실패할 수 있습니다. 이러한 격차를 연구하기 위해, 우리는 형식 간 견고성을 모델이 형식 전반에 걸쳐 동일한 근본적인 질문에 얼마나 일관되게 답변하는지로 정의합니다. 그 후 우리는 무작위 또는 타겟팅된 선택을 사용하여 학습 항목의 일부만을 여러 동등한 형식으로 확장하는 FormatMix와 전체 형식 학습을 비교합니다. GLM4와 Llama-3.1에 걸쳐, 다중 형식 지도는 과제 성능과 형식 간 견고성을 모두 일관되게 향상시키는 반면, 객관식 질문(MCQ) 전용 지도만으로는 거의 이득이 없으며 견고성을 오히려 저하시킬 수도 있습니다. 또한 우리는 학습 세트의 약 30%만을 다중 형식으로 확장해도 전체 형식 학습의 이득 대부분을 회복할 수 있음을 발견했으며, 이 효과는 우리가 연구한 모델 계열과 크기 전반에 걸쳐 나타납니다. 이러한 결과는 추가적인 지도 그 자체보다는 형식의 다양성이 견고성의 핵심 요인임을 시사합니다. 즉, 가벼운 다중 형식 증강은 기본 모델을 변경하지 않고도 LLM이 답변 형식에 덜 민감하게 만드는 실용적인 방법입니다.
원문 초록
Large language models often remain sensitive to answer format: a question solved correctly in one form may fail in another semantically equivalent form. To study this gap, we define cross-format robustness as the extent to which a model answers the same underlying question consistently across formats. We then compare full-format training with FormatMix, which expands only a subset of training items into multiple equivalent formats using either random or targeted selection. Across GLM4 and Llama-3.1, multi-format supervision consistently improves both task performance and cross-format robustness, whereas Multiple-choice question (MCQ)-only supervision alone brings little benefit and can even reduce robustness. We further find that expanding only about 30% of the training set into multiple formats often recovers most of the gain from full-format training, and this effect appears across the model families and sizes we study. These results suggest that format diversity, rather than additional supervision alone, is the key driver of robustness. That lightweight multi-format augmentation is a practical way to make LLMs less sensitive to answer format without changing the base model.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11643v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수
LLM Value Functions for Credit Assignment in Agentic RL
대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.
엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구
Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory
저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
테스트 시점 메모리 구축
Test-Time Memory Construction
대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.
능동적 에이전트 오케스트레이션
Proactive Agentic Orchestration
에이전트 오케스트레이션(agentic orchestration)은 독립된 컨텍스트를 가진 서브 에이전트(sub-agent)들에게 작업을 위임함으로써 대규모 언어 모델(LLM) 에이전트의 유효 실행 범위를 확장하는 핵심적인 방안을 제공합니다. 그러나 기존 오케스트레이션 방식은 두 가지 한계에 직면해 있습니다. 실행 측면에서는 서브 에이전트 생성 시점에 목표와 하네스(harness)가 고정되어 동적인 실제 환경에 대한 적응력이 제한되며, 최적화(optimization) 측면에서는 희소하고 지연된 피드백으로 인해 오케스트레이션 정책의 효과적인 학습이 저해됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 온더플라이(on-the-fly) 능동적 에이전트 오케스트레이션 프레임워크인 POrchestra를 제안합니다. POrchestra는 서브 에이전트가 로컬 실행의 연속성을 유지하면서도 임의의 논리적 지점에서 오케스트레이터와 능동적으로 소통하여 하네스 조정을 요청할 수 있도록 합니다. 이 메커니즘은 서브 에이전트가 동적 환경에 매끄럽게 적응할 수 있도록 지원할 뿐만 아니라, 사후 피드백(hindsight feedback) 기반의 온-정책 오케스트레이션 증류(OPOD)를 자연스럽게 이끌어냅니다. OPOD는 서브 에이전트의 능동적 수정 요청을 이전 오케스트레이션 결정에 귀인하여 타겟 개선 신호를 도출하고, 최종 보상과 함께 이러한 신호를 프로세스 지도(process supervision)로 활용하여 오케스트레이션 정책을 최적화합니다. 심층 연구, 동적 디지털 지원, 소프트웨어 엔지니어링을 아우르는 세 가지 장기 과제(long-horizon) 에이전트 벤치마크에서 POrchestra를 평가했습니다. POrchestra는 가장 강력한 기준선 대비 작업 성공률을 평균 9.1% 향상시켰으며, OPOD와 결합했을 때는 기존 학습 기준선 대비 소형 오케스트레이터의 성공률을 평균 10.0% 향상시켰습니다. 또한 POrchestra는 더 유리한 비용 대비 성능 트레이드오프를 달성합니다. 코드베이스는 https://github.com/XueyangFeng/POrchestra 에서 공개되어 있습니다.
입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선
Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations
프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.