사전학습된 대규모 언어 모델(LLM)에 대한 지속적 지식 업데이트는 점점 더 필수적이지만 여전히 어려운 과제로 남아 있다. 문맥 내 학습(ICL), 검색-증강 생성(RAG)과 같은 추론 시점 방법이 널리 쓰이지만, 컨텍스트 예산, 비용, 검색 분절의 제약을 받는다. 이러한 문맥 의존적 패러다임에서 벗어나, 본 연구는 Low-Rank Adaptation(LoRA)를 모듈형 지식 메모리로 활용하는 매개변수적 접근을 조사한다. 최근 일부 연구가 이 개념을 다루고 있지만, 용량과 결합 가능성을 좌우하는 근본적 메커니즘은 대체로 탐구되지 않았다. 본 연구는 LoRA 기반 메모리의 설계 공간을 밝히는 최초의 체계적 실증 연구를 통해 이 공백을 메운다. 저장 용량 특성화, 내재화 최적화, 다중 모듈 시스템 확장, 장문맥 추론 평가를 포괄한다. 단일 아키텍처를 제안하는 대신, LoRA 메모리의 운영 경계에 대한 실용적 가이드를 제공한다. 전체적으로, 본 연구 결과는 LoRA를 RAG 및 ICL과 나란히 놓인 메모리의 보완적 축으로 자리매김하며 고유한 이점을 제공한다고 보여 준다.
멀티모달 대규모 언어 모델(MLLM)은 거짓된 시각적 단서에 과도하게 의존하여 환각(hallucination)을 빈번하게 발생시킵니다. 이전 해결책인 시각 및 인스트럭션 대조 디코딩(VCD, ICD)은 이 문제를 완화하지만, 그 메커니즘은 여전히 불투명합니다. 본 논문에서는 먼저 이러한 방법들의 성능 향상이 크로스 모달 어텐션(cross-modal attention)의 재분배와 체계적으로 일치함을 실증적으로 보여줍니다. 이러한 통찰을 바탕으로, 디코딩 중에 어텐션 점수를 직접 조향하는 어텐션 조향 가능 대조 디코딩(Attention-Steerable Contrastive Decoding, ASCD)을 제안합니다. ASCD는 (i) 모델 내에서 안정적이고 여러 도메인 전반에 걸쳐 강건하게 자동 추출된 텍스트 중심 헤드를 증폭하는 긍정적 조향(positive steering)과, (ii) 실시간으로 식별된 중요한 시각적 토큰을 감쇠하는 부정적 조향(negative steering)을 결합합니다. 이 방법은 무시할 수 있는 수준의 실행 시간 및 메모리 오버헤드만 발생시키며 추가 학습(training)을 요구하지 않습니다. 5개의 MLLM 백본과 3개의 디코딩 방식에 걸쳐, ASCD는 POPE, CHAIR, MMHal-Bench에서 환각을 최대 38.2% 줄이는 동시에 MMMU, MM-VET, ScienceQA, TextVQA, GQA를 포함한 표준 VQA 벤치마크에서 정확도를 향상시킵니다. 이러한 결과는 어텐션 조향이 더 안전하고 충실한 멀티모달 생성을 위한 단순하고 모델 불가지론적(model-agnostic)이며 원리적인 경로임을 보여줍니다.
대규모 소프트웨어 아카이브(예: Software Heritage (https://www.softwareheritage.org/))의 저장 요구에 기인하여, 우리는 소스 코드의 무손실 압축 문제를 연구한다. 범용 압축기(예: zstd, bzip2)는 압축률과 속도 사이의 좋은 트레이드오프를 제공하지만, 소스 코드에 내재된 모든 특수 규칙성을 활용하지 못한다. 최근 접근법은 Shannon의 심볼 랭킹(symbol-ranking) 프레임워크 내에서 대규모 언어 모델(LLM)을 활용하며, 예측된 순위가 임의로 증가할 수 있는 방식에 의존한다. 공간을 줄이는 데는 효과적이지만, 이 설정은 상당한 처리량(throughput) 저하를 초래하며, 모든 순위를 명시적으로 인코딩할 필요가 있는지에 대한 질문을 남긴다. 본 연구에서는 예측을 상위 $T$개 순위($T=1$ 또는 $63$)로 제한하는 두 가지 새로운 심볼 랭킹 변형을 배치한 LLM 기반 압축기를 제안하며, 임계값을 벗어난 심볼은 예외로 저장하고 순위 스트림과 함께 범용 압축기를 통해 공동으로 압축한다. 우리는 일반 도메인, 코드 특화, 양자화 모델을 포함한 30개 LLM에 걸쳐 LLM 기반 소스 코드 압축에 대한 최초의 대규모 평가를 수행한다. $T$ 제한 접근법은 압축률(최대 37% 상대적 향상)과 압축 처리량(40% 더 빠름) 모두에서 기존 LLM 기반 압축기를 능가한다. 범용 압축기(예: zstd, bzip2)와 비교하면, 최대 82%의 상대적 압축 이득을 얻지만 속도는 더 낮아, 압축-속도 스펙트럼에서 새로운 트레이드오프 지점을 제공한다. 또한 이러한 이득이 자연어에 비해 소스 코드에서 더 크다는 것을 보여주며, 이는 소스 코드가 LLM이 포착하지만 범용 exact-match 기반 압축기가 놓치는 규칙성을 드러낸다는 흥미로운 시사점을 제시한다. 마지막으로 이론적 및 실용적 연구 방향을 제공하는 미해결 문제들에 대해 논의하며 결론을 짓는다.
스케일링 법칙(scaling laws)을 활용해 LLM의 컴퓨팅 규모와 사회 시뮬레이션 충실도 간의 관계를 의견 모델링, 행동 시뮬레이션, 종단 예측 세 영역에서 체계적으로 분석한 연구로, 85개 Qwen3 기반 모델과 35개 오픈 웨이트 모델 실험을 통해 대부분의 시뮬레이션 과제는 스케일 확대 시 성능이 향상되지만, 위험 회피 같은 인지 편향 보정이나 저자원 집단의 종단 예측 등 일부 과제는 스케일링으로 개선되지 않음을 밝혔다.
프롬프트에 오류 개수를 사전 제시하는 숫자 앵커링(numeric anchoring)이 스팬 수준의 오류 탐지 성능 향상 없이 Count-F1 점수를 최대 0.96포인트까지 부풀리는 F1 인플레이션 현상을 CoNLL-2014 기반의 ErrorBench 프로토콜로 정량화하였으며, GPT/Claude 계열에서 앵커링 민감도가 더 높게 나타나 평가 시 스팬 인식 지표 병행 보고를 권장한다.
기존 옴니모달 대규모 언어 모델의 토큰 압축 방법은 일반적으로 한 모달리티에 의존하여 다른 모달리티에서 무엇을 유지할지 결정합니다. 우리는 이 가정이 종종 무너진다는 것을 보여줍니다. 동일한 쿼리에 대해 오디오와 비디오의 관련성은 종종 서로 다른 시점에 정점을 찍습니다. 이러한 교차 모달리티 현저성(salience) 불일치는 단방향 안내가 공격적인 압축 하에서 답변에 결정적인 단서를 버리기 쉽게 만듭니다. 우리는 쿼리를 공유 의미 앵커로 사용하면서 오디오와 비디오에 대해 관련성을 각각 별도로 추정하는 학습 없는(training-free) 토큰 압축 프레임워크인 OmniScope를 제안합니다. OmniScope는 모달리티별 토큰 예산을 할당하고, 전역 컨텍스트와 시간적 변화를 모두 보존하는 anchor-delta 전략으로 시각 토큰을 가지치기(prune)하며, 시간적 연속성을 유지하면서 중복을 줄이기 위해 각 초 내의 오디오 토큰을 병합합니다. 4개의 오디오-비디오 벤치마크와 두 가지 Qwen2.5-Omni 모델 규모에서 OmniScope는 모든 압축 설정에서 최고의 평균 정확도를 달성합니다. 전체 토큰 유지율 25%에서 최대 3.53배 prefill 속도 향상과 15% 이상의 GPU 메모리 감소를 제공하며, 평균 정확도는 0.35포인트만 하락합니다. 이 결과는 OmniLLM 추론(inference)을 위한 간단한 설계 원칙을 시사합니다. 모달리티 간에 쿼리는 공유하되, 현저성 추정치는 공유하지 않는다. 코드는 https://github.com/MAC-AutoML/OmniScope 에서 이용할 수 있습니다.
멀티모달 대규모 언어 모델(MLLM)이 놀라운 진전을 이뤘지만, 2D 이미지로부터 3D 공간 관계를 이해하는 것은 여전히 중요한 과제로 남아 있다. 기존 방법은 주로 기호적 텍스트 토큰(symbolic text tokens)에 의존하는데, 이는 연속적인 기하 정보를 표현할 충실도를 본질적으로 갖추지 못한다. 최근 방법들은 추론을 강화하기 위해 잠재 표현(latent representations)을 사용하지만, 단일 잠재 유형에만 의존하면 다양한 공간 과제에 적응하지 못해 복잡한 기하 시나리오에서 정렬 불일치가 발생한다. 이러한 한계를 해결하기 위해, 저희는 교차형 텍스트-잠재 추론 프레임워크인 GeoAnchor를 제안한다. GeoAnchor는 3D 공간 정보를 세 가지 상보적 구성 요소로 분해한다: 객체 그라운딩(grounding)을 위한 위치 잠재(position latents), 관계적 방향(relative orientation)을 위한 방향 잠재(direction latents), 장면 구조를 위한 기하 잠재(geometry latents). 이 구성 요소들은 구조화된 공간에서 재결합되어 전역 맥락을 포착하면서 국소 증거를 구성하며, 동적이고 해석 가능한 추론을 가능하게 한다. 또한, 모델을 국소 공간 지각에서 포괄적인 3D 이해로 이끄는 협력적 학습(training) 전략을 도입한다. 다양하고 복잡한 3D 추론 과제에 대한 광범위한 실험을 통해 GeoAnchor가 최신(state of the art) 성능을 능가하며, 그 효과와 일반화 능력을 입증함을 보여준다.
대규모 언어 모델의 사후 학습 양자화(PTQ)는 4비트 미만의 정밀도에서 성능이 급격히 저하된다. 우리는 그 근본 원인을 잔차 스트림 분포 드리프트로 규명한다: 각 트랜스포머 층에서 주입된 양자화 노이즈가 공유 잔차 표현에 누적되어, FP16 기준선으로부터의 KL 발산이 깊이에 따라 초선형적으로 증가한다(로그 퍼플렉서티와 Pearson r=0.999, p<0.001이며, 테스트된 모든 방법과 비트폭에서 확인됨). 우리는 LLaMA-3-8B 층의 84%가 비가우시안 잔차 분포를 보이며(KS 검정, p≤0.05), 층별 잔차 스트림 분산이 깊이에 걸쳐 6,548배 증가함을 발견하였다. 우리는 RDQ(Residual Distribution Quantization)를 제안한다. 이는 핵심 기여인 Cascaded Error Compensation(CEC)을 갖춘 PTQ 프레임워크로, 이미 양자화된 상위 층을 통해 교정 데이터를 실행하여 각 층이 실제로 수신하는 드리프트된 활성화를 포착하고, 해당 드리프트된 입력에 대해 채널별 AWQ 방식의 스케일을 적합시키며, 추론 오버헤드 없이 정확한 수학적 동등성을 위해 스케일을 선행 RMSNorm 가중치에 접합한다. RDQ는 테스트된 세 가지 아키텍처 모두에서 최첨단 결과를 달성한다: LLaMA-3-8B: 7.55 / 5.62 PPL (W3/W4); Qwen-2.5-7B: 7.46 / 6.38 PPL; Mistral-7B: 6.88 / 5.73 PPL. RDQ는 모든 모델과 비트폭 조합에서 최고의 공개 기준선(LeanQuant/SpinQuant)을 능가하며, LLaMA-3-8B의 W3A16에서 RTN 대비 최대 -46.4%의 성능 향상을 달성한다. 모든 출력은 표준 group-128 비대칭 양자화로, Qualcomm AIMET, GGUF 및 모든 표준 추론 스택에 런타임 오버헤드 없이 배포 가능하다.
타밀어와 같은 저자원 언어에 대한 기계 번역의 과제는 주로 이러한 언어에 대한 병렬 데이터의 제한된 양, 그리고 상당한 도메인 변이와 형태론적 복잡성에 기인한다. 본 연구는 NTREX, EnTamV2, WikiMatrix, PMIndia 등 여러 데이터셋에 걸친 영어-타밀어 및 타밀어-영어 번역에서 여러 다국어 번역 모델의 성능에 대한 포괄적 평가를 제시한다. 본 연구는 BLEU 및 chrF 지표를 모두 사용하여 지도 학습 NMT 시스템인 NLLB와 mBART를 평가하고, 이러한 시스템이 서로 다른 품질 수준과 도메인의 데이터에서 어떻게 수행되는지 검토한다. 본 연구는 영어 원문과 타밀어 번역문(및 그 역방향)의 토큰 정렬을 시각화하여 번역이 어떻게 이루어지는지에 대한 통찰을 제공함으로써 모델 해석 가능성을 높이기 위해 어텐션 기반 분석을 수행한다. 본 연구는 또한 문맥 내 프롬프팅(in-context prompting)을 사용하면 타밀어에 특화된 TamilLaMA 모델을 이용한 영어-타밀어 및 타밀어-영어 퓨샷(few-shot) 번역을 수행하는 우수한 방법이 될 수 있음을 보여주며, 이를 지도 학습 접근법과 정성적으로 비교한다. 이러한 결과는 데이터셋의 품질과 도메인과의 정합성이 모델 성능에 크게 영향을 미치며, 어텐션 기반 메커니즘이 설명 가능성(explainability) 향상에 도움이 될 수 있고, 퓨샷 대규모 언어 모델이 여전히 구조적으로 일관된 타밀어 번역을 생성할 수 있음을 보여준다.
장문 질의응답은 대규모 언어 모델(LLM) 출력을 검증 가능하게 만들기 위해 검색된 근거에 점점 더 의존하고 있으며, 인라인 인용이 주장을 원본 문서에 연결한다. 그러나 기존 시스템은 주제적으로는 관련 있지만 주장을 뒷받침하기에 불충분한 인용을 붙이는 경우가 많다. 우리는 귀속 모호성(attribution ambiguity)을 구조적 과제로 식별한다. 종단 간(end-to-end) 생성은 조합론적 주장-문서 할당을 암묵적으로 해결해야 하며, 이는 증거적 경계를 모호하게 하고 주장이 인용된 근거를 초과하는 증거-경계 초과(evidence-boundary overrun) 위험을 높인다. 이 과제를 해결하기 위해, 우리는 CAGE(Cognitive Attribution Graphs for Citation Generation)를 제안한다. 이는 답변 생성 전에 명시적인 인지적 귀속 맵을 도입하는 2단계 프레임워크이다. CAGE는 먼저 플러그 앤 플레이(plug-and-play) 인지 맵 유도 모델(Cognitive Map Induction Model)을 학습하여 답변 중심 지원 서브그래프를 구성하고, 명시적 관계를 통해 각 의미적 답변 단위를 지원 문서와 정렬한다. 그다음 구조화된 인용 추론 모델(Structured Citation Reasoning Model)이 이러한 단위를 맵에 정렬된 인용과 함께 문장 수준 주장으로 구현한다. ASQA, ELI5, ExpertQA에서의 실험은 CAGE가 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 귀속 공간 수축(attribution-space contraction)과 맵 기반 인용 생성(map-guided citation generation)의 효과를 입증한다.
2천 년 전 키케로와 퀀틸리아누스가 분류한 수사학적 기법이 대규모 언어 모델(LLM)의 텍스트에서 체계적으로 다시 나타난다: 에파노르토시스(epanorthosis), 즉 «This is not a course. It is a journey of transformation»와 같은 자기 수정이다. 본 에세이는 이러한 과다 사용이 학습된 성향이며, 주로 홍보적 산문이 풍부한 학습 분포와 확신에 찬 강조적 표현을 보상하는 선호 튜닝(RLHF)에 의해 주도된다고 주장한다. 생성의 좌→우 특성은 근본 원인이라기보다 증폭 요인이다. 모델이 인간의 수사학적 스타일과 벗어난다는 증거와, Fontanier의 에파노르토시스를 사고의 figure(figure of thought)로 분류한 것을 바탕으로, 장르별 인간 기준선 대비 이 기법을 Epanorthosis Index(인간 비율 대비 밀도)로 점수화하는 프로그램을 제시한다. 하나의 인스트럭션 튜닝 모델 패밀리의 세 가지 크기에 대한 첫 측정은, 문체(register) 양방향에서의 오보정(miscalibration)을 보여준다: 모델은 연설체(oratory)에서 과다(약 2배, 이탈리아어에서는 거의 3배, 더 큰 tier에 집중)하고, 비공식 Q&A 글쓰기에서는 과소하며, 논증, 저널리즘, 백과사전적 산문에서는 인간과 일치한다. 세 가지 건설적 기여가 이어진다: 경량 LoRA 어댑터를 중심으로 한 완화 기법 개관; 이탈리아어에서 한 줄 instruction이 이 기법을 절반에서 거의 3/4까지 줄이고, 지도 미세조정(supervised fine-tuning) 어댑터가 거의 완전히 제거하며, scaling coefficient가 감소를 다시 인간 비율로 맞춘다는 시연; 그리고 목표는 제거가 아니라 각 장르별 인간 비율에 대한 calibration이라는 주장. 마지막으로 그 함의를 짚는다: 진짜 위험은 우리가 기계처럼 쓰기 시작하는 것이다.
약-강 일반화(Weak-to-strong generalization)는 정렬된 약한 모델의 샘플로 더 강한 모델을 학습시킴으로써, 인간 피드백이나 명시적 보상 모델링 없이 대규모 언어 모델(LLM)을 스케일링하는 유망한 패러다임을 제공한다. 그러나 약한 모델 출력의 잡음과 편향으로 인해 견고성과 일반화가 저해되어 실제 적용 가능성이 제한된다. 이 문제를 해결하기 위해, 우리는 로그 가능도 비율을 통해 명시적 보상을 근사하는 암묵적 보상(implicit reward)을 활용하고, 이것이 LLM 생성의 잡음을 줄이는 디코딩 전략인 대조적 디코딩(Contrastive Decoding, CD)과 구조적으로 동등함을 밝힌다. 이 연결고리를 토대로, 우리는 정렬 전후의 약한 모델 간 대조적 디코딩을 활용하여 더 높은 품질의 샘플을 생성하는 프레임워크인 대조적 약-강 일반화(ConG)를 제안한다. 이 접근법은 보다 신뢰할 수 있는 능력 전이, 잡음 제거, 향상된 견고성을 가능하게 하여 기존 약-강 방법의 한계를 크게 완화한다. 다양한 모델 계열에 걸친 실험 결과는 일관된 성능 향상을 확인하며, ConG의 범용성과 효과성을 입증한다. 종합하면, 우리의 연구 결과는 ConG가 약-강 일반화를 발전시키고 AGI를 향한 유망한 경로를 제공할 잠재력이 있음을 강조한다.
우리는 LLM 에이전트가 여러 턴에 걸쳐 환경과 상호작용하고, 학생 모델이 이러한 다중 턴 상호작용 이력 전체에 걸쳐 교사를 모방하는 에이전트적 작업을 위한 온-정책 지식 증류(OPD)를 연구한다. 완전 온라인 OPD는 각 업데이트마다 환경을 통한 새로운 학생 롤아웃과 방문한 이력에서의 교사 쿼리가 필요하므로 비용이 크다. 우리는 Replayed-Prefix On-Policy Distillation(ReOPD)를 제안한다. 이는 환경 밖 대안으로, 사전 수집된 교사 궤적을 재생된 접두 문맥으로 재사용한다. 학생은 선택된 단계에서 행동하고, 교사는 새로운 환경 상호작용 없이 단계별 밀집 지도를 제공한다. 우리는 다중 턴 OPD가 접두 함정(prefix trap)을 도입함을 보인다. 이력을 더 학생-온-정책적으로 만들면 학생에 대한 관련성은 향상되지만, 교사의 목표가 신뢰할 수 없는 이력에서 교사를 쿼리할 수 있다. 이는 학생 점유(student occupancy)와 교사 신뢰성 사이의 양면적 분포 이동(distribution shift)을 만든다. ReOPD는 다중 턴 OPD를 신뢰성 인식(reliability-aware) 접두 분포 설계로 취급하여 이를 해결하고, 초기의 낮은 이동 접두 문맥을 강조하는 단순한 단계 감쇠(step-decaying) 샘플링 일정으로 이를 구현한다. Python을 이용한 수학적 추론과 검색 환경, 다양한 교사 및 학생 모델 규모에 걸쳐 ReOPD는 OPD 수준의 정확도를 유지하거나 개선하고, 학생 학습 중 도구 호출을 0회 사용하며, 롤아웃당 OPD보다 최소 4× 빠르다. 따라서 ReOPD는 비용이 큰 에이전트-환경 상호작용을 재사용 가능한 오프라인 자원으로 전환하여, 도구, 작업, 환경 전반에 걸친 확장 가능한 지식 증류를 가능하게 한다.
혼합 정밀도 양자화는 민감한 층에 더 높은 비트폭을 할당함으로써 사후 학습 양자화의 정확도를 향상시키지만, 기존 방법들은 단일 고정 메모리 예산에 대해서만 할당 문제를 풉니다. 실제로는 배포 환경마다 예산이 달라지며, 보정 시점에는 알 수 없습니다. 적응형 양자화는 오프라인 보정 한 번으로 어떤 예산이든 대응하지만, 현재 방법들은 층의 민감도를 다른 층의 양자화 수준에 대한 의존성을 고려하지 않는 방식으로 점수화합니다. 우리는 층의 민감도가 상류 층의 비트폭에 강하게 의존하며, 이러한 의존성이 결과적으로 선호되는 비트 할당을 바꾼다는 것을 보여줍니다. MixQuant를 제안합니다. 이는 어떤 기본 양자화기든 감쌀 수 있는 기법에 무관한 적응형 프레임워크입니다. MixQuant는 무작위로 양자화된 상류 구성에 대해 각 층의 왜곡을 주변화하여 예산에 무관한 점수를 얻고, 할당기가 스스로 생성한 계획에 대해 양자화기의 매개변수를 보정하며, 층을 최저 비트폭에 두는 할당에 페널티를 부과합니다. 그런 다음 단일 탐욕 패스로 배포 시 어떤 예산이든 대응합니다. Llama-3.2-3B, Llama-2-7B, Mistral-7B에 대해 AWQ 및 GPTQ 하에서 MixQuant는 모든 설정에서 적응형 및 혼합 정밀도 기준선을 능가하며, 평균 정확도를 최대 8포인트 향상시키고 가장 타이트한 예산에서 perplexity를 12.43에서 10.70으로 낮추면서, 무시할 수 있는 배포 비용으로 ILP 솔버와 동등한 성능을 달성합니다.
언어화된 머신러닝(VML)은 LLM이 f(x; θ)로 평가하는 자연어 프롬프트로 모델을 매개변수화한다. 이 프레임워크는 해석 가능하지만, 불확실성에 대한 측도 없이 단일 가설에 고정되며, 동일한 데이터에 대한 최적화 실행마다 그 가설이 크게 달라진다. 우리는 언어화된 학습을 베이지안 추론 문제로 다루는 Verbalized Particle Posterior(VPP)를 제안한다. 자연어 가설의 집단을 입자로 유지하고, Metropolis-Hastings(VPP-MH) 또는 Sequential Monte Carlo(VPP-SMC)로 갱신하며, 베이지안 모델 평균화로 예측한다. 두 알고리즘 모두 LLM을 블랙박스로 취급하며, logits나 gradient에 접근할 필요가 없다. 독특한 결과가 뒤따른다. 고전적 베이지안 학습에서는 모델 선택이 사후분포 밖에 있지만, VPP에서는 모델 구조와 매개변수가 단일 언어 공간을 공유하며, 사후분포가 둘 다에 걸쳐 분포한다. 우리는 회귀, 분류, 규칙 발견 벤치마크에서 VPP를 평가한다. 모든 벤치마크에서 단일 VML 실행보다 개선되며, 대부분에서 독립적 VML 실행들의 오라클 최적 앙상블과 동등하거나 그를 초과하고, VML이 가끔 발생시키는 치명적인 단일 실행 실패를 제거한다. 각 입자가 사람이 읽을 수 있는 가설이므로, 사후분포 자체가 독자가 검사할 수 있는 대상이 되어, 데이터가 어떤 설명을 지지하고 어떤 것을 배제했는지 평문으로 확인할 수 있다.
짧은 미세조정 한 번만으로도 오픈 가중치 모델의 안전 장치를 무력화할 수 있다—거부 학습된 어시스턴트를 재학습하여 무기 개발을 돕거나 혐오 발언을 생성하게 만들 수 있다. 이러한 유해한 미세조정을 막으면서도 양성(benign) 적응성을 유지하는 것은 여전히 어렵다: 명시적 곡률 인증서(curvature certificate)를 갖춘 유일한 기존 방법인 스펙트럴 변형(spectral deformation)은 곡률을 전역적으로 팽창시켜 유해한 적응과 함께 양성 적응까지 방해한다. 우리는 HarmAlign을 제안한다. HarmAlign은 추정된 대조적(contrastive) 활성화 부분공간(activation subspace)을 따라 함수 보존(function-preserving) 스펙트럴 변형을 적용한다. 우리는 추정된 부분공간 에너지와 그로부터 도출되는 지역적 유해 분포 곡률 하한에 대한 유한 표본 경계를 유도한다. 상수 스텝 경사하강법에 대한 안정성-진행(stability-progress) 이분법은 인증된 곡률을 조건부 수렴률 제어로 전환한다. 실험적으로, 고정 아키텍처·유한 예산 1차 위협 모델 내에서 HarmAlign은 위험 지식 재학습 설정과 유해 지원 미세조정 설정 전반에 걸쳐 직접 미세조정과 세 가지 데이터 또는 목적 함수 적응형 공격을 차단하며, 보호된 양성 작업은 여전히 학습 가능하다. 이 차단은 모든 공격 체크포인트에 걸친 테스트된 1차 옵티마이저 변형 전반과, 분포 외(out-of-distribution) 유해 미세조정 하에서도 지속되며, 우리 위협 모델의 중요한 사례—우발적 안전성 저하와 창발적 오정렬(emergent misalignment)—까지 확장된다.
많은 조직은 도메인 특화 작업에서의 성능 향상과 민감한 데이터에 대한 프라이버시 우려 해결 모두를 위해 내부 사용에 맞게 언어 모델을 적응시키려 한다. 그러나 이러한 적응은 여전히 쉽지 않다. 이는 종종 오픈소스 모델의 운영상 어려운 미세조정이나 임시방편적인 프롬프트 최적화를 필요로 한다. 우리는 간단한 API 수준의 제어에 기반한 최소한의 대안을 연구한다. 사용자가 사용자 정의 벡터로 모델의 로짓에 바이어스를 부여할 수 있게 하는 것이다. 우리는 모델 가중치를 수정하거나 그래디언트를 요구하지 않고, 모든 디코딩 단계에 더해지는 단일 문맥 독립적 로짓-바이어스 벡터를 학습하는 블랙박스 방법을 개발한다. KL 정규화 강화학습(RL) 목적 함수에서 출발하여, 이러한 고정 로짓-바이어스 벡터가 최적의 접두 문맥 의존적 보정을 근사할 수 있는 조건을 특성화하고, 롤아웃, 보상, 토큰 확률로부터 폐형식 역-경향성(inverse-propensity) 추정량을 유도한다. 실험적으로, 이 간단한 디코딩 시점 개입은 기존 미세조정보다 훨씬 적은 학습 가능 매개변수를 사용하면서 수학 및 추론 벤치마크에서 기본 모델 대비 성능을 향상시킨다. 우리의 결과는 학습된 로짓 바이어스가 최소한의 접근 요건 하에서 언어 모델을 적응시키는 경량 메커니즘임을 시사한다.
장기 호라이즌(long-horizon) 체화(embodied) 태스크는 태스크 성공을 관찰하기 전에 많은 종속적 액션을 실행하는 정책(policy)이 필요하다. 정책을 실행 가능한 제어 프로그램(code-as-policy)으로 표현하면, 롤아웃 평가 후 의사결정 로직을 검사하고 수정할 수 있다. 수정된 프로그램은 롤아웃 성능으로 실행·비교될 수 있으며, 이는 정책 개선을 실행 유도 프로그램 탐색으로 규정한다. 대규모 언어 모델(LLM)이 구동하는 진화적(evolutionary) 방법은 변이를 생성하고 고성능 후보를 선택함으로써 이러한 탐색을 위한 자연스러운 메커니즘을 제공한다. 그러나 기존 접근법은 주로 독립적으로 생성된 변이들 중에서 선택하며, 순차적 국소 개선 단계가 부족하다. 우리는 code-as-policy 진화를 위한 메모리 유도 단일 엘리트(single-elite) 멤틱(memetic) 프레임워크인 MEMENTO를 제안한다. MEMENTO는 먼저 정책 롤아웃을 스칼라 적합도(fitness)와 구조화된 피드백 지표로 매핑하는 롤아웃 평가자(evaluator)를 진화시킨다. 적합도는 수락된 후보와 다음 엘리트를 선택하고, 피드백 지표는 메모리 유도 힐클라이밍(hill-climbing), 거시 돌연변이(macro-mutation), 교차(crossover)로 생성된 정책 제안을 조건화한다. 우리는 Robosuite Franka Tower-of-Hanoi 조작과 AI2-THOR 가정 내 상호작용이라는 두 장기 호라이즌 체화 도메인에서 MEMENTO를 평가한다. MEMENTO는 code-as-policy 진화 베이스라인으로 적용한 Eureka 및 REvolve를 태스크 성공과 보류(hold-out) Robosuite 객체 구성 및 미관측 AI2-THOR 장면에 대한 일반화(generalization) 면에서 능가한다. 소거 실험(ablation)은 제로샷(zero-shot) 생성과 미진화 평가자가 두 도메인 모두에서 해결에 실패하며, 정책 탐색 분기를 제거하면 성능이 저하됨을 보여준다. 마지막으로, 우리는 최고로 진화된 Robosuite 정책을 물리적 Franka 로봇에 배포하여, 진화된 code-as-policy의 sim-to-real 전이 가능성을 입증한다. 코드, 프롬프트(prompt), 동영상은 https://github.com/sygkounas/MEMENTO 에서 확인할 수 있다.
안전이 중요한 기계 시스템에서 AI 기반 진단의 신뢰할 수 있는 배포는 검증에 달려 있다. 예측이 조치에 들어가기 전에 물리적 현실과 대조하여 확인할 수 있는지 여부가 그것이다. 현재의 지능형 결함 진단기는 이 기준을 두 가지 방식으로 충족하지 못한다. 표준 출력인 소프트맥스 신뢰도 점수를 동반한 클래스 레이블은 분류기의 내부 통계에 불과하여, 독립적인 물리적 지식과 대조해 확인할 수 있는 것을 제공하지 않는다. 또한 유지보수 보고에 생성형 언어 모델의 사용이 늘면서, 환각된 내용이 의사결정의 근거가 되는 보고서에 유입된다는 두 번째 위험이 추가된다. 본 연구는 베어링 결함 진단을 테스트베드로 삼아, 출력 측면에서 두 문제를 모두 해결한다. 제안하는 Diagnostic Evidence Network(DENet)는 인코더에 구애받지 않는 다중 과제 프레임워크로, 출력을 구조화된 증거 기록으로 확장한다. 여기에는 분류, 베어링 기하와 샤프트 속도로 결정되는 이론값과 비교 가능한 예측 특성 주파수, 그리고 원시 파형에서 검사 가능한 과도적 충격의 시간적 위치 추정이 포함된다. 네 개의 인코더와 세 개의 공개 데이터셋에 걸쳐, 이 증거는 통계적으로 유의미한 정확도 비용을 발생시키지 않으며, 스펙트럼 추정이 구조적으로 적용 불가능한 1,024-포인트 세그먼트에서 약 6 Hz의 주파수 오차를 보인다. 핵심적으로, 예측 주파수와 이론 주파수 간의 편차는 라벨 없는 추론 시점 검증 신호를 구성한다. 이는 AUROC 0.970 및 0.871로 오분류를 검출하며, 신뢰도 기반 검출기가 무력해지는 고신뢰 구간에서도 판별력을 유지한다. 마지막으로, QLoRA로 적응된 언어 모델은 진단 내용을 생성하지 않고 번역만 하도록 제한하여, 근거 없는 주장 비율을 10–12%에서 2%로 낮추고 허구의 수치를 제거한다.
대규모 언어 모델(LLM)의 학습 효과는 근본적으로 학습 데이터의 품질과 구성에 의해 제한된다. 기존 동적 데이터 스케줄링 방법은 산업 규모의 사전학습 및 지도 미세조정(SFT)에서 중요한 한계에 직면한다: 데이터 선택은 테라바이트급 코퍼스에서 감당하기 어려운 O(N) 비용을 발생시키고, 혼합 최적화 방식은 심각한 I/O 병목을 유발하거나 보조 참조 모델의 학습을 요구하며, 샘플 수준 재가중 전략은 노이즈, 난이도, 신규성을 혼동하는 손실 신호에 의존한다. 본 논문은 도메인 수준 손실 기반 2단계 데이터 혼합 최적화 프레임워크인 DomainPilot을 제안한다. DomainPilot은 데이터 파이프라인을 중단하지 않고 학습 중 도메인별 학습 역학을 포착하기 위해 토큰 수준 도메인 손실 모니터링을 도입한다. 이러한 신호를 바탕으로, 도메인별 수렴 곡선을 적합하고 혼합 조정을 위한 원칙적 사전 분포를 도출하는 Scaling Law 기반 거친(coarse) 최적화 단계를 제안한다. 이후 Mixing Law 기반 정밀(fine) 최적화 단계에서는 통제된 스윕(sweep) 실험을 통해 도메인 간 상호작용 효과를 모델링하여 혼합을 정제한다. 전체 메커니즘은 패치 기반 아키텍처를 통해 구현되며, 기존 학습 프레임워크(예: MindSpeed/Megatron-LM)에 도메인 인식 손실 계산을 주입하며, 프레임워크별 어댑터 코드는 약 30줄에 불과하다. DomainPilot을 Qwen3-1.7B 모델의 SFT 과정에서 검증하였다. 기존 데이터 혼합과 비교할 때, 최적화된 혼합은 총 데이터량이나 학습 비용을 늘리지 않으면서 MMLU-Redux에서 +2%, AIME24에서 +1.8%, LiveCodeBench v5에서 +3.8%, BFCL v3에서 +3.6%의 향상을 달성한다. 이러한 결과는 도메인 수준 학습 신호가 혼합 최적화를 위해 값비싼 데이터 선택이나 보조 모델 학습에 대한 효과적이고 경량의 대안을 제공함을 보여준다.