3B 이하 소형 비전-언어 모델(sVLM)의 컴포넌트별 양자화 민감도를 체계적으로 분석하기 위해 Jetson Orin NX·AGX에서 비전 인코더, 프로젝터, LLM 백본을 분리한 6가지 양자화 구성을 실험한 결과, 양자화 민감도는 모델 규모보다 MoE vs. dense 구조적 패러다임에 의해 결정되며 SigLIP 기반 인코더의 INT8 지연 급증은 하드웨어-커널 상호작용에 기인하고 LLM INT4는 VRAM을 절감하지만 역양자화 오버헤드로 토큰 생성 속도가 저하됨을 밝혔다.
코드 완성 모델의 백도어 공격에 의한 악의적 출력을 파인튜닝 데이터까지 역추적하는 포렌식 프레임워크 CodeTracer를 제안하며, 지문 추출(fingerprint extraction), 탐색 범위 축소, LLM 기반 귀인 분석의 3단계 파이프라인으로 그래디언트 없이 동작한다. 10가지 백도어 공격과 16개 비교 기준선 실험에서 높은 포렌식 정확도와 적응형 공격에 대한 강건성을 일관되게 달성했다.
LLM 기반 멀티 에이전트 시스템에서 실패 발생 시 책임 에이전트와 결정적 실패 단계를 자동으로 찾아내는 AgentLocate 프레임워크를 제안하며, LLM 판단자(Judge)의 가설을 독립적인 다중 평가자가 신뢰도 기반 투표로 검증하고 경량 파인튜닝으로 판단자를 개선하는 방식을 채택한다. 두 가지 벤치마크 실험에서 AgentLocate는 기존 장애 위치 파악 방법 대비 책임 에이전트 및 실패 단계 식별 정확도에서 일관되게 우수한 성능을 보이면서 토큰 사용량과 실행 시간 측면의 효율성도 유지했다.
사후 학습 양자화(PTQ)는 재학습 없이 대규모 언어 모델(LLM)을 압축하기 위해 널리 사용되는 기법이다. GPTQ를 포함한 기존의 2차 PTQ 방법들은 입력 활성화 통계만을 이용하여 양자화 목적 함수를 구성하며, 이는 모든 출력 채널이 층별 재구성 목적 함수에 동등하게 기여한다고 가정하는 것과 같다. 우리는 그래디언트 공분산을 양자화 파이프라인에 도입함으로써 이 가정에 도전하는 PTQ 프레임워크인 KronQ를 제안한다. 크로네커 인수 헤시안 근사 하에서 양자화 손실은 활성화 공분산과 그래디언트 공분산 모두에 공동으로 의존하며, KronQ는 이를 두 가지 상호 보완적인 수준에서 활용한다. (1) KronQ는 양방향 비일관성 처리(bidirectional incoherence processing)를 도입하여, 그래디언트 공분산을 이용해 기존의 입력 측 랜덤 회전을 출력 차원으로 확장함으로써 입력 및 출력 차원 모두에서 가중치 크기 분산을 줄인다. (2) KronQ는 그래디언트 및 활성화 헤시안 트레이스(trace)를 기반으로 층 간 혼합 정밀도 할당을 위한 새로운 민감도 지표를 도출한다. 특히, LLaMA-3-70B에 대한 2비트 가중치 전용 양자화의 경우, GPTQ와 GPTAQ가 발산하거나 퇴화된 양자화(WikiText-2에서 퍼플렉서티 2000 초과)를 생성하는 반면, KronQ는 7.93의 퍼플렉서티를 달성한다.
DeltaNet, Gated DeltaNet, Kimi Delta Attention, Gated DeltaNet-2 등 네 가지 순환형 선형 어텐션(linear attention) 아키텍처를 소프트맥스 어텐션과 공통 순환 메모리 표기법으로 비교 분석하며, 표현력·메모리 감쇠·학습 처리량 측면의 트레이드오프를 실험적으로 규명한다. 또한 DeltaNet 방식 메모리에 경량 크로스-레이어 라우팅 메커니즘인 Cross-Layer Value Routing(CLVR)을 도입해 DeltaNet과 Gated DeltaNet 모두에서 최종 검증 손실을 소폭 개선함을 보인다.
DeepSWE는 기존 SWE-bench 계열 벤치마크의 사전학습 데이터 오염과 상속된 테스트의 채점 신뢰성 문제를 해결하기 위해, 91개 오픈소스 저장소에서 직접 작성한 113개의 장기 소프트웨어 공학 과제를 제공하는 코딩 에이전트 평가 벤치마크다. 수작업으로 제작된 기능 검증기를 사용해 LLM 심판과의 불일치율을 SWE-Bench Pro 대비 약 10배 낮추면서(1.4% 대 32.4%), 최첨단 에이전트 간 성능 차이를 더 넓은 점수 범위로 구분한다.
심리측정 성격 특성(Big Five)에서 추출한 66개의 유해-무관 문장만으로 잠재 공간에서 적대적 학습을 수행하는 Latent Personality Alignment(LPA)를 제안하며, 성격 기반 표현이 유해 회피와 잠재 구조를 공유한다는 가설을 활용해 탈옥(jailbreak) 공격에 노출되지 않고도 HarmBench에서 공격 성공률을 거의 0으로 낮춘다. 표준 LAT 대비 75배 적은 데이터와 단일 GPU에서 수 분 내 학습이 완료되는 경량 방식으로, 표준 벤치마크 성능 손실 없이 강건한 안전성 정렬(safety alignment)을 달성한다.
VLM, DM, LLM, AFM의 채택이 확산됨에 따라, 이러한 멀티모달 파운데이션 모델들은 학습 데이터에서 비롯된 민감하거나 저작권이 있거나 편향되거나 안전하지 않은 교차 모달 연관성을 의도치 않게 인코딩할 수 있다. 삭제 요청이나 정책 변경 이후 재학습을 수행하는 것은 현실적으로 어려운 경우가 많으며, 지식이 공유 표현 전반에 분산되어 있어 특정 지식만을 선택적으로 망각시키는 것 역시 쉽지 않다. 멀티모달 언러닝(multimodal unlearning)은 전체적인 유용성을 유지하면서 모달리티 전반에 걸쳐 선택적 제거를 가능하게 함으로써 이 문제를 해결한다. 본 서베이는 최근의 발전, 새롭게 등장하는 응용 분야, 미해결 문제를 토대로, 비전·언어·오디오·비디오 전반에 걸친 멀티모달 언러닝에 대한 통합적이고 시스템 지향적인 관점을 제시한다. 제안하는 분류 체계는 모델 아키텍처와 모달리티에 걸친 체계적 비교를 가능하게 하며, 삭제 강도, 유지(retention), 효율성, 가역성, 강건성 간의 트레이드오프를 명확히 한다. 본 서베이는 멀티모달 언러닝의 미래 연구 및 실제 배포를 지원하기 위해 미해결 문제와 실용적 고려 사항을 부각시킨다. 정리된 저장소를 공개한다: https://smsnobin77.github.io/Awesome-Multimodal-Unlearning/
태스크 벡터 산술(task-vector arithmetic)을 활용해 코딩 LLM이 보안 취약점 없는 기능적 코드를 동시에 생성하도록 모델 가중치를 조정하는 SecVecCoder를 제안하며, CodeGuard+ 벤치마크에서 기반 모델 대비 신뢰할 수 있는 코드 완성 비율을 최대 36.0 퍼센트포인트 향상시키면서도 추론 지연은 평균 0.6% 이내로 유지한다.
CTA-pipelining은 공유 메모리 다중 GPU 시스템에서 대규모 언어 모델(LLM) 추론의 단일 배치 지연 시간을 줄이기 위해, Cooperative Thread Array(CTA) 단위로 의존 관계에 있는 커널들을 GPU 간에 동시 실행하는 새로운 공간적 스케일링 패러다임이다. 8-GPU H200·B200 시스템에서 MLP 연산에 해당하는 다층 GEMM을 대상으로 실험한 결과, 마이크로 배칭 대비 최대 31.8%, 텐서 병렬화(TP) 대비 최대 29.6%의 지연 시간 절감을 달성했으며, TP와 직교적으로 결합해 지연 시간 한계를 더욱 낮출 수 있음을 보였다.
지속적 학습(continual learning)이 단일 능력이 아님을 주장하며, 공간(도메인 이동)과 시간(사실 드리프트, 에이전트 상태 누적)이라는 두 축으로 환경 변화를 분류하고 프롬프트 최적화(GEPA, ACE), 지도학습(SFT, SDFT), 강화학습(GRPO, SDPO), 컨텍스트 압축(Cartridges, In-place TTT) 등 8가지 방법을 단일 프로토콜로 비교 평가했다. 온라인 강화학습이 지식 업데이트에 가장 효과적으로 적응하는 반면, 프롬프트 기반 방법은 미래 태스크에서 성능이 저하되고 지식 증류 방법은 오래된 사실 갱신에 어려움을 겪는 등 환경 변화 패턴에 따라 적합한 업데이트 방식이 근본적으로 다름을 보였다.
Julia, Ballerina 등 저자원 프로그래밍 언어(LRPL)에서 소규모 언어 모델(SLM)의 코드 생성 성능을 높이기 위해, 오프라인 추론 시점 컴퓨트로 검증된 합성 데이터를 생성한 뒤 SFT와 RLVR을 순차적으로 적용하는 3단계 파이프라인을 제안한다. Qwen3-8B에 적용 시 Julia 기준 MultiPL-E에서 최대 +7.6포인트, Agnostics LiveCodeBench에서 +14.2포인트를 달성하며 이전 SOTA 대비 데이터 1/3, 비용 1/6만으로 경쟁력 있는 성능을 보였다.
블록-희소 어텐션(block-sparse attention)에서 상위-k 컷오프가 경계 블록 간 점수 차이가 미미할 때 답변 근거 블록을 놓치는 문제를 해결하기 위해, 정규화된 컷오프 마진 σ를 기반으로 불확실한 쿼리 타일에만 선택 집합을 2배로 확장하는 정보-가치(value-of-information) 라우터를 제안한다. Quest와 결합 시 LongBench-v2 medium에서 쌍별 재현율 0.75를 달성해 기존 상위-k 대비 +28 pp 향상되었으며, 128K 문맥에서도 dense 정확도의 81~89%를 유지하면서 0.62×~0.80× 수준의 실행 시간을 달성했다.
LoRA 기반의 지속적 파인튜닝에서 발생하는 파국적 망각(catastrophic forgetting) 문제를 해결하기 위해, ReCoLoRA는 사전학습 가중치의 무작위 SVD로 어댑터를 초기화하고 엘보 기준으로 유효 랭크를 선택한 뒤, 각 태스크 완료 후 현재 유효 가중치를 재분해하는 재귀적 통합(recursive consolidation) 방식으로 이전 지식을 보존한다. 4개의 7-8B 백본에서 6개 태스크로 구성된 지속적 GLUE 시퀀스 실험 결과, LoRA, PiSSA, AdaLoRA, DoRA 대비 더 적은 파라미터로 3개 백본에서 최고 최종 평균 점수를 달성했다.
소형 학생 모델이 대형 교사 모델의 장황한 사고의 연쇄(CoT)를 충실히 재현하지 못하는 용량 불일치 문제를 해결하기 위해, 구조 인식 마스킹 재구성 → GRPO 기반 압축 → 교사 유도 내재화의 3단계 커리큘럼 학습 프레임워크 BRIDGE를 제안한다. GSM8K 실험에서 Qwen2.5-3B-Base가 출력 길이를 27.4% 줄이면서 정확도를 11.29% 향상시켜 기존 지식 증류(distillation) 및 강화학습 기반 방법을 모두 능가함을 보였다.
RLVR 학습에서 균일 샘플링이 정책 진행에 따라 이동하는 난이도 프론티어를 추적하지 못하는 문제를 해결하기 위해, HeaPA는 힙 기반 경계 샘플링으로 중간 난이도 구간에 집중하고 온-정책 쿼리 증강으로 풀을 동적으로 확장하는 프레임워크를 제안한다. 두 가지 학습 코퍼스와 7개 벤치마크에서 HeaPA는 기존 GRPO, DAPO 파이프라인 대비 정확도를 일관되게 향상시키고 더 적은 롤아웃 연산으로 목표 성능에 도달했으며, 중간~대규모 모델 스케일에서 효과가 특히 두드러졌다.
소프트맥스 어텐션의 어텐션 싱크(attention sink)와 확률 질량 분산 문제를 해결하기 위해, 임계값 차분 어텐션(TDA, Threshold Differential Attention)은 길이 의존적 게이트 기반의 행 단위 극값 임계화와 차분 트랜스포머의 억제적 뷰를 결합한 새로운 어텐션 메커니즘을 제안한다. TDA는 이론적으로 행당 허위 생존자 수를 O(1)로 제어함을 증명하며, 실험적으로 99% 이상의 완전한 영값(sparsity)을 달성하면서 표준 및 긴 컨텍스트 벤치마크에서 경쟁력 있는 성능을 유지한다.
과학적 아이디어는 거의 백지에서 시작하지 않는다. 아이디어는 메커니즘을 물려받고, 알려진 한계를 보완하며, 생물학적 유전체처럼 이전 연구의 조각들을 재조합한다. 현재의 벤치마크는 AI 시스템이 이러한 상속 구조를 따를 수 있는지에 대해 여전히 거의 말해주지 않는다. 우리는 과학적 계보 추론과 계보 기반 아이디어 생성을 위한 벤치마크인 IdeaGene-Bench(IG-Bench)를 제안한다. IG-Bench는 IdeaGene 프레임워크를 중심으로 구성된다. 각 논문 또는 제안서는 최소 단위의 타입이 지정되고 근거가 명시된 Idea Genome 객체들의 집합으로 표현되며, GenomeDiff는 이 객체들을 정렬하여 여섯 가지 운영적 진화 역학 하에 상속, 돌연변이, 손실, 외부 도입, 신규 삽입을 기록한다. 이 벤치마크는 10개 과학 도메인에 걸쳐 1,961개의 황금 계보 추적, 1,085개의 선별된 Idea Genome 객체, 920개의 쌍별 GenomeDiff 레코드를 포함한다. 두 가지 평가를 지원한다. IG-Exam(42개 과제 유형, 1,029개 인스턴스)은 Idea Genome 추상화, 상속 추적, 진화적 추론, 계보 검증에 걸쳐 폐쇄형 계보 추론을 테스트한다. IG-Arena는 계보 조건부 Population-Evolution Score(PES)를 사용하여 생성을 평가하는데, 제안서가 주어진 계보 집단의 일관된 후손으로 삽입될 수 있는지를 묻는다. 즉, 올바른 Idea Genome 객체를 상속하고, 인접 연구와 의미 있게 차별화되며, 미래 연구를 위한 선택적 가치를 제공해야 한다. 14개의 LLM 기반 과학자에 대한 실험은 구성적 병목 현상을 드러낸다. 가장 강력한 시스템도 계보 추론에서 정확도 27.3%에 그쳤으며, 구조화된 계보 문맥은 모든 참가자를 균일하게 도움으로써 시스템 순위를 재편한다기보다는, 오히려 시스템 간 순위를 뒤섞는 결과를 낳는다.
원격 고등교육 기관의 학생 77,543명의 실제 로그 데이터를 기반으로 AI 기반 학습 보조 도구 Syntea의 이용 패턴을 대규모로 분석한 연구로, 전체 학생의 약 57.6%가 Syntea를 사용했으며 성별·연령·학습 방식에 따라 이용 양상이 유의미하게 다름을 확인하였다. 특히 Gen Z 학생(63.66%)이 가장 높은 이용률을 보였고, 기존 교육용 챗봇 연구의 소규모 설문 의존 한계를 극복한 실증적 대규모 분석이라는 점에서 의의가 있다.