스파이킹 신경망(SNNs)은 이벤트 기반 및 생물학적 영감 메커니즘을 통해 에너지 효율적인 뉴로모픽 하드웨어에 매우 적합합니다. SNNs에 중요한 신경 코딩은 스파이크를 통해 정보가 표현되는 방식을 결정합니다. 첫 스파이크까지의 시간(TTFS) 코딩은 뉴런당 단일 스파이크를 사용하여 극도의 희소성과 에너지 효율성을 제공하지만, 희소한 발화로 인해 불안정한 학습과 낮은 정확도를 겪는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 매개변수 초기화, 학습 정규화, 시간적 출력 디코더, 그리고 풀링 층에 대한 재평가를 포함하는 학습 프레임워크를 제안합니다. 제안된 매개변수 초기화와 학습 정규화는 신호 감쇠와 그래디언트 소실을 완화하여 학습을 안정화하는 데 도움을 줍니다. 우리의 출력 디코더는 시간적 스파이크를 집계하여 조기 발화를 유도함으로써 지연 시간을 줄입니다. 풀링 층에 대한 재평가는 최대 풀링(max-pooling)이 단일 스파이크 제약 조건을 위반하므로 피해야 하지만, 평균 풀링(average-pooling)은 이를 보존함을 보여줍니다. 실험 결과, 우리의 프레임워크는 학습을 안정화하고 가속화하며 지연 시간을 줄이고, MNIST (99.48%), Fashion-MNIST (92.90%), CIFAR10 (90.56%), CIFAR100 (70.27%) 및 DVS Gesture (95.83%)에서 단계별 TTFS SNNs에 대한 최첨단 정확도를 달성함을 보여줍니다.
뇌 활동으로부터 동적 인간 얼굴을 재구성하는 것은 정신이 정체성, 표정, 얼굴 움직임을 어떻게 지각하는지 연구하는 강력한 방법을 제공한다. 그러나 fMRI 기반 얼굴 디코딩의 진전은 통제된 고해상도 신경 데이터셋의 부족과, 정체성 특유의 외형과 시간에 따라 변하는 얼굴 역학을 모두 복원하는 데 어려움을 겪는 방법들로 인해 제한되어 왔다. 우리는 1920×1080 해상도로 렌더링된 제어 가능한 Full-HD 디지털 인간 얼굴 비디오와 짝을 이루는 최초의 fMRI 데이터셋인 fMRI-Face를 제시한다. 스캔 중 참가자들은 정체성, 표정, 머리 자세가 통제된 사실적인 배경 없는 얼굴 비디오를 시청했으며, fMRI 활동이 기록되었다. 결과 데이터셋은 62,856개의 짝을 이룬 fMRI-비디오 샘플을 포함하며, 동적 얼굴 지각 및 재구성 연구를 위한 구조화된 자원을 제공한다. 이 데이터셋을 바탕으로, 우리는 fMRI 신호로부터 얼굴 비디오를 재구성하기 위한 기하학 유도 신경 비디오 디코딩 프레임워크인 fMRI2Face를 제안한다. fMRI2Face는 뇌 활동으로부터 두 가지 상보적인 신경 제어를 도출한다: 전역적 정체성 관련 시각 속성을 포착하는 Brain-derived Appearance Context와, 자세, 표정, 비강성(non-rigid) 얼굴 역학에 대한 명시적 기하학 인식(guidance)을 제공하는 Morphable 3D Facial Control. 이 제어들은 보조 잠재(latent) 완성을 갖춘 Neural-Controlled Video Diffusion을 통해 통합되어, 뇌 활동으로부터 직접 고충실도 얼굴 비디오 재구성을 가능하게 한다. 실험 결과 fMRI2Face는 대표적인 신경 디코딩 베이스라인 대비 재구성 충실도, 정체성 보존, 얼굴 기하학, 움직임 일관성을 일관되게 향상시킨다. fMRI-Face와 fMRI2Face는 함께 동적 얼굴 지각 연구를 위한 통제된 플랫폼을 구축하고, fMRI 기반 디지털 인간 재구성을 위한 새로운 벤치마크를 제공한다.
우리는 UN 및 UNESCO 결의문에서의 단락 수준 논증 마이닝을 다루는 ArgMining 2026 UZH Shared Task의 우승 시스템인 LLM-INSTRUCT를 제안한다. 이 과제는 최대 8B 파라미터의 오픈 가중치 모델만을 사용하여, 엄격한 JSON 스키마 설정 하에서 단락 유형 분류, 141개 공식 태그 중 일부의 예측, 그리고 방향성 관계 예측을 요구한다. 우리는 이 과제를 제약 기반 구조화 예측으로 프레이밍한다. 시스템은 먼저 메타데이터 인식 밀집 검색(dense retrieval)으로 후보 태그 공간을 축소한 다음, 차원별 상한이 있는 제약 디코딩(constrained decoding)을 적용하고, 불확실한 경우에만 3-에이전트 토론 분기로 에스컬레이션하며, 마지막으로 출력 스키마를 검증한다. 공식 리더보드에서 LLM-INSTRUCT는 전체 1위, F1 1위, LLM-as-a-Judge 5위를 기록했다. 개발 과정에서 구성 탐색을 통해 Task 1b Micro-F1을 35.83%에서 40.08%로 추가로 개선했으며, 내부 Task 2 점수는 4.421을 유지했다. 핵심 교훈은 간단하다: 생성 전에 결정 공간을 축소하면 정확도와 제출 견고성 모두가 향상된다. 코드와 지원 스크립트는 다음에서 공개되어 있다: https://github.com/LLM-Instruct-at-UZH-Shared-Task-2026/Method
투기적 디코딩(speculative decoding)은 초안-검증(draft-then-verify) 생성을 통해 대규모 언어 모델(LLM) 추론을 가속하지만, 경량 초안(draft) 모델은 효율성과 품질이 결합된 한계에 직면한다. 대규모 어휘 출력 투영(projection)은 비용이 크고, 제한된 초안 용량과 정적 매개변수는 전문화되거나 변화하는 입력에서 수용률(acceptance)을 낮춘다. 어휘 가지치기(pruning)는 투영 비용을 낮추지만, 정적 변형은 국소적으로 중요한 롱테일(long-tail) 토큰을 놓치고, 동적 변형은 사전 설정된 선택 정책과 예산에 민감하다. 또한 제한된 초안 용량은 대상 토큰이 포함되어 있더라도 초안 분포를 정렬(alignment)되지 않은 상태로 둘 수 있다. 온라인 정렬(alignment)은 초안 품질을 개선하지만, 전체 매개변수 업데이트는 상당한 메모리와 지연(latency) 오버헤드를 유발한다. 우리는 검증 피드백으로부터 활성 어휘와 경량 초안 매개변수를 공동으로 적응시키는 EvoSpec을 제안한다. EvoSpec은 의미적·통계적 토큰 이웃을 비동기적으로 검색하고, 정확한 대상 모델 검증을 유지하면서 커리큘럼 가중 온라인 LoRA 정렬을 수행한다. Qwen3-8B/EAGLE-2에서 EvoSpec은 기본 디코딩 대비 $2.18\times$ 속도 향상, EAGLE-2 대비 $1.20\times$ 이득을 달성하며, 전문 도메인 커버리지를 개선하고 전체 매개변수 온라인 적응보다 $27\%$ 적은 보조 GPU 적응 메모리를 사용한다.
오류 구간 탐지(ESD)는 번역 오류를 위치 특정하고 심각도를 라벨링함으로써 자동 기계 번역(MT) 평가를 확장한다. 현재 생성형 ESD 방법은 일반적으로 최대 사후 확률(MAP) 디코딩을 사용하며, 모델이 추정한 확률이 인간 주석과의 유사도와 완벽하게 상관관계가 있다고 가정하지만, 우리는 종종 인간 주석보다 잘못된 주석에 더 높은 가능도가 부여되는 것을 관찰한다. 대신 우리는 생성형 ESD에 최소 베이즈 위험(MBR) 디코딩을 적용한다. MBR 디코딩을 위해 문장 수준 또는 구간 수준 유사도 함수를 사용하며, 이는 후보 가설을 인간 주석과의 근사적 유사도에 기반하여 선택한다. WMT24 Metrics Shared Task에서의 실험 결과는 MBR 디코딩이 구간 수준 성능을 크게 향상시키며, 일반적으로 시스템 및 문장 수준에서 MAP와 동등하거나 더 우수한 성능을 보임을 나타낸다. MBR 디코딩의 계산 비용을 줄이기 위해, 우리는 추가로 그 결정을 탐욕 검색(greedy search)으로 디코딩되는 모델로 지식 증류하여 추론 시 지연(latency) 병목을 제거한다.
언어 모델은 중첩(superposition) 현상을 보이는 것으로 여겨지며, 잔차 스트림(residual stream)의 차원 수보다 훨씬 많은 특징을 표현한다. 희소 오토인코더(SAE)는 이러한 특징을 사후적으로 복원하도록 설계되었지만, 구조적으로 해석 가능한 모델을 학습하는 것은 층별 과완전(over-complete) 병목이 메모리와 연산 모두에서 지나치게 비용이 많이 들기 때문에 여전히 비현실적이다. 이 문제를 극복하기 위해, 중간 표현이 설계상 효율적이고 넓으며 희소한 GPT-2 규모 아키텍처인 ParityTransformer를 제안한다. 각 층에서 Deep Parity Bottleneck(DPB)은 학습된 과완전 기저를 매개변수 없는 대수적 사전으로 대체하여, 결정론적 비일관(incoherence) 보장을 제공하고 대규모에서 층별 해석 가능 병목을 막아온 메모리 요구사항을 제거한다. DPB는 다수준 전문가 혼합(MoE) 접근법을 사용하여 희소성을 효율적으로 강제하는 계층적으로 구조화된 희소 병목으로, 활성화 희소 학습과 밀집 학습 간의 비용 격차를 관리 가능한 해석 가능성 부담으로 줄이는 하드웨어 인식 구현이다. 실험적으로 ParityTransformer는 희소 프로빙(sparse probing) 과제에서 사후 SAE 이상의 성능을 보이며, 특징 흡수(feature absorption), 스티어링(steering) 효과, 세밀한 인과적 개입 측정에서 더 우수하다. 후속 연산은 희소 병목을 통과한 특징에만 작용하므로, ParityTransformer의 특징은 구조적으로 모델의 순전파(forward pass)에 내재하며, SAE가 모델이 실제 계산 중 사용하는 특징을 프로빙하는지에 대한 질문을 다룬다. 이를 사후 복원이 아닌 설계상 해석 가능한 내부 표현을 갖는 모델을 학습하는 방향으로의 한 걸음으로 본다.
희소 오토인코더(SAE) 특징은 대규모 언어 모델(LLM)을 해석하고 조종하는 데 사용되지만, SAE 계열 간 특징의 인과적 역할이 안정적인지는 아직 검증되지 않았다. 하나의 어휘 항목에서만 활성화되는 단일 토큰 특징은 정답(ground truth)을 통해 직접 비교가 가능한 진단 사례를 제공한다. 우리는 전 층 깊이에서 제로 소거(zero-ablation)를 사용하여 6개 모델과 3개 SAE 계열에 걸친 390만 개의 특징을 분석한다. 단일 토큰 특징은 디코더 공간에서 4.7배 더 촘촘하게 군집화되며 초기 층에 집중된다(GPT2-Small에서는 Layer 0; Gemma에서는 L0-L4). 이들을 소거하면 208개 전층 조건 중 178개에서 Benjamini-Hochberg 유의성을 갖는 로짓 감소가 나타나며, 깊이는 손상이 하류로 전파되는지 아니면 출력을 직접 형성하는지를 결정한다. 계열 간 인과적 차이는 계열 내 규모 효과를 초과한다: 동일한 기본 모델에서 GemmaScope와 BatchTopK 특징은 인과적으로 고정되어 있는 반면, LlamaScope 특징은 국소적으로 중복적이다. 동일한 소거 후 대상 토큰의 순위는 96-98%의 경우 기준선의 2배 이내로 회복되며, 통제된 활성화 함수 비교는 동일 모델 내에서 부호를 반전시켜 학습 레시피를 잔여 후보로 남긴다. 따라서 계열 간 해석 가능성 주장은 활성화 함수나 규모뿐 아니라 학습 방법론에 민감하다.
심층 학습은 신약 개발을 가속화했지만, 생물학적 제조(biomanufacturing)에 미친 영향은 훨씬 더 제한적이었다. 그 이유는 데이터 부족이다. 바이오리액터 실험은 비용이 높고 며칠에서 몇 주가 걸리며, 공개적으로 공유되는 경우가 드물어 각 연구는 소수의 실험만을 갖게 된다. 그러나 해당 도메인 자체는 풍부한 사전 지식을 갖고 있다. 생물동역학 상미분방정식(ODE) 모델은 수십 년간 미생물 성장을 기술해 왔지만, 이러한 지식을 신경망에 주입하는 방법은 체계적으로 연구된 적이 없다. 우리는 ODE 지식을 신경망에 주입하는 방법에 대한 최초의 체계적 연구를 제시하며, 시뮬레이션된 ODE 곡선으로 범용 디코더를 사전학습하는 데이터 수준 사전과 ODE를 디코더 내부에 내장하는 아키텍처 수준 사전을 비교한다. 두 방법 모두 11개 데이터셋과 7종의 미생물에 걸쳐 사전 없는 기준선을 지속적으로 능가한다. 우리의 핵심 발견은 두 방법이 상호 대체 가능하다는 것이다. 시뮬레이션으로 사전학습된 범용 디코더는 실제 데이터로 학습된 완전히 생물학적 구조를 갖춘 디코더와 동등한 성능을 보인다. 따라서 시뮬레이션 사전학습은 생물공정 데이터 부족 환경에서 심층 학습을 위한 간단하고 데이터 효율적인 방법을 제공한다.
추측 디코딩(speculative decoding)은 (M)LLM의 추론을 가속하지만, 학습-디코딩 불일치가 지속된다. 기존 방법은 단일 탐욕적(greedy) 궤적을 최적화하는 반면, 디코딩은 여러 샘플링된 드래프트 경로를 검증하고 순위를 매기는 과정을 포함한다. 우리는 변분 추측 디코딩(VSD)을 제안하며, 드래프트 학습을 잠재 제안(드래프트 경로)에 대한 변분 추론(variational inference)으로 공식화한다. VSD는 타깃 모델 수용의 주변 확률을 최대화하여, 고품질 잠재 제안을 촉진하면서 타깃 분포로부터의 발산(divergence)을 최소화하는 ELBO를 도출한다. 품질을 향상하고 분산을 줄이기 위해 경로 수준(path-level) 유틸리티를 통합하고 기대-최대화(Expectation-Maximization) 절차를 통해 최적화한다. E-단계는 오라클 필터링된 사후분포(posterior)에서 몬테카를로(Monte Carlo) 샘플을 추출하고, M-단계는 적응형 거부 가중(Adaptive Rejection Weighting, ARW)과 신뢰도 인식 정규화(Confidence-Aware Regularization, CAR)를 사용하여 가중 가능도를 최대화한다. 이론적 분석은 VSD가 기대 수용 길이와 가속(speedup)을 증가시킴을 확인한다. LLM과 MLLM 전반에 걸친 광범위한 실험은 VSD가 EAGLE-3 대비 최대 9.6%, ViSpec 대비 7.9%의 가속을 달성하여 디코딩 효율을 크게 향상시킴을 보여준다.
대규모 언어 모델(LLM)은 표현 붕괴(representation collapse)라는 근본적 한계에 의해 제한되며, 이는 장문맥 성능을 심각하게 저하시키는 병목이다. 기존 접근법은 두 가지 병리적 극단 중 하나로 기울어질 위험이 있음을 확인했다: 동질화 붕괴(homogenization collapse)(예: 어텐션 sink로 인한 rank deficiency)와 고립 붕괴(isolation collapse)(예: 지역 어텐션으로 인한 문맥 단절). 어텐션 동역학의 스펙트럴 분석을 통해, 표준 메커니즘이 균형을 맞추기 어려운 혼합 효율(spectral gap)과 정보 용량(effective rank) 사이의 내재적 트레이드오프를 도출했다. 이 딜레마를 해결하기 위해 스펙트럴 균형을 달성하는 비침습적 아키텍처 개입인 위상학적 정규화 부수 경로(TRSP)를 제안한다. TRSP는 경량의 길이 인식(length-aware) 게이트로 스케일링되는 매개변수 없는(parameter-free) Triangular Box 메커니즘을 사용하여 토큰 상호작용 위상(topology)을 정규화한다. 근접 결합(proximal coupling)으로 effective rank를 보존하고 원거리 전파(distal propagation)로 비퇴화하지 않는(non-degenerate) 혼합을 지원함으로써, TRSP는 핵심 어텐션을 변경하지 않고 기하학적으로 더 건강한 전이 연산자(transition operator)를 촉진한다. 실험 결과 일반 역량과 장문맥 벤치마크 전반에서 유의미한 개선을 보였다. 특히 학습 길이의 $8\times$에서 NoLiMa에서 TRSP는 $83\%$의 정확도를 유지하며, Differential Transformer와 Gated Attention을 각각 약 30 및 50 퍼센트포인트만큼 초과한다. 코드는 https://github.com/Eziotao-tyd/TRSP 에서 제공된다.
대규모 언어 모델(LLM)은 하나의 파라미터 집합으로 많은 작업을 처리하지만, KV 캐시 추론에서는 prefill 단계가 아닌 디코드 시점에 어떤 작업 일반(task-general) 구조가 사용되는지, 있다면 무엇인지 불분명하다. 우리는 DecodeShare를 제안한다. 이는 디코드 시점 은닉 상태에서 작업 간 일관되게 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 해당 부분공간을 제거하여 그 인과적 역할을 검증하는 프로토콜이다. 실험에서 발견된 공유 부분공간을 교란하면, 동일한 개입 예산 하에서 prefill에서 유도된 부분공간이나 무작위 부분공간을 교란하는 것보다 의사결정 성능이 훨씬 더 크게 저하된다. 또한 이 디코드 공유 부분공간이 활성화 스티어링(activation steering)에 실질적 함의를 갖는다는 것을 보인다. 일반적인 스티어링 방향이 작업 일반 디코드 채널과 겹칠 수 있다. 이 공유 부분공간을 투영 제거(projecting out)하면 두 구성 요소의 기능적 역할을 직접 분리할 수 있으며, 디코드 시점에서 스티어링 벡터를 평가하면 prefill 기반 프록시보다 하류 배포를 위한 더 신뢰할 수 있는 신호를 제공한다. 크기가 작음에도 불구하고, 공유 부분공간은 디코드 시점에서 고레버리지(high-leverage) 인과 채널로 작용할 수 있다. 코드는 https://github.com/Zishan-Shao/decodeshare.git 에서 이용할 수 있다.
병렬 디코딩은 확산 대규모 언어 모델(dLLM)의 효율성에 핵심적이지만, 현재 전략들은 지나치게 보수적인 신뢰도 임계값으로 인해 종종 저해된다. 이러한 임계값은 결합 확률 의존성 오류(JPDE)로 인해 필요해지며, 중복적인 디노이징 반복과 최적이 아닌 추론 속도를 초래한다. 이를 극복하기 위해, 우리는 중간 신뢰도 영역에서 dLLM의 신뢰할 수 있는 가속을 가능하게 하는 무학습 프레임워크인 DC-Leap을 제안한다. DC-Leap은 엄격히 순서가 정해진 인과 제약을 병렬 디코딩 과정에 통합하는 동적 연속 검증(Dynamic Contiguous Verification) 전략을 도입한다. 토큰 의존성을 점진적으로 검증함으로써, 이 메커니즘은 JPDE를 효과적으로 상쇄하여 유사한 성능으로 신뢰할 수 있는 가속을 가능하게 한다. 또한 DC-Leap은 드래프트 가이드 디코딩 메커니즘을 통합하며, 여기서 드래프트는 여러 토큰에 걸쳐 앞으로 도약함으로써 컨텍스트를 확장하고, look-ahead 컨텍스트를 제공하며, 추론 중 양방향 어텐션의 구조적 이점을 유지한다. 표준 벤치마크에 대한 광범위한 실험은 DC-Leap이 상당한 속도 향상을 달성함을 보여주며, 긴 시퀀스 생성에서 MBPP 기준 최대 53.19배, KV-Cache와 결합 시 유사한 생성 품질로 최대 105.02배까지 달성한다. 코드는 https://github.com/ffh-wyls/DC-Leap 에서 이용 가능하다.
멀티모달 대규모 언어 모델(MMLLM)은 막대한 메모리와 연산 비용이 필요하여 실용적인 배포를 제한한다. 사후 학습 양자화(PTQ) 기법은 모델 압축과 추론 가속을 위한 효율적인 해결책을 제공한다. 그러나 양자화된 모델은 이상치(outlier) 채널로 인해 성능 저하에 직면하는데, 이 채널들은 양자화에 매우 민감하여 활성화(activation) 충실도와 과제 정확도를 크게 저하시킨다. 양자화 과정에서 이러한 두드러진(salient) 채널을 보호하기 위해, 기존 PTQ 방법들은 LLM 디코더의 채널별 스케일링(CWS)을 안내하기 위해 모달리티 수준 또는 토큰 수준 지표를 활용한다. 그러나 이러한 직교(orthogonal) 측정은 과제별 손실에 대한 채널별 영향을 포착하지 못하며, 중요도와 스케일링 계수 간의 불일치가 궁극적으로 차선의 성능으로 이어진다. 이 문제를 해결하기 위해, 우리는 과제별 손실 섭동과 양자화 오류를 조화시키는 통합 채널별 PTQ 방법인 C-PTQ를 제안한다. 2차 도함수에서 영감을 받아, Fisher 가중 목적 함수를 다루기 쉬운 헤시안 근사로 설계하여 스케일링 과정에 과제 민감도를 원활하게 주입한다. 특히 LoRA와 같은 보조 모듈 없이 최신(state-of-the-art) 성능을 달성하여 높은 효율성을 유지한다. Qwen2.5VL, InternVL2, LLaVA-OV에 대한 8개 벤치마크 실험은 가중치 전용 및 가중치-활성화 설정 모두에서 우리 방법의 효과를 입증한다.
초분광 현저 객체 검출은 초분광 영상에서 시각적으로 현저한 영역을 식별하는 것을 목표로 한다. 기존 방법은 종종 데이터를 근본적으로 오해하여, 조명과 같은 외부 요인에 의한 부수적인 스펙트럴 변화를 객체의 고유 재료 특성에 의한 본질적인 스펙트럴 차이와 혼동하기 때문에 실패하는 경우가 많다. 이는 취약한 표현과 노이즈가 많은 예측으로 이어진다. 이를 위해 우리는 구조 인식을 핵심으로 하여 스펙트럼 견고 모델링, 교차 스트림 공동 인식, 다중 스케일 정제 디코딩을 중심으로 한 닫힌 루프 정보 흐름을 구축하는 경량且 효율적인 스펙트럴-공간 시너지 유도 네트워크(S3GNet)를 제안한다. S3GNet은 스펙트럴 미분과 영역 계층적 모델링을 활용하여 조명 변화에 대한 견고성의 고유 특징을 추출하는 매개변수 없는 스펙트럴 구조 인식 모듈(Spectral Structure-Aware Module)을 도입한다. 우리의 스트림 인식 어텐션 모듈(Stream-Aware Attention Module)은 스트림 간 전역 상호작용과 스트림 내 공간 유도를 통해 효과적인 스펙트럴-공간 협력을 달성한다. 또한 점진적 게이트 정제 디코더(Progressive Gated Refinement Decoder)는 다중 스케일 특징을 최적으로 통합하여 정밀한 객체 경계와 디테일 복원을 보장한다. 실험 결과, S3GNet은 기존 방법과 비교하여 계산 효율성과 검출 정확도 모두에서 우수한 성능을 달성함을 보여준다.
기존 기호 음악 생성 모델은 일반적으로 마디(bar)를 기본 구조 단위로 사용한다. 그러나 인간의 음악 구(phrase) 지각은 종종 악보상의 마디선과 일치하지 않아 장기 구조의 단편화를 초래한다. 본 논문은 가변적 구조 경계를 갖는 2단계 심층 학습 아키텍처인 RPPNet을 제안한다. 먼저 가변 길이의 Rhythm-Pitch Primitive(RPP) 시퀀스를 생성하며, 각 RPP는 음표 수, 리듬, 윤곽(contour)을 인코딩한다. 이후 RPP 시퀀스를 구체적인 음표로 디코딩한다. RPP의 그룹화는 음악 심리학에 기반한 음향 단서, 청각적 관성(auditory inertia), 유사성 지각(similarity perception)으로부터 자동으로 도출된다. 실험 결과, RPPNet이 생성한 멜로디는 장기 구조와 음악성(musicality) 모두에서 우수하며, 모든 주관적 평가 차원에서 유의미한 개선을 보였다. Ablation 연구는 성능 향상이 모델 용량이 아니라 심리적 표현의 구조적 정확성에서 비롯됨을 확인한다. 본 연구는 음악 이론, 계산 모델링(computational modeling), 음악 심리학을 통합하여 음악 생성에 대한 학제간 관점을 제공한다.
활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.
최근 추천 시스템(RS)의 발전은 생성 모델링을 통해 상당한 성능 향상을 보여주었다. 실무에서 추천은 종종 슬레이트 — 항목의 순서 있는 목록 — 구성을 포함하며, 이는 관련성을 넘어 항목 속성에 정의된 제약이나 공정성 제약과 같은 다중 목표를 만족해야 한다. 기존 다목적 접근법은 생성형이 아닌 설정을 위해 설계된 후처리 기법에 의존하거나, 보조 목표를 모델 학습에 직접 통합한다. 전자는 생성형 RS의 순차적 특성을 명시적으로 고려하지 않으며, 후자는 대규모 시스템에서 종종 비현실적이다. 우리는 기본 모델을 수정하거나 재학습하지 않고도 다목적 슬레이트 생성을 지원하도록 자회귀(autoregressive) 생성형 RS를 보강하는 경량의 추론 시점 디코딩 층을 제안한다. 디코딩을 온라인 제약 최적화(optimization) 문제로 공식화하며, 항목이 순차적으로 선택되고, 관련성과 보조 목표 간 트레이드오프가 잔여 제약 여유(constraint slack), 즉 각 목표를 얼마나 더 만족해야 하는지에 따라 동적으로 조정된다. 이는 생성 과정에서 관련성과 보조 목표의 균형을 맞추는 확률적 프림-듀얼 근사 기법을 통해 구현된다. 우리는 제약 위반과 후회(regret)에 대한 이론적 보장을 제공하고, 광범위한 오프라인 실험과 실제 추천 시스템에서의 대규모 온라인 A/B 실험을 통해 제안 방법을 평가한다. 결과는 다목적 트레이드오프에서 일관된 개선을 보여주며, 사용자 만족도 손실 없이 보조 목표에서 +1.8%의 향상을 달성한다.
벡터 양자화(VQ)는 현대 이산 시각 토큰화의 기반이 된다. 그러나 최첨단 VQ 기반 모델을 위한 양자화 모듈 학습에는 상당한 컴퓨팅 자원이 필요하며, 이는 실제로 자원 제약 하에서 새로운 최첨단 VQ 기법의 개발을 사실상 불가능하게 만든다. 이 한계를 해결하기 위해, 우리는 고정된 사전학습 토큰화기의 기존 VQ 모듈을 교체함으로써 새로운 VQ 모듈의 플러그 앤 플레이 통합을 가능하게 하는 간단한 프레임워크인 VQ-Transplant를 제안한다. 핵심적으로, 제안된 이식 과정은 모든 인코더-디코더 파라미터를 보존하여, 양자화 방법을 수정할 때 비용이 많이 드는 엔드투엔드 재학습의 필요성을 없앤다. 디코더-양자화 불일치를 완화하기 위해, 우리는 새로운 양자화 공간과 특징 사전분포를 정렬하기 위한 경량 디코더 적응 전략(ImageNet-1k에서 단 5 에폭만 학습)을 도입한다. 실증 평가에서, VQ-Transplant는 VAR와 같은 산업 수준 모델에 대해 최첨단에 근접한 재구성 충실도를 달성하면서 학습 비용을 95% 줄일 수 있음을 확인했다. VQ-Transplant는 산업 수준의 재구성 성능에 부합하면서 새로운 VQ 기법의 자원 효율적 통합을 가능하게 함으로써 양자화 연구를 민주화한다.
We present SEED (Semantic Evaluation for Visual Brain Decoding), a novel metric for evaluating the semantic decoding performance of visual brain decoding models. It integrates three complementary metrics, each capturing a different aspect of semantic similarity between images inspired by neuroscientific findings. Using carefully crowd-sourced human evaluation data, we demonstrate that SEED achieves the highest alignment with human evaluation, outperforming other widely used metrics. Through the evaluation of existing visual brain decoding models with SEED, we further reveal that crucial information is often lost in translation, even in the state-of-the-art models that achieve near-perfect scores on existing metrics. This finding highlights the limitations of current evaluation practices and provides guidance for future improvements in decoding models. Finally, to facilitate further research, we open-source the human evaluation data, encouraging the development of more advanced evaluation methods for brain decoding. Our code and the human evaluation data are available at https://github.com/Concarne2/SEED.
본 논문은 언어 모델에서 장문맥을 에너지 효율적으로 처리하기 위한 새로운 디코더-디코더(decoder-decoder) 아키텍처인 Dolphin을 제안한다. 우리의 접근법은 온디바이스 모델에 내재된 상당한 에너지 소비와 지연(latency) 문제를 해결한다. Dolphin은 0.5B 매개변수의 소형 디코더를 사용하여 광범위한 문맥 정보를 메모리 임베딩(memory embedding)으로 증류(distill)하고, 이를 통해 주 7B 매개변수 디코더 모델의 입력 길이를 대폭 줄인다. 비전-언어(vision-language) 모델에서 영감을 받아, 이미지 임베딩 투영기(image embedding projector)를 재활용하여 긴 텍스트 문맥을 인코딩하고, 확장된 문맥을 별도의 모달리티로 효과적으로 취급한다. 이 혁신적인 방법은 확장된 입력 시퀀스와 관련된 전형적인 계산 오버헤드 없이 훨씬 더 긴 문맥을 처리할 수 있게 한다. 실증 평가(evaluation) 결과, 기존의 전체 길이 문맥 처리 방식과 비교하여 에너지 효율이 10배 향상되고 지연이 5배 감소했으며, 응답 품질은 유지된다. 본 연구는 온디바이스 응용을 위한 더 지속 가능하고 확장 가능한 언어 모델 개발에 기여하며, 장문맥을 이해하는 정확도를 유지하면서 자원 제약 환경에서 에너지 효율적이고 반응성 높은 AI 기술에 대한 중요한 수요를 해결한다. 이 연구는 자연어 처리(NLP) 분야 전반, 특히 자원 제한 환경을 위한 효율적인 모델 설계 영역에 시사점을 제공한다. 엣지 디바이스에서 더 정교한 AI 기능을 가능하게 함으로써, Dolphin은 계산 자원이 제한적인 다양한 응용 분야에서 고급 언어 처리의 길을 연다. Dolphin 모델은 https://huggingface.co/NexaAIDev/Dolphin 에서 공개적으로 이용할 수 있다.