Turbo-Sim: a generalised generative model with a physical latent space
원문 초록
We present Turbo-Sim, a generalised autoencoder framework derived from principles of information theory that can be used as a generative model. By maximising the mutual information between the input and the output of both the encoder and the decoder, we are able to rediscover the loss terms usually found in adversarial autoencoders and generative adversarial networks, as well as various more sophisticated related models. Our generalised framework makes these models mathematically interpretable and allows for a diversity of new ones by setting the weight of each loss term separately. The framework is also independent of the intrinsic architecture of the encoder and the decoder thus leaving a wide choice for the building blocks of the whole network. We apply Turbo-Sim to a collider physics generation problem: the transformation of the properties of several particles from a theory space, right after the collision, to an observation space, right after the detection in an experiment.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
거절 게이트 디코딩: 고온 샘플링 환경에서 거절 동작 보존
Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling
절단 기반(truncation-based) 샘플링의 최근 발전은 신경망 텍스트 퇴화와 같은 고온(high-temperature) 샘플링의 단점을 완화하는 데 기여하여, 일관성을 해치지 않으면서도 더 높은 다양성을 확보할 수 있게 했습니다. 그러나 높은 온도를 통해 토큰 확률 분포의 엔트로피를 높이는 것은 모델의 거절(refusal) 반응을 약화시키는 것으로도 나타났습니다. 대규모 언어 모델(LLM)의 거절 동작을 유지하기 위한 기존 해결책들은 모델 자체의 거절 결정을 별도의 안전성 분류기로 대체하거나, 모든 프롬프트에 대해 출력 분포를 변경합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 최소한의 추가 지연 시간(latency)만을 유발하면서 고온에서도 모델의 그리디 디코딩(greedy decoding) 거절 반응을 보존하고 다른 모든 프롬프트는 원래의 정확한 직접 고온 분포로부터 샘플링하는 효율적인 순차적 디코딩 접근 방식인 거절 게이트 디코딩(Refusal-Gated Decoding, RGD)을 제안합니다. RGD는 프롬프트의 KV 캐시를 재사용하는 짧은 그리디 프로브(probe)를 실행하고, 학습된 거절 접두사 집합과 일치하지 않게 되는 즉시 조기 종료합니다. 프로브가 호환성을 유지하면 그리디 응답을 반환하고, 그렇지 않으면 프로브를 폐기하고 원래 프롬프트로부터 샘플링을 진행합니다. T=2.0에서 7개 모델과 3개 벤치마크 데이터셋에 걸쳐 평가한 결과, RGD는 다양한 온도 조건에서 비거절(non-refusal) 요청의 중앙값 기준 요청당 지연 시간을 2.2~4.3%만 증가시키면서 직접 샘플링 시 91.9%였던 그리디 거절 보존율을 평균 98.3%로 향상시켰습니다. 다수의 그리디 비거절 응답을 그리디 디코딩으로 라우팅하는 프롬프트 필터링(prompt-screening) 베이스라인과 달리, RGD는 그리디 비거절 응답의 98.1% 이상을 변경되지 않은 고온 샘플링으로 유지하여 모델 본래의 고온 샘플링 동작을 보존합니다. 또한 본 연구에서는 유사한 프롬프트 라우팅 정확도를 유지하면서 이러한 지연 시간 오버헤드를 최대 0.5%까지 낮추는 잔차 스트림(residual-stream) 변형 방식도 제안합니다. 본 연구는 고온 샘플링을 통해 더 높은 다양성을 확보하더라도 모델의 거절 동작이 훼손될 필요가 없음을 보여줍니다.
구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링
Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models
테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.
Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git
Agora: Git as Shared Memory for Collective AutoResearch
서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.
FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로
FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation
대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.
베이지안 반복 패널티: 자기회귀 언어 모델에서 어텐션 붕괴를 역전하기 위한 원칙적 인접-조건부 프레임워크
Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models
자기회귀 언어 모델에서의 어텐션 붕괴(attention collapse) — 모델이 자기 강화적 attractor에 갇히는 반복적 토큰 루프로 나타나는 — 는 기존 디코딩 시점 휴리스틱이 근본 원인을 해결하지 못하는 지속적인 병리 현상이다. 우리는 인접 조건부 확률 구성을 통해 토큰의 관측 빈도와 코퍼스 사전 분포를 비교함으로써, 붕괴된 생성 패턴에서 발생하는 비정상적 신뢰도를 패널티하거나 보상하는 원칙적 프레임워크를 제시한다. 결과적으로 얻어지는 자기 정규화(self-normalising) 패널티 비율 $R=f(m,n,p)/f(np,n,p)$는 임의의 표준화가 필요 없으며, 근사 오차가 없는 폐형식(closed-form) 로짓 오프셋을 허용한다. 이 보정은 손실 그래디언트와 분리되며, 지수 이동 평균(exponential moving average)을 통해 고정된 출력층 바이어스에 누적되어, 표준 학습 파이프라인에 침습적인 수정 없이 이미 붕괴된 모델에 대한 수리 메커니즘으로 배포할 수 있게 한다. 1.5B 매개변수 모델에 대한 실험적 검증은 고정 바이어스 메커니즘이 이미 붕괴된 attractor에 갇힌 모델을 구출할 수 있음을 보여주며, 생성 품질을 유지하면서 2-gram 반복을 0.073에서 거의 0으로 줄인다.
클러스터 절단을 통한 자기회귀 텍스트-이미지 생성의 샘플 다양성 향상
Improving Sample Diversity in Autoregressive Text-to-Image Generation via Cluster Truncation
확산 모델이 텍스트-이미지(T2I) 생성에서 최첨단 이미지 품질을 달성하는 반면, 최근 연구들은 이 모델들이 샘플 다양성 붕괴 문제를 겪고 있음을 보여주었다. 본 연구에서는 자기회귀(AR) 이미지 생성 모델이 이미지 품질과 샘플 다양성 간의 파레토 프런티어를 개선할 수 있는지 탐구한다. 최근 품질과 효율성의 발전으로 AR 모델은 확산 기반 이미지 생성의 유력한 대안으로 부상하였다. 이미지-텍스트 인터리브 생성과 같은 새로운 활용 사례를 가능하게 할 뿐만 아니라, AR 모델의 순차적 생성 방식은 텍스트 생성에서 다양성 향상을 위해 개발된 광범위한 토큰 기반 디코딩 전략과의 호환성을 제공한다. AR 패러다임에서의 더 나은 다양성-품질 트레이드오프 가능성에 착안하여, 본 논문은 AR 이미지 생성 모델에서의 샘플 다양성에 관한 최초의 체계적 연구를 제시한다. 우리는 AR 이미지 생성의 두 가지 핵심 특성, 즉 지속적으로 높은 토큰 수준의 엔트로피와 시각적 토큰 공간에서의 상당한 중복성이, 다양성 향상을 위한 기존 토큰 수준 디코딩 방법의 효과를 제한함을 보인다. 이에 우리는 토큰 수준이 아닌 클러스터 수준에서 엔트로피 기반 절단 샘플링을 수행하는 새로운 디코딩 전략인 $p$-less cluster를 제안한다. 우리는 이미지 품질, 프롬프트 정합성, 다양성을 포괄하는 종합적인 지표 모음을 사용하여 네 가지 자기회귀 T2I 모델과 두 가지 데이터셋에서 우리의 접근법과 기준선 디코딩 방법을 평가한다. 실험 결과, $p$-less cluster는 이미지 품질과 프롬프트 정합성을 유지하면서 대부분의 평가된 자기회귀 T2I 모델과 데이터셋에서 가장 높은 다양성을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.