arXiv:2201.00985

Variational Stacked Local Attention Networks for Diverse Video Captioning

Tonmoay Deb, Akib Sadmanee, Kishor Kumar Bhaumik, Amin Ahsan Ali, M Ashraful Amin, A K M Mahbubur Rahman

제출 2022-01-04

원문 초록

While describing Spatio-temporal events in natural language, video captioning models mostly rely on the encoder's latent visual representation. Recent progress on the encoder-decoder model attends encoder features mainly in linear interaction with the decoder. However, growing model complexity for visual data encourages more explicit feature interaction for fine-grained information, which is currently absent in the video captioning domain. Moreover, feature aggregations methods have been used to unveil richer visual representation, either by the concatenation or using a linear layer. Though feature sets for a video semantically overlap to some extent, these approaches result in objective mismatch and feature redundancy. In addition, diversity in captions is a fundamental component of expressing one event from several meaningful perspectives, currently missing in the temporal, i.e., video captioning domain. To this end, we propose Variational Stacked Local Attention Network (VSLAN), which exploits low-rank bilinear pooling for self-attentive feature interaction and stacking multiple video feature streams in a discount fashion. Each feature stack's learned attributes contribute to our proposed diversity encoding module, followed by the decoding query stage to facilitate end-to-end diverse and natural captions without any explicit supervision on attributes. We evaluate VSLAN on MSVD and MSR-VTT datasets in terms of syntax and diversity. The CIDEr score of VSLAN outperforms current off-the-shelf methods by $7.8\%$ on MSVD and $4.5\%$ on MSR-VTT, respectively. On the same datasets, VSLAN achieves competitive results in caption diversity metrics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20791v2cs.AI공통 태그 Decoder, Diversity

거절 게이트 디코딩: 고온 샘플링 환경에서 거절 동작 보존

Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling

절단 기반(truncation-based) 샘플링의 최근 발전은 신경망 텍스트 퇴화와 같은 고온(high-temperature) 샘플링의 단점을 완화하는 데 기여하여, 일관성을 해치지 않으면서도 더 높은 다양성을 확보할 수 있게 했습니다. 그러나 높은 온도를 통해 토큰 확률 분포의 엔트로피를 높이는 것은 모델의 거절(refusal) 반응을 약화시키는 것으로도 나타났습니다. 대규모 언어 모델(LLM)의 거절 동작을 유지하기 위한 기존 해결책들은 모델 자체의 거절 결정을 별도의 안전성 분류기로 대체하거나, 모든 프롬프트에 대해 출력 분포를 변경합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 최소한의 추가 지연 시간(latency)만을 유발하면서 고온에서도 모델의 그리디 디코딩(greedy decoding) 거절 반응을 보존하고 다른 모든 프롬프트는 원래의 정확한 직접 고온 분포로부터 샘플링하는 효율적인 순차적 디코딩 접근 방식인 거절 게이트 디코딩(Refusal-Gated Decoding, RGD)을 제안합니다. RGD는 프롬프트의 KV 캐시를 재사용하는 짧은 그리디 프로브(probe)를 실행하고, 학습된 거절 접두사 집합과 일치하지 않게 되는 즉시 조기 종료합니다. 프로브가 호환성을 유지하면 그리디 응답을 반환하고, 그렇지 않으면 프로브를 폐기하고 원래 프롬프트로부터 샘플링을 진행합니다. T=2.0에서 7개 모델과 3개 벤치마크 데이터셋에 걸쳐 평가한 결과, RGD는 다양한 온도 조건에서 비거절(non-refusal) 요청의 중앙값 기준 요청당 지연 시간을 2.2~4.3%만 증가시키면서 직접 샘플링 시 91.9%였던 그리디 거절 보존율을 평균 98.3%로 향상시켰습니다. 다수의 그리디 비거절 응답을 그리디 디코딩으로 라우팅하는 프롬프트 필터링(prompt-screening) 베이스라인과 달리, RGD는 그리디 비거절 응답의 98.1% 이상을 변경되지 않은 고온 샘플링으로 유지하여 모델 본래의 고온 샘플링 동작을 보존합니다. 또한 본 연구에서는 유사한 프롬프트 라우팅 정확도를 유지하면서 이러한 지연 시간 오버헤드를 최대 0.5%까지 낮추는 잔차 스트림(residual-stream) 변형 방식도 제안합니다. 본 연구는 고온 샘플링을 통해 더 높은 다양성을 확보하더라도 모델의 거절 동작이 훼손될 필요가 없음을 보여줍니다.

arXiv:2610.01687v1cs.CV공통 태그 Decoder, Diversity

구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링

Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models

테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.

arXiv:2609.18094v3cs.LG공통 태그 Decoder, Diversity

Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git

Agora: Git as Shared Memory for Collective AutoResearch

서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.

arXiv:2609.27657v1cs.LG공통 태그 Decoder, Diversity

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2607.22694v1cs.AI공통 태그 Decoder, Diversity

베이지안 반복 패널티: 자기회귀 언어 모델에서 어텐션 붕괴를 역전하기 위한 원칙적 인접-조건부 프레임워크

Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models

자기회귀 언어 모델에서의 어텐션 붕괴(attention collapse) — 모델이 자기 강화적 attractor에 갇히는 반복적 토큰 루프로 나타나는 — 는 기존 디코딩 시점 휴리스틱이 근본 원인을 해결하지 못하는 지속적인 병리 현상이다. 우리는 인접 조건부 확률 구성을 통해 토큰의 관측 빈도와 코퍼스 사전 분포를 비교함으로써, 붕괴된 생성 패턴에서 발생하는 비정상적 신뢰도를 패널티하거나 보상하는 원칙적 프레임워크를 제시한다. 결과적으로 얻어지는 자기 정규화(self-normalising) 패널티 비율 $R=f(m,n,p)/f(np,n,p)$는 임의의 표준화가 필요 없으며, 근사 오차가 없는 폐형식(closed-form) 로짓 오프셋을 허용한다. 이 보정은 손실 그래디언트와 분리되며, 지수 이동 평균(exponential moving average)을 통해 고정된 출력층 바이어스에 누적되어, 표준 학습 파이프라인에 침습적인 수정 없이 이미 붕괴된 모델에 대한 수리 메커니즘으로 배포할 수 있게 한다. 1.5B 매개변수 모델에 대한 실험적 검증은 고정 바이어스 메커니즘이 이미 붕괴된 attractor에 갇힌 모델을 구출할 수 있음을 보여주며, 생성 품질을 유지하면서 2-gram 반복을 0.073에서 거의 0으로 줄인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.