arXiv:2101.12059

VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs

Xudong Lin, Gedas Bertasius, Jue Wang, Shih-Fu Chang, Devi Parikh, Lorenzo Torresani

제출 2021-01-28

원문 초록

We present \textsc{Vx2Text}, a framework for text generation from multimodal inputs consisting of video plus text, speech, or audio. In order to leverage transformer networks, which have been shown to be effective at modeling language, each modality is first converted into a set of language embeddings by a learnable tokenizer. This allows our approach to perform multimodal fusion in the language space, thus eliminating the need for ad-hoc cross-modal fusion modules. To address the non-differentiability of tokenization on continuous inputs (e.g., video or audio), we utilize a relaxation scheme that enables end-to-end training. Furthermore, unlike prior encoder-only models, our network includes an autoregressive decoder to generate open-ended text from the multimodal embeddings fused by the language encoder. This renders our approach fully generative and makes it directly applicable to different "video+$x$ to text" problems without the need to design specialized network heads for each task. The proposed framework is not only conceptually simple but also remarkably effective: experiments demonstrate that our approach based on a single architecture outperforms the state-of-the-art on three video-based text-generation tasks -- captioning, question answering and audio-visual scene-aware dialog.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27233v1cs.CL공통 태그 Question Answering, Decoder, Text Generation

트랜스포머 언어 모델의 순차 연산 증류

Distilling Sequential Computation in Transformer Language Models

트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.

arXiv:2609.27257v2cs.CL공통 태그 Question Answering, Text Generation

UniDataAgent: 기업 질문-보고서 자동화를 위한 온톨로지 그라운딩 에이전트

UniDataAgent: An Ontology-Grounded Agent for Enterprise Question-to-Report Automation

기업 데이터 에이전트(agent)는 단순히 질문을 쿼리로 변환하는 것을 넘어 조직 고유의 의미 체계(semantics)를 보존해야 합니다. 본 논문에서는 의미 체계 획득과 온라인 실행을 분리하여 재사용 가능한 질문-보고서 분석을 수행하는 온톨로지 그라운딩(ontology-grounded) 시스템인 ChinaUnicom DataAgent(UniDataAgent)를 소개합니다. 온톨로지 획득 및 검증(OAV) 단계에서는 전문가가 작성한 비즈니스 스킬, 제약된 생성, 질문 검증, 선별된 전문가 검토를 통해 메타데이터, 비즈니스 지식, 지원 자료로부터 버전 관리되는 기업 온톨로지를 구축합니다. 질문-보고서 실행(QRE) 단계에서는 각 질문에 대한 의미적 계약(semantic contracts)을 검색하고, 스킬과 데이터 툴을 조율하며, 결과를 검증하고 근거가 연결된 보고서를 생성합니다. 27개 기업 테이블과 대략 수천 가지 지표 유형에 걸쳐, 온톨로지 구축에는 수작업으로 약 1주일이 걸리던 작업이 불과 몇 시간밖에 걸리지 않았습니다. 보고서 생성에는 며칠의 근무일 대신 단 몇 분밖에 걸리지 않았습니다. 온톨로지 그라운딩은 실제 비즈니스 질문에 대해 95.0%의 엄격한 정확도(strict accuracy)를 달성하여 문서 기반 검색-증강 생성(RAG)의 72.5%와 대조를 보였으며, 특히 정형 및 조합형(compositional) 태스크에서 두드러졌습니다. 이 시스템은 이미 배포되어 비용 절감 효과를 창출하고 있으며 다른 기업으로 복제될 수 있는 잠재력을 지니고 있습니다.

arXiv:2610.10650v1cs.CL공통 태그 Question Answering, Text Generation

대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구

Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System

공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.

arXiv:2610.10738v1cs.CL공통 태그 Question Answering, Text Generation

손실 압축 텍스트 오토인코더

Lossy Compressive Text Autoencoders

본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.

arXiv:2609.22455v4cs.CL공통 태그 Decoder, Text Generation

Apollo Restore: 고대 그리스어 텍스트의 Fill-in-the-Middle 복원에 최적화된 역사적 그리스어용 기반 대규모 언어 모델

Apollo Restore: A Foundation LLM for Historical Greek Optimized for Fill-in-the-Middle Restoration of Ancient Greek Texts

본 논문에서는 단편적인 고대 그리스어 텍스트의 결손(lacunae, 물리적 공백)을 복원하기 위한 240억 개 매개변수(parameter) 대규모 언어 모델(LLM)인 Apollo Restore를 소개합니다. Fill-in-the-middle 목표로 Mistral Small을 파인튜닝(fine-tuning)한 Apollo Restore는 결손 길이에 대한 오라클(oracle) 지식 없이도 누락된 구간을 재구성합니다. 우리가 아는 한, 이는 역사적 그리스어를 위한 최초의 대규모 디코더 모델이자 고대 지중해 언어를 통틀어 최초의 모델입니다. 선행 연구와 동일하게 최대 10자의 짧은 결손에 대해 평가했을 때, Apollo Restore는 문서 파피루스, 문학 파피루스, 석문 비문 결손의 80.6%/54.6%/61.0%에서 올바른 복원 결과를 상위 20개 후보 안에 올렸으며, 발표된 가장 강력한 모델들을 $1.6\times$/$2.6\times$/$1.4\times$ 능가했습니다. 그러나 기존 평가 프로토콜은 사소하게 짧은 결손 쪽으로 쏠린 바이어스(bias)로 인해 점수를 부풀립니다. 길이 균형 메트릭에서 발표된 가장 강력한 모델 대비 Apollo Restore의 우위는 $2.3\times$/$3.5\times$/$1.6\times$로 증가하며, 부정확한 길이 힌트가 주어지더라도 성능이 완만하게 저하됩니다. 블라인드 연구에서 파피루스학, 비문학, 문헌학 전문가 20명은 가장 강력한 기준선(baseline)보다 Apollo Restore를 강하게 선호했으며, 77%의 사례에서 그 성능이 인간의 복원만큼 우수하다고 판단했습니다. 또한 Apollo Restore는 서기 79년 베수비오 화산 폭발로 탄화되어 Apollo Restore의 학습(training) 데이터가 구축된 이후 디지털 방식으로 펼쳐지고 편집된 파피루스 두루마리인 PHerc. 1667의 발표된 판독 결과를 개선합니다. Apollo Restore는 오스트리아 과학 아카데미가 주도하는 역사적 언어 및 필사본 특화 LLM 구축을 위한 Decoding Antiquity 이니셔티브의 결과물입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.