Brotherhood at WMT 2024: Leveraging LLM-Generated Contextual Conversations for Cross-Lingual Image Captioning
원문 초록
In this paper, we describe our system under the team name Brotherhood for the English-to-Lowres Multi-Modal Translation Task. We participate in the multi-modal translation tasks for English-Hindi, English-Hausa, English-Bengali, and English-Malayalam language pairs. We present a method leveraging multi-modal Large Language Models (LLMs), specifically GPT-4o and Claude 3.5 Sonnet, to enhance cross-lingual image captioning without traditional training or fine-tuning. Our approach utilizes instruction-tuned prompting to generate rich, contextual conversations about cropped images, using their English captions as additional context. These synthetic conversations are then translated into the target languages. Finally, we employ a weighted prompting strategy, balancing the original English caption with the translated conversation to generate captions in the target language. This method achieved competitive results, scoring 37.90 BLEU on the English-Hindi Challenge Set and ranking first and second for English-Hausa on the Challenge and Evaluation Leaderboards, respectively. We conduct additional experiments on a subset of 250 images, exploring the trade-offs between BLEU scores and semantic similarity across various weighting schemes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
BindCLIP: 구성적 비전-언어 스코어링을 위한 하나의 균형 잡힌 커플링
BindCLIP: One Balanced Coupling For Compositional Vision Language Scoring
전역 비전-언어 유사도(global vision-language similarity)는 이미지와 캡션을 하나의 벡터로 압축하여 의미는 보존하지만, 어떤 단어가 어떤 영역에 대응하는지 또는 그 영역들이 어떻게 배치되어 있는지는 보존하지 못한다. 그 결과 모델은 모든 단어와 객체를 인식하면서도 구성적으로 잘못된 캡션을 선호할 수 있다. 우리는 고정된(frozen) 인코더가 이러한 연관 구조를 이미 보유하고 있으며, 따라서 문제는 사전학습된 유사도 옆에 이를 재구축하는 것이 아니라 그것을 읽어내는 것이라고 주장한다. 우리는 하나의 잠재 객체 위에 구축된 쌍별(pairwise) 스코어러인 BindCLIP을 제안한다: 이는 후보 캡션들과 여러 시각적 깊이(visual depth)를 하나의 계획(plan)에 배치하는 균형 잡힌 토큰-패치-깊이 최적수송(optimal-transport) 커플링이다. 의미적, 개체적, 순서적, 공간적 증거는 이 상태의 에너지로 읽히며, 후보들을 교환하면 계획이 치환되어 점수가 정확히 반대칭(antisymmetric)이 된다. 커플링 내부의 기하학적 정제(geometric refinement)는 후보들과 시각적 깊이가 뒷받침하지 않는 이동(move)을 수축시킨다. 과제 레이블, 파서(parser), 관계 목록(relation inventory), 검출기(detector)는 전혀 사용되지 않는다. 하나의 체크포인트와 하나의 추론 경로만으로 고정된 전역 CLIP 대비 공식 What'sUp, ARO, SugarCrepe 벤치마크에서 성능이 향상되며, 관계(relation) 분할에서 가장 강한 전이(transfer) 성능을 보인다. 대조군(control) 실험은 패치 접근이나 캡션 길이를 이용한 지름길(shortcut) 가능성을 배제하며, 추론 시점의 병변(lesion) 실험은 공간적 배치 정보가 커플링에 국지화되어 있음을 보여준다.
PRISM-RAG: 담배 제품 및 입법 정책 추론을 위한 멀티모달 하이퍼그래프 검색-증강 생성
PRISM-RAG: Multimodal Hypergraph Retrieval-Augmented Generation for Tobacco Product and Legislative Policy Reasoning
관할권 간 의미적으로 유사한 법령 문구를 구분하는 문제는 기존 방법으로는 해결되지 않는 검색(retrieval) 문제이다. 이러한 문맥 간 충돌은 생성 모델이 주제적으로는 관련 있으나 관할권상으로는 잘못된 출처에 근거한, 확신에 찬 답변을 내도록 이끌 수 있다. 담배 및 니코틴 규제는 미국 관할권마다 달라 종종 유사한 표현을 공유하므로, 견고한 추론을 위해서는 관련 문장만 검색하는 것이 아니라 특정 제품에 어떤 관할권의 법이 적용되는지 식별해야 한다. 신규 제품(예: 파우치)은 모호한 정의를 이용해 규제를 회피한다. 최신(SOTA) 문서 검색-증강 생성(RAG) 방법은 이러한 문맥 간 충돌을 다루기 어려워, 이미지 속성(예: 풍부한 속성 캡션)과 유사한 법령 텍스트 집합을 연결하는 데도 어려움을 겪는다. 우리는 NicoPRISM(Nicotine Product and Regulation Image-and-Text Surveillance Multimodal)을 제안하며, 이는 161,563장의 이미지, 속성 캡션, 13개 미국 관할권에 걸친 제품·보건·입법 문서 지식 베이스, 그리고 정책 준수 QA와 제품 지식 QA 두 과제에 걸친 1,495개의 검증된 질의-응답 쌍으로 구성된다. 또한 PRISM-RAG를 제안한다. 이는 이미지, 캡션, 엔티티 위에 구축된 멀티모달 하이퍼그래프 RAG 프레임워크로, 인덱싱 시점에는 LLM 호출 없이 모든 질의를 제품 이미지에 그라운딩(grounding)하고, 질의된 관할권의 법령 텍스트가 구조적으로 언어 모델에 전달되도록 관할권 인식 문맥 조립 메커니즘을 통해 검색을 라우팅한다. PRISM-RAG는 정책 준수 질의의 93.9%에서 올바른 관할권의 구절을 검색하며, 표준 RAG 대비 48.6%p 우위(p<0.001)를 보인다. 인덱싱 시점 LLM 호출은 0회, 쿼리 시점 1회이며, 키워드·의미·관할권·준수 정확도 지표에서 최신 RAG 프레임워크와 동등하거나 더 나은 성능을 낸다.
레이아웃 인지 정렬과 구조 인지 추론을 통한 이질적 요소 인지 과학 문서 교차 버전 차이 분석
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
과학 문서의 교차 버전 차이 분석은 학술 출판 및 기술 문서화에서 필수적이지만, 과학 문서가 텍스트, 표, 수식, 그림, 레이아웃 단서와 같은 이질적 요소를 포함하는 페이지 구조 산출물이기 때문에 여전히 어려운 과제로 남아 있다. 기존의 텍스트 시퀀스 기반 방법은 종종 레이아웃 및 구조 정보를 잃는 반면, 이미지 기반 방법은 의미적 해석 가능성이 부족하고 렌더링 변화에 민감하다. 이러한 한계를 해결하기 위해, 본 논문은 과학 문서 차이 분석을 위한 레이아웃 인지 이질적 요소 인지 프레임워크를 제안한다. 이 프레임워크는 문서 버전을 의미적으로 유형화된 요소로 분해하고, 공간적·내용적·구조적 호환성을 공동으로 모델링하는 정렬 우선(alignment-first) 메커니즘을 통해 교차 버전 대응 관계를 수립하며, 정렬된 요소 쌍에 대해 유형 인지(type-aware) 차이 추론을 수행한다. 이는 텍스트, 표, 수식, 그림에 걸쳐 통합된 변경 탐지, 위치 특정(localization), 구조 인지(structure-awareness) 분석, 정렬/매칭 평가를 지원한다. 학술지 제작 교정(proofreading) 워크플로우에서 수집한 실제 과학 PDF 데이터에 대한 실험 결과, 제안된 프레임워크가 요소별 베이스라인을 일관되게 능가함을 보여준다. 텍스트, 표, 수식, 그림에 대해 각각 탐지 F1 점수 0.903, 0.855, 0.862, 0.845를 달성했으며, 위치 특정, 구조 인지, 매칭 품질에서도 추가적인 향상을 보였다. 소거(ablation) 및 민감도 분석은 교차 버전 정렬, 유형별 표현, 구조 인지 추론, 호환성 가중치 설계의 효과를 확인한다. 이러한 결과는 이질적 요소 인지 차이 분석이 실제 편집 제작 시나리오에서 과학 문서 비교를 위한 견고하고 해석 가능한 솔루션을 제공함을 보여준다.
참조 캡션을 넘어선 캡션 평가를 위한 재구성 기반 프레임워크
A Reconstruction-Based Framework for Caption Evaluation Beyond Reference Captions
이미지 캡셔닝(image captioning)은 비전-언어(vision-language) 연구의 핵심 과제이지만, 참조 캡션에 의존하지 않고 캡션이 이미지 의미를 얼마나 충실히 보존하는지 평가하는 문제는 아직 해결되지 않았다. 지배적인 평가 방식은 사람이 주석 단한 참조에 의존하며, 그 내용은 주석자의 의도와 캡셔닝 숙련도를 반영한다. 본 논문에서는 캡션 평가를 위한 재구성 기반 원칙을 연구한다: 캡션은 원본 이미지의 재구성을 가능하게 하는 능력만큼 좋다. 그러나 캡셔닝은 본질적으로 시각 정보를 압축하기 때문에 모든 세부 사항을 복원하는 것은 불가능하며, 재구성된 이미지와 원본 이미지 간의 픽셀 단위 비교는 실현 가능하지도 의미 있지도 않다. 캡션의 본질—근본적 목적은 이미지의 의미적 내용을 전달하는 것—에 대한 심층 분석을 통해, 우리는 수정된 원칙을 제안한다: 캡션은 원본과 의미적으로 동등한 재구성을 가능하게 하는 능력만큼 좋다. 의미적 동등성을 평가하기 위해, 우리는 다양한 하위 비전-언어 태스크에서 재구성이 원본 이미지와 일치하는지 검증하여 참조 없는(reference-free), 태스크 조건(task-conditioned) 캡션 점수를 도출한다. 우리는 구성 요소별 한계를 규명하고, 저비용 Captioning Turing Test 데이터셋(CTTD) 대리(surrogate) 방법을 도입한다.
VLM 기반 설명 비교와 비디오 내 자기 유사도를 이용한 이상 프레임 탐지로 전문가 특유 동작 및 맥락적 의사결정 장면 추출
Anomalous Frame Detection Using VLM-Based Description Comparison for Extracting Expert-Specific Actions and Contextual Decision-Making Scenes with Intra-Video Self-Similarity
철도·발전소 등 핵심 인프라의 유지보수는 운영 안전성과 신뢰성을 확보하는 데 필수적이다. 그러나 숙련된 유지보수 인력의 감소는 전문가의 노하우를 경험이 적은 작업자에게 이전할 필요성을 부각시킨다. 이전 연구들은 주로 관찰 가능한 동작의 차이에 초점을 맞추어, 매뉴얼 기반 작업 영상과 전문가 작업 영상을 비교함으로써 전문가 지식 후보를 추출하려고 시도해 왔다. 그러나 전문가 노하우는 동작뿐 아니라 작업 수행 과정의 맥락적 의사결정에도 종종 내재되어 있다. 본 논문은 두 작업 영상 간의 이상 프레임을 탐지하여 전문가 특유 동작과 맥락적 의사결정 장면을 포함한 후보 장면을 자동으로 추출하는 방법을 제안한다. 이 방법은 비전-언어 모델(VLM)을 사용하여 프레임별 시각적 설명을 생성한다. 전문가 특유 동작은 두 영상 간 설명 비교로부터 계산된 프레임 유사도를 기반으로 추출되며, 맥락적 의사결정 장면은 설명의 비디오 내 자기 유사도에서 도출된 구간 유사도를 이용하여 추출된다. 27개 작업 시나리오를 포함한 모의 배전반 유지보수 실험에서, 제안 방법은 동작 후보에 대해 65%, 의사결정 장면 후보에 대해 61%의 추출률을 달성하여, 각각 59%와 33%를 기록한 기존 방법보다 개선되었다. 이러한 결과는 전문가 노하우를 포함한 후보 장면을 발견하는 데 있어 제안 접근법의 효과를 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.