텍스트-이미지(Text-to-image) 모델은 인간의 의도를 파악하는 주요 인터페이스로 텍스트 프롬프트(prompt)에 의존합니다. 프롬프트는 텍스트 인코더에 의해 임베딩(embedding)으로 인코딩되어 이미지 생성 과정을 조건화합니다. 텍스트 임베딩은 개별 토큰(token)의 의미를 넘어 구성성(compositionality) 및 속성 결합(attribute binding)과 같이 전체 프롬프트에 걸친 문맥 정보를 인코딩합니다. 그러나 이미지 모델이 실제로 이러한 풍부한 정보를 활용하는지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 '텍스트 표현의 어떤 측면이 이미지 생성에 필수적인가?'라는 질문을 다룹니다. 우리는 텍스트-이미지 확산 트랜스포머(diffusion transformer) 기반 모델이 일반적으로 텍스트 표현의 비교적 단순한 두 가지 측면에만 의존함을 보여줍니다: (i) 여러 토큰에 걸친 단어에 대해 인접한 토큰들을 하나의 단어 표현으로 병합하는 것, 그리고 (ii) 텍스트 인코더의 위치 임베딩(positional embedding)에 의해 각인되는 단어 순서입니다. 이를 입증하기 위해, 우리는 개별 단어의 의미와 순서만을 인코딩하고 전체 프롬프트에 대한 문맥 정보는 전혀 포함하지 않는 새로운 텍스트 임베딩을 구축합니다. 이러한 위치 태그가 지정된 단어 주머니(bag of position-tagged words) 표현만으로도 이미지 생성을 성공적으로 유도하기에 충분하며, 전체 텍스트 임베딩 기반 생성과 동등한 수준의 시각적 품질 및 텍스트 충실도를 달성함을 확인했습니다. 이는 일반적인 믿음과 달리, 텍스트-이미지 모델이 개별 단어 의미와 단어 순서를 넘어 텍스트 임베딩에 인코딩된 풍부한 정보를 활용하지 않는 경우가 많음을 보여줍니다. 대신 복잡한 언어적 구조의 디코딩은 이미지 모델 자체에 의해 수행됩니다. 프로젝트 웹페이지: https://nsping13.github.io/contextless-TTI/
기호 그라운딩(symbol grounding) 문제는 '고양이(cat)'와 같은 토큰(token)이 어떻게 실제 고양이에 관한 것일 수 있는지를 묻는다. 본 논문에서는 명시된 의미론적 표준에 비추어 그라운딩 주장을 감사(audit)하기 위한 프레임워크를 제안한다. 감사는 측정값과 증거를 보고하며, 전반적인 판정은 명시적인 수용 기준에 따라 조건부로 이루어진다. 감사의 프로파일은 시스템이 메커니즘을 어떻게 획득했는지, 그 메커니즘이 성능에 어떻게 기여하는지, 왜 유지되었는지에 대한 증거와 함께 정확도, 강건성(robustness), 구성을 평가한다. 간단한 그리드월드(toy gridworld) 실험에서 에이전트(agent)는 개별 기호는 정확하게 해석하지만, 배제되었던 조합에는 실패한다. 명시된 규칙에 따라 해석을 구성한다면 성공할 수 있다. 이러한 비교는 관찰된 실패 내에서 구성 규칙으로부터의 이탈을 식별한다. 본 감사와 사전학습된 단어 벡터에 대한 파일럿 연구 모두 지정된 메커니즘이 현재 성능에 기여한다는 증거를 제시한다. 다만 그러한 기여가 해당 메커니즘의 유지를 설명하는지는 여전히 검증되지 않은 상태로 남는다. 이 프레임워크는 그라운딩 주장에 대한 증거를 평가할 뿐이며, 의미가 어떻게 창발하는지를 설명하는 것은 여전히 후보 설명 모델의 몫으로 남는다.
우리는 독일어와 영어 명사 복합어의 의미 변화 현상을 탐구하며, 과거 및 시간에 걸친 의미와 합성성(compositionality) 정도의 점진적 변화를 조사하고 모델링하는 것을 목표로 한다. 이를 위해 합성성 추세 예측(Compositionality Trend Prediction) 태스크를 소개하며, 23개의 독일어 및 26개의 영어 목표 복합어에 대해 수십 년에 걸친 통시적 말뭉치(diachronic corpora)에서 샘플링된 문맥 내 합성성 평가 점수로 구성된 새로운 데이터셋을 기반으로 평가한다. 이 데이터셋은 고유하게 10년 단위 평가 점수와 시간에 따른 대응 추세를 제공한다. 이러한 10년 단위 합성성 평가 점수를 통해, 복합어가 시간이 지남에 따라 합성성이 낮아진다(투명성이 낮아진다)는 아이디어와 같이 경험적으로 검증되지 않은 합성성 일반 추세 가설을 조사한다. 통시적 합성성 주석으로부터의 경험적 관찰 외에도, 다양한 복잡도의 의미 벡터 표현과 통시적 데이터에서 이 표현들을 학습하기 위한 여러 시간적 세분성을 활용한 실험을 수행하며, 각 표현 유형별로 약 100개의 모델을 생성했고, 각 모델은 통시적 말뭉치의 서로 다른 1~5십 년 구간을 다룬다. 문헌에서 제시된 결정적 경향과 달리, 목표 복합어에서 시간에 따른 합성성의 작은 음의 추세만이 관찰되었다. 계산 실험에서는, 통시적 데이터의 좁은 시간 구간(단일 10년 또는 점진적으로 확장되는 시간 창)에서 학습된 모델이 전체 반세기 창에서 학습된 모델보다 10년 단위 합성성 평가 점수와 더 잘 일치함을 발견했으며, 후자 설정은 말뭉치 데이터의 전반부 전체로 표현을 학습하는 일반적인 모델링 접근 방식에 해당한다. 또한, 합성성 추세 예측 태스크에서 정적 표현(static representations)이 문맥적 표현(contextual representations)과 경쟁력 있는 성능을 보임을 확인했다.
LLM이 구성성(compositionality)과 지식성(knowledgeability) 사이의 균형을 맞추지 못하는 구성-지식 이분법 문제를 해결하기 위해, 질문과 관련된 명제를 참·거짓 및 긍정·부정 네 가지 범주로 명시적으로 구체화하는 Concretized Proposition Prompting(CPP) 프레임워크를 제안한다. CPP는 의료 벤치마크에서 추론 성능을 크게 향상시키고 수학 벤치마크에서도 경쟁력 있는 성능을 보이며, Llama, Qwen, Phi 등 다양한 모델과 7B~72B 규모에서 일관된 성능을 입증했다.
형식 의미론의 합성성(compositionality) 통찰을 진화 모델링에 통합하는 프레임워크를 제안하여, 개념적 단순성과 의사소통 정확성 압력 아래 어휘 의미와 합성 함수가 공진화하도록 모델링한다. 양화 의미 진화에 적용한 결과, 대표적 의미 보편성인 보수성(conservativity)이 효율적인 시스템 전역 추상화로 출현하며 양화사 학습 가능성에 관한 실증과 기존 진화 모델의 긴장을 완화한다.
구성성(Compositionality)은 일반화의 기초로 여겨지며, 모델이 의미 있는 기본 요소(primitives)를 새로운 조합으로 재사용할 수 있게 한다. 그러나 표준 그래디언트(gradient) 기반 최적화로 학습된 모델은 구성적 내부 구조를 거의 드러내지 않으며, 드물게 나타나더라도 매우 약한 수준이다. 또한 이러한 구성성이 어떻게 혹은 왜 형성되는지는 여전히 불분명하다. 본 연구에서 우리는 구성성이 좁은 연결성-깊이 최적 지점(sweet spot)에서 창발함을 보여준다. 연결성 축에서 구성성은 일부 특정 희소 네트워크에서만 나타나며, 가중치의 희소성(sparsity) 그 자체보다는 어떤 연결이 남아있는지에 훨씬 더 크게 의존한다. 깊이 축에서 구성성은 좁고 목표 의존적인 영역 내에서 창발하여 특정 깊이에서 정점에 달하지만, 더 얕거나 더 깊은 네트워크는 실패한다. 깊이 또는 연결성 조건 중 하나가 위배되면, 경사하강법(gradient descent)은 구성적인 솔루션 대신 파편화된 솔루션으로 조용히 수렴한다. 이러한 창발 현상을 발견하고 활용하기 위해 우리는 (i) 구성적 연결성을 회복하기 위한 유사도 기반 가지치기(SP)와 (ii) 구성성이 나타날 가능성이 가장 높은 위치를 추정하는 휴리스틱 깊이 예측기를 도입한다. 마지막으로, 우리는 구성적 희소성, 부피 비율 논증, 특징(feature) 간섭 경계에 기반한 이론적 프레임워크를 통해 이러한 경험적 발견을 뒷받침하며, 구성적 솔루션이 좁은 깊이-연결성 영역에서만 도달 가능한 이유를 설명한다.
CLIP과 같이 대조 학습 기반으로 훈련된 비전-언어 모델(VLM)은 이미지-텍스트 결합 표현 학습에서 괄목할 만한 발전을 이루었으나, 구성적 이해(compositional understanding)에서는 여전히 어려움을 겪고 있다. 이러한 모델들은 흔히 "단어 가방(bag-of-words)" 행동을 보이며, 객체 간 관계, 속성-객체 결합(attribute-object bindings), 단어 순서 의존성을 포착하는 데 취약하다. 이 한계는 최적화 시 전역적 단일 벡터 표현에 의존하는 것뿐만 아니라, 쌍을 이루는 이미지-텍스트 데이터에 내재된 풍부한 구성적 정보를 충분히 활용하고 모델링하지 못하는 데서 비롯된다. 본 연구에서는 MACCO(MAsked Compositional Concept MOdeling)를 제안한다. 이 프레임워크는 한 모달리티에서 구성적 개념을 마스킹하고, 다른 모달리티의 전체 문맥 정보를 조건으로 이를 재구성함으로써, 모델이 교차 모달 구성적 구조를 더 효과적으로 포착하고 정렬할 수 있게 한다. 이 과정을 지원하기 위해, 마스킹된 특징을 모달 간(inter-modally) 및 모달 내(intra-modally)에서 공동으로 정렬하고 정규화하는 두 가지 보조 목적 함수(auxiliary objectives)를 도입한다. 5개의 구성성 벤치마크에 대한 광범위한 실험 및 심층 분석을 통해, 본 접근법이 VLM의 구성성을 크게 향상시킬 뿐만 아니라 통사 구조와 언어 정보 포착 능력도 개선함을 입증한다. 또한 향상된 구성성은 텍스트-이미지 생성(text-to-image generation)과 멀티모달 대규모 언어 모델(multimodal LLM)에도 이점을 제공한다. 코드는 https://github.com/hiker-lw/MACCO에서 확인할 수 있다.
문장 인코더가 양질의 개념 표현을 생성하게 만드는 요인은 무엇일까요? 우리는 표현의 조합성(compositionality) 관점에서 이 문제에 접근합니다. 인코더는 해당 의미 연산자(semantic operator)에 대한 왜곡이 적은 실현(realization)을 잠재 공간이 허용할 때만 개념 패밀리를 지원합니다. 이러한 관점은 현재 인코더가 성공하는 영역과 학습 신호(supervision)와 구조적으로 불일치하는 영역을 모두 예측합니다. WordNet과 Wiktionary의 330만 개 동의어 및 정의 쌍으로 학습된 인코더 조건에 대한 제어된 소거(ablation) 실험을 통해, 세 가지 오염 제거 데이터 분할과 수식어 레이블이 포함된 명사구 벤치마크에서 평가한 결과, 네 가지 원리를 식별했습니다. 미세조정(fine-tuning)은 잠재 기하학을 확장하는 것이 아니라 재보정합니다 (P1). 개념 특화 학습(concept-specific training)이 시작되기 전에 의미 신호는 최종 트랜스포머 층에 집중되므로, 교차 층 풀링(cross-layer pooling)은 불필요합니다 (P2). 하드 네거티브(hard negatives)는 검색 순위(retrieval ranking)를 향상시키지 않으면서도 식별력을 개선하고 강건성(robustness)을 검증하며, 이는 보정(calibration)과 순위 매기기가 독립적으로 해결 가능함을 보여줍니다 (P3). 마지막으로, 학습 신호(supervision)의 효과는 목표 개념의 조합 유형에 따라 달라집니다. 외연적 학습(extensional training)은 교차적(intersective) 및 하위 집합적(subsective) 패밀리에는 도움이 되지만 관계형(relational) 및 내포적(intensional) 패밀리의 성능은 저하시키며, 이는 현재 학습 패러다임의 구조적 한계를 보여줍니다 (P4). 우리는 DBpedia 의미적 격차(semantic-gap) 벤치마크와 수식어 레이블이 포함된 명사구(NP) 패러프레이즈 모음이라는 두 가지 새로운 평가 데이터셋을 공개합니다.