Negation Blindness in Large Language Models: Unveiling the NO Syndrome in Image Generation
원문 초록
Foundational Large Language Models (LLMs) have changed the way we perceive technology. They have been shown to excel in tasks ranging from poem writing and coding to essay generation and puzzle solving. With the incorporation of image generation capability, they have become more comprehensive and versatile AI tools. At the same time, researchers are striving to identify the limitations of these tools to improve them further. Currently identified flaws include hallucination, biases, and bypassing restricted commands to generate harmful content. In the present work, we have identified a fundamental limitation related to the image generation ability of LLMs, and termed it The NO Syndrome. This negation blindness refers to LLMs inability to correctly comprehend NO related natural language prompts to generate the desired images. Interestingly, all tested LLMs including GPT-4, Gemini, and Copilot were found to be suffering from this syndrome. To demonstrate the generalization of this limitation, we carried out simulation experiments and conducted entropy-based and benchmark statistical analysis tests on various LLMs in multiple languages, including English, Hindi, and French. We conclude that the NO syndrome is a significant flaw in current LLMs that needs to be addressed. A related finding of this study showed a consistent discrepancy between image and textual responses as a result of this NO syndrome. We posit that the introduction of a negation context-aware reinforcement learning based feedback loop between the LLMs textual response and generated image could help ensure the generated text is based on both the LLMs correct contextual understanding of the negation query and the generated visual output.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TerraVis: MLLM 워크플로우를 통한 텍스트-투-이미지 생성의 실세계 기반 시각적 일관성 평가를 향하여
TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows
최근 텍스트-투-이미지(text-to-image) 모델은 사실성(photorealism), 심미성, 텍스트-이미지 정렬(alignment) 측면에서 상당한 발전을 이루었습니다. 그러나 시각적으로 매력적인 이미지라 하더라도 기형적인 객체 구조, 불가능한 해부학적 형태, 물리적으로 타당하지 않은 상호작용, 일관되지 않은 공간 관계를 보이며 실세계의 개연성(plausibility)을 위반할 수 있습니다. 이러한 오류는 기존의 충실도(fidelity), 심미성, 선호도 또는 정렬 지표로는 잘 포착되지 않습니다. 이러한 격차를 해결하기 위해, 본 연구에서는 생성된 이미지의 실세계 기반(world-grounded) 시각적 일관성을 평가하는 프레임워크인 TerraVis를 소개합니다. TerraVis는 객체, 상호작용 및 장면 수준의 오류를 포괄하는 실세계 일관성 위반에 대한 체계적인 분류 체계(taxonomy)를 정의하며, 이를 식별하고 정량화하기 위해 다단계 평가 프레임워크를 사용합니다. 이미지가 주어지면, TerraVis는 먼저 멀티모달 대규모 언어 모델(MLLM)을 사용하여 평가 적격성을 판단한 다음, 분류 체계에 정의된 18가지 유형에 걸쳐 위반 사항을 탐지하고 이를 경미(minor) 또는 중대(major)로 분류하여 전반적인 실세계 일관성 점수를 도출합니다. 널리 사용되는 두 가지 벤치마크에서 다양한 오픈소스 및 상용 텍스트-투-이미지 모델을 대상으로 평가한 결과, TerraVis는 기존 지표 중 실세계 일관성에 대한 인간의 판단과 가장 강력한 상관관계를 달성했습니다. 또한 벤치마크 결과는 기존 지표에서 우수한 성능을 보이는 모델이라도 상당한 실세계 일관성 오류를 나타낼 수 있음을 보여줍니다. 이러한 결과는 실세계 일관성이 상호보완적인 평가 차원임을 강조하며, TerraVis가 이러한 오류의 체계적인 정량화, 진단 및 비교를 가능하게 함을 입증합니다. 본 연구의 코드는 https://github.com/ShyFoo/TerraVis 에서 공개되어 있습니다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
동적 다회차 상호작용을 통한 비전-언어 모델의 맥락화된 평가
Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions
멀티모달 대규모 언어 모델(MLLM)은 벤치마크에서 상당한 진전을 이루었으나, 실제 환경에서의 효과는 여전히 불확실하다. 이러한 격차는 통제된 정적 환경의 벤치마크와 실제 응용의 동적이고 상호작용적이며 맥락화된 특성 사이의 근본적인 불일치에서 비롯된다. 이 격차를 해소하기 위해 본 논문은 평가를 평가 대상 모델, 자동화된 출제자, 채점자 간의 3자 상호작용으로 재구성하는 프레임워크 CEDI(Contextualized Evaluation of MLLMs through Dynamic, multi-round Interactions)를 제안한다. 출제자는 과제의 그래프 기반 표현에 따라 다중 턴의 반구조화된 대화를 진행한다. 상태 공간 전이를 탐색함으로써 CEDI는 명확화 요청에서 적대적 탐침에 이르기까지 다양한 전략을 사용하여 성능 증거를 이끌어낸다. 본 논문은 CEDI를 시각적 환각에 적용한다. 여러 모델, 다양한 설정, 데이터셋, 도메인에 걸친 실험 결과, 맥락화된 상호작용 평가는 기존의 정적 평가보다 훨씬 많은 환각을 드러낼 뿐 아니라 실제 사용 사례에서 발생하는 환각과 더 유사한 환각도 드러낸다. 또한 환각이 긴 맥락에서 자기 강화적인 대화 이력을 통해 누적되는 경우가 많으며, 모델은 전제 거부나 응답 거부를 요구하는 질문에 특히 취약함을 보인다. 이러한 발견은 CEDI가 MLLM의 능력에 대한 현실적이고 체계적이며 생태학적으로 타당한 평가를 향한 한 걸음임을 보여 준다. 코드는 github.com/williamium3000/cedi 에서 확인할 수 있다.
OrigaMI: An LLM Serving System with First-Class Interpretability Apps
LUMOS: 대규모 언어 모델(LLM)에서 학습 데이터로부터 행동 출력까지의 파라메트릭 지식 추적
LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs
LLM의 매개변수적 지식에 대한 현재의 분석은 대체로 출력 중심적이어서, 모델이 실제로 무엇을 학습했는지 검증하지 않은 채 모델이 무엇을 아는지에 대한 결론을 도출한다. 이 때문에 올바른 응답이 진정한 일반화를 반영하는지 단순 암기를 반영하는지와 같은 근본적인 질문이 증거가 아닌 추측에 기반하게 된다. 이러한 모호성을 해소하기 위해 우리는 학습 데이터가 완전히 공개된 OLMo 2를 활용하여, 학습 데이터 노출, 내부 표현, 행동 출력에 걸쳐 지식을 추적하는 진단 프레임워크 LUMOS를 소개한다. 검증된 노출에 근거해 분석한 결과, 모델은 드문 사실을 높은 분리도(84%)로 내부에 인코딩하지만 행동으로는 이를 표현하지 못하며(54%), 이러한 인출 격차는 규모가 커질수록 줄어든다. 또한 모델에게 자신의 답변을 스스로 성찰하도록 요청하면, 학습된 내용에서는 안정적으로 수행하지만(83%) 보지 못한 내용에서는 무작위 기준선 수준(49%)으로 떨어진다. 이러한 붕괴는 보정을 개선하지 않고 확신 신호만 부풀리는 사고 연쇄(chain-of-thought) 프롬프팅 하에서도 지속된다. 종합하면, 이러한 결과는 LLM 평가에 학습 데이터 축을 포함하면 추측에 의한 진단이 검증 가능한 주장으로 바뀜을 보여 주며, 우리는 이 축이 LLM 지식 평가의 표준 구성 요소가 되어야 한다고 주장한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.