arXiv:2401.07061

Dual-View Data Hallucination with Semantic Relation Guidance for Few-Shot Image Recognition

Hefeng Wu, Guangzhi Ye, Ziyang Zhou, Ling Tian, Qing Wang, Liang Lin

제출 2024-01-13

원문 초록

Learning to recognize novel concepts from just a few image samples is very challenging as the learned model is easily overfitted on the few data and results in poor generalizability. One promising but underexplored solution is to compensate the novel classes by generating plausible samples. However, most existing works of this line exploit visual information only, rendering the generated data easy to be distracted by some challenging factors contained in the few available samples. Being aware of the semantic information in the textual modality that reflects human concepts, this work proposes a novel framework that exploits semantic relations to guide dual-view data hallucination for few-shot image recognition. The proposed framework enables generating more diverse and reasonable data samples for novel classes through effective information transfer from base classes. Specifically, an instance-view data hallucination module hallucinates each sample of a novel class to generate new data by employing local semantic correlated attention and global semantic feature fusion derived from base classes. Meanwhile, a prototype-view data hallucination module exploits semantic-aware measure to estimate the prototype of a novel class and the associated distribution from the few samples, which thereby harvests the prototype as a more stable sample and enables resampling a large number of samples. We conduct extensive experiments and comparisons with state-of-the-art methods on several popular few-shot benchmarks to verify the effectiveness of the proposed framework.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27890v1cs.CV공통 태그 Relation, Hallucination

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2607.21085v1cs.CV공통 태그 Relation, Hallucination

Geo3R: 다중모달 대규모 언어 모델의 공간 추론 환각 완화

Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models

비주얼 이해에서 눈에 띄는 진전에도 불구하고, 다중모달 대규모 언어 모델(MLLM)은 공간 관계를 추론할 때 여전히 환각에 취약하며, 장면의 실제 3D 구조와 모순되는 판단을 내는 경우가 많다. 기존 여러 연구가 환각 완화를 제안했지만, 우리의 분석에 따르면 이들은 2D 시각 표현과 3D 공간적 현실 사이의 근본적 격차를 메우지 못해 공간 추론에서 제한적인 효과만을 보인다. 이 발견을 바탕으로, 우리는 공간 구조 모델링의 부족에서 기인하는 환각을 공간 추론 환각(spatial reasoning hallucination)으로 정의하며, 이는 기존 완화 방법이 다루지 못하는 관계 환각(relation hallucination)의 하위 범주이다. 또한 이러한 환각이 빈번히 발생하는 세 가지 전형적 시나리오를 밝혔다: 원근 효과(perspective effects), 객체 방향(object orientation), 시점 변화(viewpoint changes). 이에 우리는 기하학적 증거와 구조화된 3D 추론을 통합하여 공간 추론 환각을 완화하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 Geo3R을 제안한다. 세 가지 시나리오를 모두 아우르는 18개 과제를 포함한 세 벤치마크에서의 실험 결과, Geo3R은 추가 학습 없이 다양한 MLLM에서 공간 추론 환각을 크게 줄였으며, 기존 모델과 방법들을 능가했다.

arXiv:2607.05479v2cs.CR공통 태그 Hallucination

생성형 AI 워크플로우에서의 특권과 기밀성

Privilege and confidentiality in generative AI workflows

생성형 AI(GenAI) 시스템은 클라이언트 데이터를 세 가지 방식으로 저장하고 처리한다: 학습과 기억화를 통해 모델의 파라미터에, 실시간 세션 중 컨텍스트 윈도우에, 그리고 검색-증강 생성(RAG)을 위한 지식 데이터베이스에. 각 방식은 기밀성과 법적 직업상 특권에 대해 서로 다르고 종종 반직관적인 위험을 초래하며, 각각 특정한 거버넌스 대응을 요구한다. 특권과 생성형 AI를 다룬 최초의 영국 및 미국 판결인 UK and Munir v Secretary of State for the Home Department와 United States v Heppner, 이 판결들이 해석되어야 할 기존의 특권 판례들, 그리고 최근의 컴퓨터 과학 연구를 바탕으로, 우리는 실무자들이 이해할 수 있는 방식으로 데이터 저장 및 처리의 세 가지 방식을 설명하고 각각의 법적 결과를 분석한다. 이어서 우리는 이 분석을 잉글랜드 및 웨일스의 사무변호사를 규율하는 규제 체계와 통상적인 직업상 과실의 일반 원칙 내에 위치시키며, 효과적인 정보 거버넌스의 기준(그리고 그에 따라 과실 및 위법 행위를 판단하는 벤치마크)이 변화하고 있다고 주장한다. 우리는 주로 SRA 규제를 받는 실무자들을 대상으로 서술하지만, 데이터 거버넌스 분석은 특권 또는 직업상 비밀의 보호가 증명 가능한 기밀성에 달려 있는 모든 법적 관할권으로 확장될 수 있도록 구성하였다. 이 논문의 궁극적인 목적은 법률 서비스 전문가들이 GenAI 시스템에서의 주요 데이터 유출 위험을 이해하도록 돕고, 이를 통해 클라이언트 데이터 및 기타 민감한 자료에 대한 GenAI의 보다 책임 있는 배포를 촉진하는 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.