arXiv:2312.02521

RetriBooru: Leakage-Free Retrieval of Conditions from Reference Images for Subject-Driven Generation

Haoran Tang, Jieren Deng, Zhihong Pan, Hao Tian, Pratik Chaudhari, Xin Zhou

제출 2023-12-05

원문 초록

Diffusion-based methods have demonstrated remarkable capabilities in generating a diverse array of high-quality images, sparking interests for styled avatars, virtual try-on, and more. Previous methods use the same reference image as the target. An overlooked aspect is the leakage of the target's spatial information, style, etc. from the reference, harming the generated diversity and causing shortcuts. However, this approach continues as widely available datasets usually consist of single images not grouped by identities, and it is expensive to recollect large-scale same-identity data. Moreover, existing metrics adopt decoupled evaluation on text alignment and identity preservation, which fail at distinguishing between balanced outputs and those that over-fit to one aspect. In this paper, we propose a multi-level, same-identity dataset RetriBooru, which groups anime characters by both face and cloth identities. RetriBooru enables adopting reference images of the same character and outfits as the target, while keeping flexible gestures and actions. We benchmark previous methods on our dataset, and demonstrate the effectiveness of training with a reference image different from target (but same identity). We introduce a new concept composition task, where the conditioning encoder learns to retrieve different concepts from several reference images, and modify a baseline network RetriNet for the new task. Finally, we introduce a novel class of metrics named Similarity Weighted Diversity (SWD), to measure the overlooked diversity and better evaluate the alignment between similarity and diversity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26629v2cs.CL공통 태그 Retrieval, Diversity

PERSONAWEAVER: 절차적 캐릭터 생성에서 기존의 전형을 뛰어넘는 제어 가능한 다양성 확보

PERSONAWEAVER: Controllable Diversity Beyond Conventional Archetypes in Procedural Character Generation

절차적 캐릭터 생성(procedural character generation)은 게임, 시뮬레이션 및 기타 가상 세계를 다양한 캐릭터로 채우는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 이 작업을 확장(scaling)하기 위한 유망한 기반을 제공합니다. 그러나 LLM 기반 절차적 캐릭터 생성은 아직 초기 단계에 머물러 있습니다. 기존 방식은 캐릭터를 직접 생성하거나 페르소나 뱅크에서 검색한 프로필을 조정하는 방식입니다. 본 연구에서 보여주듯이 두 접근법 모두 행동적으로 동질화된 집단을 형성합니다. 캐릭터들은 긍정적인 도덕적 규범에 압도적으로 동의하며, 질문에 대해 도움이 되는 어시스턴트 같은 반응을 보입니다. 이러한 동질화를 완화하기 위해, 본 논문에서는 세계관 구축과 행동 명세를 분리하고 수작업으로 큐레이션된 다양하고 보편적인 도덕적 입장 및 대화 반응 뱅크를 통해 행동을 모델링하는 PersonaWeaver를 소개합니다. 이러한 설계를 통해 여러 배경 설정 전반에서 LLM이 기본 행동 패턴을 넘어 얼마나 확장될 수 있는지 테스트할 수 있습니다. 10개의 현실적 및 판타지적 배경 설정과 3개의 LLM을 대상으로 한 실험에서, PersonaWeaver는 이전 연구보다 더 넓은 도덕적 및 상호작용적 반응 분포를 생성합니다. 또한 PersonaWeaver의 유도는 대인 언어, 응답 길이, 감정을 다양화하며, 덜 전형적인 세계관 속성 조합을 생성합니다. 코드는 https://github.com/mqraitem/PersonaWeaver 에서 확인할 수 있습니다.

arXiv:2608.19621v3cs.CL공통 태그 Retrieval, Diversity

종단적 생애 궤적을 활용한 LLM 에이전트의 정체성 본질주의 완화

Mitigating Identity Essentialism in LLM Agents with Longitudinal Life Trajectories

대규모 언어 모델(LLM)은 사회적 시뮬레이션을 위한 확장 가능한 접근법을 제공하지만, 그 신뢰성은 에이전트(agent)를 어떻게 구축하느냐에 달려 있습니다. 기존 방법론은 인구 수준의 패턴을 부분적으로 재현할 수 있지만, 인간다운 다양성을 포착하지 못하는 경우가 많습니다. 본 연구의 분석에 따르면, 정적 프로필 기반 에이전트는 인간보다 더 강한 인구통계학적 분리와 집단 내 압축을 나타내며, 이는 정체성 본질주의(identity essentialism)와 일치하는 패턴입니다. 즉, 인구통계학적 레이블로 인해 모델이 집단 평균 성향을 개인의 고유한 특성으로 취급하게 되어 집단 내 응답을 동질화할 수 있습니다. 우리는 이러한 한계가 두 가지 관련 요인, 즉 희소하고 정적인 에이전트 표현 방식과 경험을 지속적으로 통합하는 프롬프트(prompt) 전용 메모리의 제한된 능력에서 기인한다고 주장합니다. 상보적 메모리 시스템에서 영감을 받아, 우리는 구조화된 생애 사건 검색과 경험 통합을 위한 에이전트별 매개변수 메모리를 결합한 종단적 메모리 프레임워크인 LifeMem을 제안합니다. 세 가지 LLM을 대상으로 Understanding Society 데이터셋에서 수행한 실험 결과, LifeMem은 응답 분포, 전체 및 집단 내 다양성, 생애 단계에 걸친 개인 내 응답 변화 패턴 측면에서 인간 데이터와의 정렬(alignment)을 향상시키는 것으로 나타났습니다. 이러한 결과는 더욱 신뢰할 수 있고 동적으로 진화하는 사회적 에이전트를 구축하는 데 있어 종단적 생애 사건 메모리가 갖는 가치를 강조합니다.

arXiv:2607.22639v2cs.AI공통 태그 Retrieval

TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼

TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs

파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.

arXiv:2609.27710v3cs.CV공통 태그 Retrieval

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.