Demand Estimation with Text and Image Data
원문 초록
We propose a demand estimation method that leverages unstructured text and image data to infer substitution patterns. Using pre-trained deep learning models, we extract embeddings from product images and textual descriptions and incorporate them into a random coefficients logit model. This approach enables researchers to estimate demand even when they lack data on product attributes or when consumers value hard-to-quantify attributes, such as visual design or functional benefits. Using data from a choice experiment, we show that our approach outperforms standard attribute-based models in counterfactual predictions of consumers' second choices. We also apply it across 40 product categories on Amazon and consistently find that text and image data help identify close substitutes within each category.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EditCLEVR: 객체 중심 표현의 구성적 충실성을 위한 전후 쌍 장면 개입 벤치마크
EditCLEVR: A Paired-Scene Intervention Benchmark for Compositional Faithfulness of Object-Centric Representations
객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.
확산 모델에서 반사실적 추론을 통한 희귀 개념 생성
Rare Concept Generation via Counterfactual Inference in Diffusion Models
희귀 개념 생성은 이례적인 속성을 가진 객체를 설명하는 텍스트 프롬프트를 조건으로 맞춤형 이미지를 합성하는 작업에 초점을 둔다. 기존 연구들은 생성된 이미지를 희귀 개념과 정렬하는 데 실패하여, 속성 렌더링 오류나 개념 구성의 불일치를 초래했다. 우리가 관찰한 바, 이러한 실패는 확산 모델의 학습 단계에 내재된 상식 바이어스에서 비롯되며, 여기서 객체는 일반적인 속성과 강하게 연관되어 희귀 개념을 생성할 때 이러한 연관을 깨기 어렵다. 이러한 과제를 해결하기 위해 본 논문은 CI-Diff라고 명명한 새로운 반사실적 추론 기반 확산 접근법을 제안한다. CI-Diff는 모델의 내재된 상식 바이어스 간섭을 차단하고 자연 직접 효과(Natural Direct Effect)를 활용해 희귀 개념의 텍스트 프롬프트가 이미지 생성에 미치는 독립적 영향을 포착하여, 이례적인 속성을 희귀 개념으로부터 분리한다. 이를 위해 분류기 없는 가이던스(classifier-free guidance) 메커니즘을 재공식화하여 비전형적 속성을 강조한다. 우리가 아는 한, 희귀 개념 생성 과제에 인과 추론(causal inference)을 도입한 최초의 연구다. RareBench 벤치마크에서의 광범위한 실험을 통해 CI-Diff가 최신 확산 모델 대비 우수함을 검증했다. 코드는 https://github.com/200204jzy/CI-Diff에서 확인할 수 있다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
스트리밍 개입: 비디오 대규모 언어 모델은 실수가 발생할 때 이를 수정할 수 있는가?
Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?
요리와 같은 일상적인 기술을 배우는 일은 온라인 비디오와 같은 교육용 미디어에 점점 더 의존하고 있습니다. 이는 비디오(및 멀티모달) 대규모 언어 모델(LLM)을 작업 가이드 어시스턴트로 활용할 수 있는 가능성을 열어줍니다. 잠재적인 작업 가이드 어시스턴트가 실제 환경에서 성공하기 위해 필수적인 능력은 사용자를 안내하기 위해 실수가 드러나는 즉시 선제적으로 개입하는 능력입니다. 이러한 핵심 능력을 평가하기 위해, 우리는 현실적인 요리 시나리오에서 반응형 단계별 작업 가이드를 평가하는 벤치마크인 Ego-MC-Bench(Mistake Corrections)를 소개합니다. 광범위한 실험을 통해 Ego-MC-Bench가 최첨단 비디오 LLM에게 매우 도전적인 과제임을 확인했습니다. 우리는 주된 원인이 이 작업에 대해 모델을 미세조정할 학습 데이터의 가용성이 제한되어 있기 때문이라고 주장합니다. 광범위한 요리 비디오 데이터셋이 존재하지만, 기존 데이터셋에는 적절한 시점에 이루어지는 개입과 함께 실수에 대한 예제가 부족합니다. 이러한 데이터 제한을 해결하기 위해, 우리는 또한 비대화형 요리 비디오를 선제적 개입을 보여주는 지도 학습 예제로 변환하여 생성된 반사실적 합성 데이터셋인 Ego-CoMist를 소개합니다. Ego-CoMist로 미세조정을 수행하면, 특히 엣지 디바이스에서 지원을 제공하는 데 적합한 더 작고 효율적인 비디오 LLM의 성능이 향상됨을 보여줍니다.
텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크
Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning
텍스트-이미지(T2I) 생성 모델은 자연어 프롬프트로부터 시각적으로 사실적인 이미지를 생성하는 데 괄목할 만한 진전을 이루었다. 그러나 이러한 성공이 진정한 인과적 이해를 반영하는지, 아니면 시각-텍스트 상관관계에 대한 정교한 패턴 매칭인지는 여전히 불분명하다. 러셀의 귀납주의 칠면조에서 착안하여, 본 논문은 텍스트-이미지 모델이 현실 세계의 사전 지식과 체계적으로 모순되는 규칙 아래에서 이미지를 생성할 수 있는지 조사하기 위해 설계된 반사실 벤치마크인 Counterfactual-World(CF-World)를 소개한다. CF-World는 각 시나리오를 세 가지 점진적 수준으로 구성한다. 일반적인 세계 지식에 따른 사실 생성, 직접적인 시각 지시를 포함한 명시적 반사실 생성, 그리고 변경된 규칙으로부터의 인과적 연역이 필요한 암묵적 반사실 생성이다. 시각-언어 모델 기반 점수 산정 파이프라인인 CF-Eval을 사용하여 오픈소스 및 클로즈드소스 텍스트-이미지 모델을 평가한다. 각 프롬프트 수준의 점수를 주요 결과로 보고하고, 사전 저항률(Prior Resistance Rate, PRR)과 추론 유지율(Reasoning Retention Rate, RRR)을 보조적 기술 지표로 사용한다. 평가한 모든 모델은 반사실 프롬프트에서 사실 프롬프트보다 낮은 점수를 받았다. 진단 실험은 변경된 규칙을 따르는 것과 드물게 함께 나타나는 시각적 속성을 재조합하는 것에 어려움이 있음을 보여준다. 객체와 속성 이름을 바꿔 표현했을 때의 향상은 반사실 생성에서 학습된 시각적 사전 지식이 역할을 한다는 해석과 부합한다. 본 벤치마크와 평가 코드는 https://jylei16.github.io/CF-World.github.io/ 에서 공개되어 있다.
Einstein World Models
Einstein World Models
지능은 직접적인 경험을 넘어서는 현상에 대해 추론할 수 있는 능력을 필요로 하는가? 일부 복잡한 사고는 언어만으로는 포착할 수 없다고 의심하는 것은 자연스럽다. 그러나 본 연구가 특히 관심을 두는 것은, 반사실적(counterfactual) 사건을 시각화하는 것이 복잡한 사고의 메커니즘으로서 언어를 보완할 수 있는지 여부이다. 우리는 대규모 언어 모델(LLM)이 이러한 시각화 메커니즘을 활용하도록 학습될 수 있으며, 그 방식이 추론 능력 향상에 도움이 되는지 묻는다. 이 질문에서 영감을 받아, 우리는 Einstein World Models를 제안한다. EWM은 시각-시간적 롤아웃을 추론 trace 안에 배치하는 LLM 기반 추론 시스템의 청사진(blueprint)으로, 텍스트만으로는 잘 지원하지 못할 수 있는 방식으로 추론할 수 있게 한다. EWM에서 LLM은 검토 중인 장면에 대한 짧은 롤아웃을 생성하기 위해 world-module(월드 모델(world model)과 혼동하지 말 것)을 호출한다. 반환된 롤아웃은 답이 아니라, 이후 추론을 지원할 수 있는 검사 가능한 가설(hypothesis)로 취급된다. Einstein World Models는 LLM의 도구 호출(tool calling) 능력(예: 웹 검색 또는 코드 실행)을 시각적 사고 실험(thought experiment) 영역으로 확장한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.