arXiv:2412.17049

Modular Conversational Agents for Surveys and Interviews

Jiangbo Yu, Jinhua Zhao, Luis Miranda-Moreno, Matthew Korp

제출 2024-12-22

원문 초록

Surveys and interviews are widely used for collecting insights on emerging or hypothetical scenarios. Traditional human-led methods often face challenges related to cost, scalability, and consistency. Recently, various domains have begun to explore the use of conversational agents (chatbots) powered by generative artificial intelligence (AI) technologies. However, considering decisions in transportation investments and policies often carry significant public and environmental stakes, surveys and interviews face unique challenges in integrating AI agents, underscoring the need for a rigorous, resource-efficient approach that enhances participant engagement and ensures privacy. This paper addresses this gap by introducing a modular approach and its resulting parameterized process for designing AI agents. We detail the system architecture, integrating engineered prompts, specialized knowledge bases, and customizable, goal-oriented conversational logic. We demonstrate the adaptability, generalizability, and efficacy of our modular approach through three empirical studies: (1) travel preference surveys, highlighting conditional logic and multimodal (voice, text, and image generation) capabilities; (2) public opinion elicitation on a newly constructed, novel infrastructure project, showcasing question customization and multilingual (English and French) capabilities; and (3) expert consultation about the impact of technologies on future transportation systems, highlighting real-time, clarification request capabilities for open-ended questions, resilience in handling erratic inputs, and efficient transcript postprocessing. The results suggest that the AI agent increases completion rates and response quality. Furthermore, the modular approach demonstrates controllability, flexibility, and robustness while addressing key ethical, privacy, security, and token consumption concerns.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.21363v2cs.CV공통 태그 Image Generation, Privacy Preserving

눈앞에 숨기: 비전-언어 모델의 지리적 위치 프라이버시 유출 완화를 위한 디퓨전 기반 기법

Hiding in Plain Sight: A Diffusion-based Mitigation of Geolocation Privacy Leakage in Vision-Language Models

멀티모달 대규모 추론 모델(MLRM)은 복잡한 시각적 이해에서 뛰어난 능력을 입증해 왔습니다. 그러나 바로 이러한 성능으로 인해 중요하면서도 아직 충분히 연구되지 않은 프라이버시 위협이 발생합니다. 공격자는 건축 양식, 식생, 조명 조건과 같은 미세한 시각적 단서에 대해 구조화된 추론을 수행함으로써, 일상적으로 공유된 사진으로부터 사용자의 지리적 위치를 정밀하게 추론하는 데 MLRM을 악용할 수 있습니다. 본 연구에서는 MLRM 기반의 지리적 위치 프라이버시 유출에 대한 체계적인 연구를 제시합니다. 먼저, 정교하게 제작된 탈옥(jailbreak) 프롬프트가 모델의 응답률을 100%까지 높일 수 있어 거부 기반 안전장치가 심각하게 불충분함을 밝힙니다. 나아가 공유 이미지에 인지하기 어려운 섭동(perturbation)을 주입하는 기존 방어 기법들은 픽셀 공간 최적화에 내재된 구조적 한계로 인해 블랙박스 전이 가능성이 저하되고 뚜렷한 시각적 아티팩트가 발생하는 문제가 있음을 확인합니다. 이러한 발견에 착안하여, 본 논문은 지리적 위치 프라이버시 유출에 대응하여 표적화된 선제적 방어를 제공하는 디퓨전(diffusion) 기반 프레임워크를 제안합니다. 제안하는 방법은 역방향 샘플링(reverse sampling) 과정에서 디퓨전 모델의 잠재 공간(latent space)에 섭동을 주입함으로써 고수준 시맨틱 표현에 직접 작용하며, 이를 통해 효과와 효용성 사이의 병목 현상을 구조적으로 해결합니다. 또한 GPS 좌표와 명시적으로 정렬된 모델인 GeoCLIP을 대리 모델(surrogate)로 활용하여 최적화를 그라운딩(grounding)함으로써, MLRM이 위치 추론에 악용하는 지리적 신호를 정확히 찾아내고 교란합니다. 이러한 표적 시맨틱 교란은 지각적 이미지 품질을 보존하면서도 훨씬 더 강력한 블랙박스 전이 가능성을 제공하여, 소셜 미디어 플랫폼에 매끄럽게 통합될 수 있도록 합니다. 코드는 https://github.com/RachelWolowitz/Hiding_in_plain_sight 에서 확인할 수 있습니다.

arXiv:2609.24537v1cs.CV공통 태그 Image Generation, Privacy Preserving

MIRAGE: 동의 기반 복원을 지원하는 스마트 글래스의 전신旁관者(bystander) 프라이버시

MIRAGE: Full-Body Bystander Privacy for Smart Glasses with Consent-Based Restoration

스마트 글래스上的 동영상 녹화는 얼굴만 노출하는 것이 아니다. 연속 캡처는 보행(gait), 자세(posture), 실루엣(silhouette) 등을 포함한 전신 생체인식 특징을 드러내며, 이는 기존의 얼굴 익명화(face sanitization) 이후에도 사람 재식별(person re-identification, ReID)을 가능하게 한다. 우리는 전신 프라이버시를 강제하고, 합성적 전신 대체를 지원하며, 동의 기반 복원을 위해 암호화된 복구 자료를 보관하는 프라이버시 보호 스mart glasses용 3단 아키텍처인 MIRAGE를 제시한다. MIRAGE는 Raspberry Pi 5(스mart glasses 연산을 대체하는 CPU 전용 프록시), 동반 스martphone, 클라우드 생성형 백엔드에 구현했다. 선행 시스템과 비교할 때 MIRAGE는 완전히 보이는 신체를 정확히 검출하면서 AP 0.948, AR 0.976을 달성한다. 경계 상자(bounding box) 마스킹은 학습 기반 실루엣 ReID를 사실상 무작위 추측 수준으로 낮추며, Rank-1 정확도는 측정된 우연 수준 11.12%에 비해 10.86%이다. MIRAGE의 정화된 포즈 신호로 재학습한 적응형 적(adaptive adversary)에 대해서도 Rank-1 보행 식별 정확도는 90.25%에서 26.20%로 떨어져, 적의 식별 이점의 72.5%를 제거한다.

arXiv:2607.22386v1cs.CV공통 태그 Image Generation, Privacy Preserving

확산 모델을 위한 상관관계 인식 및 가우시안성 보존 강건 잠재 각도 워터마킹

Correlation-Aware and Gaussianity-Preserving Robust Latent Angular Watermarking for Diffusion Models

확산 모델을 위한 잠재 공간 워터마킹은 워터마크를 잠재 사전분포에 직접 내장하여, 모델 파라미터에 비침습적이고 생성 과정과 원활하게 통합되는 장점을 누린다. 그러나 잠재 가우시안성 위반 또는 잠 latent inversion 과정에서의 정상 및 악의적 교란(perturbation)에 대한 민감성으로 인해, 기존 방법은 워터마크 탐지 또는 제거 공격에 취약하다. 또한 간과된 문제는 워터마킹 후 i.i.d. 잠재 조건 위반으로, 이는 잠재 상관관계 저하와 생성 충실도 손실을 초래한다는 점이다. 이는 FID로 외부적으로 측정되었지만, 내부 상관관계 구조는 아직 엄밀하게 특성화되지 않았다. 위 문제를 해결하기 위해, 등방성(isotropic) 가우시안의 회전 불변성에 영감을 받아, 가우시안성을 보존하면서 불연속(disjoint) 잠재 요소 쌍 간의 대칭각(기준 쌍 대비 $\pmπ/2$)으로 워터마크 비트를 인코딩하는 \textit{Latent Angular Watermarking (LAW)}를 제안한다. 대칭각($π$-분리) 인코딩은 비트 값 간 기하학적 분리를 최대화하며, 디코딩 각도 오차 분산이 잠 latent 쌍의 노름에 비례함을, 즉 $\operatorname{var}(Δφ) \propto 1/ρ^2$임을 증명한다. 또한 워터마크 비트를 기하학적으로 가장 안정적인 잠 latent 차원에 고정하는 크기 기반(magnitude-driven) 변형 LAW-M를 제안하여 추가적인 강건성 향상을 얻는다. 이론적으로, 유도된 상관관계 저하에 대한 엄밀한 특성화를 제공하며, 워터마크가 삽입된 잠 latent의 자기상관(autocorrelation) 구조를 폐형(closed form)으로 유도하고, 상관관계가 고정된 $\pmπ/4$ 값을 갖는 희소하고 구조화된 비대각(off-diagonal) 요소 집합으로 제한됨을 증명한다.

arXiv:2607.14932v1cs.CV공통 태그 Image Generation, Privacy Preserving

실제 얼굴 없이 얼굴 인식 벤치마킹

Benchmarking Face Recognition without Real Faces

합성 얼굴 데이터셋은 실제 사진으로 학습한 모델과 대등한 수준의 정확도로 얼굴 인식 모델을 학습시킬 만큼 효과적이 되었다. 이러한 진전은 실제 생체인식 데이터를 수집할 때 따르는 윤리적·법적 부담을 회피하지만, 평가는 그 속도를 따라가지 못했다. 합성 이미지만으로 완전히 학습하는 연구조차도 성능 측정을 위해 실제 얼굴 벤치마크에 의존하며, 이로 인해 프라이버시 문제는 절반만 해결된 상태로 남는다. 우리는 얼굴 인식 평가를 위해 합성 데이터셋이 실제 벤치마크를 대체할 수 있는지 묻는다. 우리는 합성골(convolutional) 및 트랜스포머 아키텍처를 아우르는 24개의 사전학습 모델을 사용하여 12개의 합성 데이터셋을 7개의 확립된 실제 벤치마크와 대조하여 테스트한다. 우리의 평가는 생체인식 검증 지표, 유사도 점수 분포, 교차 모델 순위 일관성, 그리고 각 데이터셋의 근본적인 분포 특성을 포괄한다. 벤치마킹 충실도는 합성 후보들 간에 크게 달랐지만, 가장 강력한 두 데이터셋인 MorphFace와 Vec2Face는 실제 벤치마크의 상대적 거동을 재현하며, 실제 벤치마크들 사이에서 이미 관찰되는 자연스러운 불일치 범위 내에 해당하는 수준의 일치를 달성했다. 이러한 결과는 잘 구성된 합성 데이터셋이 얼굴 인식에 대한 신뢰할 수 있는 비교 평가를 지원할 수 있음을 보여주며, 학습과 벤치마킹 모두를 위한 완전히 합성적이고 프라이버시를 보존하는 파이프라인에 해당 분야를 더 가까이 이끈다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.