SDR-GAIN: A High Real-Time Occluded Pedestrian Pose Completion Method for Autonomous Driving
원문 초록
To mitigate the challenges arising from partial occlusion in human pose keypoint based pedestrian detection methods , we present a novel pedestrian pose keypoint completion method called the separation and dimensionality reduction-based generative adversarial imputation networks (SDR-GAIN) . Firstly, we utilize OpenPose to estimate pedestrian poses in images. Then, we isolate the head and torso keypoints of pedestrians with incomplete keypoints due to occlusion or other factors and perform dimensionality reduction to enhance features and further unify feature distribution. Finally, we introduce two generative models based on the generative adversarial networks (GAN) framework, which incorporate Huber loss, residual structure, and L1 regularization to generate missing parts of the incomplete head and torso pose keypoints of partially occluded pedestrians, resulting in pose completion. Our experiments on MS COCO and JAAD datasets demonstrate that SDR-GAIN outperforms basic GAIN framework, interpolation methods PCHIP and MAkima, machine learning methods k-NN and MissForest in terms of pose completion task. Furthermore, the SDR-GAIN algorithm exhibits a remarkably short running time of approximately 0.4ms and boasts exceptional real-time performance. As such, it holds significant practical value in the domain of autonomous driving, wherein high system response speeds are of paramount importance. Specifically, it excels at rapidly and precisely capturing human pose key points, thus enabling an expanded range of applications for pedestrian detection tasks based on pose key points, including but not limited to pedestrian behavior recognition and prediction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도메인 변화 환경에서 보행자 검출을 위한 신뢰도 통제 기반 설명가능 인공지능(XAI) 감사
Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift
지능형 차량의 인지 모델에서 설명가능성(explainability)이 점차 요구되고 있으나, 주행 도메인 변화(domain shift) 환경에서도 설명이 충실도(faithfulness)를 유지하는지는 여전히 명확히 밝혀지지 않았습니다. 본 연구는 관심 영역(ROI) 기반 D-Deletion, 고정 신뢰도 3분위수, 순위 기반 검정, 부트스트랩 신뢰구간 및 Holm 교정을 활용하여 PIE 및 JAAD 데이터셋에 걸쳐 고정된 YOLOv8s 보행자 검출기의 사후(post-hoc) 설명을 감사합니다. 감사 결과, 삭제 기반 충실도는 설명 생성 시점의 검출 강도(detection strength)와 강하게 결합되어 있으며(D-RISE의 스피어만 상관계수 0.70~0.82), 이로 인해 단순한 신뢰도 계층화 비교는 신뢰하기 어려움이 드러났습니다. 고정된 f0 빈(bin) 내에서 검출 강도를 통제한 후에도 D-RISE 충실도는 중심 f0 범위에서 도메인에 따라 달라졌으며, PIE가 JAAD보다 더 높은 D-Deletion 및 Holm 보정 유의성을 나타냈습니다. 비섭동(non-perturbative) 기반 EigenCAM 기준선은 D-RISE보다 충실도가 낮았으나 마찬가지로 점수 결합 현상을 보여, 이러한 효과가 D-RISE에만 국한되지 않고 삭제 기반 평가 설정과 연관되어 있음을 시사합니다. 이러한 결과는 도메인 변화 환경의 안전 필수(safety-critical) 인지 시스템에서 신뢰도를 통제한 XAI 감사가 필요함을 시사합니다.
조건부 텐서 확산: 분포적 반사실 학습 및 추론
Conditional Tensor Diffusion: Distributional Counterfactual Learning and Inference
인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.
부분 관측 행동을 갖는 확률적 선형 밴딧
Stochastic Linear Bandits with Partially Observed Actions
확률적 선형 밴딧(stochastic linear bandit)은 행동을 벡터로 표현하고 보상이 선형인 순차적 의사결정의 핵심 패러다임이다. 본 연구에서는 학습 에이전트가 각 행동에 대해 좌표의 무작위 부분집합만을 관측하는 부분 관측(partially observed) 변형 문제를 다룬다. 이러한 부분 관측 가능성은 추천 및 의료와 같이 전체 행동 기술(description)을 얻는 것이 비용이 많이 들거나 불가능한 환경에서 자연스럽게 발생한다. 일반적으로 이는 준선형 후회(sublinear regret)를 정보이론적으로 불가능하게 만든다. 그러나 행동 벡터의 내재적 차원(intrinsic dimension)이 낮을 경우 이 장벽을 극복할 수 있음을 보인다. 우리는 마스킹된 행동으로부터 잠재 행동 부분공간(latent action subspace)을 추정하고, 에포크 단위로 고정된 표현을 이용해 현재 행동을 대체(impute)하며, 그 결과 얻어진 저차원 좌표에서 OFUL을 실행하는 알고리즘 TOFU-POV를 제안한다. 이론적으로 TOFU-POV는 주변 차원(ambient dimension)이 아닌 내재적 행동 부분공간 차원에 비례하는 $\sqrt{T}$ 후회를 달성하며, 이들 수량과 결측률, 결정 집합 크기, 부분공간 조건화(subspace conditioning) 간의 상호작용을 정량화한다. 또한 내재적 차원에 대한 사전 지식 없이도 동작하는 랭크 적응형(rank-adaptive) 알고리즘도 고안한다. 이러한 보장을 보완하기 위해, 통상적인 보상 학습 불확실성과 부분 관측에 내재된 결측 의존적 비용을 분리하는 새로운 곱 구성(product construction)에 기반한 하한을 제시한다. 합성 및 실제 데이터 실험을 통해 이론을 뒷받침하고, TOFU-POV가 이 어려운 문제에서 자연스러운 베이스라인에 비해 상당한 성능 향상을 달성할 수 있음을 보인다.
ImputeViz: 결측 데이터 진단 및 대체 방법 비교를 위한 시각적 분석 대시보드
ImputeViz: A Visual Analytics Dashboard for Diagnosing Missing Data and Comparing Imputation Methods
결측 데이터는 과학, 사회과학, 공중보건 연구에서 지속적인 장애물로, 분석에 편향을 초래하고 결측값 처리 방식에 대한 책임을 분석가에게 부여한다. 우리는 결측성 진단, 대체 모델 구성, 결과 평가를 지원하는 통합 시각적 분석 대시보드인 ImputeViz를 소개한다. 이 시스템은 MICE, Random Forest, XGBoost, kNN을 포함한 널리 사용되는 방법들을 결측성 패턴을 명시적으로 드러내는 인터랙티브 환경 내에 통합한다. 지리공간적 추론을 지원하기 위해, 사회경제적 거리와 공간적 거리를 혼합하고 기증자 기여를 노출하는 지리적으로 정보화된 kNN 변형인 gKNN을 도입하여, 각 추정치를 어느 지역이 주도하는지 보여주는 출처 기반 시각적 책임성을 가능하게 한다. 우리의 주요 기여는 교차 방법 비교를 일급 시각적 과제로 만들고 표준 방법과 함께 gKNN을 통합하는 방법 불가지론적 시각적 분석 환경이다. 조율된 뷰는 히트맵, 공동 결측성 요약, 분포 진단을 통해 결측성 구조를 드러내며, 분석가가 결측성 패턴(MCAR/MAR)과 결측이 비무작위일 수 있는 경우(MNAR)를 추론하는 데 도움을 준다. 사용자는 모델을 비교하고 조정할 수 있으며, 분포 오버레이, 현재 대상 및 마스크에 대한 각 알고리즘의 MAE, RMSE, Delta RMSE, 실행 시간을 보고하는 방법 비교 요약, 변수 수준 불일치 뷰를 통해 결과를 심층 분석할 수 있다. 방법별 캐시된 결과와 고정된 축 스케일은 방법 전환 시 범위 변화로 인한 인지 부하를 줄인다. 이러한 비교는 방법들이 불일치하는 지점, 민감한 변수, 그리고 대체 선택이 하류 요약에 미치는 영향을 부각시킨다. 사례 연구는 ImputeViz가 분석가들이 효과적인 전략을 선택하고, 민감한 변수를 발견하며, 모델 견고성을 평가하는 데 어떻게 도움을 주는지 보여준다.
얼굴 교체로 프라이버시 보호, 특징 보존으로 활용성 유지: ITS 보행자 프라이버시를 위한 이중 목적 파이프라인
Swapping Faces, Saving Features: A Dual-Purpose Pipeline for Pedestrian Privacy in ITS
자율주행차(AV)가 실시간 의사결정을 수행하도록 AI 모델을 학습시키려면 대규모의 다양한 데이터셋이 필요하며, 이는 지능형 교통 시스템(ITS)의 핵심 응용 분야다. 보행자 의도 및 궤적 예측은 자율주행차에서 중요하게 사용되는 모델로, 다양한 보행자 이미지를 포함하는 데이터셋을 필요로 한다. 이러한 데이터셋에 대한 무제한 접근은 신원 도용 및 보행자 추적과 같은 심각한 보안 위험을 초래한다. 문제는 모델 학습에 필요한 이미지 속성을 유지하면서 프라이버시 보호 절차를 적용하는 것이다. 기존 프라이버시 기법들은 보행자의 프라이버시를 보호할 수 있으나 이미지 활용성을 저하시켜 모델의 효과를 저해한다. 본 연구는 얼굴 교체(face swapping)를 통해 보행자의 프라이버시를 보호하면서 필수적인 얼굴 속성을 온전히 유지하는 5단계 파이프라인을 구현하는 데 초점을 맞춘다. 이 파이프라인은 Egy-DRiVeS 데이터셋의 프라이버시 요구 사항을 충족하도록 설계되었다. 또한 Roop와 Ghost-v2 얼굴 교체 모델을 평가하였으며, 실험 결과 Roop가 여러 측면에서 Ghost-v2보다 우수한 성능을 보임을 확인하였다. 이에 따라 신원 은폐를 통한 보행자 프라이버시 보호와 얼굴 속성 보존을 통한 데이터 활용성 간의 균형을 달성하기 위해 Roop를 파이프라인의 얼굴 교체 모델로 채택하였다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.