From Facial Expression Recognition to Interpersonal Relation Prediction
원문 초록
Interpersonal relation defines the association, e.g., warm, friendliness, and dominance, between two or more people. Motivated by psychological studies, we investigate if such fine-grained and high-level relation traits can be characterized and quantified from face images in the wild. We address this challenging problem by first studying a deep network architecture for robust recognition of facial expressions. Unlike existing models that typically learn from facial expression labels alone, we devise an effective multitask network that is capable of learning from rich auxiliary attributes such as gender, age, and head pose, beyond just facial expression data. While conventional supervised training requires datasets with complete labels (e.g., all samples must be labeled with gender, age, and expression), we show that this requirement can be relaxed via a novel attribute propagation method. The approach further allows us to leverage the inherent correspondences between heterogeneous attribute sources despite the disparate distributions of different datasets. With the network we demonstrate state-of-the-art results on existing facial expression recognition benchmarks. To predict inter-personal relation, we use the expression recognition network as branches for a Siamese model. Extensive experiments show that our model is capable of mining mutual context of faces for accurate fine-grained interpersonal prediction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자율 주행을 위한 관계적으로 그라운딩된 잠재 세계 모델
Relationally Grounded Latent World Models for Autonomous Driving
잠재 세계 모델은 자율 주행을 위한 예측적 표현을 학습하지만, 이러한 상태가 보존하는 관계적 의미는 종종 암묵적으로 남아 있다. 우리는 교통 장면 그래프가 잠재 세계 표현에 대한 특권적 의미 감독으로 기능할 수 있는지 조사한다. LAW를 기반으로 nuScenes 3D 주석으로부터 액터 중심 장면 그래프를 구성하고, 동결된 텍스트 임베딩 모델로 직렬화된 관계 구조를 인코딩하며, 학습 중 시각적 잠재 표현을 이 의미적 목표와 정렬한다. 추론 시 감독 분기를 제거하므로 장면 그래프나 3D 주석이 필요하지 않으며 테스트 시간 계산도 추가하지 않는다. nuScenes에서 우리 방법은 재학습한 LAW 기준선 대비 평균 궤적 L2 오류를 0.661에서 0.622(5.9%)로, 충돌률을 0.456에서 0.217(52.4%)로 낮춘다. 또한 비구조화된 캡션 스타일 의미 목표보다 우수하여, 잠재 세계 모델 표현 학습에서 명시적 관계 구조의 이점을 뒷받침한다.
CatalogAgent: 생성형 AI 모델의 컨텍스트 엔지니어링을 가능하게 하는 감독 에이전트 중재형 자기학습 시스템
CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models
상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.
CoRe: 비전-언어 모델에서의 이미지 간 비교 추론을 위한 포괄적 프레임워크
CoRe: A Comprehensive Framework for Cross-Image Comparative Reasoning in Vision-Language Models
이미지 간 비교 추론은 비전-언어 모델(VLM)에서 여전히 어려운 과제이며, 특히 정확한 예측을 위해 세밀한 속성 그라운딩(grounding)과 전역적으로 일관된 추론이 필요할 때 더욱 그렇다. 우리는 이 문제를 위한 통합 프레임워크인 CoRe를 제안한다. CoRe는 다음을 포함한다: (i) CoRe-20K — 다중 전문가 협업 파이프라인을 통해 구조화된 시각 메타데이터로부터 자동 구축된 대규모 트리플릿 기반 학습(training) 데이터셋으로, 계수, 깊이, 거리, 공간 관계를 포괄한다; (ii) TriSR — GRPO 최적화(optimization) 하에서 속성 그라운딩, 판단 정렬(alignment), 트리플릿 일관성을 공동으로 감독하는 구조화된 보상(reward) 프레임워크; (iii) CoRe-Bench — 세밀한 이미지 간 비교 추론에 특화된 최초의 벤치마크(benchmark). 실험 결과 CoRe는 CoRe-Bench에서 기존 VLM을 크게 능가하면서 표준 멀티모달 벤치마크에서도 경쟁력을 유지하며, 가장 강한 기준선(baseline) 대비 부분 정확도에서 28.2점 향상을 달성했다.
EfficientFER: EfficientNetv2 Based Deep Learning Approach for Facial Expression Recognition
SDAFE: A Dual-filter Stable Diffusion Data Augmentation Method for Facial Expression Recognition
Joint Training on Multiple Datasets With Inconsistent Labeling Criteria for Facial Expression Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.