PyTorchKR Papers

최신 논문

총 74편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1409.4504

Voting for Deceptive Opinion Spam Detection

Consumers' purchase decisions are increasingly influenced by user-generated online reviews. Accordingly, there has been growing concern about the potential for posting deceptive opinion spam fictitious reviews that have been deliberately written to sound authentic, to deceive the readers. Existing approaches mainly focus on developing automatic supervised learning based methods to help users identify deceptive opinion spams. This work, we used the LSI and Sprinkled LSI technique to reduce the dimension for deception detection. We make our contribution to demonstrate what LSI is capturing in latent semantic space and reveal how deceptive opinions can be recognized automatically from truthful opinions. Finally, we proposed a voting scheme which integrates different approaches to further improve the classification performance.

arXiv:1705.00648

"Liar, Liar Pants on Fire": A New Benchmark Dataset for Fake News Detection

Automatic fake news detection is a challenging problem in deception detection, and it has tremendous real-world political and social impacts. However, statistical approaches to combating fake news has been dramatically limited by the lack of labeled benchmark datasets. In this paper, we present liar: a new, publicly available dataset for fake news detection. We collected a decade-long, 12.8K manually labeled short statements in various contexts from PolitiFact.com, which provides detailed analysis report and links to source documents for each case. This dataset can be used for fact-checking research as well. Notably, this new dataset is an order of magnitude larger than previously largest public fake news datasets of similar type. Empirically, we investigate automatic fake news detection based on surface-level linguistic patterns. We have designed a novel, hybrid convolutional neural network to integrate meta-data with text. We show that this hybrid approach can improve a text-only deep learning model.

arXiv:1707.09406

Online Deception Detection Refueled by Real World Data Collection

The lack of large realistic datasets presents a bottleneck in online deception detection studies. In this paper, we apply a data collection method based on social network analysis to quickly identify high-quality deceptive and truthful online reviews from Amazon. The dataset contains more than 10,000 deceptive reviews and is diverse in product domains and reviewers. Using this dataset, we explore effective general features for online deception detection that perform well across domains. We demonstrate that with generalized features - advertising speak and writing complexity scores - deception detection performance can be further improved by adding additional deceptive reviews from assorted domains in training. Finally, reviewer level evaluation gives an interesting insight into different deceptive reviewers' writing styles.

arXiv:1712.04415

Deception Detection in Videos

We present a system for covert automated deception detection in real-life courtroom trial videos. We study the importance of different modalities like vision, audio and text for this task. On the vision side, our system uses classifiers trained on low level video features which predict human micro-expressions. We show that predictions of high-level micro-expressions can be used as features for deception prediction. Surprisingly, IDT (Improved Dense Trajectory) features which have been widely used for action recognition, are also very good at predicting deception in videos. We fuse the score of classifiers trained on IDT features and high-level micro-expressions to improve performance. MFCC (Mel-frequency Cepstral Coefficients) features from the audio domain also provide a significant boost in performance, while information from transcripts is not very beneficial for our system. Using various classifiers, our automated system obtains an AUC of 0.877 (10-fold cross-validation) when evaluated on subjects which were not part of the training set. Even though state-of-the-art methods use human annotations of micro-expressions for deception detection, our fully automated approach outperforms them by 5%. When combined with human annotations of micro-expressions, our AUC improves to 0.922. We also present results of a user-study to analyze how well do average humans perform on this task, what modalities they use for deception detection and how they perform if only one modality is accessible. Our project page can be found at \url{https://doubaibai.github.io/DARE/}.

arXiv:1803.00344

A Deep Learning Approach for Multimodal Deception Detection

Automatic deception detection is an important task that has gained momentum in computational linguistics due to its potential applications. In this paper, we propose a simple yet tough to beat multi-modal neural model for deception detection. By combining features from different modalities such as video, audio, and text along with Micro-Expression features, we show that detecting deception in real life videos can be more accurate. Experimental results on a dataset of real-life deception videos show that our model outperforms existing techniques for deception detection with an accuracy of 96.14% and ROC-AUC of 0.9799.

arXiv:2610.13678v1cs.CL

철회 논문 재조명: 연구 부정 논문에서의 언어적 난독화 효과에 대한 재현, 확장 및 메커니즘적 평가

Retractions Revisited: A Replication, Extension, and Mechanistic Evaluation of Linguistic Obfuscation Effects in Fraudulent Science

선행 연구에서는 연구 부정을 저지른 과학자가 진실된 과학자보다 더 높은 비율의 언어적 난독화를 사용하여 논문을 작성하며, 이러한 난독화가 독자의 연구 분석 비용을 높인다는 점을 가능한 메커니즘으로 제시합니다. 그러나 이 결과는 오픈 사이언스(open science) 시대에 추가적인 실증적 검증을 거치지 않았으며, 다른 심리학적 메커니즘 또한 평가되지 않았습니다. 본 재현 및 확장 연구는 800편의 부정 논문과 800편의 진실된 대조군 논문(2013~2025년)을 비교하여 이러한 기회를 다루었습니다. 연구 결과는 언어적 난독화 가설을 지지하여, 부정 논문이 진실된 논문보다 더 난독화되었음을 시사했습니다. 세 가지 경쟁 메커니즘을 평가한 병렬 매개 모델에서는 형용사 비율 감소로 측정된 현실 모니터링(reality monitoring)이 연구 부정과 언어적 난독화 간의 연관성을 가장 잘 설명하는 것으로 나타났습니다. 난독화 특징을 사용한 교차 검증 탐지 정확도(60.7%)와 100개 이상의 언어 차원을 활용한 일래스틱 넷(elastic net) 모델의 정확도(71.6%)는 우연 수준보다 유의미하게 높았습니다. 과학 연구 부정 및 언어 심리학 연구에 대한 시사점을 논의합니다.

arXiv:2609.10739v2cs.LG

진실은 사라진 적이 없다: 순응적 문맥 진실 프로브에서의 완전한 앨리어싱

The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes

언어 모델(language model)의 활성화(activation)로부터 진실을 디코딩하는 선형 프로브(linear probe)는 기만 탐지 모니터로 제안되어 왔으며, 기만하도록 학습(training)된 모델에서 진실 프로브의 점수가 무작위 확률(chance) 이하로 나오는 것은 모델이 진실을 숨겼거나 표현하는 것을 멈췄다는 증거로 자연스럽게 해석됩니다. 우리는 적합 레이블(fitting-label)의 모호성이 동일한 판독 결과를 만들어낼 수 있음을 보여줍니다. 통제된 게임에서 모델은 아군에게는 비밀 비트를 보고하고, 라이벌에게는 그 보수(complement)를 보고해야 합니다. 순응적(아군) 문맥에서는 실제 비트와 과제가 규정한 답변이 동일한 레이블이 되므로, 그곳에 적합된 프로브는 둘 중 어느 것을 측정하는지 구별할 수 없습니다. 우리는 이러한 완전한 일치를 완전한 앨리어싱(perfect aliasing)이라고 부릅니다. 이 레이블들은 라이벌 문맥에서는 서로 보수 관계이므로, 각각에 대해 평가된 하나의 아군 적합 프로브는 합이 1이 되는 라이벌 AUROC를 갖습니다. 아군 및 라이벌 문맥을 함께 사용하는 혼합 적합(mixed fitting)은 두 레이블을 다르게 만듭니다. 또한 무작위화된 출력 코드북은 규정된 답변을 출력 글자로부터 분리합니다. 평가된 모든 라이벌 시행에서 거짓으로 답하는 보상(reward) 학습된 Gemma-2-9B 정책의 경우, 아군 적합 프로브는 마지막 층(layer)에서 $0.006 \pm 0.005$ AUROC(3개의 강화학습 시드에 대한 평균 $\pm$ 표본 표준편차)를 기록하는 반면, 혼합 적합 프로브는 동일한 홀드아웃(held-out) 활성화에서 1.000을 기록합니다. 혼합 적합은 또한 더 많은 예제와 레이블이 지정된 라이벌 데이터를 사용하므로, 이는 실제 비트가 선형적으로 복구 가능한 상태로 남아 있음을 보여줄 뿐, 레이블을 분리한 것만으로 성능 향상이 완전히 설명된다는 것을 의미하지는 않습니다. 지시(instructed) 모델인 Llama-3.1-8B에서는 한 프롬프트(prompt) 변형에서 재적합된 프로브와 참조 변형에서 고정된 프로브 모두 홀드아웃 아군 정확도가 1.000이지만, 동일한 시행에 대해 라이벌 진실 AUROC는 각각 0.080과 0.986을 보입니다. 우리의 주요 실험은 프롬프트에 비트를 명시하는 단일 토큰(token) 게임을 사용하므로, 복구된 방향은 유지된 비트의 복사본을 읽는 것일 수 있습니다. 모델이 비트를 추론해야 하는 경우, 테스트된 어떤 조건에서도 안정적으로 기만하지 못했습니다. 우리는 모델이 해당 정보를 사용하는지가 아니라, 프로브가 무엇을 측정하는지를 연구합니다.

arXiv:2607.20479v1cs.AI

Liars' Bench를 넘어서: 거짓말 유형, 깊이, 희소성이 대규모 언어 모델(LLM)의 기만 탐지에 미치는 영향

Beyond Liars' Bench: The Impact of Lie Typology, Depth, and Sparsity on Deception Detection in LLMs

대규모 언어 모델(LLM)의 기만적 출력을 탐지하기 위한 프로브(probe) 학습은 여전히 미해결 문제이다. 최근 연구는 탐지 프로브가 특히 도메인 외(out-of-domain) 시나리오에서 실패함을 보여주었다 — 한 유형의 거짓말에 대해 학습한 것은 다른 유형의 거짓말을 포함하는 기만 시나리오로 잘 전이되지 않는다. 본 연구에서는 탐지 성능에 영향을 미치는 다양한 요인에 대해 체계적으로 조사한다: 표현 깊이, 프로브 표현력, 희소 특징 표현, 그리고 학습 데이터의 거짓말 유형. 이를 위해 표준 벤치마크 학습 데이터에 허구(fabrication), 누락(omission), 과장(exaggeration) 사례를 포함한 다양한 유형의 기만을 담은 보조 데이터셋을 추가한다. 7가지 프로브 유형에 걸쳐 이러한 요인을 분석한 실험 결과, 최적의 표현 깊이는 데이터셋에 크게 의존하며, 더 표현력 있는 프로브는 선형 기준선 대비 선택적인 이득만을 제공하고, 희소 오토인코더 특징은 밀집 은닉 상태와 유사한 성능을 보인다. 궁극적으로 학습 데이터와 거짓말 유형의 선택이 탐지 가능성을 실질적으로 바꾼다는 것을 보여주며, 기만 탐지가 표현에 크게 의존하는 문제임을 강조한다.

arXiv:2603.23916v4cs.CV

DecepGPT: 스키마 기반 기만 탐지를 위한 다문화 데이터셋과 강건한 멀티모달 학습

DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning

시청각 단서 기반 기만 탐지(multimodal deception detection)의 한계—이진 레이블만 제공하는 벤치마크, 소규모 데이터셋, 지름길 학습(shortcut learning)—를 해결하기 위해, 구조화된 추론 체인이 포함된 데이터셋 구축, 4개국 1,695개 샘플의 다문화 데이터셋 T4-Deception 공개, 그리고 SICS(안정화된 개별성-공통성 시너지)와 DMC(증류된 모달리티 일관성) 모듈을 제안한다. 세 개의 기존 벤치마크와 T4-Deception에서의 실험을 통해 도메인 내·외 모두에서 최고 성능을 달성하며 다양한 문화권에 걸친 우수한 전이 가능성을 입증한다.

arXiv:2606.22699v1cs.CV

비디오를 보내지 않고 거짓말 잡기: 프라이버시 보존 다중모달 기만 탐지

Catching Lies Without Sending the Video: Privacy-Preserving Multimodal Deception Detection

최신 다중모달 모델은 증언 비디오로부터 사람이 거짓말을 하고 있는지 추측할 수 있다. 이를 위해 원본 얼굴과 음성을 서드파티 모델로 스트리밍한다. 우리는 이러한 무거운 미디어가 정말 필요한지 묻는다. Real-life Trial Deception 데이터셋에서 Whissle 온디바이스 음성·비전 스택은 간결한 요약(digest)을 추출한다: 전사(transcript), 감정, 나이, 성별, 의도 분포, 기만 의도 필터, 유창성과 리듬, 프레임별 얼굴 행동, 운율(prosody). 화자 독립(speaker-independent) 평가에서 세 가지 결과를 보고한다. 이 요약에 작은 분류기를 적용하면 AUC 0.741에 도달하며, 전체 비디오를 사용한 Gemini 2.5 Pro와 동등하다. 이 요약을 최신 LLM에 전달하면 Claude Opus 4.8로 AUC 0.755에 도달하며, 입력 토큰은 7.8배 적고 미디어는 기기를 떠나지 않는다. 보고된 75% 정확도는 화자 누출(speaker-leakage) 아티팩트다. 코드와 실험을 공개한다.

arXiv:2606.18988v1cs.AI

ThinkDeception: 해석 가능한 멀티모달 기만 탐지를 위한 점진적 강화학습 프레임워크

ThinkDeception: A Progressive Reinforcement Learning Framework for Interpretable Multimodal Deception Detection

멀티모달 기만 탐지에서 블랙박스 방식의 해석 불가 문제를 해결하기 위해 ThinkDeception은 MLLM과 단계별 멀티모달 사고의 연쇄(CoT) 데이터셋을 활용해 탐지를 명시적 인지 추론으로 전환하고, 4단계 난이도 커리큘럼과 시각-오디오 일치성 GRPO(VAC-GRPO) 강화학습으로 추론 품질을 높인다. 주요 벤치마크에서 탐지 정확도와 근거 품질 모두 기존 방법을 크게 능가하는 SOTA 성능을 보였다.

arXiv:2606.17229v1cs.LG

Rift: 언어 모델 속 기만을 위한 갈등 시그니처

Rift: A Conflict Signature for Deception in Language Models

진실을 알면서 거짓말하는 모델은 ELK가 행동 평가만으로는 다룰 수 없는 핵심 사례이다. 우리는 이러한 기만이 정직한 오류와 구별되는 내부 시그니처를 남기는지 묻는다. 핵심 전략은 오류에 대한 통제이다: 우리는 슬리퍼 에이전트(진실을 알고 트리거 시 거짓말함)와 순진한 거짓말꾼(정직한 학습 없이 동일한 오답을 출력하도록 파인튜닝됨)을 대비한다. 둘 다 동일한 오답을 생성하며, 차이는 부정확함이 아니라 지식 충돌에 관한 것이다. 기만적인 순전파는 갈등 시그니처를 지닌다는 것을 발견했다—동일한 오답에 대해 순진한 거짓말꾼의 순전파보다 잔차 랭크(residual rank)가 2.1–2.3배 더 높다—이는 GPT-2 small/medium(세 가지 시드)과 세 개의 instruct 모델 전반에 걸쳐 레이블 없이 두 응답 중 어느 것이 거짓말인지 100% 정확도로 식별할 만큼 강하다. Qwen2.5-1.5B/7B와 Phi-3-mini에 걸쳐, instruct 기만은 검증된 모든 사실에서 잔차 랭크를 높인다(18/18, 40/40, 34/34); Phi-3에서는 거짓말이 정직한 답변과 환각 모두와 완벽히 분리된다(AUC 1.0, Wilcoxon p~6e-11). 이 시그니처는 전략적 자기 구성 기만(모델이 스스로 거짓말을 만들어냄, AUC 1.0), 능동적 은폐 시도(AUC 1.0), 길이 통제 복제(20/20, AUC 1.0, p~1e-6)에서도 유지된다. 기저(basis) 없는 상대 표현을 사용하여, 한 모델 계열에서 학습된 프로브가 제로샷으로 다른 두 계열에서 기만을 탐지한다(평균 AUC 0.933), 동시에 아키텍처와 형식 변화(AUC 0.821)를 견디며, 다섯 개 언어에 걸쳐 이전된다(AUC 1.000, 길이 통제). 이 시그니처는 읽기 전용이다: 탐지는 가능하지만 주입은 불가능하다(양방향 모두 0/8). 정직한 한계와 여섯 가지 부정 실험은 전부 문서화되어 있다.

arXiv:2606.11385v1cs.CV

DeceptionX: 멀티모달 대규모 언어 모델을 활용한 설명 가능한 기만 탐지

DeceptionX: Explainable Deception Detection with Multimodal Large Language Models

기만 탐지는 감성 컴퓨팅 및 행동 분석 내에서 중요하고 매우 도전적인 과제입니다. 기존 심층 학습 방법은 이 과제를 단순한 분류 문제로 취급하는 경향이 있습니다. 그러나 이러한 블랙박스 접근 방식은 해석 가능성이 결여되어 있으며, 거짓을 식별할 때 인간 전문가가 활용하는 복잡한 논리적 연역 과정을 포착하지 못합니다. 멀티모달 대규모 언어 모델(MLLM)은 잠재력을 보여주었지만, 이를 효과적으로 적용하려면 저수준 시청각 단서와 고수준 논리적 추론 사이의 연결 고리가 필요합니다. 본 논문에서는 기만 탐지의 패러다임을 블랙박스 분류에서 해석 가능한 관찰-사고-요약(Observe-Think-Summarize) 추론 과정으로 전환하는 새로운 MLLM 프레임워크인 DeceptionX를 제안합니다. 고품질 추론 데이터의 부족을 해결하기 위해, 우리는 먼저 휴먼 인 더 루프(human-in-the-loop) 과정을 통해 개발된 고품질 데이터셋인 DeceptChain을 구축했습니다. 이 데이터셋은 미세 표현(micro-expressions) 및 성진전(vocal tremors)과 같은 세밀한 시각 및 청각 증거를 구조화된 사고의 연쇄(chain-of-thought) 추론 데이터로 종합합니다. 또한, 모델의 일반화 능력을 더욱 향상시키기 위해 DeceptionX를 위한 3단계 학습 파이프라인과 차이 인식 중복 제거(Discrepancy-Aware Redundancy Elimination, DARE) 전략을 제안합니다. 광범위한 실험을 통해 DeceptionX가 표준 실제 벤치마크에서 기존 MLLM 베이스라인 및 최첨단 방법보다 우수할 뿐만 아니라, 투명하고 전문가 수준의 추론 경로를 제공하여 멀티모달 기만 탐지에서 정확성과 해석 가능성 사이의 중요한 격차를 해소함을 입증했습니다.

arXiv:2405.06995v4cs.SD

도메인 간 오디오-비주얼 기만 탐지 벤치마킹

Benchmarking Cross-Domain Audio-Visual Deception Detection

자동화된 기만 탐지는 사람이 진실성을 정확하게 평가하고 기만 행동을 식별하는 데 도움을 주는 데 있어 중요합니다. 폴리그래프 장치와 같은 기존의 접촉 기반 기술은 개인의 진술 진위 여부를 판단하기 위해 생리 신호에 의존합니다. 그럼에도 불구하고, 자동화된 기만 탐지의 최근 발전은 오디오 및 비디오 모달리티에서 모두 파생된 멀티모달 특징이 공개적으로 이용 가능한 데이터셋에서 인간 관찰자보다 우수한 성능을 발휘할 수 있음을 입증했습니다. 이러한 긍정적인 결과에도 불구하고, 다양한 시나리오에서 기존 오디오-비주얼 기만 탐지 접근 방식의 일반화 능력은 아직까지 거의 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 이러한 방법들이 실제 시나리오에서 얼마나 잘 일반화되는지 평가할 수 있는 최초의 도메인 간 오디오-비주얼 기만 탐지 벤치마크를 제시합니다. 벤치마킹을 위해 널리 채택된 오디오 및 비주얼 특징과 다양한 아키텍처를 사용하여, 단일 대 단일(single-to-single) 및 다중 대 단일(multi-to-single) 도메인 일반화 성능을 비교했습니다. 학습을 위해 여러 소스 도메인의 데이터를 사용하는 영향을 더욱 활용하기 위해, 다중 대 단일 도메인 일반화 평가를 위해 도메인 동시(domain-simultaneous), 도메인 교대(domain-alternating), 도메인 순차(domain-by-domain)를 포함한 세 가지 유형의 도메인 샘플링 전략을 조사했습니다. 또한, 모달리티 인코더 간의 그래디언트 내적을 최대화하여 일반화 성능을 향상시키는 'MM-IDGM'이라는 알고리즘을 제안합니다. 더불어 성능을 향상시키기 위해 Attention-Mixer 융합 방법을 제안했으며, 이 새로운 도메인 간 벤치마크가 오디오-비주얼 기만 탐지 분야의 향후 연구를 촉진할 것으로 믿습니다.