GenAI Against Humanity: Nefarious Applications of Generative Artificial Intelligence and Large Language Models
원문 초록
Generative Artificial Intelligence (GenAI) and Large Language Models (LLMs) are marvels of technology; celebrated for their prowess in natural language processing and multimodal content generation, they promise a transformative future. But as with all powerful tools, they come with their shadows. Picture living in a world where deepfakes are indistinguishable from reality, where synthetic identities orchestrate malicious campaigns, and where targeted misinformation or scams are crafted with unparalleled precision. Welcome to the darker side of GenAI applications. This article is not just a journey through the meanders of potential misuse of GenAI and LLMs, but also a call to recognize the urgency of the challenges ahead. As we navigate the seas of misinformation campaigns, malicious content generation, and the eerie creation of sophisticated malware, we'll uncover the societal implications that ripple through the GenAI revolution we are witnessing. From AI-powered botnets on social media platforms to the unnerving potential of AI to generate fabricated identities, or alibis made of synthetic realities, the stakes have never been higher. The lines between the virtual and the real worlds are blurring, and the consequences of potential GenAI's nefarious applications impact us all. This article serves both as a synthesis of rigorous research presented on the risks of GenAI and misuse of LLMs and as a thought-provoking vision of the different types of harmful GenAI applications we might encounter in the near future, and some ways we can prepare for them.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
모델 기반 플래닝을 위한 언어 기반 잠재 목표 예측
Latent Goal Prediction from Language for Model-Based Planning
결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.
보는 것이 더 이상 믿는 것이 아닐 때: 프론티어 이미지 생성 모델, 합성 시각적 증거, 그리고 현실 세계의 위험
Seeing Is No Longer Believing: Frontier Image Generation Models, Synthetic Visual Evidence, and Real-World Risk
이미지 생성 시스템은 그럴듯한 사진, 판독 가능한 문서, 사람과 장소에 대한 일관된 묘사를 만들어 낼 수 있다. 이러한 결과물이 실제 사건의 기록으로 제시되면 뉴스, 금융, 신원 확인, 의료, 법률 분야의 의사결정에 영향을 미칠 수 있다. 이 서술형 리뷰는 2026년 10월 1일까지 확인 가능한 공개 모델 문서, 사고 보고서, 실증 연구, 거버넌스 자료, 그리고 영어와 중국어로 된 실무자 논평 사례를 검토한다. 우리는 제공사의 성능 주장, 문서화된 사고, 실험 결과, 앞으로 발생할 수 있는 피해 경로를 구분한다. 사실감, 텍스트 렌더링, 참조 일관성, 대화형 편집, 검색 기반 근거화, 낮은 생성 비용은 합성 이미지가 증거로서의 비중을 얻는 조건을 형성한다. 문서화된 사례는 조작된 시각 자료가 공공 및 기관의 업무 흐름에 유입되는 방식을 보여 주지만, 공개 보고만으로는 현재 출시된 모델의 오용 확산 정도를 측정할 수 없다. 제공사의 안전장치, 출처 증명 자격 정보, 워터마크, 플랫폼 라벨, 법적 의무를 비교한 결과, 출처 신호만으로는 묘사된 사건이나 거래를 검증할 수 없음이 드러난다. 우리의 프레임워크는 산출물 유형과 의사결정의 중요도를 구체적인 통제 수단에 대응시킨다. 중대한 결정에는 인증된 원본 기록, 독립적인 채널을 통한 교차 확인, 조치 전의 비례적 검토가 필요하다.
DeepStress: 딥 검색 에이전트 스트레스 테스트
DeepStress: Stress-Testing Deep Search Agents
검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.
EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합
EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation
미지의 환경을 탐험하며 대상 객체를 찾는 것은 자율 에이전트의 핵심 능력으로, 수색 및 구조부터 현장 로봇에 이르기까지 다양한 응용 분야가 있습니다. 이러한 작업의 단순화된 버전은 객체 목표 내비게이션(ObjNav)입니다. ObjNav에서 대상 객체에 성공적으로 도착하는 것은 성능의 기본 척도가 되지만, 내비게이션 궤적의 효율성 또한 에이전트가 얼마나 지능적으로 탐험하는지와 후속 작업에 얼마나 많은 시간이 남아있는지를 나타내므로 동등하게 중요합니다. 미지의 환경에서 효율적인 내비게이션의 핵심은 다음에 어디를 탐험할지 결정하는 데 있습니다. 많은 기존 연구가 이 핵심 과제를 해결하고 특정 설정에서 유망한 성능을 달성했으나, 최근의 학습 기반 모델과 비학습 프레임워크는 각각 일반화 및 효율성 문제로 인해 여전히 어려움을 겪고 있으며, 최악의 경우 이미 방문한 영역의 과도한 탐험이나 불필요한 왕복 움직임으로 이어질 수 있습니다. 우리는 널리 사용되는 두 시뮬레이션 벤치마크인 Habitat Matterport 3D(HM3D)와 Open-Vocabulary Object goal Navigation(OVON)에서 EffiNav를 평가하고, 실제 환경의 물리적 로봇에서 그 효과를 추가로 검증했습니다. 또한 대규모 시뮬레이션 에피소드에 대한 실패 분석을 수행했습니다. 최소한의 수정만으로 GOAT-BENCH 데이터셋의 메모리 증강 ObjNav 작업으로 EffiNav를 확장하여, 표준 ObjNav 설정을 넘어선 적응성을 입증했습니다. 성공률(SR)과 경로 길이 가중 성공(SPL)이라는 두 가지 표준 지표 전반에서 EffiNav는 최신 기준 모델과 대등하거나 이를 능가하는 성능을 보여, 효율성, 견고성 및 실용적 적용 가능성을 입증했습니다. 두 데이터셋의 서로 다른 강조점을 고려할 때, 이러한 성과는 해당 프레임워크가 효율적인 ObjNav에 있어 더 균형 잡혀 있고 일반화 가능함을 보여줍니다.
구어 대화에서의 맥락 인식 멀티모달 주장 검증
Context-Aware Multimodal Claim Verification in Spoken Dialogues
구어 사실 주장은 종종 멀티턴 대화 안에서 등장하며, 주변 대화는 주장만으로는 얻을 수 없는 맥락을 제공할 수 있다. 그러나 대부분의 팩트체킹(fact-checking) 연구는 고립된 텍스트만 평가하여, 대화형 오디오는 연구가 부족한 상태로 남아 있다. 우리는 MAD2를 제안한다. 이는 구어 주장 검증을 위한 합성 멀티턴 오디오 대화(Multi-turn Audio Dialogues) 벤치마크로, 1,000개의 2화자 대화, 1,230개의 문장 수준 검증 가치 후보 어노테이션, 약 10시간 분량의 오디오를 포함한다. 또한 맥락 인식 오디오 인코더와 대화 인식 텍스트 모델의 보정(calibrated) 멀티모달 퓨전(fusion)을 제안한다. 대화 맥락을 추가하면 설정 전반에서 검증 성능이 향상되지만, 향상폭은 시나리오에 따라 달라진다. 과거 맥락만 사용할 때는 종종 지역적 오프라인(local offline) 성능에 근접하여, 미래 맥락을 사용할 수 없을 때 유용함을 시사한다. 퓨전은 전체 대화 맥락에서 텍스트 대비 평균 이점이 가장 크지만, 설정 전반에 걸쳐 텍스트를 일관되거나 유의미하게 능가하지는 못한다. 전체 대화 맥락 하에서, 탐색적 하위군 결과는 텍스트와 퓨전에서 대화 시나리오에 따른 성능 변동이 더 크고, 오디오에서는 spread 스타일에 따른 변동이 더 크다는 것을 보여준다.
음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지
Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts
텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.