An Examination on the Effectiveness of Divide-and-Conquer Prompting in Large Language Models
원문 초록
Foundation models, such as Large language Models (LLMs), have attracted significant amount of interest due to their large number of applications. However, when handling tasks involving repetitive sub-tasks and/or deceptive contents, such as arithmetic calculation and article-level fake news detection, simple instructional prompts suffer from inaccurate responses. Existing works show that more complicated prompting strategies, such as Chain-of-Thoughts and Least-to-Most, can unlock LLM's powerful capacity in diverse areas. Recent researches reveal that simple divide-and-conquer prompting strategy, i.e. simply dividing the input sequence to multiple sub-inputs, can also substantially improve LLM's performance in some specific tasks such as misinformation detection. In this paper, we aim at examining the utility of divide-and-conquer prompting strategy and answer on which kind of tasks this strategy gets advantages. Specifically, we provide a theoretic analysis to divide-and-conquer prompting strategy and help us identify the specific tasks where DaC prompting can bring performance boost with theoretic guarantee. We then present two cases (large integer arithmetic and fact verification) where experimental results aligns with our theoretic analysis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지
Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts
텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.
다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사
Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation
대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.
인공지능 LLM 엔진이 글로벌 분쟁 정보 환경을 형성하는 방식
How Artificial Intelligence LLM Engines Shape the Global Conflict Information Environment
인공지능(AI) 답변 엔진은 이제 평화와 분쟁 이슈에 대해 분석가, 학자, 대중이 묻는 질문의 점점 더 많은 부분을 처리하고 있다. 대규모 언어 모델(LLM)은 특정 조건에서 환각(hallucination)을 일으키는 것으로 알려져 있지만, 분쟁에 대해 질문을 받았을 때 이러한 오류에 식별 가능한 패턴이 있는지, 그리고 만약 있다면 이것이 변화하는 글로벌 분쟁 정보 환경(environment)에 대해 무엇을 알려줄 수 있을까? 이에 답하기 위해, 본 연구에서는 먼저 5개의 대표적인 답변 엔진을 대상으로 28개 분쟁에 관한 일련의 질문을 던지고, 문서화된 증거를 바탕으로 5,460개의 답변을 평가했다. 그 결과 주어진 분쟁과 관련해 검색 가능한 기록이 빈약할수록 엔진이 사실을 날조하고, 잘못 귀속시키며, 잘못 집계하는 경향이 더 크다는 점을 발견했다. 빈약한 기록은 단순히 환각을 부추길 뿐만 아니라, 생성 엔진 최적화(GEO)를 통해 엔진 응답에 바이어스(bias)를 주도록 왜곡하기 가장 쉬운 기록이기 때문에 오정보 및 허위정보(mis- and disinformation)에 대한 구조적 노출을 초래한다. AI LLM이 분쟁 관련 사실을 추출한 1,048개 웹사이트를 분석한 결과, GEO 소스 최적화는 이미 발생하고 있으며, 국가·당파적 디지털 장악은 아직 초기 단계이지만 빠르게 증가하고 있음을 확인했다. 우리는 GEO 정보전의 부상과 함께 이러한 발견이 학술 연구에 시사하는 바를 설명하고, 정책적으로는 AI 도구가 대체할 수 없는 심층적인 현지 모니터링 및 번역 기반 연구로의 복귀를 주장하며, 이처럼 급변하는 분야에서의 향후 연구 기회와 과제에 대한 논의로 결론을 맺는다.
팩트 검증 점수가 향상되면 무엇이 달라지는가? 학습된 검증기와 LLM 전반에 걸친 증거 및 답변 분해 분석
What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs
결합 팩트 검증 점수(joint fact-verification score)는 답변과 제출된 증거를 함께 평가한다. 점수가 향상될 때, 답변을 고정하면 그 향상분 중 얼마나 남는가? FEVEROUS에서 엄격 점수(strict score)는 정답을 맞히고 제출된 증거에 주석이 달린 완전한 증거 그룹이 포함된 주장(claim)의 비율(%)이다. 학습된 DeBERTa 체크포인트 4개와 7,890개의 주장에 걸쳐, DCUF 증거를 UnifEE 증거로 교체하면 엄격 점수는 9.61%p 상승하는 반면 답변 정확도는 1.96%p 상승한다. 엄격 점수 향상에 대한 쌍체(paired) 95% 구간은 [8.77, 10.43]이며, 이는 해당 체크포인트들을 조건으로 한다. DCUF 또는 UnifEE 증거에서 생성된 답변을 각각 유지한 채 스코어러에 전달되는 증거만 교체하면, 각각 7.92%p 또는 9.08%p가 설명된다. 이러한 증거 향상이 평가 선택에 따라 어떻게 달라지는지 살펴보기 위해, 두 개의 8B LLM으로 FEVER, FEVEROUS, SciFact 데이터셋에서 두 가지 답변 형식과 두 가지 컨텍스트 예산 조건 아래 470,400개의 응답을 생성한다. 컨텍스트를 256 토큰에서 2,048 토큰으로 늘리면 FEVEROUS에서 답변 고정 증거 향상이 Qwen과 Llama에서 각각 3.84%p와 3.10%p 상승한다. 이 효과는 사전에 지정한 데이터셋 간 기준에 미치지 못하며, 일부 구간은 2%p 소효과 한계를 넘어선다. 사후 분석(post-hoc analysis)은 답변과 제출된 증거의 변화를 정량화하고, 집계 정확도와 증거 포함률(evidence-coverage rate)이 주장 수준의 패턴을 놓치는 경우를 보여준다. 답변-증거 점수의 네 가지 조합은 종단 지표(endpoint metric)와 집계 지표가 해소하지 못하는 변화를 드러낸다.
컨텍스트가 오도할 때: 대규모 언어 모델의 관할권을 갖춘 문맥 내 학습
When Context Misleads: In-context Learning with Jurisdiction in Large Language Models
문맥 내 학습(In-Context Learning, ICL)은 현대 LLM 배포의 핵심 요소가 되었다. 그러나 기존의 ICL 사후 학습 방법에는 중대한 맹점이 있다. 이러한 방법은 데모에서 패턴을 추출하는 데는 뛰어나지만, 컨텍스트 권한(context authority), 즉 문맥 정보가 최종 답변을 좌우해야 하는지를 판단하는 능력은 소홀히 하는 경우가 많다. 이 능력을 벤치마킹하기 위해, 우리는 7개 도메인에 걸친 사이비 과학적 주장을 담은 FakeContextBench를 소개한다. 상용 모델과 오픈소스 모델을 평가한 결과, 대규모 사전학습만으로는 신뢰할 수 있는 컨텍스트 권한 판별에 충분하지 않음을 확인했다. 더욱이 널리 쓰이는 ICL 미세조정 방법은 오도하는 컨텍스트에 대한 취약성을 높일 수 있으며, 기반 모델 대비 현실 정확도(reality accuracy)를 최대 14.95%p까지 떨어뜨렸다. 이러한 상충 관계를 해결하기 위해, 우리는 컨텍스트 검증을 학습 목적 함수에 포함하는 사후 학습 프레임워크인 Jurisdiction In-Context Learning(J-ICL)을 제안한다. 네 가지 모델 백본에서 J-ICL은 해당 기반 모델 대비 ICLEval을 평균 5.84%p, 현실 정확도를 9.20%p 향상시켰다. 또한 MetaICL 및 Symbol Tuning 대비 Reality Rate를 평균 18.09%p 높였다. 이러한 결과는 ICL 능력과 기만적 컨텍스트에 대한 저항성을 함께 향상시킬 수 있음을 보여준다. 벤치마크는 https://github.com/peilin717/FakeContext-Bench 에서 확인할 수 있다.
TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크
TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.