arXiv:2406.10625

On the Hardness of Faithful Chain-of-Thought Reasoning in Large Language Models

Sree Harsha Tanneru, Dan Ley, Chirag Agarwal, Himabindu Lakkaraju

제출 2024-06-15

원문 초록

As Large Language Models (LLMs) are increasingly being employed in real-world applications in critical domains such as healthcare, it is important to ensure that the Chain-of-Thought (CoT) reasoning generated by these models faithfully captures their underlying behavior. While LLMs are known to generate CoT reasoning that is appealing to humans, prior studies have shown that these explanations do not accurately reflect the actual behavior of the underlying LLMs. In this work, we explore the promise of three broad approaches commonly employed to steer the behavior of LLMs to enhance the faithfulness of the CoT reasoning generated by LLMs: in-context learning, fine-tuning, and activation editing. Specifically, we introduce novel strategies for in-context learning, fine-tuning, and activation editing aimed at improving the faithfulness of the CoT reasoning. We then carry out extensive empirical analyses with multiple benchmark datasets to explore the promise of these strategies. Our analyses indicate that these strategies offer limited success in improving the faithfulness of the CoT reasoning, with only slight performance enhancements in controlled scenarios. Activation editing demonstrated minimal success, while fine-tuning and in-context learning achieved marginal improvements that failed to generalize across diverse reasoning and truthful question-answering benchmarks. In summary, our work underscores the inherent difficulty in eliciting faithful CoT reasoning from LLMs, suggesting that the current array of approaches may not be sufficient to address this complex challenge.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering, In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.13348v1cs.CL공통 태그 Question Answering, In-Context Learning

테스트 시점 메모리 구축

Test-Time Memory Construction

대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.

arXiv:2609.27380v1cs.CL공통 태그 Question Answering, In-Context Learning

MORSE: 증거 보존 압축을 위한 역방향 스코어링 기반 다중 컨텍스트 순서 결정

MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression

가능도(likelihood) 기반 컨텍스트 압축은 순차적 스코어링을 통해 컨텍스트 간 중복을 고려할 수 있지만, 이로 인해 압축 결과가 컨텍스트 순서에 민감해진다. 본 논문은 동일한 컨텍스트 모음의 서로 다른 순열이 압축기를 변경하지 않아도 증거 보존 결과에서 뚜렷한 차이를 만들 수 있음을 보인다. 우리는 이러한 민감성을 정보 선점(information preemption)으로 설명한다. 즉, 부분적으로만 관련된 앞선 컨텍스트가 공유된 정보에 대한 기여도를 흡수하여, 더 강력한 증거를 담고 있는 뒤쪽 컨텍스트의 증분 점수를 억제하고 그 컨텍스트가 제거될 위험을 높인다. 통제된 쌍 교환(pair-swap) 개입 실험은 증거를 앞에 두는 순서가 뒷받침 증거의 생존율을 크게 향상시킴을 보여 이 메커니즘을 직접적으로 뒷받침한다. 이 문제를 해결하기 위해 우리는 증거 보존을 위한 압축 인지형 컨텍스트 순서 결정 방법인 MORSE를 제안한다. MORSE는 개별 컨텍스트와 압축된 후보 출력 모두에 공통의 역방향 쿼리-증거 원리를 적용하여, 전자로는 증거 우선 앵커를 구성하고 후자로는 압축 인지형 순열 선택을 안내한다. 멀티홉 QA 벤치마크, 압축 절차, 예산, 스코어링 모델 전반에서 MORSE는 정적 역순 정렬과 연산량을 맞춘 무작위 탐색보다 일관되게 증거 보존을 향상시켰으며, 이에 상응하여 다운스트림 QA 성능도 전반적으로 개선되었다. 코드는 https://github.com/tbn5pj/MORSE_code 에서 확인할 수 있다.

arXiv:2609.26718v1cs.LG공통 태그 Question Answering, In-Context Learning

사이렌의 노래: 근접한 배경 컨텍스트가 멀리 떨어진 증거를 가릴 때

The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence

긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/

arXiv:2607.24368v1cs.CL공통 태그 Question Answering, In-Context Learning

Keep It InMind: 에이전트 메모리의 암묵적 연관 블라인드 스팟 벤치마킹

Keep It InMind: Benchmarking the Implicit-Association Blind Spot in Agent Memory

장기 메모리 시스템은 사용자가 말한 내용을 외부 저장소에 저장하고, 관련 쿼리가 도착하면 이를 검색한다. 이 인터페이스는 너무 당연해서 거의 명시되지 않는 가정 위에 놓여 있다: 필요한 메모리는 그것을 필요로 하는 쿼리와 유사할 것이다. 세계 지식(world knowledge)은 이 가정을 깨뜨린다. 견과류 알레르기는 아몬드 가루 성분을 통해 마카롱 요청에 대한 답을 바꿔야 하지만, 두 텍스트는 검색기(retriever)가 볼 수 있는 단서를 공유하지 않는다. 우리는 이러한 실패 양식을 암묵적 연관 블라인드 스팟(implicit-association blind spot)이라고 부르며, 10개 생활 영域에 걸친 125개 과제로 구성되고 113개 과제가 인용 가능한 공개 출처에 기반한 전문가 검증 벤치마크 InMind를 소개한다. 이 벤치마크의 짝을 이루는 대조군은 기존 평가가 혼동하는 세 가지 설명을 분리한다: 사실이 저장되지 않았거나, 모델에 연결 지식이 없거나, 사실은 저장되었으나 끝내 표면화되지 않았다는 경우이다. 결론은 명확하다. 결정적 메모리가 컨텍스트에 배치되면 백본은 간접 쿼리의 84.0%에 답한다. 동일한 메모리를 검색해야 할 때, 여섯 가지 벡터·그래프·에이전트 메모리 시스템은 최대 14.4%에 불과하며, 요청 시 동일한 사실을 최대 100%까지 회상함에도 불구하고 그렇다. 차원이 8배인 임베딩은 모든 시스템의 답변-블라인드 타깃 재현율을 높이지만 격차는 본질적으로 그대로 남는다. 쿼리 도착 전에 메모리를 가시적으로 유지하는 최소 진단 프로브는 격차의 대부분을 회복하며, 실패를 쿼리 조건부 인터페이스 자체에 위치시키고 어떤 사실이 가시적으로 유지되어야 하는지 결정하는 라우팅을 InMind가 평가하도록 설계된 미해결 과제로 지목한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.