Is ChatGPT the Future of Causal Text Mining? A Comprehensive Evaluation and Analysis
원문 초록
Causality is fundamental in human cognition and has drawn attention in diverse research fields. With growing volumes of textual data, discerning causalities within text data is crucial, and causal text mining plays a pivotal role in extracting meaningful patterns. This study conducts comprehensive evaluations of ChatGPT's causal text mining capabilities. Firstly, we introduce a benchmark that extends beyond general English datasets, including domain-specific and non-English datasets. We also provide an evaluation framework to ensure fair comparisons between ChatGPT and previous approaches. Finally, our analysis outlines the limitations and future challenges in employing ChatGPT for causal text mining. Specifically, our analysis reveals that ChatGPT serves as a good starting point for various datasets. However, when equipped with a sufficient amount of training data, previous models still surpass ChatGPT's performance. Additionally, ChatGPT suffers from the tendency to falsely recognize non-causal sequences as causal sequences. These issues become even more pronounced with advanced versions of the model, such as GPT-4. In addition, we highlight the constraints of ChatGPT in handling complex causality types, including both intra/inter-sentential and implicit causality. The model also faces challenges with effectively leveraging in-context learning and domain adaptation. We release our code to support further research and development in this field.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
교차언어 전이와 LoRA 어댑터 병합을 통한 저자원 아랍 문자 언어의 생의학 기계 번역
Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging
우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.
인-컨텍스트 화이트닝을 통한 그래디언트-무관 전력 흐름 대리 모델의 토폴로지 적응
Gradient-Free Topology Adaptation for Power Flow Surrogates via In-Context Whitening
교류 전력 흐름(ACPF) 문제에 대한 머신러닝 기반 대리 모델은 고정된 네트워크에서 반복적인 해법 비용을 상각화하지만, 선로 고장으로 토폴로지가 바뀌면 정확도가 한두 자릿수만큼 떨어진다. 이러한 성능 저하는 연산자 이동(operator shift)에 기인한다. 변경된 어드미턴스 행렬이 입력-출력 사상을 바꾸므로, 동일한 입력이라도 다른 출력 분포를 낳는다. 기존 방법은 목표 토폴로지 데이터와 토폴로지별 그래디언트 단계로 이를 보정한다. 우리는 이 보정을 대신 통계적이고 그래디언트-무관하게 할 수 있는지 묻는다. 우리는 기본 토폴로지의 첫 두 모멘트로 출력 공간을 화이트닝하여 ACPF 대리 모델을 학습하고, 새 토폴로지에서 수백 개의 해법 사례로 그 화이트닝을 재추정함으로써 보이지 않은 N-1 또는 N-2 토폴로지에 적응하는 인-컨텍스트 화이트닝(ICW)을 제안한다. 이 적응은 그래디언트-무관하고, 가중치 갱신이 없으며, 아키텍처에 구애받지 않는다. 우리는 아핀 화이트너 중 물리적 출력 벡터의 좌표별 의미를 보존하는 유일한 선택이 ZCA 화이트닝임을 증명하므로, 효율적인 가역 보정 범위 내에서 두 모멘트면 충분하다. N-1 및 N-2 사고 조건에서 IEEE 30-, 118-, 300-버스 시스템 전반에 걸쳐 ICW는 고정된 대리 모델 대비 전체 오차를 6배에서 28배 줄이고(N-2에서는 물리량별로 최대 54배), 최악 버스의 전력 균형 불일치를 최대 30배 감소시키며, 세 가지 백본에서 일관된 이득을 보인다. 배포 규모에서는 그래디언트 기반 적응과 동등하거나 더 나은 정확도를 달성하면서 적응 속도는 21배에서 34배 빠르며, 비용은 사고마다 GPU 하나를 요구하기보다 상용 CPU 코어에서 병렬화된다.
그래프-테이블 정렬을 통한 놀랍도록 단순하고 효과적인 다중 도메인 그래프 파운데이션 모델
Surprisingly Simple and Effective Multi-Domain Graph Foundation Model through Graph-to-Table Alignment
그래프 파운데이션 모델(GFM)은 다양한 그래프 도메인에 걸쳐 전이 가능한 표현을 학습하는 유망한 패러다임으로 부상하고 있다. GFM의 최근 발전은 그래프 신경망(neural network)과 대규모 언어 모델(LLM) 기반 방법이라는 두 패러다임이 주도해 왔다. 그러나 이러한 방법들은 제한된 데이터로의 학습(training)과 텍스트 속성에 대한 과도한 의존 사이의 근본적인 딜레마에 직면하는 경우가 많다. 테이블형 파운데이션 모델(TFM)은 노드(node) 피처와 표현을 자연스럽게 테이블 형태로 구성할 수 있다는 점에서 잠재적인 대안을 제공한다. 그러나 TFM이 그래프의 구조적 정보를 효과적으로 포착할 수 있도록 하는 방법은 아직 충분히 탐구되지 않았다. 핵심 과제는 TFM의 그래프 구조 이해를 가능하게 하는 그래프-테이블 정렬 메커니즘을 학습하는 것이다. 이를 해결하기 위해 우리는 텍스트 불필요 그래프 파운데이션 모델을 위한 놀랍도록 단순하면서도 효과적인 그래프-테이블 정렬 프레임워크인 GTAlign을 제안한다. 구체적으로, 먼저 다양한 그래프를 통합된 잠재 공간에 매핑하여 도메인 불가지론적 그래프 표현을 포착하는 그래프 인코더를 사전학습(pre-training)한다. 그래프 위상과 테이블형 표현 공간 사이의 간극을 추가로 좁히기 위해, 그래프 커뮤니티에서 도출된 의사 레이블을 사용하여 퓨샷(few-shot) 예측 에피소드를 구성하는 커뮤니티 유도 연속 사전학습을 제안한다. 마지막으로 그래프 인코더를 미지의 타깃 도메인에 적응시키고 문맥 내 학습(ICL) 방식으로 추론(inference)을 수행한다. 5개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 GTAlign이 노드 및 그래프 분류(classification) 모두에서 최신 기준 모델(baseline)을 크게 능가함을 보여주며, 단순하고 효과적인 텍스트 불필요 GFM 모델임을 입증한다. 코드는 논문 게재 승인 후 공개될 예정이다.
지속적 학습은 언제 학습을 필요로 하는가
When Does Continual Learning Require Learning
대규모 언어 모델(LLM)이 점점 더 강력해짐에 따라, 다음 과제는 모델이 지속적으로 학습할 수 있도록 하는 방법이다. 오늘날 이 분야는 이를 주로 컨텍스트 관리와 망각 완화의 문제로 프레이밍한다. 우리는 이러한 프레이밍이 불완전하다고 주장한다: 지속적 학습은 근본적으로 세계가 변화함에 따라 모델 역량을 높이는 것에 관한 것이다. 우리는 이 변화를 두 축으로 분리한다 -- 공간(space), 즉 모델이 새로운 도메인을 접하는 경우와, 시간(time), 즉 고정된 태스크 하에서 기저 데이터가 드리프트되는 경우이다. 이러한 프레이밍은 현실적인 조건에서 지속적 학습을 연구할 수 있게 한다: 새로운 도메인이 시간에 따라 등장하고, 사실 정보가 학습 컷오프 시점을 지나 드리프트되며, 에이전트 상호작용이 에피소드에 걸쳐 상태를 누적한다. 이 설정에서 방법들을 평가하기 위해, 우리는 널리 사용되는 LLM 벤치마크를 순차적 문제로 재구성하고, 프롬프트 기반 방법(GEPA, ACE), 지도 학습(SFT, SDFT), 강화학습(GRPO, SDPO), 컨텍스트 압축(Cartridges, In-place TTT)을 비교하는 단일 메커니즘 불가지론적 프로토콜을 도입한다. 프롬프트 기반 방법은 각 새로운 단계에 빠르게 적응하지만 이후 태스크에서 성능이 저하된다. 지식 증류 기반 방법은 지식을 안정적으로 축적하지만 오래된 사실을 업데이트하는 데 어려움을 겪는다. 컨텍스트 압축은 효율성을 개선하지만 새로운 태스크 학습 능력을 실질적으로 향상시키지는 못한다. 온라인 강화학습은 지식 업데이트에 가장 효과적으로 적응하지만 노이즈가 많은 보상 신호에 민감하다. 전반적으로, 우리의 결과는 지속적 학습이 단일 능력이 아님을 시사한다: 환경 변화의 서로 다른 패턴은 근본적으로 다른 업데이트 동작을 요구하며, 이는 적응이 모델 가중치 내부에서 학습되어야 할 때와 외부 스캐폴딩을 통해 달성될 수 있을 때를 결정한다. 우리는 각 방법이 성공하고 실패하는 지점을 이해하는 것이 더 강력한 지속적 학습 시스템 설계를 안내하기를 희망한다.
위에서 본 프롬프트 기반 개념 분할: 원격 탐사에서 SAM 3의 제로샷 텍스트 및 시각 프롬프팅 평가
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
Segment Anything Model 3(SAM 3)와 같은 대규모 파운데이션 모델은 개방형 어휘와 무학습 컴퓨터 비전으로의 전환을 약속한다. 그러나 이러한 모델이 지구 관측 영상의 하향식 기하 구조라는 분포 외 영역으로 일반화하는 능력은 아직 거의 정량화되지 않았다. 우리는 미세 조정 없이 원격 탐사 장면 분류, 객체 탐지, 인스턴스 분할에 걸쳐 SAM 3를 다중 과제로 경험적으로 평가한다. 장면 분류에서는 분리된 이진 존재 헤드(binary presence head)를 독립적인 제로샷 분류기로 재활용한다. 탐지와 분할에서는 텍스트 프롬프트와 시각 프롬프트를 비교하며, 여기서 시각 프롬프트는 분할 대상 이미지 안에 있는 목표 클래스의 실제 인스턴스 하나를 제시한다. 텍스트만 사용하면 성능이 낮고, 시각 프롬프트를 추가하면 정확도가 크게 오르며, 둘을 결합하면 과제에 따라 정확도가 오르기도 하고 내리기도 한다. 또한 동일한 평가 프로토콜에서 SAM 3의 텍스트 전용 성능을 여러 일반 도메인 개방형 어휘 탐지 및 분할 모델과 비교한 결과, 두 벤치마크 모두에서 모든 모델을 앞선다. 그럼에도 시각 프롬프트가 없을 때의 정확도는 여전히 제한적이며, 이는 향후 연구 방향으로서 매개변수 효율적 미세 조정의 필요성을 시사한다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.