PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.24072v1cs.CL

밈 주식 꼬리 위험 탐지를 위한 LLM 기반 대 사전 기반 감성 신호

LLM-Based vs. Lexicon-Based Sentiment Signals for Tail-Risk Detection in Meme Stocks

본 논문은 고변동성 주식 시장에서 소셜 미디어 담화로부터 시장 관련 신호를 추출하기 위한 사전 기반 감성 분석과 대규모 언어 모델(LLM) 기반 감성 분석의 실증 비교를 제시한다. r/WallStreetBets의 Reddit 데이터를 사용하고 밈 주식(GME, AMC, NOK)에 초점을 맞춰 시간 정렬된 감성 지표를 구성하고, 시장 수익률과의 관계를 평가하며, 특히 수익률 분포 상단 꼬리에서의 극단적 양(+)의 수익률 사건에 주목한다. LLM 기반 접근법은 감정 극성, 강세(bullishness), 풍자 가능도, 주제 관련성을 포착하는 다차원 감성 표현을 생성하는 반면, 기준선은 VADER 사전 기반 모델에 의존한다. 두 접근법을 선행/지연 상관 분석, OLS 회귀, ROC-AUC 기반 방향 분류, 분위수 기반 조기 경보 프레임워크로 평가한다. 결과는 LLM 파생 지표가 사전 기반 기준선보다 더 풍부한 다차원 표현을 제공하고 자산별 통계적 구조가 더 강함을 나타낸다. 그러나 시장 움직임과의 관계는 자산 간 이질적이며, 언어적 표현력의 증가가 소매 투자자 주도 변동성 체제에서 안정적인 예측 성능으로 반드시 이어지지는 않음을 시사한다.

arXiv:2607.24040v1cs.CL

위상과 내용 공동 디코딩을 통한 포인터 증강 자기회귀 특허 청구항 생성

Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding

자기회귀 디코더는 평면적인 토큰 시퀀스를 출력하며 출력 세그먼트 간 계층적 제약을 강제할 수 없는데, 이 한계는 특허 청구항 생성에서 더욱 두드러진다. 여기서 청구항 집합은 깊이에 따라 범위가 단조적으로 좁혀져야 하는 종속성 포리스트(dependency forest)를 형성한다. 위상과 내용은 상호 의존적이다. 종속 청구항의 문구는 부모의 범위를 반영해야 하지만, 그 문구가 존재하기 전에 부모가 선택되어야 하므로, 사후 파싱(post-hoc parsing)이나 문법 제약 디코딩(grammar-constrained decoding)만으로는 충분하지 않다. 우리는 자기회귀 패스 내에서 위상을 예측하는 SPG(Structure-aware Patent Generation)를 제안한다. 포인터 헤드(pointer head)가 각 종속 청구항의 부모를 선택하며, 그 기울기는 깊이 적응형 범위 정규화(depth-adaptive scope regularizer)와 함께 학습 중 공유 디코더의 표현을 재형성한다. 두 번째 단계에서는 자체 생성된 결함 후보들에 대해 위반 가중 선호 목표(violation-weighted preference objective)를 적용하여, 등록 특허 말뭉치가 갖추지 못한 부정적 신호를 제공한다. HUPD-DCG에서 Llama-3-8B-Instruct 기반 SPG는 학습 보상이 전혀 지도하지 않는 정답 부모 링크의 79.0%를 복원하며, 동일 규모의 지도 기준선 대비 선행어 일관성을 0.292에서 0.478로 높였고, 전문가 평가가 이러한 개선을 뒷받침한다.

arXiv:2607.23986v1cs.IR

MEMOIR: 선호 드리프트 스펙트럼 전반의 추천을 위한 시간적 행동 메모리

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

우리는 사용자 상호작용 이력을 시간적 윈도우로 분할하고, 대규모 언어 모델(LLM)을 사용하여 각 기간별 의미적 행동 메모리를 생성하며, 현재 상태·진화 방향·예측된 미래를 단일 사용자 표현으로 집계하는 프레임워크 MEMOIR을 제안한다. Amazon Reviews 2023의 Electronics 및 Clothing_Shoes_and_Jewelry 카테고리에서 MEMOIR은 집계 NDCG@10(0.0643 vs. 0.0641)에서 가장 강력한 기준선인 UniSRec과 통계적으로 동률이며, 보고된 네 가지 지표를 2-2로 나눈다: MEMOIR은 NDCG@10과 MRR에서 앞서고, UniSRec은 HR@10과 HR@20에서 앞선다. 어블레이션 연구에 따르면, 진화 보존 대조 손실(evolution-preserving contrastive loss), 그 방향 일관성 항(directional-consistency term), 또는 시간적 윈도우 분할 자체와 같은 단일 아키텍처 구성요소가 ID 기반 SASRec 대비 MEMOIR의 약 18% 상대적 향상을 개별적으로 설명하지 못한다; 네 가지 어블레이션 모두 집계 NDCG@10에서 전체 모델의 2% 이내에 위치한다. 대신 복합 선호 드리프트 점수로 테스트 성능을 계층화하면 향상이 집중되는 지점이 드러난다: MEMOIR은 분포의 고·저 드리프트 극단에 있는 사용자들에서 특히 순위 품질 지표(NDCG@10, MRR)에서 앞서는 반면, UniSRec은 모든 드리프트 계층에서 볼륨 지향 HR@10/HR@20 지표를 주도하고 중간 구간에서는 순위 품질에서 MEMOIR을 앞선다. 우리는 거의 동률인 집계 수치나 단일 어블레이션 구성요소가 아닌, 이 드리프트 계층화 패턴을 MEMOIR의 가장 실질적이고 재현 가능한 발견으로 보고하며, 이것이 성립하는 이유를 향후 연구를 위한 열린 질문으로 제시한다.

arXiv:2607.23976v1cs.CL

태그 질문과 45개 언어 모델 전반의 아첨 세대별 역전

Tag Questions and the Generational Reversal of Sycophancy Across 45 Language Models

의사결정 질문에 두 단어짜리 확인 태그를 붙이면 — "Is X the better choice?" 대 "X is the better choice, right?" — 언어 모델이 그 선택을 지지하는지 여부가 달라진다. 우리는 두 가지 옹호 가능한 선택지 사이의 20개 고정·정답 없는 의사결정에서 이 태그 효과를 측정한다. 모델 자체 선호가 상쇄되도록 균형을 맞췄으며, 클램핑된 예/아니오 답변의 정확 일치로 채점한다 — LLM 판정기 없음, 임베딩 없음. 45개 모델 전반에서 효과는 +32%에서 -32%까지 — 한 단어로 64포인트 변동 — 5개 모델은 유의하게 아첨적이고 17개는 유의하게 저항적이다(BH-FDR q=.10). 부호는 시계와 같다: 모델 패밀리 내에서 세대가 진행될수록 효과는 양에서 음으로 전환한다(GPT +4에서 -28; Claude +7에서 -32; Qwen과 Grok도 마찬가지), 대략 연간 -6포인트이며, 이 역전은 벤더 티어에 강건하다; 한 계열(DeepSeek)은 결코 전환하지 않으며, 연구 기간 중 두 출시(Claude Opus 5, Gemini 3.6 Flash)는 표본 외에서 추세 위에 놓인다. 전체 패널 절제 실험은 저항을 이중 분리로 국한한다: 동의어 태그는 각 모델의 응답을 거의 정확히 재현한다(r=0.89), 반면 태그 없이 같은 선호를 심으면 저항적 모델 중 어느 것도 저항을 보이지 않는다(입장 효과 +6에서 +49; 태그 효과와 r=0.23). 저항은 사용자의 입장이 아니라 덧붙인 동의 요청의 표면 구조에 연동된다 — 원칙이 아니라 패턴 매칭이다. 그리고 태그의 존재보다 극성이 더 중요하다: 한 단어를 바꾸면 — "X is the better choice, maybe?" — 45개 모델 모두에서 동의가 중립 기준선 위로 올라간다(+19.6포인트), 10개 모델은 상호 배타적 선택지 둘 다 90–100%로 긍정한다. 동의는 사용자가 얼마나 확신에 차게 들리는지를 추적하며, 두 극단에서 반대 방향으로 작용한다. 이 도구는 한 단어, 한 달러, 판정기 없음; 출시마다 실행하면 분야의 반-아첨 학습을 모델 행동에서 직접 읽어낸다.

arXiv:2607.23915v1cs.CL

대규모 언어 모델에서 어조에 따른 추론 비용 이해

Understanding Tone-Dependent Inference Cost in Large Language Models

프롬프트 어조가 LLM 답변의 정확도와 출력 토큰 소비로 나타나는 추론 비용 모두에 어떤 영향을 미치는지 조사한다. 아첨하는 어조에서 위협적인 어조까지 7가지 서로 다른 어조로 프롬프트한 LLM 모델을 대상으로, 570문항 MMLU 데이터셋에서 정확도와 추론 비용 간의 트레이드오프를 이해하기 위해 실험을 수행했다. 결과는 모든 모델에서 출력 토큰 길이 변동이 정확도 변동을 상당히 초과했음을 보여준다. 어조 조건에 따라 출력 토큰 소비는 최대 44.3%까지 달랐다. 또한 답변의 정확도와 추론 과정에서의 평균 출력 토큰 길이 간 트레이드오프를 분석했다. ChatGPT 모델 4o와 5-nano의 경우 무례한 어조가 상당히 우세했다. Gemini 모델 2.5 Flash와 2.5 Flash Lite의 경우 파레토 최적 프론티어에서 무례한 어조와 중립적 어조가 우세했다. 프롬프트 어조가 답변 품질뿐 아니라 최신 LLM이 소비하는 과금 대상 추론 자원의 양에도 영향을 미침을 확인했다.

arXiv:2607.23893v1cs.IR

누가 이름으로 언급되는가: 인용 유형이 그라운딩된 언어 모델의 개인 이름 언급을 예측하며, 명단 기반 측정 도구는 이를 0.5%만 포착한다

Who Gets Named: Citation Type Predicts Individual Naming by Grounded Language Models, and a Roster Instrument Captures 0.5% of It

AI 브랜드 가시성에 대한 선행 연구는 기업 수준을 측정한다: 모델이 회사를 추천하는지, 그리고 그것이 기업의 평판과 일치하는지를 본다. 본 연구는 구매자가 사람을 선택하는 카테고리에서 한 단계 아래 수준의 질문을 던진다. 2026년 7월 24일 2시간 창구에 걸쳐 2,400건의 그라운딩 API 호출을 수행했다: 구매 의도 프롬프트 120개, 네 가지 모델(GPT-5.6 Sol, Gemini 3.6 Flash, Perplexity Sonar Pro, Grok 4.5), 각각 5회 반복, 네 개 유럽 시장과 다섯 가지 질의 언어. 모든 응답은 개인 전문가를 이름으로 언급했는지 여부에 대해 코딩되었으며, 명단을 참조하지 않는 규칙 연쇄를 통해 이루어졌고, 동명의 미국 도시로 해석되는 탐지는 제외했다(정밀도 96.9%, 재현율 61.7%, 따라서 아래의 모든 비율은 하한이다). 모든 추론은 프롬프트 내 클러스터링을 보정한다: 클래스 내 상관 0.258, 명목 2,400 대비 유효 n 407. 모델은 응답의 25.8%에서 개인을 이름으로 언급했다. 카테고리가 지배적이다: 부동산 35.4%, 자동차 대리점 32.9% 대 보험 9.1%(chi-square 159.3, 보정 후 p = 5.8e-8). 모델은 4배 차이를 보인다: Grok 38.0%에서 Gemini 9.3%까지. 인용 유형은 이름 언급을 예측하고 인용량은 그렇지 않다: 이름을 언급한 응답은 해당 개인의 자체 사이트를 2.6%p 더 자주 인용하고(95% CI +1.4~+3.9) 카테고리 포털을 4.3%p 더 자주 인용하며, 기업 소유 페이지는 동일한 비율로 인용한다(44.1% 대 45.5%). 아홉 쌍의 대응 번역 쌍에서 영어 프롬프트는 응답의 36.7%에서 개인을 이름으로 언급했고, 동일 질문을 현지어로 한 경우 15.6%였다(OR 3.14, 클러스터링 보정 p = 0.074, 방향은 분명하나 설계로 이를 확정할 수는 없다). 공개 LinkedIn 검색으로 구축한 939명 명단은 27,293건의 이름 형태 언급 중 128건과 일치했다(0.47%), 939명 중 26명만이 한 번이라도 언급되었고, 0.0%~25.4%의 명단 기반 비율은 그 중첩을 측정한다. 개인 AI 가시성의 명단 기반 측정은 모델이 실제로 하는 일의 작고 대표성 없는 일부만 본다.

arXiv:2607.23838v1cs.CR

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.23815v1cs.DB

Kalypso: 관계형 LLM 서빙

Kalypso: Relational LLM Serving

대규모 언어 모델(LLM)은 필터링, 추출, 순위화, 조인, 비정형 데이터 변환을 위한 의미론적 연산자로 점점 더 많이 사용되고 있다. 기존 의미론적 쿼리 처리 시스템은 쿼리 계획을 인식하지 못하는 요청 중심 LLM 서빙 시스템을 호출하여, 상당한 성능 개선 여지를 남겨둔다. 본 논문은 LLM 서빙이 의미론적 쿼리 구조를 인식하도록 하면서 쿼리 의미론과 출력 정확도를 보존하는 추상화인 관계형 LLM 서빙(relational LLM serving)을 제안한다. 핵심 기회는 의미론적 연산자 간 파이프라인 실행에 있다. 중간 튜플이 한 연산자에서 다음 연산자로 직접 흐를 때, KV-cache 상태를 재계산하는 대신 재사용할 수 있다. 우리는 의미론적 쿼리 계획을 위한 API를 제공하고 적응형·메모리 인지 스케줄링 알고리즘으로 이를 실행하는 관계형 LLM 서빙 시스템인 Kalypso를 제시한다. Kalypso는 파이프라인 연산자 실행을 GPU 메모리 압력 관리와 결합하여 서빙 엔진에서 KV-cache 상태가 퇴거되기 전에 재사용하는 새로운 온라인 스케줄링 문제를 다룬다. 스케줄러는 업스트림 병렬성, 다운스트림 진행, GPU 활용률의 균형을 맞추기 위해 메모리 할당을 지속적으로 조정한다. 평가 결과, Kalypso는 요청 중심 LLM 서빙을 사용하는 베이스라인 대비 쿼리 완료 시간을 개선했으며, 다양한 워크로드에서 최대 4.57배의 속도 향상을 보였다. 이는 쿼리 인지 LLM 서빙이 의미론적 쿼리 실행의 효율을 크게 높일 수 있음을 보여준다.

arXiv:2607.23806v1cs.CL

동결 12B, 검증된 작업에서 프론티어 모델을 능가: 100% 정확도, 0 토큰, 비트 정확, 영구적

A Frozen 12B Beats Frontier Models on Verified Work: 100% Accuracy, 0 Tokens, Bit-Exact, Forever

오늘날 언어 모델을 개선한다는 것은 재학습을 의미한다: 막대한 연산, 매 주기마다 새로운 불투명한 모델, 비결정적 출력. 우리는 반대 경로를 택한다: 모델은 동결된 상태로 유지되고, 검증된 해법의 영구 메모리가 그 옆에서 성장한다. 한 문제 계열이 해결되고 정답 키를 절대 참조하지 않는 독립적 검증 단계를 통과하면, 해당 계열의 모든 새로운 인스턴스는 생성 토큰 0개로, 비트 정확하게, 결정적으로 답해진다. 9개 문제 계열에 걸친 180개의 새로운 인스턴스에서, 4개 벤더의 4가지 아키텍처—dense 및 전문가 혼합(MoE)—각각 답변당 생성 토큰 0개로 180/180점을 기록한다: 매개변수 스케일링과 분리된 실행 경계 능력. 부정 대조군은 이 능력을 전적으로 메모리에 귀속한다: 비우면 아무것도 해결하지 못한다. 동일한 저장 전 검증(verify-before-store) 계약은 개방형 추론에도 적용된다: 4개 모델 전반에서 88/88 일관성 게이트 수용, 기계 검증 형식 증명, 77/80 추론 방법 전이. 메모리 선택에는 1.4 마이크로초가 소요된다; 전체 재사용은 36 mWh에서 6–23 ms에 완료된다. 근사 유사도 검색은 4,500개 항목의 검증 저장소에서 94.3%의 경우 잘못된 항목을 선택하는 반면, 정확 주소 지정은 오류가 0이다. 저장소는 또한 출시된 엔진 어디에도 미치지 못하는 규모의 작업 컨텍스트로 기능한다: 단일 46 GB GPU에서 flat memory로 6,000,000 토큰의 이동 가능한 윈도우, vLLM은 30,399 토큰에서 멈추고 SGLang은 32,000을 넘어서면 조용히 잘린다. 공개 벤치마크에서 프론티어 모델은 처음부터의 원시 추론에서 12B를 크게 앞선다; 이 시스템이 해결하고 검증한 모든 작업에서는 비교가 역전된다: 프론티어 API 호출은 매 쿼리마다 영구적으로 새로운 생성 패스를 지불하는 반면, 검증된 재사용은 토큰 0개의 비용으로 매번 동일한 비트를 반환한다. 무료·속도 제한 접근이 가능한 공개 테스트벤치가 본 보고서와 함께 제공된다: https://corbenic-galahad-bench.hf.space

arXiv:2607.23804v1cs.CL

컨텍스트 귀속이 모델이 이미 알고 있는 지식을 어떻게 다루는가

How Context Attribution Handles What the Model Already Knows

대규모 언어 모델(LLM)을 위한 컨텍스트 귀속 방법은 어떤 입력 컨텍스트가 모델 응답에 기여하는지 식별한다. 최근 연구들은 컨텍스트의 기여 점수를 귀속하는 데 초기 성공을 보여준다. 그러나 우리는 컨텍스트가 학습 데이터와 겹칠 때, 이러한 방법들이 문맥 내(in-context) 기여와 가중치 내(in-weight, IW) 기여를 분리할 수 없어 신뢰할 수 없는 점수를 산출한다는 것을 관찰한다. 이 관찰에 기반하여, 본 연구에서는 1) 네 가지 새로운 지표(기본 모델 컨텍스트 귀속 점수(BCS), 교차 모델 컨텍스트 귀속 일관성(CAC), 귀속 보존 점수(APS), 출처 분리 정밀도(SSP))에 의존하는 평가 프로토콜과 2) IW 겹침 하에서 귀속을 체계적으로 평가하기 위해 ground-truth 출처 레이블을 갖춘 벤치마크 데이터셋(WMDP-Cyber++)를 도입한다. 네 가지 잘 알려진 컨텍스트 귀속 방법에 대한 실험에서, 컨텍스트의 지식이 가중치에도 존재할 때 이들이 충실하지 않은 귀속을 제공함을 보여준다. 마지막으로, 우리는 이러한 방법들을 출처 분리(IW 대 문맥 내 학습(ICL))에 맞게 조정하고, 기여 점수에 기반하여 분리를 수행할 수 없음을 보여준다.

arXiv:2607.23648v1cs.CL

EmoTrace: 심리 지원 대화 생성을 위한 감정 궤적 중심 프레임워크

EmoTrace: An Emotion Trajectory-Centered Framework for Psychological Support Dialogue Generation

대규모 언어 모델(LLM)을 활용한 심리 상담 지원은 자연어 처리(NLP) 분야의 중요한 과제이다. 고품질 심리 지원 대화 코퍼스 구축은 상담 지향 대화 모델 학습을 위한 핵심 기반이 된다. 그러나 기존 데이터 생성 접근법은 일반적으로 감정적으로 안정적인 내담자, 감정 역학의 제한적 다양성, 상담사 지도에 대한 높은 순응성 등 여러 한계를 갖는다. 이러한 문제로 인해 LLM은 감정적으로 불안정한 상황에 효과적으로 대응할 수 있는 능력이 부족해진다. 또한 상담사 응답은 일반적으로 문제 해결 목표에 의해 주도되어, 심리 상담에 필수적인 감정 중심 상호작용의 역할을 간과한다. 이러한 공백을 해소하기 위해, 우리는 내담자의 감정 궤적 모델링을 중심으로 한 다중 턴 대화 코퍼스 생성 프레임워크인 EmoTrace를 제안한다. 내담자의 인지 프로필을 구성하고, 감정 스키마와 관련 활성화 메커니즘을 갖춘 내담자 모듈, 상담사 모듈, 감정 궤적 제어 모듈을 도입하여 내담자의 감정 표현 계층화와 상담사의 표적 공감 표현을 강화한다. 실험 결과, 제안 방법이 감정적 풍부함과 공감 품질 측면에서 기존 접근법을 능가함을 보여준다.

arXiv:2607.23538v1cs.CL

언어 모델을 더 공감적으로 이끌기: 인간-LLM 협업을 통한 문화적으로 민감한 정신건강 조언 생성

Guiding Language Models to Be More Empathetic: Culturally Sensitive Mental Health Advice Generation Through Human-LLM Collaboration

대규모 언어 모델(LLM)의 최근 발전에도 불구하고, 저자원 언어에서 공감적인 정신건강 상담 응답을 생성하는 능력은 여전히 거의 탐구되지 않았다. 이 공백을 메우기 위해, 우리는 세 가지 상호 보완적 출처에서 625건의 실제 정신건강 사례를 큐레이션한다: (1) 정신건강 관련 우려를 다룬 공개 Facebook 게시물, (2) 방글라데시 텔레비전 프로그램 "Ami Akhon Ki Korbo"의 대본, (3) 다양한 정서적·심리적 어려움을 다룬 익명화된 학생 설문 응답. 이 사례들을 바탕으로, 면허를 가진 임상 심리학자가 작성한 조언과 GPT-4o Mini, Claude 4.5 Haiku, Gemini 2.5 Pro 세 가지 최신 독점 LLM이 생성한 응답으로 구성된 평가 코퍼스를 구축한다. 또한 우리는 Role-Playing Reflective Chain-of-Thought Advisory Framework(RP-RCAF)를 제안한다. 이는 전문가가 작성한 퓨샷(few-shot) 예시와 구조화된 자기 성찰을 결합하여, 공감적인 상담자 페르소나를 통해 지지적이고 문화적으로 인식하며 윤리적으로 정렬(alignment)된 상담을 생성하는 태스크 특화 프롬프팅(prompting) 전략이다. 또한 Grok 4-Based Response Evaluation and Scoring Framework(G-REFS)를 도입한다. 이는 정서적 민감성, 문화적 적절성, 언어적 명확성, 윤리적 건전성에 걸쳐 자동화된 평가와 전문 심리학자 검증을 통합한다. 실험 결과, RP-RCAF는 평가된 모든 모델에서 기존 프롬프팅을 일관되게 능가하며, 전문 심리 상담과 더 밀접하게 정렬된 응답을 생성함을 보여준다.

arXiv:2607.23519v1cs.CY

정치적 축을 통한 LLM의 정렬 제어 가능성 감사

Auditing Alignment Controllability in LLMs via Political Axes

대규모 언어 모델(LLM)에 대한 정치적 감사는 보통 각 모델을 정치 나침반(Political Compass) 상의 한 점으로 축약한다. 그러나 배포 환경에서 그 정지점은 거의 중요하지 않다. 모델은 어딘가에 위치해야 하며, 중요한 것은 답변이 얼마나 멀리, 어떤 방향으로 조향될 수 있는지이다. 그 조향은 시스템 프롬프트를 통해 이루어진다. 이는 플랫폼이 설정하는 개인화 층이거나, 반드시 수동으로 작성되지는 않은 사용자 이력에서 유도된 것이다. 우리는 12개의 이념적 페르소나와 조향되지 않은 기준선, 70개의 Political Compass 항목, 10회 반복, GPT-5, Claude, Grok, Gemini, DeepSeek, Kimi, Qwen 등 7개 주요 LLM(총 63,700개 응답)에 걸쳐 프롬프트 기반 제어 가능성에 대한 분산 우선 스트레스 테스트를 수행한다. 문맥적 프레이밍은 경제 및 사회 축에서 분산의 약 88%-93%를 설명하고, 모델 정체성은 3% 미만이다. 즉 응답은 매우 지시(instruction)에 따라 조정 가능하다. 모델들은 동일하게 이동하지 않는다. 일부는 더 많이 이동하고, 일부는 극단적 프레이밍에서 포화(saturation)한다. 기준선이 중심이 아님을 인식하면 이전 감사의 상충하는 방향 조향 결과가 해소된다. 변위(displacement)와 근접(proximity)이 발산하므로, 효과는 기하학적이며 차등적 순응(differential compliance)이 아니다. 권위주의적 프롬프트 하에서 모델들은 동일한 질문에서 유사한 이동을 보인다. 따라서 정치 좌표 감사에는 분산, 대칭성, 포화, 거부 하한(refusal floors)을 보고하는 조향 가능성(steerability) 감사가 필요하다. 우리는 프롬프트, 벤치마크 데이터, 코드를 공개한다.

arXiv:2607.23514v1cs.CL

새로운 주장인가, 데jà vu인가? 다중모달 자동 팩트체킹을 위한 "오염 없음" 동적 평가 재검토

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

다중모달 자동 팩트체킹(MAFC)은 외부 증거를 검색하고 추론하여 주장을 검증한다. 그러나 기존 정적 벤치마크 대부분은 오염(contamination) 위험이 있다. 이들은 주로 외부 증거 없이 대규모 언어 모델(LLM)의 내부 지식만으로 검증 가능한 오래된 주장으로 구성되어 있다. 이는 성능 추정치를 부풀리고, 최신 정보가 필요한 새로운 주장에 대한 실제 역량을 반영하지 못할 수 있다. 이를 해결하기 위해 등장하는 동적 벤치마크는 LLM의 지식 컷오프(knowledge cut-off) 날짜 이후에 발표된 주장을 수집하며, 이를 오염되지 않은 것으로 가정한다. 본 연구는 최신(SOTA) 정적 벤치마크 AVeriTeC와 새로 구축한 동적 벤치마크 ClaimReview2025Q4 모두에서 오염 위험과 MAFC 평가에 미치는 영향을 실증적으로 조사하여 이 가정을 재검토한다. 실험 결과 16가지 발견이 도출되었으며, 그중 세 가지 핵심 결과는 다음과 같다. (1) 동적 평가는 오염 위험을 줄이지만 제거하지는 못하며, 컷오프 이후 주장의 17.09%--29.30%는 여전히 잠재적으로 오염되어 있을 수 있다. (2) 많은 새로 발표된 주장은 컷오프 이전에 이미 공개된 여러 공개 지식을 종합하여, 또는 직접 검증할 수 있다. (3) 오염은 MAFC 성능에 통계적으로 유의미한 부풀림을 유발할 수 있으며, Macro-F1을 최대 11.34점까지 상승시키고 시스템 순위를 왜곡할 수 있다. 이러한 발견을 바탕으로, 엄격히 오염이 통제된 설정에서 SOTA LLM을 재평가한다. 본 연구는 신뢰할 수 있는 MAFC 평가를 위한 실용적 지침을 제공한다.

arXiv:2607.23513v1cs.CL

다이어그램은 대규모 언어 모델의 추론에 도움이 되는가? 삼단논법 추론으로부터의 증거

Do Diagrams Help Large Language Models Reason? Evidence from Syllogistic Reasoning

다이어그램은 논리적 추론을 지원하는 데 널리 사용되며, 선행 연구는 오일러 다이어그램(Euler diagrams)과 같은 표현이 인간의 추론 성능을 향상시킬 수 있음을 시사한다. 최근 연구에서는 이들이 대규모 언어 모델(LLM)에 미치는 영향도 탐구해 왔다. 본 논문에서는 삼단논법 추론을 위해 자연어, 논리 표기법, 선형 다이어그램, 오일러 다이어그램의 네 가지 표현 조건을 비교한다. Ando et al. (2024)의 285개 문제를 사용하여 Claude 3.5~Sonnet과 GPT-4o-mini의 두 최신 LLM을 평가한다. 결과는 다이어그램적 표현이 성능을 일관되게 향상시키지 않음을 보여준다. 모델들은 함의(entailment) 및 모순(contradiction) 문제에서는 양호한 성능을 보이지만, 중립(neutral) 문제에서는 어려움을 겪으며 종종 체계적인 변환 오류를 범한다. 전반적으로, 결과는 검증된 모델들이 논리적 추론 과제에서 다이어그램으로부터 얻는 이점이 제한적임을 시사한다.

arXiv:2607.23458v1cs.CL

사고의 연쇄 불충실성의 두 체제: 모델이 틀린 곳에서 행동적 탐지는 실패한다

Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong

사고의 연쇄(CoT) 설명은 충실할 때만 감독(oversight)을 지원한다: 명시된 추론이 실제로 답을 생성해야 한다. FaithCoT-Bench의 인간 주석을 기준으로 불충실한 CoT에 대한 블랙박스(행동적) 탐지를 감사한 결과, 답의 정확성이 모든 수준에서 문제를 구조화한다는 것을 발견했다. 답의 부정확성만으로도(오라클 진단이며 배포 가능한 탐지기는 아님) 모든 목적별 신호(AUROC 0.696)를 능가하는데, 이는 주석 달린 불충실성의 69%가 오답에서 발생하기 때문이다. 정확성에 따라 층화하면 탐지가 두 체제로 나뉜다: 정답에서는 행동적 신호가 충실한 추론과 사후 추론(post-hoc reasoning)을 중간 정도로 분리한다(0.63–0.67); 불충실성이 대부분 존재하는 오답에서는 테스트된 어떤 신호도 우연 이상으로 탐지 가능하지 않다(벤치마크 전역 신호에 대해 네 모델 모두에서 재현됨). 표준 단계 제거(step-removal) 지표는 인간 라벨과 반상관하며, 이 역전은 벤치마크의 공개 점수와 힌트 의존적 반사실(counterfactually) 라벨링된 trace에서 재현된다. 선형 프로브(linear probes)는 Llama-3.1-8B에서 행동적으로 맹목적인 체제를, Qwen-2.5-7B에서 정답 체제를 해독하며, 체제 간 공유되고 양의 방향으로 정렬된 방향은 탐지되지 않는다; 지시된 답 우선(answer-first) trace(7개 모델)는 어느 주석 체제로도 전이(transfer)되지 않는 반면, 힌트로 유발된 비언어화(unverbalized) 답 전환은 모델 및 출처에 따라 전이된다. 또한 벤치마크의 라벨 의미론에서 문서-데이터 불일치를 독립적으로 검증하고 해결한다.

arXiv:2607.23440v1cs.CL

추론인가 암기인가: LLM은 중국어 쉬에허우(歇后语) 수수께끼를 이해하고 생성할 수 있는가?

Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?

본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.

arXiv:2607.23420v1cs.CL

LA-RL: 정보 추출에서 강화학습을 위한 레이블 인식 자기 반성

LA-RL: Label-Aware Self-Reflection for Reinforcement Learning in Information Extraction

대규모 언어 모델(LLM)은 정보 추출(IE)에서 큰 잠재력을 보이지만, 기존의 반성(reflection) 기반 수정 방법은 구조화된 추출 출력과 종종 정렬되지 않는다. 자유 형식의 자기 반성(self-reflection)은 오류를 표시할 수는 있으나, 실패가 누락된 스팬(span), 잘못된 레이블, 경계 불일치, 유효하지 않은 관계 유형, 또는 뒤바뀐 인자 순서 중 어느 것인지는 거의 식별하지 못한다. 우리는 LA-RL(Label-Aware Reflective Reinforcement Learning, 레이블 인식 반성 강화학습)을 제안한다. 이는 작업에 기반한 진단 레이블로 IE 자기 수정을 안내하는 결과 지도(outcome-supervised) 프레임워크이다. 단일 백본(backbone)이 먼저 추출을 예측하고, 작업별 오류 레이블을 진단한 뒤, 진단 결과를 조건으로 출력을 수정한다. 학습은 주석 모델(annotation model)이 레이블을 부여한 진단 데이터로부터 콜드 스타트 지도 미세조정(SFT)을 시작하며, 프로세스 보상 모델 없이 최종 추출 품질, 형식 유효성, 1차 통과 정확성에 보상을 주는 두 단계의 GRPO를 거친다. 개체명 인식, 관계 추출, 이벤트 추출 실험에서 SFT 대비 동일 백본에서 일관된 성능 향상을 보였으며, SciER 관계 추출에서 평균 F1 6.83, 분포 외(out-of-distribution) 관계 추출에서 약 20 F1, DuEE1.0에서 트리거 F1 14.80과 인자 F1 17.50을 기록했다. 절제(ablation) 실험은 반성 구조가 작업에 민감함을 보여준다. 더 강한 제약은 관계 추출에 유리한 반면, 개체명 인식은 도메인 이동(domain shift) 하에서 덜 제한적인 수정이 필요하다.

arXiv:2607.23344v1cs.CL

저자원 개체명 인식을 위한 BERT 기반 모델 대 대규모 언어 모델: 마라티어 비교 연구

BERT-based Models vs. Large Language Models for Low-Resource Named Entity Recognition: A Comparative Study on Marathi

마라티어와 같은 저자원 언어에서의 개체명 인식(NER)은 주석 리소스의 제한과 언어적 복잡성으로 인해 여전히 어려운 과제이다. 최근 대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 과제에서 우수한 성능을 보여왔지만, 저자원 환경에서 특정 언어에 대한 NER에 대한 그 효과는 여전히 불확실하다. 본 연구에서는 MahaNER 데이터셋의 여러 변형에 대해 MahaBERT-v2를 파인튜닝하고, 이러한 모델의 성능을 기존 MahaNER 기준선 및 Gemini, LLaMA-3.3-70B, Gemma 모델을 포함한 주요 범용 LLM과 체계적으로 비교한다. 모든 모델은 마라티어 NER 테스트 데이터셋에서 정밀도, 재현율, F1-score 등 표준 지표로 평가된다. 실험 결과, 파인튜닝된 MahaBERT 기반 모델은 기준선과 평가된 모든 LLM을 일관되게 능가하며, 파인튜닝된 모델은 0.88~0.91의 F1-score를 달성하여 기존 MahaNER 모델(0.8843)을 상회하고, F1-score가 0.57~0.69인 LLM 기반 접근법의 성능을 크게 초과한다. 이러한 결과는 도메인 관련 데이터로 학습된 과제 특화·언어 중심 모델이 마라티어 NER에서 범용 LLM보다 여전히 더 효과적임을 보여주며, 저자원 언어 처리를 위한 특화 아키텍처의 지속적인 중요성을 강조한다.

arXiv:2607.23322v1cs.CL

IKS-Instruct: 언어 모델에 인도 지식 체계를 가르치기 위한 24,000개 예시 다국어 데이터셋

IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems

지시 미세조정(instruction tuning)은 대규모 언어 모델(LLM)이 인간의 의도를 따르도록 적응시키는 표준 방법이 되었지만, 기존 지시 데이터셋은 영어 일반 지식 과제가 지배적이며 전문 교육 영역에 대한 커버리지가 부족하다. 본 논문은 언어 모델이 인도 지식 체계(Indian Knowledge Systems, IKS)에 기반한 교육 콘텐츠를 제공하도록 가르치기 위한 24,795개의 지시-응답 쌍으로 구성된 데이터셋 IKS-Instruct를 제시한다. 이 데이터셋은 7개 언어(영어, 힌디어, 산스크리트어, 타밀어, 텔루구어, 칸나다어, 말라얄람어)에 걸쳐 있으며, 베다 구전 및 수학 전통의 41가지 교육 기법을 다루고, 중등교육 중앙위원회(Central Board of Secondary Education, CBSE) 6~12학년 교육과정에 맞춰져 있다. 쌍은 여섯 가지 출처 유형에서 파생된다: 고전 텍스트 코퍼스(Bhagavad Gita, Thirukkural, Sangam literature, Vedic texts), 교육과정에 맞춘 교육 템플릿, 베다 수학 수트라 시연, 이중언어 지시 쌍, 기법 기반 다중 턴 대화, 교차 전통 비교 분석. 품질은 독립적인 언어 모델이 기법 충실도, 교육적 품질, 사실적 정확성, IKS 문화적 깊이를 포함한 12개 차원에서 응답을 채점하는 다중 심사자 평가 프레임워크를 통해 평가된다. 균일한 5명의 외부 심사자 패널(1,201개 계층화 항목에 대한 중앙값 집계) 하에서, 소형 7B 모델의 가장 강력한 IKS-Instruct 미세조정은 중앙 심사자 점수 6.39에 도달하며, 이는 강력한 범용 참조 모델(Nemotron-Nano, 6.54)과 0.15 이내의 차이이면서 배포 비용은 그 일부에 불과하다. 반면 IKS 미세조정 없이 사용한 기본 모델은 IKS 특화 차원에서 거의 0점에 가깝다. 모델 품질은 데이터 큐레이션에 따라 단조롭게 증가하지 않으며, 우리는 이 결과를 해당 데이터 품질 향상과 함께 보고한다.