PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.16794v2cs.CV

얼굴 피부 질환 분류 모델의 설명 가능성 평가를 위한 LLM 기반 시각적 설명 평가 프레임워크

LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models

본 연구는 얼굴 피부 질환 진단에서 시각적 어텐션 설명을 평가하기 위한 도메인 특화 LLM 기반 시각적 설명 평가 프레임워크를 제안한다. 기존 연구는 주로 분류 성능 향상에 초점을 맞춰 왔으나, 시각적 설명이 임상적으로 관련 있는 병변 영역에 그라운딩(grounding)되어 있는지를 체계적으로 검토한 연구는 상대적으로 적다. 본 연구에서는 얼굴 피부 질환 이미지로부터 병변 중심의 어텐션 맵을 생성하기 위해 이미지 기반 시각적 어텐션 생성 알고리즘을 개발했다. 기존의 그래디언트 기반 설명 가능성 방법과 달리, 제안된 접근법은 색상 현저성(color saliency), 얼굴 공간 사전(facial spatial priors), 가우시안 스무딩(Gaussian smoothing), 어텐션 오버레이 시각화를 결합하여 임상적으로 해석 가능한 어텐션 맵을 생성한다. 또한 GPT-5.5, Gemini 3.5 Flash, Claude Sonnet 4.6을 사용하여 LLM-as-a-judge 평가 프레임워크를 설계하고, 병변 국소화와 설명 신뢰성 관점에서 생성된 시각적 설명을 평가했다.

arXiv:2604.15670v2cs.CV

PixDLM: UAV 추론 세그멘테이션을 위한 이중 경로 멀티모달 언어 모델

PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation

추론 세그멘테이션(reasoning segmentation)은 최근 지상 수준 장면에서 원격 탐사 영상으로 확장되었으나, UAV 데이터는 경사 시점, 초고해상도, 극단적인 스케일 변화 등 고유한 과제를 제기한다. 이러한 문제를 해결하기 위해 우리는 UAV Reasoning Segmentation 작업을 공식적으로 정의하고, 그 의미적 요구사항을 공간(Spatial), 속성(Attribute), 장면 수준(Scene-level) 추론의 세 가지 차원으로 구조화한다. 이 공식화를 바탕으로 UAV 추론 세그멘테이션을 위한 대규모 벤치마크인 DRSeg를 구축한다. DRSeg는 세 가지 추론 유형 전반에 걸친 사고의 연쇄(Chain-of-Thought) QA 지도와 짝을 이루는 1만 장의 고해상도 항공 영상을 포함한다. 벤치마크 동반 모델로서, 우리는 이 작업에 대한 통합 기준선 역할을 하는 단순하면서도 효과적인 픽셀 수준 멀티모달 언어 모델 PixDLM을 제안한다. DRSeg에서의 실험은 강력한 기준선 결과를 확립하고 UAV 추론 세그멘테이션의 고유한 과제를 부각하며, 향후 연구를 위한 견고한 기반을 제공한다.

arXiv:2509.10058v2cs.CV

색을 정확하게: 지각적 색 공간과 텍스트 임베딩의 연결을 통한 확산 생성 개선

Color Me Correctly: Bridging Perceptual Color Spaces and Text Embeddings for Improved Diffusion Generation

텍스트-이미지(T2I) 생성에서 정확한 색 정렬은 패션, 제품 시각화, 인테리어 디자인 등의 응용에서 중요하지만, 현재 확산 모델은 Tiffany blue, lime green, hot pink와 같은 미묘하고 복합적인 색 용어를 다루는 데 어려움을 겪으며, 종종 인간의 의도와 맞지 않는 이미지를 생성한다. 기존 접근법은 크로스-어텐션 조작, 참조 이미지, 또는 미세조정에 의존하지만 모호한 색 설명을 체계적으로 해결하지 못한다. 프롬프트 모호성 하에서 색을 정확하게 렌더링하기 위해, 우리는 대규모 언어 모델(LLM)을 활용하여 색 관련 프롬프트의 모호성을 해소하고 텍스트 임베딩 공간에서 직접 색 혼합 연산을 안내함으로써 색 충실도를 향상시키는 학습 불필요 프레임워크를 제안한다. 우리 방법은 먼저 대규모 언어 모델(LLM)을 사용하여 텍스트 프롬프트의 모호한 색 용어를 해소한 다음, CIELAB 색 공간에서 결과 색 용어들의 공간적 관계에 기반하여 텍스트 임베딩을 정제한다. 이전 방법들과 달리, 우리 접근법은 추가 학습이나 외부 참조 이미지 없이 색 정확도를 향상시킨다. 실험 결과는 우리 프레임워크가 이미지 품질을 저해하지 않으면서 색 정렬을 개선하며, 텍스트 의미론과 시각 생성 사이의 격차를 메운다는 것을 보여준다.

arXiv:2508.01782v4eess.IV

대규모 언어 모델(LLM)을 이용한 의료 영상의 무손실 압축 및 스테가노그래피 통합

Joint Lossless Compression and Steganography for Medical Images via Large Language Models

최근 대규모 언어 모델(LLM)이 무손실 이미지 압축에서 유망한 진전을 이끌어 왔다. 그러나 기존 패러다임을 의료 영상에 직접 적용할 경우 압축 성능과 효율성 사이에서 만족스럽지 못한 트레이드오프를 겪는다. 더욱이 기존 LLM 기반 압축기는 현대 의료 환경에서 중요한 압축 과정의 보안을 종종 간과한다. 이를 위해, 우리는 새로운 무손실 압축 및 스테가노그래피 통합 프레임워크를 제안한다. 비트 평면 슬라이싱(bit plane slicing, BPS)에서 영감을 받아, 의료 영상에 프라이버시 메시지를 보이지 않는 방식으로 안전하게 임베딩하는 것이 가능함을 확인했다. 이 통찰을 바탕으로, 먼저 적응형 모달리티 분해 전략을 고안하여 전체 이미지를 두 세그먼트로 분할하고, 이후 이중 경로 무손실 압축을 위한 전역 및 지역 모달리티를 제공한다. 이중 경로 단계에서, 압축 과정의 보안을 보장하기 위해 지역 모달리티 경로 내 세분화된 메시지 스테가노그래피 알고리즘을 혁신적으로 제안한다. 제안한 해부학적 사전지식(anatomical priors) 기반 저랭크 적응(A-LoRA) 미세조정 전략과 결합하여, 광범위한 실험 결과가 압축률, 효율성 및 보안 측면에서 제안 방법의 우수성을 입증한다. 소스 코드는 공개될 예정이다.

arXiv:2607.21570v1cs.CL

MedGame: 대규모 언어 모델 기반 의료 교육용 스토리텔링 게이미피케이션

MedGame: Storytelling Gamification Empowered by Large Language Models for Medical Education

대규모 언어 모델(LLM)은 의료 교육에 유망성을 보이지만, 대부분의 기존 시스템은 전체 임상 사례를 의사결정 중심의 학습 궤적으로 구성하기보다는 질의응답이나 단일 턴 피드백과 같은 국소적 상호작용에 초점을 맞춘다. 우리는 정적 임상 사례를 구조화되고 실행 가능한 스토리텔링 게임으로 변환하는 프레임워크인 MedGame을 제안한다. MedGame은 이중 엔진 설계를 사용한다: Medical Narrative Designer는 상태와 의사결정 노드를 갖춘 사례 기반 임상 스토리라인을 합성하고, Story Director는 이를 우리가 공개한 대화형 플랫폼에서 렌더링되는 의존성 인식 다중모달 오케스트레이션 계획으로 변환한다. 우리는 의료 내러티브 생성(Medical Narrative Generation)과 스토리 연출(Story Direction)을 위한 5,000건 사례 벤치마크 및 평가 프로토콜인 MedGame Bench를 구축한다. 실험 결과, 과제 특화 미세조정이 MedGame Bench에서 오픈소스 LLM의 성능을 크게 향상시키고 상용 모델과의 격차를 줄이는 것으로 나타난다. 파일럿 학생 연구에서는 학습자들이 MedGame을 텍스트 전용 대안보다 더 몰입감 있고 유용하다고 인식하는 것으로 추가로 나타났다.

arXiv:2607.21433v1cs.CL

토큰 예산 포화와 사고의 연쇄 모델에서 추론 비수렴의 기계론적 조기 탐지

Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models

DeepSeek-R1-Distill-Qwen-7B와 같은 사고의 연쇄(Chain-of-Thought) 추론 모델은 이분형 수렴 패턴을 보인다: 생성은 토큰 예산 내에서 종료되거나(수렴), 결론에 도달하지 못한 채 예산을 소진한다(비수렴). 우리는 이 현상을 실증적으로 특성화하며, 수렴한 생성은 AIME 1983-2024에서 90.3% 정확도를 달성하는 반면 비수렴된 생성은 6.6%에 그치며, 전체 수렴률은 62.0%임을 보인다. 그다음 우리는 내부 모델 표현을 사용하여 사고 사슬 초기에 이 결과가 탐지 가능한지 묻는다. 토큰 위치 50-300에서 은닉 상태 활성화에 선형 프로브를 학습(training)한 결과, 토큰 150에서의 20층(layer) 활성화가 AUC 0.608(±0.080, 5-fold CV)을 달성하며, 토큰 50에서조차도 우연보다 확실히 높다. 활성화 프로브는 토큰 엔트로피 및 반복 통계에서 파생된 행동 기준선을 일관되게 능가한다. 스윕 수준 순열 검정은 p=0.063(100,000회 순열)을 산출하며, 이는 표본 크기로는 통상적 임계값에서 확인할 수 없는 완만한 신호와 일치한다. 이러한 발견은 수렴(convergence) 운명이 생성이 끝나기 훨씬 전부터 중간 표현에 부분적으로 인코딩되어 있음을 시사하며, 조기 종료 추론(inference) 및 적응형 연산 할당으로의 길을 연다.

arXiv:2607.21424v1cs.CL

제어된 교란 검증을 거친 구조화된 오디오 캡션 평가 프레임워크

An Evaluation Framework for Structured Audio Captions Validated by Controlled Perturbations

최근 자동 오디오 캡셔닝(AAC)의 발전은 단일 문장 생성에서 벗어나, 서로 다른 음향적·의미적 속성을 명시적으로 분리하는 구조화된 형식으로 이동하고 있다. 그러나 이러한 이질적인 데이터를 평가하는 것은 여전히 중요한 과제로 남아 있다. 기존 캡션 지표는 비구조화된 텍스트 출력에 초점을 맞추며 다중 모달 속성을 신뢰성 있게 평가하지 못한다. 이 격차를 해소하기 위해, 우리는 구조화된 오디오 설명에 맞춘 다축 평가 프레임워크를 제안한다. AudioCards 데이터셋을 기반으로, 우리는 태그 집합, 설명, 논리적 추론, 수치 측정, 스펙트럼 프로파일이라는 다섯 가지 직교 축에 걸쳐 출력을 평가한다. 우리의 접근법은 의미적 뉘앙스를 포착하기 위한 대규모 언어 모델(LLM) 심판과 음향적 편차를 정밀하게 측정하기 위한 결정론적 계산 지표를 결합한다. 이 프레임워크의 신뢰성을 엄밀하게 검증하기 위해, 우리는 정답 주석에 유형화되고 등급화된 오류를 주입하는 제어된 교란 테스트 프로토콜을 도입한다. 우리의 결과는 이 프레임워크가 의미를 보존하는 패러프레이즈와 실제적인 의미·음향 손상을 성공적으로 구별함을 보여준다.

arXiv:2607.21291v1cs.CL

적응형 깊이 희소 프레임워크: 사전학습 LLM을 위한 유사도 기반 자원 할당

Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs

대규모 언어 모델(LLM)은 강력한 생성 및 추론 성능을 달성하지만, 트랜스포머 아키텍처는 높은 추론 비용이 발생한다. 기존 가속 방법은 종종 작업별 미세조정이나 처음부터 학습에 의존하여, 적응 비용을 높이고 교차 작업 활용성을 제한한다. 우리는 사전학습 LLM을 완전 재학습 없이 깊이 희소 모델로 변환하는 적응형 깊이 희소 프레임워크(AdaDSF)를 제안한다. 핵심 통찰은 각 층이 표현 변환에 기여하는 정도가 다르며, 이는 층 입력과 출력 은닉 상태 간 코사인 유사도로 특징지어진다는 것이다. 이를 바탕으로 AdaDSF는 유사도 통계로부터 층별 토큰 유지 비율을 할당하고, 각 층에서 정보가 풍부한 토큰을 선택하는 경량 라우터를 사용하며, 희소 모델과 밀집 모델 간 중간 및 최종 표현을 일치시키기 위해 특징 보존 정렬 목적 함수를 도입한다. GPT-NeoX와 Qwen2.5에 대해 언어 모델링과 상식 추론에서 AdaDSF는 밀집 모델에 근접한 성능을 유지하면서 추론 FLOPs를 크게 줄인다. 동일한 수준의 희소성에서는 MoD, D-LLM, DLO를 포함한 강력한 베이스라인보다 정확도 저하가 일관되게 더 작다.

arXiv:2607.21279v1cs.CL

지시 미세조정을 위한 통합 도덕적 가치 데이터셋

A Unified Moral-Value Dataset for Instruction Tuning

대규모 언어 모델(LLM)은 빠르게 발전하여 일상생활에서 유용한 도구가 되었다. 그러나 LLM을 특정 인human 가치 집합에 정렬(alignment)하는 방법은 여전히 미해결 문제이다. 최근 연구들은 지시 미세조정(instruction tuning)이 제로샷(zero-shot) 과제에서 강한 잠재력을 보이며, 가치 정렬을 해결하는 효과적인 접근법이 될 수 있음을 보여준다. 그럼에도 불구하고, 지시 미세조정을 위한 많은 데이터셋이 이미 존재하지만, 이들은 도덕적 시나리오와 행동을 중심으로 특별히 설계되지 않았다. 우리는 지시 미세조정에 직접 사용할 수 있는 통합 도덕적 가치 데이터셋을 구축한다. 이 데이터셋은 기존 도덕적 가치 데이터셋을 통합 코퍼스로 병합하고 지시-응답(instruction-response) 형식으로 변환하여 구축한다. 일반 과제 데이터셋과 우리 데이터셋을 결합한 혼합 데이터셋으로 학습(training)하면 일반 과제 성능이 유지됨을 보이며, 혼합 비율이 가치 지향 과제 성능에 미치는 영향에 대한 예비적 관찰 결과를 보고한다. 본 연구는 지시 미세조정을 위한 도덕적 가치 데이터셋을 제공하고, 향후 정렬 연구를 위한 유용한 자료를 제공한다. 데이터셋은 https://huggingface.co/datasets/teohzzh/value-for-instruction-tuning 에서 이용할 수 있다.

arXiv:2607.21274v1cs.CL

그리스 도서 출판사 환경에서 임베딩과 LLM의 비교 평가 - CUP 데이터셋

A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset

우리는 868개의 카탈로그 레코드와 등급화된 관련성 판정을 갖춘 104개의 전문가 주석 쿼리로 구성된 그리스 도서 검색 벤치마크인 CUP를 제시한다. 이 도서 검색 환경에서 희소(BM25), 밀집(sentence-transformers), 하이브리드, LLM 보조 검색 방법을 평가한다. 다국어 임베딩은 그리스어 특화 모델보다 우수한 성능을 보이며, 하이브리드 검색이 전반적으로 가장 좋은 성능을 낸다. 쿼리 수준 분석에 따르면 BM25는 개체명 쿼리에서 뛰어나며, 밀집 및 하이브리드 방법은 자연어, 노이즈가 있는, 교차 언어, 개념 쿼리에서 성능이 향상된다. 필드 인식(field-aware) 프롬프팅은 모델별 효과를 보이며, LLM 목차(TOC) 요약은 목차 전용 검색을 개선하고 LLM 사후 필터링은 높은 비용으로 초기 단계 검색을 개선한다. 전반적으로 CUP는 어휘적, 의미적, 노이즈가 있는, 교차 언어 쿼리에 걸친 그리스어 검색의 실세계 평가를 가능하게 한다.

arXiv:2607.21231v1cs.CL

점진적 크래밍: 신뢰할 수 있는 토큰 압축과 그것이 드러내는 것

Progressive Cramming: Reliable Token Compression and What It Reveals

토큰 크래밍은 시퀀스를 학습된 임베딩으로 압축하여 거의 완벽한 재구성을 달성하지만, 고정된 토큰 예산과 99% 정확도 임계값 때문에 잔여 오류가 최적화 실패를 반영하는 것인지 근본적 한계를 반영하는 것인지 불분명하다. 우리는 목표 접두 문맥을 토큰 단위로 점진적으로 확장하고, 고정된 최적화 예산 내에서 재구성이 더 이상 달성 불가능해질 때에만 중단하는 점진적 크래밍(progressive cramming)을 제안한다. 점진적 궤적은 임베딩 공간에서 저차원 구조를 차지한다. 크래밍된 임베딩을 앞에 붙이면 원본 접두 문맥이 컨텍스트에 있음에도 객관식 벤치마크에서 중간 수준이지만 일관된 정확도 하락을 유발하며, 생성형 평가에서는 능력이 거의 완전히 붕괴된다. 인과적 어텐션 차단(attention-knockout) 개입은 이러한 성능 저하를 모델 초기 층에서의 임베딩 상호작용으로 추적한다. 이러한 결과는 점진적 크래밍을 압축 한계 연구 도구로 자리매김하며, 전이 가능한 의미론이 아닌 취약한 조향을 통해 달성 가능한 완벽한 재구성만으로는 의미 있는 압축에 충분하지 않음을 보여준다.

arXiv:2607.21063v1cs.CL

QuantiBias: LLM에서 양자화로 유발되는 바이어스 벤치마킹

QuantiBias: Benchmarking Quantization-Induced Bias in LLMs

넓은 사용자층에 도달하는 거의 모든 대규모 언어 모델(LLM)은 양자화된다: 전체 정밀도로 학습한 뒤 효율성을 위해 압축된다. 이 단계는 무해하다고 가정되며, 안전성(safety)은 거의 재검증되지 않는다. 우리는 그 주요 부작용이 표준 안전성 평가가 놓치는 바이어스 증가임을 발견한다. 모델, 그 학습, 프롬프트(prompt)를 고정한 상태에서, 양자화된 모델은 여전히 유해한 요청을 거부하고, 무해한 프롬프트에 과도하게 거부하지 않으며, 편향 없는 객관식 답을 여전히 선택한다. 그러나 개방형(open-ended) 질문을 받으면, 동일한 모델은 우리가 조사한 8개 언어 모두에서 고정관념(stereotype)을 자발적으로 드러내며, 독립적 심사(judge) 하에서 개방형 답변 중 대략 4분의 1(압축 단계 전반에서 ~24%에서 ~27%)에서 그렇다: 모든 표준 검사를 통과하면서도 사용자에게 측정 가능하게 더 편향된 상태로 도달한다. 이 선택적 격차(selective gap)는 견고한 발견이다; 개방형 바이어스가 압축과 함께 더 증가하는지는 덜 확실하며, 이를 채점하는 심사에 민감하다. 우리는 생성적·다국어 고정관념 탐침과 개방형 생성을 분리하는 거부 및 객관식 통제, 추론(inference) 유무에 따른 각 빌드 대비, 생성 내용의 심각도 평가를 결합한 벤치마크 QuantiBias로 두 가지를 모두 다룬다. Qwen과 Gemma 두 백본 모델, 5개 계열 스크리닝, 8개 벤치마크에 걸쳐, 양자화기(quantizer)는 바이어스 방지 신호가 없는 역량(capability) 데이터에 따라 추가 정밀도를 배분하며, 답변 전 추론은 일부 계열에서는 효과를 대략 절반으로 줄이지만 다른 계열에서는 아무 효과가 없다. 양자화된 빌드는 이미 통과하는 단문형 안전장치뿐 아니라 개방형 바이어스에 대해서도 재평가되어야 한다.

arXiv:2607.20995v1cs.CL

대규모 언어 모델에서 생물성은 어디에 존재하는가: 생물성 개념 회로의 추적

Where Animacy Lives in Large Language Models: Tracing the Circuits of the Animacy Concept

서면 언어에서 animate 개념과 inanimate 개념을 구별하는 것은 얕은 텍스트 처리 이상을 요구한다. 동사-인수 상호작용(verb-argument interactions)과 같은 복잡한 선택 제약(selectional constraints)과 문맥 단서를 인식해야 하기 때문이다. 그럼에도 현재의 대규모 언어 모델(LLM)은 이를 수행할 수 있는 것으로 보인다. 우리는 LLM의 이러한 생물성 민감적 동작이 인과적으로 관련된 국소화된 구성 요소와 연결의 집합으로 추적될 수 있는지 조사한다. 이를 위해 최소 대(minimal pairs)로 구성된 통제된 데이터셋을 구축하고, 네 개의 오픈 가중치(open-weight) 모델에 대해 회로 발견(circuit discovery)을 수행한다. 심층 실험과 ablation을 통해, 이들 모델에서 생물성을 처리하는 인과적 메커니즘이 실제로 존재함을 보이며, 이를 통해 생물성 회로(animacy circuit)를 발견한다. 동시에 이 회로는 다른 알려진 회로들에 비해 덜 국소화된 것으로 나타나며, 모델과 생물성 과제 간에 부분적으로만 일반화되어, 생물성 개념의 분산적·문맥 의존적·다소 등급적(graded) 특성을 확인한다.

arXiv:2607.20935v1cs.CE

환각에 취약한 분자 스크래치패드로서의 화학적 사고의 연쇄(Chain-of-Thought) 기능

Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad

화학 추론 언어 모델은 충실한 사고의 연쇄(Chain-of-Thought, CoT)를 통해 분자 답을 도출할 것으로 기대된다. 그러나 4개의 추론 모델 계열과 12개의 화학 과제 전반에 걸쳐 환각(hallucination)이 광범위하며, 답의 정확성과는 대체로 분리되어 있다. 정확한 답이 관련 분자에 존재하지 않는 허위의 구조적 주장과 종종 공존한다. 그러나 이것이 추론 추적을 계산적으로 무관하게 만들지는 않는다. 기여도 분석(attribution analyses)은 모델별 형태로 표현되는 공유 스크래치패드 기능을 시사한다: Chem-R과 ether-0은 분절된 SMILES 초안에 의존하는 반면, ChemDFM-R은 스캐폴드(scaffold), 위치, 명명 단서를 강조한다. 특히 Chem-R의 SMILES 스케치를 교란하면 생성이 저하되어, 언어적 구조 주장이 대체로 효과가 없을 때조차 구조적 초안이 인과적으로 핵심적인 역할을 할 수 있음을 보여준다. 종합하면, 이러한 결과는 화학적 CoT가 충실한 설명도 아니고 단순한 사후 합리화(post-hoc rationalization)도 아니라, 환각에 취약한 분자 스크래치패드임을 보여준다. 이 발견은 CoT를 충실한 추론의 직접적 증거로 취급하는 것에 경계를 촉구하며, 답만 평가하는 것을 넘어 프로세스 수준(process-level)의 지도를 정당화한다.

arXiv:2607.20933v1cs.SE

트랜스포머 보조 LLM 기반 소스 코드 요약: 더 안전한 소프트웨어 개발을 위한

Transformer-Assisted LLM-Based Source Code Summarisation: to Enable More Secure Software Development

신경망 소스 코드 요약(NSCS, Neural Source Code Summarisation)은 소스 코드에 대한 자연어 요약을 생성하여 개발자와 유지보수 담당자의 코드 이해도를 높이는 것을 목표로 한다. 소스 코드 요약은 보안 소프트웨어 개발 수명 주기(SSDLC, Secure Software Development Lifecycle)의 유지보수 단계에서 유지보수 담당자의 코드 이해를 개선하고 소프트웨어 시스템의 버그 및 취약점 수를 줄이는 데 도움이 되므로 매우 중요하다. 그러나 많은 소프트웨어 시스템에서 요약이 누락되거나 불완전하거나 오래된 경우가 많다. 이 문제에 대한 해결책은 소규모의 태스크 특화 트랜스포머 모델이나 코드 인식 대규모 언어 모델(LLM)을 사용한다. 태스크 특화 트랜스포머가 생성한 요약은 종종 많은 자연어 생성(NLG) 지표에서 높은 점수를 받지만, 이러한 지표는 요약 품질보다는 어휘적 중첩을 보상한다. 반면 LLM이 의미를 포착하고 고품질 요약을 생성하는 능력은 이 문제에 대한 유망한 해결책을 제시한다. 최근 LLM의 가용성 증가와 워크스테이션 하드웨어의 개선으로 일부 LLM을 개발자 워크스테이션에서 실행할 수 있게 되었으므로, 이는 특히 시의적절한 문제이다. 그러나 추상적(abstractive) 특성 때문에 LLM이 생성한 코드 요약은 개발자가 작성한 요약과 사용하는 단어 및 구문에서 크게 달라 NLG 지표에서 낮은 점수를 받는 경우가 많다. 프롬프트 엔지니어링에서 트랜스포머가 생성한 요약을 활용하여 두 방법을 결합하면 LLM이 더 나은 소스 코드 요약을 생성하고 소프트웨어 실무자가 보안 시스템을 유지보수하는 데 도움이 될 수 있음을 보여준다. 네 가지 서로 다른 프롬프트로 네 개의 LLM에 프롬프트를 제공하며, 태스크 특화 트랜스포머를 프롬프트 내에서 LLM을 보조하는 데 사용한다. "트랜스포머 보조 LLM 기반 소스 코드 요약(Transformer-Assisted LLM-Based Source Code Summarisation)" 방법을 제안하며, 이를 통해 BLEU-4에서 7.8%, 5%의 개선을 관찰한다.

arXiv:2607.20872v1cs.CL

LegalCiteTrust: 중국어 장문 법률 연구 보고서의 인용 신뢰성 벤치마킹

LegalCiteTrust: Benchmarking Citation Trustworthiness in Chinese Long-Form Legal Research Reports

장문 법률 연구 보고서는 점점 더 대규모 언어 모델(LLM)과 에이전트형(agentic) 연구 시스템에 의존하고 있지만, 그 신뢰성은 과제에 답하는 것뿐 아니라 인용된 법적 근거가 신뢰할 수 있는지에도 달려 있다. 인용은 실제 출처를 가리키더라도 위험할 수 있다. 보고서가 제한 조건을 생략하거나, 해당 근거를 잘못 기술하거나, 출처가 허용하는 범위를 넘어서는 더 강한 주장을 뒷받침하는 데 사용할 수 있기 때문이다. 우리는 중국어 장문 법률 연구 보고서에서 인용 신뢰성을 평가하기 위한 벤치마크 LegalCiteTrust를 제안한다. 이 벤치마크는 72개의 밀집 주석이 달린 보고서 수준 과제를 포함하며, 보고서를 포괄성(Coverage), 지지(Support), 인용 신뢰성(Citation Trustworthiness)의 세 차원으로 평가한다. 인용 신뢰성은 인용 수준의 존재(Existence), 충실성(Fidelity), 적용 가능성(Applicability)(E/F/A)를 통해 구체화된다. 범용 LLM, 딥 리서치(deep-research) 시스템, 법률 특화 시스템에 대한 실험 결과, 과제 완료, 증거 풍부성, 인용 밀도, 인용 신뢰성은 서로 다른 시스템 행동을 드러낸다. 검색(retrieval) 도구는 Trust 점수를 안정적으로 개선하지 않으면서도 증거 지지를 개선할 수 있으며, E/F/A 기반 수정은 존재만 필터링하는 방식보다 Trust와 Final 점수를 더 뚜렷이 개선한다. 이러한 결과는 신뢰할 수 있는 법률 연구 생성에는 검색 이후 인용 인식(citation-aware) 증거 거버넌스(evidence governance)가 필요함을 시사한다. 시스템은 법적 근거를 검색하는 것뿐 아니라, 이를 신뢰성 있게 선택하고, 기술하고, 적용해야 한다.

arXiv:2607.20768v1cs.CL

다양성 지표는 다양성을 측정하는가? LLM 앙상블에서 다수결 투표 이득에 대한 역량 통제 감사

Are Diversity Metrics Measuring Diversity? A Capability-Controlled Audit of Majority-Vote Gain in LLM Ensembles

LLM에 대한 다수결 투표는 다양성으로부터 이득을 본다고 널리 가정되며, 다양성 측정치는 어떤 모델을 결합할지 선택하는 데 사용된다. 우리는 이러한 다섯 가지 측정치가 다양성을 추적하는지, 아니면 주로 역량을 재표현하는지를 묻고, 명시적 역량 통제 하에서 MMLU-Pro에서 30개 LLM의 31,900개 부분집합(TruthfulQA에서는 29개)에 걸쳐 최고 성능 멤버 대비 다수결 투표 이득의 예측변수로서 이를 감사한다. 세 가지 발견이 도출된다. 첫째, 잠재적 상보성(latent complementarity)은 어디에나 존재한다. 오라클 이득은 모든 부분집합에서 양수이지만, 단순 투표는 전체 표준 크기-3 부분집합의 9.98%에서만(홀드아웃 최고 선택 시 18.71%) 최강 멤버를 이기며, 크기 2–4를 통합한 비율은 1.27%로, 이는 부분적으로 결정론적 짝수 크기 투표 행동을 반영한다. 둘째, 공동 정확도 프록시(strict diversity)는 평균 정확도를 1에서 뺀 값과 거의 공선(collinear)이다(크기-3 Spearman rho = +0.991 / +0.988). 원(raw) 다양성–이득 연관은 역량과 강하게 얽혀 있으며, 한 가지 예외를 제외하고 통제 하에서 불안정하다. 셋째, 세 가지 선형 분할표(contingency-table) 통계량은 대수적으로 분리 불가능(non-separable)하다. 역량 통제 후 경험적으로 안정적인 잔여는, 더 많은 공유 오류가 더 낮은 이득에 대응하는 완만한 잔차 쌍별 공동 실패(co-failure) 연관이다. 이 방향은 견고하지만 그 크기는 구성에 따라 달라진다. strict diversity, disagreement, double-fault를 독립 예측변수로 취급하는 공동 원(raw)공간 선형 회귀는 구조적으로 계수(rank) 부족(rank-deficient)이다.

arXiv:2607.20767v1cs.CL

Rushes: 다원적 정렬을 위한 인간 선호 데이터셋

Rushes: A Human Preference Dataset for Pluralistic Alignment

본 논문은 상호작용형 서사 환경에서 드러난 인간 참여(engagement) 선호를 연구하기 위한 데이터셋 및 벤치마크인 Rushes를 소개한다. Rushes는 사용자가 AI 생성 분기형 서사와 상호작용하고 각 결정 지점에서 소규모의 명시적 후보 집합 중 하나를 선택하는 게임 인터페이스를 통해 수집되었다. 각 상호작용은 전체 후보 집합, 사용자의 선택, 그리고 진행 중인 서사 맥락을 기록하여, 지속적인 사용자 수준 식별자를 갖는 시간 순서 궤적을 생성한다. Rushes는 6개 게임에 걸쳐 8,167명의 고유 사용자로부터 44,226건의 결정 이벤트를 포함하며, 정적 판단이 아닌 순차적·개인화된 참여 행동을 포착한다. 사용자 선택이 구조화된 비무작위 패턴을 보임을 보이며, 이는 균일 기준선 대비 낮은 선택 엔트로피로 정량화된다. Rushes를 다원적 정렬을 위한 진단 벤치마크로 제시하고, 견고한 Engagement Gap(참여 격차)을 입증한다. GPT-5를 포함한 최신 대규모 언어 모델(LLM)은 단순 기준선을 능가하지 못한다. 고전적 행렬 분해(SVD)는 측정 가능한 개인화 신호(37.7%)를 포착하는 반면, 최신 LLM(34.23%)은 이벤트 수준 선택 예측에서 Popularity Baseline(인기도 기준선, 36.4%)조차 맞추기 어렵다. 이 격차는 현대 인간 피드백 강화학습(RLHF)에서 사용되는 것과 같은 단일·집단 수준 목적함수가 이질적·맥락 의존적 참여 신호를 포착하기에 불충분함을 시사한다. 결과적으로, 고도로 유능한 모델조차 개별 궤적에 적응하기보다 다수 선호에 기본값으로 수렴한다. 생성 시스템에서의 다원적 정렬 및 순차적 의사결정 연구를 지원하기 위해 Rushes를 공개한다. 플랫폼 및 데이터셋의 전체 코드는 다음에서 제공된다: https://github.com/microsoft/rushes

arXiv:2607.20722v1cs.CL

REGARD: 대규모 언어 모델의 지역별 정서 차이

REGARD: Regional Affective Differences in Large Language Models

서로 다른 언어적·지역적 생태계에서 학습되고 정렬(alignment)된 대규모 언어 모델(LLM)은 동일한 정치적, 문화적, 지정학적 대상을 서로 다른 방식으로 프레이밍할 수 있다. 이러한 차이는 종종 감성(sentiment), 호감도(favorability), 또는 입장(stance)을 통해 평가되며, 모델의 태도를 단일한 긍정-부정 축으로 축소한다. 우리는 REGARD를 소개한다. 이는 목표 지향 Valence-Arousal-Dominance(VAD) 프로파일링을 사용하여 소련 이후(post-Soviet) 대상에 대한 LLM 간 정서적 프레이밍 차이를 유발하는 요인을 연구한다. 19개 모델에 500개의 지역별 대상을 질의하고, GPT-4o-mini와 Qwen3.6-35B-A3B라는 두 독립 LLM 심판으로 응답을 채점하며, 300개 항목의 인간 주석 부분집합에서 측정값을 검증한다. 정서 및 응답 행동 프로파일에 기반한 19개 모델 전체의 사후 Ward-linkage 클러스터링은 모델 출처, 계열(family), 매개변수(parameter) 수를 가로지르는 세 가지 행동 클러스터를 산출한다. 일반적 답변(generic-answer) 비율은 낮은 각성(arousal)과 강하게 연관되어 있다(r = -0.81). 클러스터 배치와도 연관된다. 평가적 프롬프트를 템플릿화된 응답으로 회피하는 모델은 출처와 관계없이 낮은 각성에서 함께 클러스터링된다. 이러한 결과는 VAD 프로파일링이 감성 기반의 기존 평가에서는 대체로 드러나지 않는 정서적 프레이밍의 한 차원인 정서적 강도(emotional intensity)를 포착함을 보여준다.

arXiv:2607.20630v1cs.DB

GenDB 시연: LLM 에이전트를 통한 인스턴스 최적화 및 맞춤형 쿼리 처리 코드 생성

Demonstrating GenDB: Instance-Optimized and Customized Query Processing Code Generation via LLM Agents

전통적인 쿼리 처리 엔진은 새로운 기법과 사용자 요구사항을 지원하기 위해 지속적인 개발과 확장이 필요하며, 경우에 따라 처음부터 완전히 새로운 시스템을 구축해야 한다. 그러나 이러한 엔진은 내부 복잡성으로 인해 확장하기 어렵고, 새로운 시스템을 구축하는 데는 상당한 엔지니어링 노력과 비용이 든다. 이를 해결하기 위해, 우리는 쿼리 처리를 수동으로 설계된 시스템에서 대규모 언어 모델(LLM)이 구동하는 쿼리 처리 코드 생성으로 전환하는 생성형 쿼리 엔진 GenDB를 시연한다. GenDB의 초기 프로토타입은 LLM 에이전트를 사용하여 특정 데이터, 워크로드, 하드웨어 자원에 맞춘 인스턴스 최적화 쿼리 실행 코드를 생성한다. 이 프로토타입은 반복적이고 템플릿화된 쿼리에 대한 오프라인 코드 생성에 적합하다. 초기 생성 비용이 다수의 실행에 걸쳐 분산되고, 광범위한 퍼즈 테스트(fuzz testing)와 수동 검사를 통해 정확성을 보장할 수 있기 때문이다. 임시(ad-hoc) 쿼리의 경우, GenDB는 하이브리드 아키텍처에서 전통적인 DBMS와 함께 동작할 수 있다. DBMS는 일회성 쿼리를 처리하고, GenDB는 빈번한 SQL 템플릿을 가속한다. 우리의 시연을 통해 사용자는 (1) GenDB가 워크로드를 분석하고, 하드웨어 자원과 기초 데이터를 프로파일링하며, 쿼리 계획을 생성하고, 이를 바탕으로 코드를 생성한 뒤, 마지막으로 옵티마이저를 사용하여 정확하고 효율적인 구현을 반복적으로 달성하는 과정을 시각적·대화형으로 탐색할 수 있고, (2) 시각적 검사와 분석을 통해 GenDB가 TPC-H와 LLM 학습 데이터로 인한 잠재적 데이터 유출을 줄이도록 새로 구성한 벤치마크라는 두 벤치마크에서 최첨단 쿼리 엔진보다 현저히 우수한 성능을 달성하는 코드를 생성하는 이유에 대한 정성적 통찰을 얻을 수 있으며, (3) 자신의 데이터와 쿼리를 업로드하여 다양한 LLM과 쿼리 패턴으로 GenDB를 탐색할 수 있다.