PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11531v1cs.CL

반복되는 패턴의 계층적 재사용을 통한 언어 복잡도 측정

Measuring language complexity from hierarchical reuse of recurring patterns

우리는 알고리즘 정보 이론에 기반한 언어 복잡도 측정치로서 ladderpath 지수를 소개합니다. 이는 반복되는 하위 구조의 계층적 재사용을 통해 시퀀스를 재구성하는 데 필요한 최소 단계를 계산하며, 콜모고로프 복잡도(Kolmogorov complexity)와 관련되지만 구별되는 정확히 계산 가능하면서도 제한된 형태의 알고리즘 압축 가능성을 포착합니다. 우리는 Parallel Universal Dependencies 데이터셋의 21개 병렬 말뭉치에 ladderpath 접근법을 적용합니다. Ladderpath 지수는 언어 간에 거의 불변이며, 말뭉치 길이보다 훨씬 적게 변동합니다. 이는 모든 말뭉치가 통합된 이진 표현으로 매핑될 때 더욱 뚜렷해지며, 표현 독립적 관점에서 등가 복잡도 가설(equi-complexity hypothesis)을 뒷받침하는 증거가 됩니다. 또한 문자 집합 크기와 말뭉치 길이 사이, 그리고 어휘 수준과 말뭉치 수준의 재구성 복잡도 사이의 상충 관계(trade-off)를 관찰했는데, 이는 총 복잡도가 보존되어 언어적 수준 전반에 걸쳐 재분배된다는 상충 가설을 지지합니다. Ladderpath 접근법이 어떠한 언어적 입력 없이 식별한 재사용 가능한 하위 구조는 자연 어휘에서 확인된 단어 및 형태소적 구성 요소와 일치합니다. Ladderpath 접근법이 포착한 계층적 재사용은 인지 과학에서 제안된 청킹 메커니즘(chunking mechanisms)과 유사한데, 이는 인간의 인지 시스템이 공유된 메모리 및 처리 제약 조건 하에서 언어적 입력을 중첩된 재사용 가능한 단위로 압축하는 방식입니다. 인지적 청킹과 ladderpath 접근법 사이의 이러한 연결은 등가 복잡도 및 상충 가설에 대한 새로운 해석을 제공하며, 이 두 가설이 모든 인간 언어의 언어 처리를 기반으로 하는 공유된 인지 아키텍처에 뿌리를 두고 있음을 보여줍니다.

arXiv:2606.06788v1cs.CL

5살 아이에게 설명하듯이 또는 내가 선택한 대로: 언어 모델 응답의 대화형 잠재력 평가

Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

과학적 정보 탐색 과제에서의 대규모 언어 모델(LLM) 평가는 실제 사용자를 대상으로 한 라이브 또는 멀티턴(multi-turn) 평가를 수행하는 등 점차 사용자 중심으로 변화하고 있습니다. 이러한 평가들은 여전히 단일하고 정적인 채팅 인터페이스를 가정하지만, 모델이 새로운 인터페이스에 통합됨에 따라 평가는 인터페이스 특정 기준을 통합하도록 전환되어야 합니다. 우리는 인간 중심 설계 문헌의 직접 조작 인터페이스(direct manipulation interfaces)에서 영감을 받아, 해석 가능한 언어 축(언어 복잡도)을 따라 달라지는 하나의 쿼리에 대한 여러 응답을 생성하는 모델의 능력을 테스트하는 16명의 참가자를 대상으로 한 형성 연구에 기반한 새로운 평가 프레임워크를 제안합니다. 우리는 98개의 과학적 쿼리에 대해 서로 다른 수준의 언어 복잡도로 5개의 응답을 생성하여 GPT-5.1, GPT-5 mini, Claude Sonnet 4.5 + Thinking, DeepSeek-V3.1을 평가했습니다. 모델이 응답 간에 복잡도를 변화시키기는 하지만, 대부분의 변화는 여전히 일관성이 없으며, 가장 성능이 좋은 모델(Claude Sonnet 4.5)조차도 신뢰할 수 있는 복잡도 측정치를 올바른 방향으로 변화시키는 비율은 46%에 불과했습니다. 우리의 연구 결과는 샘플 크기를 늘리고 대체 복잡도 수준을 사용해도 성립합니다.