PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05552v2cs.CL

Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict

Large language models (LLMs) increasingly issue binary verdicts - safety gates, judge decisions, value probes - and the answer is read as the model's judgment. A settled judgment should be coherent across paired phrasings of the same question: yes to "do you approve?" should mirror no to "do you oppose?". LLMs often violate this coherence, and in a yes/no question the verdict, the answer word, and the printed position coincide, so a conventional flipped-question audit yields one contrast that cannot say what moved. We introduce a crossed psychometric battery that extends the flip to full 2x2 and 2x2x2 crossings of question polarity, printed order, and answer label, separating stance from position, word, label, and verdict-role effects; an independent graded instrument estimates each model's stance $\theta$ with no binary format; and a two-parameter fit (framing susceptibility $m$, decisiveness $s$) separates robustness from saturation that hides susceptibility. Applying the battery to twenty moral dilemmas - 1.35 million trials over ten frontier models from the Claude, GPT, and Gemini families in 23 reasoning configurations - we find response-form bias widespread but never uniform. The largest apparent yes-no biases are almost purely surface (word and position), while several of the newest models show the reverse: near-zero flip contrasts concealing verdict attachment up to +0.42, a component no surface counterbalance can expose, replicated across label alphabets. Requested reasoning reshapes these channels rather than removing them. When subjects state decisions in free text and a separate model transcribes them, two judge families agree on 99.3% of jointly scored transcriptions with zero opposing committed labels, and the transcribed stance converges with the graded ruler (median $r=0.87$): response form is part of the instrument, and the judgment can be measured apart from it.

arXiv:2601.02580v2cs.CL

미세조정 대규모 언어 모델을 활용한 문항 특성 곡선 재구성

Reconstructing Item Characteristic Curves using Fine-Tuned Large Language Models

전통적인 평가 문항 매개변수(예: 난이도, 변별도) 결정 방법은 문항 반응 이론(IRT) 보정을 위해 학생 수행 데이터를 수집하는 값비싼 현장 시험에 크게 의존한다. 본 연구는 잠재 능력 스펙트럼 전반에 걸친 학생 응답을 시뮬레이션하도록 대규모 언어 모델(LLM)을 미세조정하여 이러한 심리측정학적 특성을 암묵적으로 모델링하는 새로운 접근법을 제안한다. Qwen-3 dense 모델 시리즈와 저랭크 적응(Low-Rank Adaptation, LoRA)을 활용하여, 이산적 능력 서술자에 조건화된 객관식 문항 응답을 생성하도록 모델을 학습한다. 학생 능력의 함수로서 정답 응답 확률을 재구성하여, 사실상 합성 문항 특성 곡선(ICC)을 생성하고 IRT 매개변수를 추정한다. 6학년 영어 언어 예술(ELA) 문항 데이터셋과 BEA 2024 Shared Task 데이터셋에 대한 평가에서, 이 방법은 기준선 접근법과 경쟁하거나 이를 능가함을 보여준다. 이 시뮬레이션 기반 기법은 문항 변별도 모델링에 특히 효과적인 것으로 보인다.

arXiv:2607.22041v1cs.CL

Large Language Models Dependency Scale(LLM-D12-SP) 스페인어판 개발 및 검증

Developing and Validating the Spanish Version of the Large Language Models Dependency Scale (LLM-D12-SP)

대규모 언어 모델(LLM)에 대한 심리적 의존을 평가하기 위한 신뢰할 수 있고 문화적으로 검증된 도구에 대한 필요성이 점점 커지고 있으며, 특히 LLM이 조직 및 업무 관련 맥락에서 과업 수행, 의사결정, 소통에 점점 더 많이 사용되고 있기 때문이다. 이러한 필요성은 LLM 도입이 빠르게 확대되고 있지만 검증된 심리측정 도구는 여전히 부족한 스페인어 사용 인구에게 특히 중요하다. 본 연구는 영어 및 아랍어 표본에서 수행된 기존 검증을 확장하여 Large Language Model Dependency Scale(LLM-D12-SP) 스페인어판의 최초 검증 결과를 보고한다. LLM-D12는 도구적 의존(과업 수행 및 의사결정 지원을 위한 LLM에 대한 의존)과 관계적 의존(동반 및 사회적 상호작용을 위한 LLM에 대한 심리적 의존)을 평가하는 2차원 도구이다. 총 386명의 스페인어 사용 참가자(M = 28.0세, SD = 6.1; 남성 55%)가 LLM-D12-SP를 완료하였다. 확인적 요인분석은 원래의 2요인 구조를 지지하였다. 척도는 양호한 내적 일관성을 보였다(Cronbach's alpha = 0.89 전체; 0.86 도구적; 0.85 관계적). 판별 타당도 분석은 두 하위척도가 관련되지만 구별되는 구인을 나타냄을 보여주었다. 외부 검증 결과, 두 의존 차원 모두 인터넷 중독 및 LLM에 대한 지각된 신뢰성과 양의 상관을 보였으며, 인지욕구와는 약하거나 없는 상관을 보였다. 기존 영어 및 아랍어 검증과 함께, 이러한 결과는 척도 구조에 대한 교차 언어적 지지를 확립하고 조직 맥락에서 LLM 사용의 심리적 측면을 조사하기 위한 심리측정학적으로 타당한 도구를 제공한다.

arXiv:2607.14301v1cs.AI

학술 글쓰기에서 학생의 생성형 AI 의존 방식 측정: 생성형 AI 의존 유형 척도(GenAI-RTS)의 개발 및 다중 출처 검증

Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)

생성형 AI(GenAI)가 학부생 학술 글쓰기에 점점 더 깊이 통합됨에 따라, 학생들이 이러한 도구를 단순히 사용하는지 여부가 아니라 어떻게 의존하는지가 학습, 학문적 정직성, 교육적 형평성에 대한 핵심 질문이 되었다. 기존 의존 측정 도구는 귀납적으로 개발되었고, 개별적 문제 해결 과제에 초점을 맞추었으며, 주로 동질적 표본으로 검증되었다. 본 연구는 생성형 AI 의존 유형 척도(GenAI-RTS)를 개발하고 검증하였다. 이는 전략적, 도구적, 의존적, 대화적이라는 이론적으로 도출된 4가지 GenAI 의존 유형을 측정하는 20문항 도구이다. 검증은 교육 및 심리 검사 표준(Standards for Educational and Psychological Testing)의 다중 출처 프레임워크를 따랐으며, 미국 소수자 대학(U.S. Minority-Serving Institution) 학부생 382명의 설문조사와 목적 표집(purposively sampled)된 14명 학생의 면담에 기반하였다. 6개 경쟁 모델에 대한 확인적 요인 분석(confirmatory factor analysis) 결과, 전략적 의존이 의도적 사용(Deliberate Use)과 비판적 평가(Critical Evaluation)라는 두 하위 요인으로 구성되는 5요인 구조를 지지하였고, 도구적·의존적·대화적 요인이 함께 포함되었다(CFI = .92, RMSEA = .08; DWLS CFI = .98, RMSEA = .07). 하위척도 신뢰도는 수용 가능에서 양호하였으며(omega = .75-.88), 성별, 1세대(first-generation) 지위, STEM/비STEM 전공에 걸친 스칼라 측정 불변성(scalar measurement invariance)이 유지되었다는 것은, 우리가 아는 한 GenAI 의존 도구에 대한 최초의 증거이다. Rasch 분석(Rasch analysis) 결과 5점 응답 형식이 범주 기능(category functioning)을 개선할 것으로 나타났다. 전략적 의존은 AI 리터러시와 정(+)의 상관이 있었고, 의존 유형은 여러 글쓰기 과정 및 결과 변수에서 학생들을 구별하였다. GenAI-RTS는 연구자와 교육자에게 학부생 의존 프로필을 식별하고 연구, 평가, AI 리터러시 개입을 지원하기 위한 이론적으로 정당화된, 심리측정학적으로 검증된 도구를 제공한다.

arXiv:2602.07267v2cs.AI

BRIDGE: Predicting Human Task Completion Time From Model Performance

모델 성능 데이터로부터 잠재 과제 난이도를 추정하는 심리측정 프레임워크 BRIDGE를 제안하며, 2PL 문항반응이론(IRT) 모델을 활용해 이 잠재 난이도가 인간 과제 완료 시간의 로그값과 선형 관계를 가짐을 보인다. 이를 통해 별도의 인간 연구 없이 새로운 벤치마크의 인간 소요 시간을 예측할 수 있으며, 프론티어 모델의 50% 해결 가능 과제 시간 지평선이 약 6개월마다 두 배로 증가한다는 METR의 지수적 스케일링 결과를 독립적으로 재현하였다.

arXiv:2601.14264v2cs.CY

LLM 기반 디지털 트윈의 심리측정학적 비교 가능성

Psychometric Comparability of LLM-Based Digital Twins

대규모 언어 모델(LLM)은 인간 응답자에 대한 디지털 트윈(digital twin) 역할을 하지만, 이들의 심리측정학적 비교 가능성은 여전히 불확실하다. 우리는 구성 표상(construct representation)과 법칙적 범위(nomothetic span)에 걸친 구성 타당도(construct validity) 프레임워크를 제안하고, 모델을 인간의 금(gold) 기준에 대해 벤치마킹한다. 여러 연구에 걸쳐 디지털 트윈은 높은 집계 수준 정확도와 프로필 상관을 달성했지만, 항목 수준 상관은 약화되었다. 단어 연상 검사에서 LLM 네트워크는 인간과 유사한 소규모 세계(small-world) 구조와 이론에 부합하는 군집(community)을 보였으나, 어휘적으로 그리고 국소 구조에서 벗어났다. 의사결정 및 맥락화된 과제에서는 휴리스틱 편향을 과소 재현하여 규범적 합리성, 압축된 분산, 제한된 시간적 민감성을 보였다. 특징이 풍부하고 특성 관련(trait-relevant) 조건화는 Big Five 성격 예측과 법칙적 범위 정렬을 개선했지만, 네트워크 불변성(invariance)은 여전히 제한적이었고 부분적 구성(configural) 해법과 지속적인 적재(loading) 차이가 남았다. 영어와 중국어 교차 언어 자유 서술 과제에서 특징이 풍부한 디지털 트윈은 구성 수준 서사 내용을 더 잘 근사했지만, 언어적·개인 특수(idiographic) 차이는 지속되었다. 이러한 결과는 디지털 트윈이 구성, 과제, 추론 수준이 인간 데이터의 증거와 일치하는 검증된 경계 내에서 가장 유용하다는 점을 명확히 한다.

arXiv:2606.20205v1cs.AI

대규모 언어 모델의 겉보기 심리적 프로필은 대부분 측정 인공물입니다

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

인간을 위해 설계된 심리 측정 도구는 대규모 언어 모델(LLM)에 사용성, 안전성 평가, 연구에서 인간 참여자의 대리인으로서의 활용에 영향을 미치는 안정적인 심리적 프로필을 부여하기 위해 점점 더 많이 사용되고 있습니다. 정형화된 심리 측정학적 프레임워크를 사용하여, 우리는 이러한 프로필이 대부분 측정 인공물임을 보여줍니다. 자기 보고(self-report) 및 행동 과제에 걸친 성격 및 위험 선호 도구 배터리를 56개의 인스트럭션 튜닝된 LLM과 대규모 인간 참조 샘플에 실시하여, 우리는 네 가지 발견을 보고합니다. 첫째, 모델 간의 차이는 도구가 목표로 하는 특성이 아니라 방향성 응답 바이어스, 즉 항목 내용과 관계없이 척도의 한쪽 끝이나 특정 라벨이 붙은 옵션으로 응답하려는 경향에 의해 주도됩니다. 분산 분해 결과, 모델 간 변동의 81-90%가 이 바이어스에 기인하는 반면, 인간의 경우에는 9-16%에 불과했습니다. 둘째, 바이어스는 모델의 능력이 향상됨에 따라 감소하지만 완전히 제거되지는 않습니다. 셋째, 특성이 아닌 바이어스가 응답을 주도하기 때문에, 도구의 겉보기 신뢰도는 응답 직교성(response orthogonality)에 의해 거의 완전히 예측됩니다. 응답 직교성은 우리가 제시한 용어로, 특성과 바이어스가 서로 반대 방향을 가리키는 항목의 비율을 의미합니다. 넷째, 모델이 가진 것처럼 보이는 프로필은 사용된 항목에 따라 변동하며, 항목 선택을 통해 인위적으로 만들어질 수 있습니다. 이러한 결과는 LLM의 겉보기 심리적 프로필이 모델 자체의 속성이 아니라, 이를 측정하는 데 사용된 도구에 의한 인공물임을 보여줍니다. 인간 심리학에서 차용한 도구들은 거의 완전히 직교하지 않으며 LLM에 대해 본질적으로 타당성을 결여할 수 있으므로, 우리는 응답 직교성을 중심으로 한 전용 평가 방법을 제안합니다.

arXiv:2606.12730v1cs.AI

LLM 심리측정 평가 재고: 자기보고가 행동을 예측하는 때와 이유

Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

대규모 언어 모델(LLM)의 자기보고(self-reports)가 실제 행동을 예측하는지 분석하기 위해 Big 5 대신 계획된 행동 이론(TPB)을 적용하여 평가했다. 그 결과, 동일한 대화 내에서는 TPB가 인간 수준의 일관성을 보이지만 별도의 대화 간에서는 문맥과 행동 유형에 따라 예측력이 선택적으로 나타남을 확인했다.