합성 연구 검증에서의 중대한 행동과 표상적 공정성
Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research
한국어 초록
산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.
원문 초록
Researchers in industry and academia use synthetic survey respondents powered by large language models as substitutes for human samples. These synthetic populations require validation against real-world data, so researchers often address them using ad hoc comparisons with human surveys. Inspired by the intention-behaviour gap in behavioural science, we argue that these validations test the wrong thing for most applied cases where decision makers commission synthetic research to anticipate consequential behaviour. To address this problem, we propose a validation framework with two requirements. First, every validity claim must state its level of correspondence with human data: does the sample predict what the represented people do, which of four diagnostics (location, dispersion, response process and structure) does the validation address, and does the validation compare against experimental effects? Second, researchers must report validity claims for subgroups, since these groups are often the most affected by consequential decisions and aggregate accuracy hides their misrepresentation. Our validation framework operationalises three justice dimensions (distributional, procedural, and recognition) as measurable quantities and treats within-persona counterfactual experiments as a design that itself requires validation. We then apply the framework to electric vehicle charging tariffs, before closing with a reporting checklist that researchers can use to make convincing validity claims.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27690v3
- arXiv:2609.27690v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
LLM 에이전트가 자신의 그룹을 선호하는 이유: 이해관계, 관찰된 규범, 그리고 평판
Why LLM Agents Favor Their Group: Stakes, Observed Norms, and Reputation
언어 모델 에이전트는 자신이 속한 그룹의 구성원들이 서로를 우대하는 모습을 지켜봐 왔기 때문에 자신의 그룹을 선호한다. 결정에 비용이 수반되는 순간 그룹 라벨 자체는 거의 영향을 미치지 않는다; 편애를 유발하는 것은 관찰된 행동이며, 개인의 기록이 이를 압도할 수 있다. 우리는 임의의 그룹 라벨과 10라운드의 포인트 공유, 그리고 짝지어진 단발성(one-shot) 결정으로 구성된 소규모 사회에서 열다섯 개의 OpenAI 모델과 세 개의 Claude 모델에 걸쳐 이를 검증했으며, 약 4,400개의 사회와 330만 건의 감사된(audited) 모델 호출을 분석했다. 첫째, 선행 연구에서 보고된 단순 그룹 라벨의 큰 효과는 다른 구성원에게 포인트를 주는 것이 에이전트에게 아무런 비용이 들지 않을 때에만 나타난다; 에이전트가 포인트를 자신을 위해 보유할 수 있게 되면, 그 효과를 보였던 모든 모델에서 효과가 사라진다. 둘째, 이해관계(stake)가 존재하는 상황에서는 상호작용 기록(interaction history)이 편애의 주된 원인이 된다: 기록 효과는 15개 모델 중 13개에서 통계적으로 양(positive)의 값을 보이며, 11개 모델에서는 10점 중 약 3.5~8점에 달하고, 진행된 라운드 수가 늘어날수록 커지며, 에이전트가 한 번도 만난 적 없는 동일 라벨의 낯선 구성원에게까지 확장된다. 셋째, 스크립트로 구성된(scripted) 기록 하에서는 평등주의적 규범(egalitarian norm) 아래 편애가 거의 0에 가깝게 떨어지며, 에이전트 자신의 그룹이 반대편을 우대하는 것으로 관찰될 경우 편애가 반전된다; 더 강력한 모델일수록 개인의 기록이 그룹과 충돌할 때 개인의 기록 편에 선다. 따라서 그룹 편애는 관찰된 그룹 행동에 대한 동조(conformity)이며, 라벨을 통해 낯선 이에게까지 전이되고 개인의 평판에 의해 압도된다. 동일한 설명은 배신, 스캔들, 그리고 그룹 변경에 대한 무상 제안(free offer)에 대한 반응도 예측한다: 공개적 질책(public reprimand)은 사과나 보상(restitution)보다 배신을 더 효과적으로 회복시키며, 배분상의 처벌(allocation punishment)은 가해 구성원에게만 국한되고, 이미 형성된 그룹은 매수될 수 없지만 더 약한 모델에서는 다른 곳으로 초대되어 이탈할 수 있다.
스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰
What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review
대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.
복잡계 알고리즘 설계를 위한 환경으로서의 네트워크 월드 모델
Network World Models as Environments for Algorithm Design on Complex Systems
환경(environment)을 시뮬레이션하고 행동에 따라 환경이 어떻게 변화하는지 예측하는 월드 모델(world model)은 로보틱스와 같은 현실 세계 응용 분야에서 점점 더 많이 활용되고 있습니다. 복잡계 또한 행동의 효과가 즉각적으로 나타나지 않기 때문에 동일한 도구를 필요로 합니다. 캠페인을 위해 시드 노드를 설정하거나 전염병에 대비해 노드를 면역화하는 것은 그 자체만으로는 거의 변화를 일으키지 않으며, 중요한 것은 이후 단계들에 걸쳐 펼쳐지는 결과입니다. 특정 태스크에서 기대 성능을 극대화하도록 이러한 행동을 선택하는 알고리즘을 설계하는 것은 본질적으로 반복적인 과정이며, 모든 후보 알고리즘은 자신이 도출하는 결과에 따라 점수가 매겨져야 합니다. 이러한 결과를 얻는 작업은 시뮬레이션에 의존해 왔으나, 다수의 샘플링된 궤적(trajectory)에 걸쳐 후보들을 평가할 때 그 비용이 병목 현상을 유발합니다. 본 논문에서는 시간에 따른 개입 하에서 네트워크의 확산 역학을 학습하고, 각 행동을 네트워크에 적용하며, 그에 따른 결과를 예측하는 행동 조건부 네트워크 월드 모델을 제안합니다. 이 모델은 코딩 에이전트(agent)가 전체 롤아웃(rollout) 피드백, 행동 수준의 기여도(credit), 대안적 개입에 대한 반사실적 탐침(counterfactual probe)을 활용하여 실행 가능한 알고리즘을 설계하고 개선하는 알고리즘 설계 루프 내에서 고속 평가기 역할을 수행합니다. 8개의 네트워크 태스크와 5개의 확산 모델에 걸쳐, 설계된 알고리즘은 141개 설정 중 138개에서 보고된 가장 강력한 기준선(baseline)과 대등하거나 이를 능가하는 동시에 몬테카를로(Monte Carlo) 시뮬레이션 대비 최대 14.5배 빠른 롤아웃을 가능하게 합니다. 코드는 논문 채택 시 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
19 pages, 1 figure