다국적 인력의 AI 도입: 인사 분야 GenAI 수용을 위한 사회기술적 조건
AI Adoption Across a Multinational Workforce: Sociotechnical Conditions for GenAI Acceptance in Human Resources
한국어 초록
직장에서 생성형 AI(GenAI) 배포가 빠르게 가속하고 있다. 그럼에도 불구하고 누가 도입하는지, 누가 혜택을 받는지, 누가 소외되며 그 이유가 무엇인지에 대한 질문은 여전히 충분히 연구되지 않았다. 본 논문에서는 다국적 기술 기업이 레거시 인사(HR) 검색 시스템에서 GenAI 지원 시스템으로 전환하는 맥락에서 이러한 역학을 조사하며, 검색 로그 데이터, 설문 데이터(n=25), 10건의 반구조화 인터뷰를 분석한다. 우리의 결과는 도입이 GenAI 시스템의 설계 가정과 직원들의 업무적 위치성(역할, 구어, 근속 기간) 간의 적합성에 달려 있음을 보여준다. 또한 GenAI 답변에 대한 직원들의 신뢰는 출처 확인, 시스템 간 비교, 의심이 있을 때 동료 또는 HR의 의견을 구하는 과정을 통해 형성되었음을 밝혔다. 우리의 기여는 두 가지다. 첫째, 실제 조직 전환 과정에서의 직장 GenAI 도입에 대한 실증적 증거를 제공하며, 도입이 상황 적합성, 검색 리터러시(search literacy), 신뢰 보정(trust calibration)과 같은 요인의 영향을 받음을 보여준다. 또한 시스템의 콘텐츠 품질, 직원 교육, 안내와 같은 지식 조건에 의해 더욱 형성된다. 둘째, 이러한 결과를 HR와 같은 고위험 환경에서의 포용적 배포 및 도입을 위한 설계 고려사항으로 전환한다. 조직은 서로 다른 사회 집단에 대해 시스템이 제공하는 역할 및 맥락에 민감한 이익을 고려하여 시스템을 설계해야 한다고 주장한다. 또한 GenAI 시스템의 책임성과 사용성을 향상하기 위해 조직 지식 인프라를 AI 인프라로 취급해야 한다.
원문 초록
Generative AI (GenAI) deployment in the workplace is accelerating rapidly. Nevertheless, questions of who adopts, who benefits, and who is left behind and why are still understudied. In this paper, we investigate these dynamics in the context of a multinational tech company transitioning from a legacy Human Resources (HR) search system to a GenAI-supported system, analyzing search log data, survey data (n=25), and ten semi-structured interviews. Our findings show that adoption depended on the fit between the GenAI system's design assumptions and employees' work positionalities (role, spoken language, tenure). Further, we find that employees' trust in GenAI answers was built through source-checking, comparison among systems, and seeking input from colleagues or HR when in doubt. Our contribution is twofold. First, we provide empirical evidence of workplace GenAI adoption during a live organizational transition, showing that adoption is influenced by factors such as situational fit, search literacy, and trust calibration. It is also further shaped by knowledge conditions such as the system's content quality, employee training, and guidance. Second, we translate these findings into design considerations for inclusive deployment and adoption in high-stakes environments such as HR. We argue that organizations should design systems considering the role and context-sensitive benefits they yield to different social groups. They also need to treat the organizational knowledge infrastructure as AI infrastructure to improve the accountability and usability of GenAI systems
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17887v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
UniDataAgent: 기업 질문-보고서 자동화를 위한 온톨로지 그라운딩 에이전트
UniDataAgent: An Ontology-Grounded Agent for Enterprise Question-to-Report Automation
기업 데이터 에이전트(agent)는 단순히 질문을 쿼리로 변환하는 것을 넘어 조직 고유의 의미 체계(semantics)를 보존해야 합니다. 본 논문에서는 의미 체계 획득과 온라인 실행을 분리하여 재사용 가능한 질문-보고서 분석을 수행하는 온톨로지 그라운딩(ontology-grounded) 시스템인 ChinaUnicom DataAgent(UniDataAgent)를 소개합니다. 온톨로지 획득 및 검증(OAV) 단계에서는 전문가가 작성한 비즈니스 스킬, 제약된 생성, 질문 검증, 선별된 전문가 검토를 통해 메타데이터, 비즈니스 지식, 지원 자료로부터 버전 관리되는 기업 온톨로지를 구축합니다. 질문-보고서 실행(QRE) 단계에서는 각 질문에 대한 의미적 계약(semantic contracts)을 검색하고, 스킬과 데이터 툴을 조율하며, 결과를 검증하고 근거가 연결된 보고서를 생성합니다. 27개 기업 테이블과 대략 수천 가지 지표 유형에 걸쳐, 온톨로지 구축에는 수작업으로 약 1주일이 걸리던 작업이 불과 몇 시간밖에 걸리지 않았습니다. 보고서 생성에는 며칠의 근무일 대신 단 몇 분밖에 걸리지 않았습니다. 온톨로지 그라운딩은 실제 비즈니스 질문에 대해 95.0%의 엄격한 정확도(strict accuracy)를 달성하여 문서 기반 검색-증강 생성(RAG)의 72.5%와 대조를 보였으며, 특히 정형 및 조합형(compositional) 태스크에서 두드러졌습니다. 이 시스템은 이미 배포되어 비용 절감 효과를 창출하고 있으며 다른 기업으로 복제될 수 있는 잠재력을 지니고 있습니다.
합성 연구 검증에서의 중대한 행동과 표상적 공정성
Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research
산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.
HyperBrowseComp: 웹 브라우징 에이전트를 위한 다국어 및 멀티모달 스트레스 테스트
HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents
본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.
전자의무기록(EHR) 정보 검색을 위한 지속 갱신형 벤치마크
A Living Benchmark for Information Retrieval from Electronic Health Records
대규모 언어 모델(LLM) 기반의 임상 어시스턴트가 전자의무기록(EHR) 시스템에 점차 통합되면서, 임상의가 환자 기록에서 정보를 검색하고 종합하는 방식을 변화시키고 있습니다. 이러한 시스템의 안전성과 유용성은 엄격한 평가에 달려 있지만, 기존 벤치마크는 수작업으로 큐레이션되어 업데이트 비용이 많이 들고 기술 발전에 따라 빠르게 구식화됩니다. 본 논문에서는 종단적 EHR 임상 기록으로부터 질의응답 쌍을 자동으로 생성하는 확장 가능한 프레임워크를 제시합니다. 19명의 임상의가 벤치마크 생성기를 검증하여 지속적으로 유지 관리할 수 있는 평가 데이터셋인 BRIE(Benchmark for Retrieving Information in EHRs)를 구축했습니다. 9개의 LLM과 5개의 추론(inference) 전략에 걸친 평가 결과, 최신 시스템들은 특히 여러 문서와 진료 기록 전반에 걸친 종합이 필요한 질문에서 임상적으로 중요한 정보를 빈번하게 누락하는 것으로 나타났습니다. 생성기 자체가 검증되었기 때문에, BRIE는 정적 벤치마크가 지원할 수 없는 평가를 가능하게 합니다. 여기에는 강건한 성능 평가를 위해 임상의의 추론 변동성을 반영하는 다중 답변 생성과, 데이터 유출(leakage)을 방지하기 위한 벤치마크 콘텐츠의 지속적인 갱신이 포함됩니다. 본 연구 결과는 확장 가능한 벤치마크 생성을 통해 빠르게 진화하는 의료 환경에 배포되는 임상 LLM에 대한 엄격하고 최신화된 평가가 가능함을 입증합니다.
학습된 컨텍스트 플래닝이 강력한 검색을 이기지 못할 때: 롱 컨텍스트 QA를 위한 플래닝, 라우팅, 리랭킹의 통제 연구
When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA
학습된 컨텍스트 플래닝(context planning)은 답변 모델(answer model)이 추론하기 전에 증거 단위(evidence atoms)를 선택한다. 본 연구에서는 강력한 검색(retrieval), 라우팅(routing), 예산 제한 선택기(budgeted-selector), 리랭킹(reranking) 통제 조건을 적용한 후에도 이러한 학습된 선택이 롱 컨텍스트 객관식 QA 성능을 향상시키는지 검증한다. 주요 진단 실험은 Qwen2.5-7B-Instruct를 사용하여 LongBench-v2의 객관식 문항 503개 전체에 대해 수행한다. 플래너(planner)는 학습 문항 140개와 개발 문항 28개에서 결과 기반으로 선택된 트레이스(trace)를 이용해 SFT로 학습되었으며, 503개 문항 분석에 이 문항들이 포함되므로 부분적으로 트랜스덕티브(transductive)하다. 18k 문자 예산에서 앵커드 하이브리드 검색(anchored hybrid retrieval)은 36.18%의 정확도를, BM25는 35.98%를 달성한 반면, 플래너 기반 직접 방식 중 최고 성능은 34.19%였다. 사용하지 않은 152개 문항의 테스트 분할에서도 앵커드 하이브리드가 더 높은 성능을 보였다(42.11% 대 36.84%). 누수 방지(leakage-safe) 라우터는 큰 오라클(oracle) 격차를 실제 성능으로 전환하지 못한다. 예산이 빠듯한 조건에서 최고의 플래너는 6k에서 0.40%p 앞서는 데 그치고 9k에서는 뒤처지며, 플래너 기반 리랭킹은 6k에서 +1.79%p의 추정치를 보이나 쌍체(paired) 신뢰구간이 0을 포함하고 9k에서는 통제 조건과 동률이다. 패킹 순서(packing-order) 및 점수 평탄도(score-flatness) 분석에서는 안정적인 메커니즘을 확인하지 못했다. 이 설정에서 학습된 플래닝은 강력한 검색을 대체하는 것이 아니라 약한 관련성 신호에 그친다.
LEGO: 법률 추론을 위한 Expert GraphRAG와 Expert Chain-of-Thought의 시너지
LEGO: Synergizing Expert GraphRAG and Expert Chain-of-Thought for Legal Reasoning
대규모 언어 모델(LLM)은 법률과 같은 고위험 영역에 점점 더 적용되고 있으나, 복잡한 법률 추론은 두 가지 구조적 난제로 여전히 제한된다. 첫째, 기존 RAG 및 GraphRAG 방법은 어휘적 또는 의미적 유사성을 강조하는 반면, 법조문 간의 규범적 관계를 간과한다. 둘째, 기본 사고의 연쇄(Chain-of-Thought) 프롬프팅은 법률 추론의 규범적 구조를 강제하지 않은 채 그럴듯한 근거를 생성할 수 있다. 법률 추론 영역의 파이프라인 병목을 해결하기 위해, 우리는 복잡한 법률 추론을 위해 Legal Expert GraphRAG와 expert Chain-of-thought를 상호 보완적으로 결합하는 이중 모듈 프레임워크인 LEGO를 제안한다. ExpertGraphRAG는 전문가 주석이 달린 민법 그래프에 이러한 규범적 관계를 인코딩하고, 탐욕적 규범 커버리지(normative-coverage) 검색 알고리즘을 사용하여 사례별 조문 부분 그래프를 동적으로 추출한다. 반면 ExpertCoT는 검색된 조문과 사건 사실을 구조화된 조문-사실-결론(Provision-Fact-Conclusion) 추론으로 구성한다. Qwen3-8B 백본을 사용할 때 LEGO는 LawExamQA_Civil에서 40.53% exact-match 정확도를 달성하여, 평가한 RAG 및 CoT 베이스라인을 능가하고 평가한 더 큰 모델들과 유사한 성능을 보이며, 다중 홉 질문에서도 견고성을 유지한다. 또한 개방형 벤치마크에서 평가한 베이스라인 중 최고 결과를 달성한다. 절제 연구(ablation studies)는 두 모듈의 개별적이고 상호 보완적인 기여를 확인하며, LLM의 복잡한 법률 추론 능력 향상에서 LEGO의 효과를 보여준다. 코드와 데이터셋은 다음 링크에서 확인할 수 있다: https://github.com/BLK-WHT/LEGO
토론
이 논문과 연결된 포럼 글이 아직 없습니다.