현대 엔터프라이즈 환경에서의 API 설계(Application Programming Interface Design)는 수많은 서비스 간의 일관성을 유지하면서도 신속한 기능 제공을 달성해야 하는 복잡한 아키텍처적 도전에 직면해 있습니다. 특히 API 오용(API Misuse)으로 인한 보안 취약성과 통합 실패는 수동적인 API 거버넌스(API Governance) 프로세스의 한계를 드러내며, 이를 해결하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용한 자동화된 접근 방식이 주목받고 있습니다. 본 연구에서는 구글의 API 개선 제안서(API Improvement Proposals, AIPs)를 학습하여 설계 표준을 체계적으로 인코딩한 AI 기반 API 생성 시스템을 구축하고 그 효용성을 검증하였습니다. 해당 시스템은 요구사항 해석, AIP 원칙 적용, 사양 생성의 3단계 워크플로우를 통해 리소스 모델링과 페이지네이션 패턴 등 핵심적인 설계 관례를 엄격하게 준수하도록 설계되었습니다.
제안된 방법론의 객관적인 평가를 위해 16명의 산업 전문가를 대상으로 '표기법의 인지적 차원(Cognitive Dimensions of Notations)' 프레임워크를 활용한 블라인드 테스트를 수행하여 AI와 인간의 설계 결과물을 심층 비교 분석하였습니다. 실험 결과, AI 시스템은 일관성(Consistency)과 침투성(Penetrability)을 포함한 11개 사용성 지표 중 10개에서 인간 설계자를 통계적으로 유의미하게 앞섰으며, 사양 작성 시간을 기존 대비 87% 단축하는 획기적인 효율성을 입증하였습니다. 특히 전문가들이 AI의 결과물을 인간의 것으로 오인하는 비율이 81%에 달했다는 사실은 AI가 생성한 API 사양이 이미 실무 전문가의 수준을 상회하는 완성도에 도달했음을 시사합니다.
그러나 연구 과정에서 발견된 '완벽함의 역설(Perfection Paradox)'은 AI의 지나친 일관성이 오히려 전문가들로 하여금 구조적 논리 결함이나 도메인 특화 오류를 간과하게 만드는 '정확성의 환상'을 유발할 수 있음을 경고합니다. 이러한 발견은 인간 디자이너의 역할이 단순히 명세서를 작성하는 초안 작성자(Drafter)에서 AI가 제안한 최적의 패턴을 도메인 맥락과 운영 제약에 맞춰 선별하고 정제하는 큐레이터(Curator)로 근본적으로 전환되어야 함을 시사합니다. 결국 미래의 API 설계 워크플로우는 루틴한 표준 준수와 거버넌스 집행은 AI에게 맡기고, 인간은 복잡한 비즈니스 로직과 전략적 아키텍처 결정에 집중하는 고차원적인 협업 모델로 진화할 것입니다. 결론적으로 본 연구는 인공지능이 API 설계의 품질과 생산성을 비약적으로 향상시킬 수 있는 강력한 도구임을 입증함과 동시에, 기술적 완벽함 속에서도 인간의 비판적 직관이 유지되어야 하는 새로운 협업의 지평을 제시합니다.
Code2World는 자율 그래픽 사용자 인터페이스(Graphic User Interface, GUI) 에이전트가 환경과 상호작용하는 방식을 혁신적으로 변화시키는 새로운 접근법을 제시합니다. 기존의 텍스트 및 픽셀 기반 방법론은 높은 시각적 충실도와 세밀한 구조적 제어를 동시에 달성하는 데 한계를 보였습니다. 이를 해결하기 위해 본 연구에서는 렌더링 가능한 코드 생성을 통해 다음 시각 상태를 예측하는 비전-언어 코더를 개발하였습니다. 특히, 데이터 부족 문제를 극복하기 위해, GUI 궤적을 고충실도의 HTML로 변환하고, 시각 피드백 수정 메커니즘을 통해 80,000개 이상의 고품질 화면-행동 쌍을 포함하는 AndroidCode 데이터셋을 구축하였습니다.
모델 최적화를 위해 두 가지 단계의 학습 전략을 채택하였습니다. 첫 번째 단계에서는 지도 학습 미세 조정(Supervised Fine-Tuning, SFT)을 통해 HTML 코드의 기초 구문을 학습하고, 두 번째 단계에서는 렌더-인식 강화 학습(Render-Aware Reinforcement Learning)을 적용하여 최종 렌더링 결과를 보상 신호로 사용합니다. 이러한 접근은 시각적 의미 충실도와 행동 일관성을 동시에 고려하는 복합 보상 함수를 통해 이루어집니다.
실험 결과, Code2World-8B는 UI 예측에서 최고의 성능을 기록하였으며, 경쟁 모델인 GPT-5 및 Gemini-3-Pro-Image와 견줄 만한 성과를 보였습니다. 특히, Code2World는 하위 탐색 성공률을 9.5% 향상시키는 등, 실질적인 성과를 달성하였습니다. 이러한 연구는 GUI 에이전트가 환경과 상호작용하는 방식을 보다 인간에 가까운 형태로 발전시킬 수 있는 가능성을 보여주며, 향후 연구에 중요한 기초 자료가 될 것입니다.
AI의 발전은 다양한 산업 분야에서 생산성 향상에 기여하고 있지만, 이러한 기술이 노동력의 기술 형성에 미치는 영향은 아직 명확히 이해되지 않았다. 본 연구는 AI 도구가 소프트웨어 엔지니어링 기술의 개발에 미치는 영향을 분석하고, 특히 초급 개발자들이 AI의 도움을 받을 때 기술 습득이 어떻게 변화하는지를 탐구하였다. 연구에서는 새로운 비동기 프로그래밍 라이브러리인 Trio를 활용하여 참가자들이 AI의 도움을 받으며 코딩 작업을 수행하도록 하였고, 이 과정에서 기술 형성을 평가하였다.
랜덤화 실험을 통해 AI 도구의 사용이 참가자들의 개념 이해, 코드 읽기 및 디버깅 능력에 미치는 영향을 분석한 결과, AI 보조 도구를 사용한 참가자들은 평균적으로 17%의 평가 점수 감소를 경험하였다. 특히, AI에 전적으로 의존한 참가자들은 생산성 향상을 보였으나, 라이브러리에 대한 학습은 저해되었다. 연구는 여섯 가지 AI 상호작용 패턴을 식별하였으며, 그 중 세 가지는 인지적 참여를 포함하여 AI 지원을 받더라도 학습 결과를 보존할 수 있는 가능성을 보여주었다.
이 연구의 주요 기여는 AI 도구의 사용이 초급 개발자들의 기술 형성에 미치는 부정적인 영향을 명확히 규명한 점이다. AI의 도움을 받는 것이 반드시 효율성을 높이는 것이 아니라, 오히려 기술 습득을 저해할 수 있음을 강조한다. 따라서 AI 도구의 활용은 신중하게 결정되어야 하며, 특히 안전이 중요한 분야에서는 더욱 그러하다. 이러한 결과는 AI 도구의 사용이 생산성을 높일 수 있는 잠재력을 지니고 있지만, 기술 형성을 유지하기 위한 전략적 접근이 필요함을 시사한다.
콘텐츠 모더레이션에서 콘텐츠 큐레이션에 이르기까지, 시각적 개념을 위한 비전 분류기(Vision Classifier)를 필요로 하는 응용이 빠르게 확장되고 있습니다.
기존의 인간-개입형(human-in-the-loop) 방법은 사용자가 처음부터 명확하고 안정적인 개념을 가지고 있다고 가정하지만, 실제로는 많은 사용자가 모호한 아이디어에서 출발해 점진적으로 개념을 다듬어 갑니다.
저자들은 콘텐츠 모더레이션 전문가와의 구조화 인터뷰를 통해 이러한 과정을 ‘개념 숙의(concept deliberation)’로 정리하고, 이를 지원하는 프레임워크인 Agile Deliberation을 제안합니다.
이 프레임워크는 개념이 고정되지 않고 주관적으로 변할 수 있다는 점을 전제로 하며, 사용자가 스스로 개념을 정의하도록 경계 사례(borderline cases)를 보여 주는 방식으로 동작합니다.
구체적으로는 개념 범위를 구조적 계층으로 분해하는 ‘개념 스코핑(concept scoping)’ 단계와, 의미적으로 경계에 있는 예시를 제시해 사용자의 피드백으로 분류기를 반복적으로 조정하는 ‘개념 반복(concept iteration)’ 단계로 구성됩니다.
또한 이 문제는 본질적으로 주관적이고 상호작용적이므로, 표준 벤치마크 대신 1.5시간씩 진행된 18개의 사용자 세션으로 프레임워크를 평가했습니다.
그 결과 Agile Deliberation은 자동 분해 기반 대비 F1 점수가 7.5% 높았고, 수동 숙의보다도 3% 이상 높았으며, 참가자들은 개념 이해가 더 명확해지고 인지적 부담이 줄었다고 보고했습니다.
대규모 소프트웨어 개발 환경에서 코드 붙여넣기는 단순한 입력 보조가 아니라, 이후의 편집 비용을 크게 좌우하는 중요한 작업이며, Google 내부 관찰에 따르면 코드 붙여넣기는 수동 타이핑보다 약 4배 더 자주 발생합니다. 이러한 상황에서 Smart Paste는 붙여넣기 직후 필요한 수정, 즉 재서식 지정, 이름 변경, 스타일 조정, 나아가 언어 간 변환까지 자동으로 제안하는 통합 개발 환경(Integrated Development Environment, IDE) 기능으로 제안됩니다. 핵심 방법론은 실제 개발자 행동에서 발생한 붙여넣기와 후속 편집을 로그로 복원하여 학습 데이터를 만들고, 수정이 필요한 경우와 아무 수정도 필요하지 않은 경우를 함께 다루도록 문제를 재정의하는 데 있습니다. 저자들은 파일 스냅샷과 편집 델타를 이용해 붙여넣기 이벤트와 관련 편집을 짝지었으며, 약 7백만 개가 넘는 24개 언어의 고품질 예제를 정제해 다언어 학습의 기반을 마련했습니다. 특히 후속 편집이 전혀 없는 붙여넣기 사례를 별도 예제로 포함함으로써, 모델이 언제 제안을 내야 하는지뿐 아니라 언제 아무 것도 하지 말아야 하는지도 배우도록 설계한 점이 인상적입니다.
모델 측면에서 Smart Paste는 언어별로 분리된 시스템이 아니라 하나의 통합 모델을 채택하고, 소형 Gemini 계열의 코드 사전학습 모델을 미세조정하여 unidiff 형식의 편집 출력을 생성하도록 구성됩니다. 입력은 붙여넣기 구간과 그 주변 문맥을 포함하며, 4096 토큰 예산 안에서 유용한 prefix와 suffix를 탐욕적으로 선택해 실시간 응답성과 문맥 활용 사이의 균형을 맞춥니다. 또한 학습 배치에는 약 30%의 no-edit 예제를 섞어 과잉 제안을 억제했고, 멀티언어 혼합 학습을 통해 Python 전용 모델보다 더 넓은 일반화 성능을 확보했습니다. 실제로 멀티언어 학습은 정확 일치(Exact Match)를 45.1%에서 49.0%로 끌어올려, 다양한 코드 도메인에 대한 포괄적 학습이 실용적 이득으로 이어짐을 보여 주었습니다. 추론 단계에서는 초기의 확률 임계값 필터를 점차 제거할 정도로 모델 신뢰도를 높였고, 이는 학습 성능 향상이 배포 정책의 단순화로도 연결될 수 있음을 시사합니다.
이 기능의 완성도는 모델만으로 결정되지 않았으며, 사용자 경험과 시스템 통합이 함께 설계되었다는 점이 이 논문의 중요한 기여입니다. 제안은 인라인 차이점(diff) 형태로 표시되어 개발자가 삽입, 삭제, 변경을 직관적으로 확인할 수 있게 했고, 2초 이상 제안을 유지하면 비타이핑 상황에서 수용률이 의미 있게 상승하는 등 인터페이스 설계가 실제 채택에 직접적인 영향을 주었습니다. 더 나아가 저지연 서빙을 위해 2:1 prefill:decode 비율의 분리형 추론 구조를 적용하여, IDE 내 상호작용의 흐름을 해치지 않도록 했습니다. 이러한 전체적 접근 덕분에 Smart Paste는 배포 후 45%의 수용률을 기록했으며, 수용된 제안은 회사 전체 코드 작성량의 1%를 넘는 비중을 차지했습니다. 결국 이 연구는 붙여넣기 후 편집이라는 일상적이지만 반복적인 문제를 데이터, 모델, 인터페이스, 서빙을 아우르는 제품형 인공지능으로 해결할 수 있음을 보여 주며, 실사용 환경에서의 AI 기능 개발이 어떤 방식으로 성과를 만들어내는지 잘 제시합니다.
AI 에이전트의 발전은 소프트웨어 개발 방식에 중대한 변화를 가져오고 있으며, 본 연구는 경험이 풍부한 소프트웨어 개발자들이 이러한 에이전트를 어떻게 활용하는지를 심층적으로 분석하고 있다. 연구는 두 가지 주요 방법론을 통해 진행되었으며, 첫 번째로 13명의 개발자에 대한 현장 관찰을 통해 실제 작업 환경에서의 에이전트 사용 패턴을 분석하였다. 두 번째로, 99명의 개발자를 대상으로 한 설문조사를 통해 그들의 동기, 전략, 감정 및 에이전트의 적합성에 대한 통찰을 수집하였다.
연구 결과, 경험이 풍부한 개발자들은 에이전트를 생산성 향상의 도구로 인식하면서도, 소프트웨어 품질을 유지하기 위해 에이전트의 출력을 신중하게 검토하고 검증하는 경향이 있음을 발견하였다. 이들은 에이전트를 사용할 때 신중한 계획과 감독을 통해 에이전트의 행동을 제어하는 전략을 채택하며, 이를 통해 최종 결과물의 품질을 보장하고자 한다. 또한, 에이전트는 잘 정의된 간단한 작업에 적합하지만, 복잡한 작업에는 한계가 있다는 인식을 가지고 있다.
개발자들은 에이전트를 사용함으로써 반복적인 작업에서 벗어나고 생산성을 높일 수 있다는 점에서 긍정적인 감정을 느끼고 있으며, 에이전트의 한계를 인식하고 그들의 전문 지식을 활용하여 에이전트를 제어하는 것이 중요하다고 생각한다. 이러한 연구 결과는 소프트웨어 개발의 품질을 유지하기 위한 에이전트 사용 가이드라인 개발에 기여할 수 있으며, 향후 에이전트 인터페이스 개선 및 에이전트 사용 모범 사례를 제시하는 데 중요한 기초 자료가 될 것이다.
본 연구는 경험이 부족한 개발자들에 대한 기존 연구와 차별화되며, 경험이 풍부한 개발자들의 에이전트 사용에 대한 심층적인 이해를 통해 소프트웨어 개발의 품질 향상에 기여할 수 있는 기회를 제시한다.
현대의 대규모 언어 모델(LLM)은 두 사람의 정신적 상호작용을 의미하는 'folie a deux'와 유사한 관계 역학을 형성함으로써 정신병적 개입에 기여할 수 있다는 주장을 담고 있다. Bateson의 이중 구속 이론, 공유 정신병적 장애에 대한 임상 문헌, McGilchrist의 반구 이론을 바탕으로, 높은 언어적 일관성과 근본적인 주체의 부재가 사용자에게 구조적 긴장을 유발하는 방식을 설명한다. 이러한 긴장은 언어가 대화 상대를 제안하는 반면, 직관은 공허함을 인식하게 되어, 감정적 필요나 불안정성의 맥락에서 사용자가 상상적 투사를 통해 갈등을 해결하도록 이끌 수 있다. 이 논문은 이러한 역학을 새로운 임상 보고서와 연결짓고, 그 전개 방식에 대한 현상학적 설명을 발전시킨다. 또한 현재의 참여 최적화 설계 선택이 이러한 위험을 악화시킨다고 주장한다. 마지막으로, 기술적으로 매개된 'folie a deux'를 완화하기 위한 필수 설계 원칙으로 '존재론적 정직성'을 제안한다.
Overhearing agents라는 새로운 개념은 현대의 대화형 대규모 언어 모델(LLM) 에이전트와는 다른 방식으로 인간-인공지능 상호작용을 탐구합니다. 기존의 LLM 에이전트는 사용자와의 직접적인 상호작용을 통해 작업을 수행하는 반면, overhearing agents는 사용자의 주의를 요구하지 않고 주변 활동을 지속적으로 모니터링하여 필요한 순간에만 개입하여 맥락에 맞는 지원을 제공합니다. 이러한 접근 방식은 사용자 경험을 향상시키고 AI와의 상호작용에서 자연스러움을 증가시키는 데 기여합니다.
본 논문은 overhearing agents를 독립적인 패러다임으로 분석하고, 이를 기반으로 한 상호작용 및 작업의 분류 체계를 수립합니다. 연구자들은 다양한 차원에서 overhearing agents를 분석하며, 이 과정에서 에이전트의 주도성, 입력 방식, 인터페이스, 상태, 시의성 및 상호작용 방식과 같은 주요 차원을 정의하였습니다. 이러한 분류 체계는 overhearing agents의 기능과 특성을 이해하는 데 중요한 역할을 합니다.
또한, 연구자들은 overhearing agents의 실제 구현 사례를 분석하고, 이들이 제공하는 효율성과 상호작용의 자연스러움을 평가하였습니다. 실험 결과는 사용자의 주의를 분산시키지 않으면서도 필요한 정보를 제공하는 능력을 입증하며, 다양한 입력 방식과 인터페이스를 통해 사용자 경험을 개선하는 방법을 제시합니다.
마지막으로, 연구는 overhearing agents의 설계 및 구현에 있어 사용자 경험 개선, 기술적 발전, 윤리적 고려사항과 같은 주요 과제를 강조합니다. 이러한 연구 방향은 overhearing agents의 발전을 위한 기초를 마련하고, AI와의 상호작용에서 혁신적인 변화를 이끌어낼 수 있는 기회를 제공합니다. 본 논문은 overhearing agents라는 새로운 패러다임을 제시하며, 향후 인간-인공지능 상호작용의 미래를 탐색하는 중요한 기초 자료로 자리잡고 있습니다.
AI 코딩 보조 도구의 교육적 통합은 프로그래밍 교육의 새로운 지평을 열고 있으며, 본 연구는 이러한 도구들이 초급 프로그래머의 학습 경험에 미치는 영향을 탐구하고자 하였다. 연구는 District University of Bogota의 객체 지향 프로그래밍(OOP) 수업에 등록된 20명의 학부생을 대상으로 진행되었으며, 학생들의 AI 도구에 대한 인식을 조사하기 위해 두 부분으로 구성된 시험을 실시하였다. 첫 번째 세션에서는 AI 지원을 받으며 프로그래밍 작업을 수행하고, 두 번째 세션에서는 AI 지원 없이 동일한 작업의 확장 작업을 수행하도록 하였다. 마지막으로, 익명 설문조사를 통해 학생들의 AI 사용 경험과 인식을 수집하였다.
데이터 수집은 리커트 척도와 개방형 질문을 포함한 설문지를 통해 이루어졌으며, 정량적 데이터는 기술 통계로 요약되고 개방형 응답은 주제 분석을 통해 반복되는 패턴을 식별하였다. 연구 결과, 학생들은 AI 도구가 코드 개념을 이해하고 초기 개발 단계에서 자신감을 높이는 데 유용하다고 응답하였다. 그러나 AI 도구 없이 작업할 때는 독립적인 문제 해결에 어려움을 겪어 기초 지식의 전이에 부정적인 영향을 미칠 수 있다는 점이 드러났다. 이러한 발견은 AI 도구의 효과적인 통합을 통한 새로운 교수법의 필요성을 강조하며, 학생들이 핵심 프로그래밍 기술을 향상시킬 수 있도록 돕는 방향으로 나아가야 함을 시사한다.
본 연구는 AI 코딩 보조 도구의 교육적 통합에 대한 이해를 심화시키고, 향후 교육 환경에서의 활용 방안을 제시하는 데 기여할 것이다. AI 도구가 학생들에게 유용한 지원을 제공하지만, 과도한 의존은 독립적인 학습을 방해할 수 있다는 점에서, 교육자들은 AI를 스캐폴딩 도구로 활용하고 독립적인 문제 해결 연습을 대체하지 않도록 설계된 활동의 중요성을 인식해야 한다. 이러한 통찰은 프로그래밍 교육의 미래 방향성을 제시하며, AI와 인간의 협력을 통해 더욱 효과적인 학습 환경을 조성할 수 있는 가능성을 열어준다.
인공지능(AI) 도구의 사용이 소프트웨어 개발 분야에서 점차 보편화됨에 따라, 이러한 도구가 개발자의 생산성과 경험에 미치는 영향에 대한 연구가 필요해졌다. 본 연구는 혼합 방법론을 통해 AI 도구의 효과를 Satisfaction(만족도), Performance(성과), Activity(활동), Collaboration(협업), Efficiency(효율성)의 SPACE 차원에서 평가하였다. 500명 이상의 개발자를 대상으로 한 설문 조사와 전문가 인터뷰, 관찰 연구를 통해 AI 도구의 채택이 개발자의 작업 흐름에 미치는 긍정적인 영향을 확인하였다. 특히, 개발자들은 AI가 반복적이고 단순한 작업에서 생산성을 높이는 데 기여한다고 응답했으나, 복잡한 문제 해결에는 여전히 한계가 있음을 지적하였다.
이 연구는 AI 도구의 사용 빈도와 팀 차원의 채택이 생산성 향상에 중요한 역할을 한다는 점을 강조하며, 조직 내에서의 지원과 동료 간의 학습이 AI의 가치를 극대화하는 데 필수적임을 보여준다. 또한, AI 도구의 효과적인 통합을 위해 팀 차원에서의 모범 사례 개발과 조직 차원의 투자 필요성을 제안하였다. 이러한 연구 결과는 AI 도구가 개발자를 대체하는 것이 아니라, 오히려 그들의 역량을 보완하고 향상시키는 데 기여하고 있음을 시사한다. 본 연구는 AI의 잠재력을 최대한 활용하기 위한 실질적인 전략을 제시하며, 소프트웨어 공학 분야에서의 AI 통합에 대한 중요한 통찰을 제공한다.
대형 언어 모델 기반 AI 에이전트는 외부 도구를 활용해 복잡한 다단계 작업을 자율적으로 수행할 수 있으나, 컴퓨터 사용, 소프트웨어 개발, 연구 등 대부분 분야에서 인간 수준의 성과에는 미치지 못합니다. 자율성과 외부 세계와의 상호작용 능력이 증가함에 따라, 잘못된 행동이나 적대적 조작과 같은 안전 및 보안 위험도 함께 증가합니다. 이에 인간의 감독과 통제를 결합한 인간-중심 에이전트 시스템이 불완전한 AI 시스템의 생산성을 높이는 유망한 방향임을 제안합니다. Magentic-UI는 다중 에이전트 구조 기반의 오픈소스 웹 인터페이스로, 웹 브라우징, 코드 실행, 파일 조작 등을 지원하며, 다양한 도구 확장을 위한 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)을 제공합니다. 또한 공동 계획(co-planning), 공동 작업(co-tasking), 다중 작업(multi-tasking), 행동 가드(action guards), 장기 기억(long-term memory) 등 6가지 상호작용 메커니즘을 통해 효과적이고 비용 효율적인 인간 개입을 가능하게 합니다. 다양한 평가를 통해 안전하고 효율적인 인간-에이전트 협업의 가능성을 확인하였습니다.
창작용 미디어를 생성하는 AI 시스템은 사람의 능력을 넓히는 동시에 창작 주체성을 약화할 위험도 있다. 핵심 문제는 앵커링이다. 사용자의 생각이 이미 완성도가 높은 생성 결과물에 고정되면, 사용자의 역할은 능동적인 창작자에서 결과물에 대응하는 편집자로 바뀐다. 본 연구는 미디어가 생성되기 전에 창작자가 AI의 해석을 살펴보고 수정하며 방향을 조정하도록 하는 기능을 제안한다. 이를 통해 첫 기준점을 사람이 설정할 수 있다. 네 가지 설계 원칙을 정립하고, 초기 개념 발상과 프로토타이핑을 위한 시스템 Proactive Co-Creator(PaCC)에 적용했다. PaCC는 확인 질문, 믿음 그래프, 미디어 속성을 통해 자신의 가정과 불확실성을 선제적으로 드러내고, 사용자가 최종 결과물을 생성하기 전에 AI의 해석을 조정하도록 한다. 소규모 단일군 탐색적 사용자 연구에서 PaCC를 설계 탐색 도구로 사용했다. 참가자들은 익숙한 프롬프트 기반 AI 도구와 비교해 전반적으로 주체성과 과정 통제감을 더 느꼈다고 응답했다. 드러난 가정 덕분에 미처 생각하지 못한 세부 사항을 검토할 수 있었다고 말했다. 소유감과 저작 주체에 대한 인식은 참가자마다 달랐다.
스크래치로 프로그래밍을 배우는 어린이는 디버깅 중 글이 많고 긴 설명이나 힌트를 이해하기 어려울 수 있다. 화면 공유나 카메라 데이터를 바탕으로 음성으로 상호작용하는 방식은 학습자를 지원하는 다른 방법이 될 수 있다. 이에 본 연구는 초등학교 5·6학년 학생이 생성형 AI 튜터와 음성으로 상호작용할 때의 응답 품질, 이용 방식, 학생의 인식을 살폈다. 이 학습 환경에서 멀티모달 생성형 AI 튜터의 품질과 사용 양상을 조사하는 것이 목표였다. 먼저 학생 없이 과제 8개를 진행한 예비 연구를 바탕으로 교실 평가 절차를 설계했다. 5·6학년 학생이 스크래치 수업을 6회 들은 뒤 교실 연구를 진행했다. 학생 23명에게 튜터 사용법을 소개했고, 학생들은 생성형 AI 튜터와 함께 과제 8개를 풀고 설문에 답했다. 예비 연구와 교실 연구에서 튜터의 응답은 이해하기 쉽고 실행 가능한 도움을 주었으며, 한 번의 응답으로 전체 해법을 알려 준 사례는 없었다. 그러나 교실 연구에서 오류 관련 대화 차례 603개 중 61.5%에서 튜터가 실제 오류를 놓쳤다. 예비 연구에서는 그 비율이 15.7%였다. 학생의 음성 프롬프트는 짧았고 대부분 튜터에게 답하는 내용이었다. 응답이 틀릴 수 있다는 안내 영상을 보여 주었지만, 학생의 39.1%는 튜터의 답이 항상 맞다고 믿었다. 멀티모달 생성형 AI 튜터를 사용하는 교육자와 학습자는 이해하기 쉽고 사람처럼 들리는 음성이 정확한 도움을 보장하지 않는다는 점에 유의해야 한다. 개발자에게는 화면 공유만으로 프로그램의 실제 상태에 맞는 응답을 보장하기 어렵다는 점을 시사한다.
대규모 언어 모델(LLM) 에이전트가 결과물을 만든 뒤 사용자는 결과물의 수정을 요청하는 경우가 많다. 본 연구는 LLM이 사용자가 요청을 보내기 전에 어떤 수정을 요구할지 예상할 수 있는지 살핀다. 요청을 미리 예측할 수 있으면 사용자가 검토하고 피드백하는 데 드는 노력을 줄일 수 있다. 이 과제를 편집 추천으로 정식화하고, WildChat-4.8M의 실제 대화 기록을 바탕으로 이 과제에서의 LLM 성능을 평가하는 EditRecBench를 구축했다. 벤치마크와 실패 분석을 통해 실제 환경에서는 본질적으로 예측하기 어려운 사례가 있음을 확인했다. 이를 해결하기 위해 의사결정 모델 기반 게이팅을 도입해, 예측이 맞을 가능성이 낮은 사례는 사용자에게 제시하기 전에 걸러 냈다. 학습한 모델은 기존 의사결정 모델의 성능을 앞섰으며, 특정 게이팅 임계값에서 사용자에게 제시한 제안의 pass@5를 12~25포인트 높였다. 코드는 https://github.com/ntt-dkiku/llm-edit-recommendation 에서 제공한다.
사용자와 코딩 에이전트 사이의 기록된 세션은 에이전트가 실제 과제를 완료하고 사용자와 상호작용하는 방식을 평가하는 데 쓸 수 있다. 그러나 새 에이전트가 다른 경로를 택하면 기록된 사용자 답변이 맞지 않을 수 있어, 세션을 그대로 재생할 수는 없다. 본 연구는 사용자의 의도와 이를 충족하는 기준, 의도가 생기는 조건을 모델링해 새 에이전트와 기록된 세션을 재현하는 SWE-WhatIf를 제안한다. 사용자 시뮬레이터는 이 모델을 사용해 원본 기록에 근거하면서도 처음 보는 에이전트 응답에 맞춰 답변을 생성한다. 실제 세션 89개에서 SWE-WhatIf는 실제 사용자의 답변과 가장 비슷한 답을 생성했으며, 세션을 다시 작성한 경우에는 가장 강한 기준선과 비슷한 성능을 보였다. 적응 능력을 시험하기 위해 기록된 세션에서 사용자가 만류한 행동을 피하거나 반복하도록 지시한 에이전트로 세션을 재현했다. SWE-WhatIf는 그런 행동을 피하는 쪽의 승률이 가장 높았고(66.3%), 우연 수준보다 유의하게 높았다. 코딩 에이전트로 사용한 LLM 5개에 순위를 매기는 데도 활용했다. 가장 높은 순위의 모델은 사용자가 의도를 어떻게 표현하고 발전시키는지에 따라 달랐다. 사용자 16명이 참여한 연구에서 자기 세션을 재현하자 14명의 순위 평가가 바뀌었으며, 결과는 향후 에이전트 사용에도 참고가 됐다.
인간 중심 인공지능과 데이터 과학(HCAD) 시스템에서는 사람의 개입을 절차에 포함하는 방식(HITL)이 점점 더 많이 쓰인다. 완전히 자동화한 머신러닝 알고리즘의 자동화 바이어스와 분야별 암묵지 반영의 한계를 극복하고, 예측 성능을 지속적으로 개선하기 위해서다. 인공지능 및 데이터 과학(AI&DS) 파이프라인을 반복해서 실행할 때 데이터 변환, 특징 선택, 특징 가중치 부여, 모델 선택에는 대개 사람의 많은 수고가 필요하다. 그래서 개발이 어렵고 시간이 오래 걸린다. 인지적 쌍대 비교(CPC) 프레임워크는 선호도와 우선순위를 구조화된 형식으로 이끌어 내는 인간 중심 방법론으로 제안됐다. 본 연구는 인간 중심 설계의 핵심 요소를 갖추기 위해 CPC를 확장해, 이러한 어려운 AI&DS 과제에서 사용자에게서 얻은 선호도를 체계적으로 정량화한다. 이 요소들의 사용성과 타당성을 보이기 위해 MovieLens 데이터셋으로 영화 추천 시스템에 적용한 사례들을 제시한다. 확장된 CPC 프레임워크가 지도학습, 차원 축소, 비지도학습 알고리즘에서 사람의 판단과 데이터 사이의 상호작용을 어떻게 지원하는지 보여 준다.
비전-언어 모델(VLM)은 과학 및 생의학 분야에서 뛰어난 멀티모달 능력을 보였지만, 뇌파(EEG) 신호를 이해할 수 있는지는 분명하지 않다. 본 연구는 범용 VLM이 과제별 특징 설계나 뇌파 전용 적응을 거치지 않고 최소한으로 처리한 채널별 뇌파에서 정보를 추출하고 추론할 수 있는지 평가하는 벤치마크 EEGProbe를 소개한다. 뇌파 신호 분류, 뇌파의 교차 모달리티 정렬, 뇌파의 신경생리학적 추론이라는 세 역량과 13개 하위 과제에 걸쳐 뇌파 관련 질문 620개를 포함한다. 지름길만으로 답하는 경우를 줄이기 위해 가능한 한 기록의 시간 구조를 보존하고, 벤치마크 구축에 따른 신호 처리를 최소화한다. 신호가 없으면 답할 수 있는지 검사한 뒤 전문가가 검증한다. 대표적인 공개 및 비공개 VLM 11개를 동일한 제로샷 절차로 평가했다. 최고 성능 모델인 GPT-5.6 Sol의 종합 점수는 41.63%에 그쳤으며, 뇌파의 교차 모달리티 정렬이 주요 병목이었다. 신경생리학 관점에서 모델 동작을 검토하고 뇌파의 시간적, 분광적, 공간적, 생리학적 구조가 모델의 성공과 실패에 어떻게 관련되는지 분석했다. 추론 시 신경생리학 지침을 주면 모델이 입력에서 패턴을 알아보고 관련 신경학 지식과 연결할 수 있어 예측이 달라진다. 이를 통해 일반 멀티모달 역량과 뇌파 이해 능력 사이의 격차를 줄일 수 있다. EEGProbe는 현재 VLM의 시험 환경이자 뇌파 근거를 더 신뢰성 있게 해석하는 후속 멀티모달 모델을 개발하는 토대다. 벤치마크는 https://huggingface.co/datasets/2122ZHU/EEGProbe 에 공개할 예정이다.
GUI 에이전트는 웹 과제를 완수했는지로 평가하는 경우가 늘고 있다. 그러나 겉으로 과제를 완료해도 중요한 실패를 놓칠 수 있다. 탐색 중에 확인한 근거가 최종 답을 뒷받침하지 않을 수 있기 때문이다. 본 연구는 GUI 에이전트가 관측 가능한 웹 근거에 기반해 판단하는지 평가하는 EVIDENT를 소개한다. 의미 근거 확인, 문맥 추론, 시각 근거 확인에 걸친 실제 영어 및 한국어 과제 220개를 포함한다. 각 과제에는 무엇을 검증해야 하는지 사람이 정리한 근거 메타데이터가 붙는다. 세 평가지표 TSR, ESR, GSR로 겉으로 드러난 완료와 근거에 기반한 성공을 구분한다. 각각 결과의 성공 여부, 필수 근거 관측 여부, 개별 주장이 근거로 뒷받침되는지를 측정한다. 상용 및 오픈소스 GUI 에이전트 실험에서 겉으로 드러난 성공과 근거에 기반한 성공 사이에 큰 격차가 나타났다. 특히 문맥과 시각 정보를 다루는 과제에서 격차가 컸다. 현재 평가가 에이전트의 신뢰성을 과대평가할 수 있으며, 답을 했는지에 더해 실제로 검증했는지도 평가해야 함을 보여 준다.
사람 손의 운동학을 연속적이고 정확하게 추정하는 일은 직관적인 인간-기계 상호작용에 중요하다. 또한 체화 지능 데이터셋과 정교한 로봇 조작 학습에서 행동 감독에 사용할 수 있도록 사람의 세밀한 조작 시연을 기록하는 데도 중요하다. 그러나 작동 조건이 달라지면 단일 센싱 모달리티만으로는 신뢰할 만한 추정이 어려울 수 있다. 본 연구는 손가락에 장치를 부착하지 않고 1인칭 RGB 이미지와 전완부의 128채널 고밀도 표면 근전도(HD-sEMG)로 손 관절 각도 20개를 연속적으로 회귀 추정하는 멀티모달 프레임워크를 제시한다. 비전 트랜스포머 기반 시각 인코더, 트랜스포머 기반 근전도 인코더, 자유도(DoF)별 쿼리를 사용하는 트랜스포머 융합 디코더를 결합한다. 관절 자유도와 입력 조건에 따라 시각 단서와 근전도 단서가 제공하는 정보량이 다르다. 이를 반영해 디코더는 자유도마다 학습 가능한 쿼리를 별도로 배정하며, 두 모달리티를 자유도와 입력 문맥에 맞춰 융합한다. 참가자 10명에게서 동기화해 수집한 멀티모달 데이터로 평가했다. 참가자 평균으로 제안 융합 모델은 결정계수($R^2$) $0.88$, 평균 절대 오차(MAE) $2.80^\circ$를 기록했다. 영상만 사용한 모델은 각각 $0.82$와 $3.21^\circ$, 근전도만 사용한 모델은 $0.68$과 $5.13^\circ$였다. 제안 모델은 평가에 포함한 대표적인 단일 모달리티 기준선과 다른 융합 설계보다도 성능이 높았다. 자유도별 분석에서는 시각 정보만으로 구분하기 어려운 관절과 관측 조건에서 융합의 개선 폭이 더 컸다. 인위적으로 영상의 일부를 가리는 실험에서도 영상만 사용한 추정보다 강건했다. 이러한 결과는 사람 손의 세밀한 운동학 정보를 포착할 때 1인칭 영상과 전완부 HD-sEMG가 서로 보완적이며, 사람의 시연 수집과 정교한 로봇 조작 학습에 활용할 수 있음을 보여 준다.
AI 에이전트는 사회에 영향을 미치는 환경에 점점 더 많이 배포된다. 그러나 기존 평가는 다양한 상호작용에서 에이전트의 행동이 의도된 특성과 일관되는지 충분히 보증하지 못한다. 본 연구는 사회적 환경에 배포한 AI 에이전트의 행동 일관성을 측정하는 평가 프레임워크를 제시한다. 측정 가능한 다섯 축으로 에이전트 행동을 정의하고, 사회적으로 중요한 상호작용 환경 여섯 가지를 아우르는 표준화된 평가 모음으로 행동 차이, 일관성, 드리프트를 평가한다. 통제된 페르소나 설정을 실험의 기준으로 사용한다. 이로써 의도한 행동 차이가 말투 차이로만 나타나는지, 여러 상황에서도 유지되는지 체계적으로 시험할 수 있다. 초기 분석에서 설정 간 측정 가능한 차이를 확인했으며, 행동 프로필과 상호작용 결과 사이의 연관성도 관찰됐다. 페르소나 설계에서 행동 보증으로 평가의 초점을 옮겨, 사용자가 에이전트를 접하는 여러 상황에서 에이전트가 의도대로 일관되게 행동하는지 측정할 기반을 제공한다.