불충분하게 명시된 지시는 LLM 에이전트가 무엇을 할지 스스로 결정하도록 남겨 둔다. 공공서비스에서는 직원이 이러한 지시를 작성하지만, 에이전트의 결정은 주민, 환자, 학생에게 영향을 미친다. 우리는 파일에서 확인할 수 있는 기록과 의사결정 수단을 갖춘, 전문가가 검증한 네 개의 공공서비스 시나리오를 구축하고, 네 가지 프롬프트 조건에서 열 개의 LLM으로부터 $2{,}400$개의 궤적을 수집하여 문맥이 없는 샌드박스에서의 $1{,}000$회 실행과 비교한다. 에이전트는 개방형 실행의 $96.9\%$에서 기록을 읽지만, 산출물이나 스스로 선택한 작업을 생성하는 비율은 $18.7\%$이며, 명시적 작업이 주어지면 $86.0\%$가 산출물을 생성한다. 도메인 문맥은 산출물을 생성하는 실행의 수를 바꾸지 않으며($18.7\%$ 대 $16.0\%$), 모델의 산출 순위는 대체로 유지되는 반면(스피어만 $0.79$), 모델이 기록을 읽는지 여부에 따른 순위는 그렇지 않다($0.19$). 문맥은 실행당 경계 탐색 턴을 $60\%$ 줄이며, 일부 산출물은 기록과 모순된다. 우리는 공공서비스 기관이 조달 전에 자체 기록으로 수행할 수 있는 테스트를 제시하며, 이 테스트의 규칙 기반 분류 체계는 레이블된 데이터가 필요 없고, 시나리오, 코드, 궤적을 공개한다.
무엇이 이미지를 창의적으로 만드는가? 이는 매우 주관적인 판단처럼 보일 수 있지만, 심리학 연구는 창의성이 참신성, 놀라움, 각성과 같은 일련의 근본적인 창의성 차원에 기반할 수 있음을 시사한다. 이미지 창의성에 대한 더 깊은 이해는 연구와 실용적 응용 모두에 도움이 될 수 있다. 인간 관찰자가 이미지 창의성을 평가할 때 창의성 차원을 어떻게 사용하는지 탐구하면, 대상 이미지에 대한 인간 평가 창의성을 자동으로 예측할 수 있을 것이다. 우리는 (1) 이미지의 참신성, 놀라움, 각성 창의성 차원의 강도를 예측하고, (2) 이러한 창의성 차원 강도를 결합하여 이미지 창의성 점수를 추정함으로써 이미지의 지각된 창의성을 추정하는 새로운 프레임워크를 제시한다. 이미지의 세 가지 창의성 차원에 대한 강도를 추정하는 지도 기계학습 모델을 학습시킬 데이터를 수집하기 위해 Amazon Mechanical Turk에서 통제된 인간 피험자 실험을 수행하였다. 최종 기계학습 모델은 예측된 차원 강도를 입력으로 받아 추정 이미지 창의성 점수를 산출한다. 결과는 우리가 추정한 창의성 점수가 시험한 이미지에 대한 인간의 창의성 평가와 통계적으로 동등함을 보였다. 본 연구의 새로운 기여는 다음과 같다. (1) 이미지 창의성을 추정하는 데 사용되는 세 가지 심리학적 창의성 차원의 식별 및 검증, (2) 입력 이미지의 참신성, 놀라움, 각성 강도를 자동으로 추정하는 지도 기계학습 모델, (3) 입력 이미지의 참신성, 놀라움, 각성 강도로부터 창의성 점수를 예측하는 지도 기계학습 모델, (4) 우리 접근법의 정확성, 장점, 한계를 확인하기 위한 실험 방법.
신뢰성에 대한 우려에도 불구하고 사람들은 의사결정에 대화형 AI 시스템을 점점 더 많이 사용하고 있다. 사람들은 다중 턴 대화에서 AI 시스템의 정확도에 얼마나 잘 맞추어 의존도를 조정하는가? 본 연구는 AI 어시스턴트가 도움이 되는 경우(정확도 100%), 도움이 되지 않는 경우(정확도 0%), 혼합된 경우(정확도 50%)로 달리하면서, 반복된 상호작용에 걸쳐 LLM의 조언에 대한 사람들의 의존이 어떻게 변하는지 측정한다. 4개의 실험 전반에서, 사람들은 도움이 되는 모델을 도움이 되지 않는 모델보다 더 신뢰하게 되지만(각각 67% 대 21%), 이는 모델의 정확도에 대한 외부 피드백을 받을 때에만 해당한다. 피드백이 없으면 사람들은 일관되게 도움이 되지 않는 모델에게 48%의 경우 계속 설득되었다(도움이 되는 모델은 38%). 도움이 되는 모델에 대한 신뢰가 쌓이기보다는, LLM 조언자에 대한 참가자의 의존이 초기 시행에서 높았고 부정확하다는 증거가 나타나야 비로소 감소하는 경향이 있었다. 참가자들은 LLM 조언자를 인간 조언자보다 더 신뢰하였으며(83% 대 65%, 실험 4), LLM은 인간보다 도움이 되는 이력으로부터 더 큰 이득을 보았다. 이전 연구와 달리, 진실을 주장하는 것이 거짓을 주장하는 것보다 유리하다는 증거는 제한적이었다. 진실의 이점은 참가자가 이미 자신의 입장에 매우 확신하는 경우에만 나타났으며, 정적 힌트에서는 전혀 나타나지 않았다. 종합하면, 이 결과는 사람들이 시의적절한 정답 피드백에 접근할 수 없는 한, 일관되게 틀린 LLM의 조언에도 흔들릴 수 있음을 시사한다. 안타깝게도 많은 분야에서 이러한 피드백은 이용할 수 없을 수 있으며, 이는 AI에 대한 과의존으로 이어진다.
앰비언트 인공지능(AI) 스크라이브는 실험적 시범 운영 단계에서 보건의료 시스템 전반의 전사적 도입 단계로 빠르게 전환되었으며, 문서화 부담 감소와 임상의 경험 개선을 약속한다. 이러한 도구를 평가하는 연구가 빠르게 늘고 있으나, 성능 평가를 위해 합의된 프로토콜이나 표준화된 지표가 없어 연구 간 결과를 비교하거나 근거를 누적적으로 종합하기가 어렵다. 최근 54편의 평가 연구를 분석한 결과, 10개의 평가 차원과 40개의 서로 다른 지표를 확인하였으며, 이 지표들은 96가지 방식으로 조작적으로 정의되었고 그중 35가지(36%)는 단일 연구에서만 사용되었다. 평가는 문서화 효율과 시간에 치우쳐 있으며, 이는 54편 중 44편에서 측정되었다. 나머지 차원은 대체로 비슷한 비율(각 16~24편)로 나타났고, 안전성과 임상 결과는 그중에서도 가장 일관성 없게 다루어졌다. 환자의 진료 결과에 미치는 영향, 업무의 재분배, 청구 및 코딩 강도의 변화, 다른 임상의의 노트 후속 활용 등 더 넓은 진료 체계에 대한 파급 효과는 거의 평가되지 않는다. 더욱이 사용된 지표는 자기보고에 크게 의존하고 파편화되어 있으며 조작적 정의가 일관되지 않아, 연구 간 비교 가능성이 제한되고 종합이 어렵다. 보다 엄밀하고 누적적인 평가를 지원하기 위해, 본 논문은 의료 환경에서 앰비언트 AI 스크라이브를 평가하는 데 흔히 쓰이는 연구 설계, 데이터 출처, 지표를 검토하고, 현행 평가 관행의 한계를 논의하며, 표준화된 다차원 지표 집합에 기반한 보다 총체적인 접근을 주장한다.
미국을 비롯한 전 세계의 지역 사회가 AI의 물리적 기반 시설인 데이터센터에 이의를 제기하고 있다. 이러한 분쟁은 환경 정의 문제를 제기한다. 주민들은 지표, 기업의 주장, 정책 문서, 공개 증언에 흩어져 있는 증거를 사용하여 고르지 않게 분포한 부담을 따져 보아야 한다. 10명의 사용자를 대상으로 한 형성적 연구에서, 대시보드와 단일 에이전트 AI는 사람들이 증거를 검토하기도 전에 문제를 결론짓게 할 수 있음이 드러났다. 본 논문은 상호작용형 지도, 검색된 증거, 누락 데이터 진술, 그리고 사람들이 증거를 검토하고 스스로 정책 제안을 형성할 수 있게 하는 두 이해관계자 페르소나를 연결하는 출처 기반 시스템 EJAI를 제시한다. 21개 질의의 소규모 기능 벤치마크에서 검색된 증거는 사실 주장의 98.4%를 뒷받침했으며, 시스템은 33건 중 32건에서 증거 누락을 인정했다. 페르소나 정렬에는 근거성 비용이 따랐는데, 기업 임원 페르소나는 자신에게 부여된 우선순위와 충돌하는 일부 증거를 누락했다. 피험자 내 연구에서 주민 역할을 맡은 15명의 참가자가 모의 타운홀을 준비했다. 일부는 지도 지표를 공식 자료로 간주하면서 인용된 AI 주장을 확인했고, 일부는 물 사용량 공개와 같은 안전장치를 갖춘 조건부 제안을 했으며, 일부는 페르소나가 단순화되었거나 편향되었다고 보았다. 본 연구 결과는 시민 AI가 증거, 공백, 불일치를 검토할 수 있게 열어 둘 때 공적 추론을 위한 준비를 지원할 수 있으며, 코퍼스 불균형과 양측 페르소나가 여전히 해결되지 않은 정의 문제로 남아 있음을 시사한다.
개인 이메일 에이전트는 모든 메시지에 대해 그 유형과 긴급도, 그리고 답장 초안을 작성할지, 작업을 만들지, 무시할지를 결정한다. 실제 운영에서는 이러한 결정이 생성형 LLM이나 규칙에 맡겨지며, 저장된 라벨을 시스템 스스로 작성했기 때문에 오류율이 거의 측정되지 않는다. 본 논문은 자체 호스팅 개인 받은편지함 에이전트 Foyer와, 학습 이전에 정답 데이터를 만들어 내는 측정 프로토콜(층화 표집, 고정된 스냅샷, 스레드 단위 분할, 비밀 정보 삭제, 검토 루프 내 사람 라벨)을 기술한다. 이탈리아어와 영어로 된 이메일 231건에서 저장된 운영 환경 유형, TF-IDF + 로지스틱 회귀 기준선, 로컬 및 호스팅 유형화된 결정 모델(Tev1, Nimble, Jeva, Jev), 생성형 LLM의 11개 시스템을 비교한다. 네 가지 결과를 얻었다. 저장된 운영 환경 유형은 다수 클래스 57%에 비해 28%의 점수를 기록한다. 약 200개의 라벨이 있으면 로지스틱 회귀는 모든 필드에서 가장 높은 점 정확도(다섯 시드에 걸친 유형 0.77 +/- 0.02)를 1000분의 1의 지연 시간으로 달성하지만, 모든 필드에서 적어도 하나의 호스팅 모델은 이와 통계적으로 구별되지 않는다(정확 McNemar 검정, Holm 보정). 생성 모델은 텍스트로부터 발신자와 소유자의 관계를 부분적으로 복원하며(0.60), 발신자가 이전에 등장한 경우 연락처로부터의 상속은 98.6% 정확하다. 따라서 이는 프롬프트가 아니라 연락처 그래프에 속한다. 이메일별 정확도는 제품 지표가 아니다. 행동으로 합성하면 분류기는 조치가 필요했던 이메일의 18%를 무시하는 반면 최고의 생성 모델은 4%를 무시한다. 비용에 따라 선택한 임계값은 이를 10%로 줄여 호스팅 결정 모델의 값과 구별되지 않게 하며, 적대적 코퍼스에서 임계값을 적용한 분류기는 누락 이메일 가격이 4를 넘는 구간에서 가장 저렴한 시스템이다. 두 명의 블라인드 주석자는 유형에 대해 kappa 0.81과 0.86으로 기준과 일치한다. v4는 v1-v3에서 잘린 코퍼스로 계산된 임계값 결과를 정정한다.
AI와 함께한 작업은 언제까지 우리 것으로 느껴지는가? AI가 일상적인 과업에 스며들면서, 기계가 우리가 만드는 결과물의 생산에 함께 참여할 때 소유감과 기여감이 어떻게 달라지는지 살펴볼 필요가 있다. 본 연구는 탐색적 질적 설문조사를 보고하며, 참가자들에게 AI와 함께 완료한 최근의 과업 두 가지, 즉 자신의 것으로 느껴진 과업과 그렇지 않았던 과업을 직접 선택해 서술하도록 하였다. 연구 결과, 체감된 소유감은 협업 과정에 좌우되었다. 사람들은 AI의 제안을 단순히 승인할 때는 작업을 자신의 것으로 여기지 않았으나, 주도하거나 반복 수정하거나 다시 쓸 때는 소유감을 유지하였다. 소유감은 프로젝트의 비전은 자신이 가졌지만 실행은 그렇지 않은 상황으로도 확장될 수 있었으며, 응답자들은 AI 없이는 완수할 수 없었던 과업에서도 높은 소유감을 보고하였다. 개인적 목소리의 상실과 결과물에 대한 이해 부족은 모두 소유감을 약화시켰다. 마지막으로, AI 사용을 공개하려는 의향은 실제 자부심이나 소유감과 분리되는 경우가 많았으며, 대신 공동체 규범과 기여 인정이 지워지는 데 대한 두려움에 의해 형성되었다. 이러한 결과를 바탕으로, 사람들이 자신의 삶에 대해 갖는 저작자로서의 감각을 지원하는 AI 개발을 촉진하기 위한 여러 연구 방향을 제안한다.
Large language models (LLMs) are widely used to answer users' information needs: users ask LLMs about the weather, pose educational questions, and consult them for legal assistance. One particularly understudied area is digital security and privacy (S&P), where users may seek LLMs' help on how to secure their online accounts or protect their computers from cyber attacks. To the best of our knowledge, no prior study has collected or analyzed the S&P questions users ask LLMs; prior research on LLM response quality relied on expert-authored S&P misconceptions or FAQs rather than user queries. Drawing from WildChat, a dataset of 3.2M user-LLM conversations collected in the wild, our study identifies 14,727 S&P prompts and categorizes them into nine categories covering a wide range of S&P topics. We sampled 450 S&P prompts, and performed a thematic analysis to characterize the S&P questions users ask LLMs. Separate from the thematic analysis, we curated 270 advice-seeking S&P prompts, where users ask for recommendations, guidance, or specific S&P information. We measured LLM response quality and consistency when posing each prompt to the LLMs 10 times. We found that commercial LLMs outperform open-weight models (GPT 5.5 provided "good enough" responses on 98% of prompts; Llama 4 on 47%). However, among prompts that received high-quality responses on average, commercial models sometimes produce semantically inconsistent responses across runs (some are contradictory, and others are different in specificity), thereby risking confusing or misleading users.
중매와 같은 관계 영역에서의 사회적, 개인적 결정은 문화적 규범 및 역사적 위계와 깊이 얽혀 있으며, 궁합, 수용성, 안정성에 대한 알고리즘 및 AI 매개 평가의 영향을 받을 수 있다. 남아시아 맥락에서 카스트는 여전히 혼인 결정의 핵심적 요소이지만, 현대 대규모 언어 모델(LLM)이 이러한 환경에서 카스트 기반 계층화를 어떻게 재생산하거나 해체하는지는 거의 알려져 있지 않다. 본 연구에서는 실제 혼인 프로필을 사용하여 LLM이 매개하는 중매 평가에서의 카스트 편향에 대한 통제된 감사를 수행한다. 브라만, 크샤트리아, 바이샤, 수드라, 달리트에 걸쳐 카스트 정체성을 달리하고 다섯 구간에 걸쳐 소득을 달리하며, 다섯 개의 LLM 계열(GPT, Gemini, Llama, Qwen, BharatGPT)을 평가한다. 모델은 카스트가 확인된 예비 신부 또는 신랑의 관점에서 사회적 수용성, 결혼 안정성, 문화적 적합성의 차원에 따라 프로필을 평가하도록 프롬프트된다. 분석 결과 모델 전반에서 일관된 위계적 패턴이 드러난다. 동일 카스트 간 결합이 가장 호의적으로 평가되어 평균 평점이 (10점 척도에서) 카스트 간 결합보다 최대 약 30% 높았으며, 카스트 간 결합은 전통적 카스트 위계에 따른 거리에 의해 추가로 순서가 정해지고, 동일한 거리에서는 대체로 높은 카스트의 후보가 선호되며 달리트 후보에게는 추가적인 불이익이 있었다. 이러한 결과는 기존의 카스트 위계가 관점 조건부 LLM 평가에서 어떻게 재생산되는지를 보여주며, 이러한 시스템이 역사적 형태의 배제를 강화할 위험이 있는 사회적으로 민감한 영역에 배치되는 AI 시스템에서 문화에 기반한 평가 및 개입 전략이 필요함을 강조한다.
생성형 인공지능(GenAI)은 이제 고등교육에서 흔히 쓰이지만, 지도 없는 사용은 학습에 해로울 수 있다. 대학들은 학생들에게 해답이 아닌 학습을 위해 GenAI를 사용하도록 요구하는 정책으로 대응해 왔으나, 이러한 정책을 어떻게 수업 지도로 옮길 것인지는 아직 검증되지 않았다. 본 연구에서는 입문 프로그래밍 수업에서 두 문장짜리 알림(조건 1)부터 여러 단계의 구성적 과제(조건 4)에 이르는 네 가지 교수 접근법을 비교한 무작위 대조 시험을 학기 말 6주 후 추적 조사와 함께 보고한다(N = 431). 그 결과는 다음과 같다. (1) 네 가지 접근법 모두 학습 지향적 프롬프팅의 향상을 가져왔으며, 이는 6주 후에도 지속되었고 설계된 참여 수준에 따라 8~51퍼센트포인트까지 커졌다. (2) 모든 조건의 학생들이 지속적인 자발적 사용을 보고했으며 자신감은 기술과 함께 성장했다. (3) 기말고사 성적은 조건 간에 차이가 없었으며, 이는 효과의 한계가 프롬프팅 기술에서 성취로 이어지는 경로에 있을 가능성을 시사한다. 이러한 결과는 교수자에게 GenAI 사용 정책을 수업 실천으로 옮기기 위한 경험적으로 보정된 선택지들을 제공한다.
비전-언어 모델은 이미지-텍스트 입력으로부터 사회적으로 중대한 판단을 점점 더 많이 내리고 있으나, 현재의 평가는 흔히 판정 수준의 정확도, 즉 최종 레이블이 인간과 일치하는지에서 멈추고 그것이 올바른 근거에서 도출되었는지는 보지 않는다. 본 논문은 하나의 설계 선택, 즉 각 이미지를 여러 행동 시나리오와 짝지어 모델이 이미지를 따로따로 채점하는 대신 서로 다른 행동이 동일한 시각적 맥락과 어떻게 상호작용하는지 비교하도록 하는 방식에 기반한, 근거 기반 도덕 판단 벤치마크 MM-SCALE(Multimodal Moral SCALE)를 소개한다. MM-SCALE은 8,444개의 이미지 맥락과 21,977개의 행동 시나리오를 포함하며, 각각 5점 척도의 도덕적 수용성 평점과 인간의 판단이 텍스트, 이미지, 또는 둘 모두에 의존했는지를 나타내는 모달리티 근거 레이블이 주석되어 있다. 세 가지 과제는 모델이 (i) 보정된 스칼라 도덕 점수를 부여하는지, (ii) 공유된 시각적 맥락 내에서 인간의 순서를 보존하는지, (iii) 인간이 판단에 결정적이라고 본 근거 출처에 판단 근거를 두는지를 평가한다. 모델 전반에서 집계 지표는 정렬 정도를 과대평가한다. NDCG@5는 모델 전반에서 높게 유지되는 반면, 인간 평균 평점이 최소 1점 차이 나는 시나리오 쌍에서조차 이미지 내 쌍별 정확도는 0.53-0.62에 그친다. CoT는 보정에 일관되지 않은 영향을 미치며 이미지 내 순서를 안정적으로 개선하지 못한다. 근거 기반 평가는 또한 모델이 시각적 맥락을 묘사하면서도 이를 판정에 결정적인 요소로 삼지 않는 경우가 많음을 보여준다. 이러한 결과는 현재 VLM의 근거 기반 판단 실패를 드러내며, MM-SCALE을 공유된 이미지 맥락에서의 도덕 판단을 위한 평가 테스트베드로 자리매김한다. 이 데이터셋은 잠재적으로 유해하고 민감한 시각적 콘텐츠를 포함한다. 이미지는 오로지 평가 목적으로만 사용되도록 의도되었다.
Do people apply different norms to humans and large language models acting on their behalf? Evidence from norm elicitations in two canonical economic games
대규모 언어 모델(LLM)에 작업을 위임하면 시간을 절약할 수 있지만, 이러한 모델에 작업을 떠넘기는 것이 사회적 비용을 초래한다는 증거가 늘고 있다. 우리는 사람들이 인간과 자신을 대신하여 행동하는 LLM에 서로 다른 규범을 갖는지 연구하기 위해 두 가지 대표적 경제 게임에서 행동의 적절성을 도출한다. 구체적으로, LLM이 우리를 대신하여 자원을 분배할 때(독재자 게임과 최후통첩 게임)와 자원 분할의 공정성을 평가할 때(최후통첩 게임)에 대해, 가능한 행동 스펙트럼의 사회적 적절성을 연구한다. 사회적 적절성 평가의 변화 가능성을 탐지하기 위해 Krupka-Weber 규범 도출 과제를 사용한다. 영국과 미국의 대표 표본(N = 2,658)을 사용한 사전등록된 두 인센티브 실험 연구의 결과는 세 가지 핵심 발견을 보여준다. 첫째, 독재자 게임에서 독재자가 인간이거나 인간을 대신하는 LLM일 때 가장 사회적으로 적절한 배분은 동일 분할로 유지되지만, 자기 이익적 배분은 LLM이 실행할 때 덜 적절하다고 평가된다. 둘째, 최후통첩 게임에서 LLM 제안자의 제안을 거부하는 것은 동일한 제안을 인간 제안자로부터 거부하는 것보다 더 적절하다고 평가되며, 이 차이는 비교적 관대한 제안에 집중된다. 마지막으로, LLM 응답자가 실행한 거부 결정은 인간 응답자가 실행한 동일한 거부 결정보다 덜 적절하다고 평가되지 않는다. 사후적으로, 이러한 패턴은 사람들이 조사된 자원 배분 시나리오에서 LLM에 제한적 행위 주체성을 부여한다는 관념과 일치한다. 본 연구 결과는 AI 시스템 설계에 시사점을 갖는다.
알고리즘이 경쟁적 의사결정을 점점 더 매개함에 따라, 그 영향은 개별적 결과를 넘어 전략적 시장 역학을 형성하는 데까지 확대된다. 우리의 실험에서는 유일하고 비담합적이며 분석적으로 추적 가능한 균형을 가진 고전적 경제 게임에서 알고리즘 조언이 인간의 행동에 어떤 영향을 미치는지를 조사하였다. 참가자(N = 129)는 균형에 부합하거나 전략적으로 편향된 알고리즘 추천을 받으며 쿠르노 수량 경쟁을 수행하였다. 개별화된 균형 조언은 안정적인 수렴을 뒷받침한 반면, 담합적으로 하향 편향된 조언은 지속적인 과소 생산과 초경쟁적 이윤으로 이어졌으며, 이는 암묵적 담합의 특징이다. 참가자들의 수량은 집단적 균형 조언보다 개별화된 균형 조언 쪽으로 더 빠르고 일관되게 수렴하였는데, 이는 전자의 객관적 품질 우위 또는 더 큰 소유감 인식 때문일 수 있다. 이러한 결과는 알고리즘 조언이 명시적 의사소통 없이도 조정을 형성하는 전략적 신호로 기능할 수 있음을 보여 준다. 이 결과는 알고리즘 담합에 대한 현실 세계의 우려와 맥을 같이하며, 경쟁 환경에서 알고리즘 의사결정 지원 시스템의 신중한 설계와 감독이 필요함을 강조한다.
표면 근전도(EMG)를 개별 운동 뉴런의 스파이크 열로 분해하는 것은 오랫동안 다뤄져 온 역문제이며, 의수·의족과 외골격 같은 운동 뉴런 기반 신경 인터페이스로 나아가는 핵심 단계이다. 다채널 신호에 대한 독립성분분석(ICA)이라는 표준적 접근은 뉴런에서 전극으로의 혼합이 시간에 따라 정상(stationary)이라고 가정한다. 이 가정은 움직임 중 용적 전도체의 변형으로 혼합이 시변이 되면 성립하지 않으며, 이에 따라 현재의 분해 알고리즘은 등척성 수축에만 제한된다. 본 논문은 정적 선형 분리기 앞에 학습된 저차원 시변 가역 변환을 두는 준시불변 ICA 공식인 HarmonICA를 제안한다. 분리기는 보정되지 않은 투영에 대한 독립성 손실로 학습되고, 변환은 복원된 소스에 대한 정상성 손실로 학습된다. 두 모듈 사이에서는 기울기를 공유하지 않으므로, 소스 추출은 고전적인 선형 ICA 문제로 유지되면서 비정상적 왜곡은 변환이 흡수한다. 변환의 닫힌 형태 역변환을 통해, 순차적 피일오프(peel-off) 과정에서 시변 템플릿을 이용한 스파이크별 차감이 가능하다. 정답 스파이크 열이 포함된 동적 고밀도 EMG의 공개 시뮬레이션 벤치마크에서, 제안 방법은 모든 재현율 임계값에서 다섯 가지 적응형 ICA 기준선을 능가하며, 더 많은 단위를 더 높은 정확도로 복원한다.
P300 기반 뇌-컴퓨터 인터페이스(BCI)는 자발적인 운동 출력 없이도 자극 유발 EEG 반응을 문자 선택으로 해독하여 의사소통을 가능하게 한다. 반응 진폭과 신호 대 잡음비가 낮아 신뢰할 수 있는 P300 검출은 여전히 어려우며, 실용적인 철자 입력기는 적은 자극 반복 횟수와 낮은 계산 비용으로 정확한 문자 선택을 요구한다. 우리는 사건 관련 전위 향상과 차원 축소를 위한 xDAWN 공간 필터링, 고정된 주파수 선택 필터 뱅크, 시공간 EEG 해독을 위한 합성곱 특징 학습을 결합한 소형 딥러닝 구조를 제안한다. 깊이별 분리 합성곱과 점진적 평균 풀링은 판별에 유용한 시간 정보를 유지하면서 계산 복잡도를 줄인다. 그 결과로 얻은 표적/비표적 분류기는 학습 가능한 파라미터가 5,100개에 불과하다. 우리는 두 가지 공개 벤치마크인 BCI Competition II Dataset IIb와 BCI Competition III Dataset II에서 모델을 평가하고, 다양한 자극 반복 횟수에 대해 기존 P300 해독 방법들과 비교하였다. 이 모델은 BCI Competition III에서 반복 2회로 17.8 bits/min, BCI Competition II에서 40.5 bits/min의 정보 전송률을 달성하여 정확도와 속도 간의 우수한 균형을 보였다. 이러한 결과는 도메인 지식에 기반한 공간 및 스펙트럼 사전 정보를 소형 신경망과 결합하면 EEG 기반 BCI 통신을 위한 효율적인 P300 해독이 가능함을 시사한다.
컴퓨터 사용 에이전트는 캡처된 화면과 접근성 트리의 말뭉치로부터 모바일 인터페이스 조작법을 학습한다. 동일한 트리를 스크린 리더가 사용하므로, 이를 학습한 에이전트는 기반 애플리케이션이 지닌 레이블링 결함을 그대로 물려받는다. 본 논문은 이러한 결함 중 하나인 콘텐츠 설명 포함률을 2017년에 수집된 Rico와 2024년에 수집된 AndroidControl이라는 두 Android 말뭉치에서 측정한다. 총 17,373,614개의 인터페이스 요소에서, 본 코딩 규칙에 따라 콘텐츠 설명이 필요한 Rico 요소 중 17.74%가 설명을 갖추고 있었으며, AndroidControl에서는 57.27%였다. 39.5퍼센트포인트의 차이는 다섯 가지 대안 코딩 규칙 하에서, 그리고 앱 전체를 재표집했을 때도 유지된다. 이는 앱 선택, 캡처 방식, 플랫폼 버전도 다른 두 데이터셋을 기술한 것이며, 시간에 따른 변화를 측정한 것이 아니다. 입력 컨트롤은 두 말뭉치 모두에서 레이블이 가장 적은 역할이다(2.20%와 27.21%이며, 힌트 텍스트를 이름으로 인정하면 AndroidControl에서 30.99%). 오래된 말뭉치의 설명은 자리표시자일 가능성도 다섯 배 높아(10.25% 대 1.95%), 이 차이는 개발자가 형식적인 문구를 입력한 인공물이 아니다. 26,205개의 과제 행동을 그것이 접촉한 요소에 대응시켜 보면, 텍스트가 없는 탭 가능한 그래픽 중에서 시연은 해당 화면의 다른 요소보다 설명이 9.0포인트 더 자주 있는 요소를 조작하며, 그중 약 3.5포인트는 화면 내 요소 선택에서 비롯된다. 이는 벤치마크 내부의 선택 효과이다. 두 코더의 신뢰도 검증(kappa = 0.91 및 0.96)과 전체 파이프라인이 논문에 함께 제공된다.
최근까지 소셜 로봇과의 자연스러운 음성 상호작용에 대한 가장 큰 장애물은 음성 인식 오류와 발화 순서 교대의 실패였다. 음성 인식의 발전으로 훨씬 더 나은 음성 상호작용이 가능해졌지만, 발화 순서 교대 실패와 그 밖의 오해는 여전히 지나치게 흔하다. 이 짧은 논문은 소셜 로봇과의 상호작용에서 음성 인식과 발화 순서 교대를 개선하기 위한 이전 방법들을 돌아본 뒤, 오늘날 무엇을 할 수 있는지 살펴보며, 발화 순서 교대 실패의 빈도를 줄이려면 멀티모달 양방향 스트리밍이 필요하다고 주장한다.
두피 뇌전도(EEG)로부터 상지 움직임을 디코딩하는 것은 뇌-컴퓨터 인터페이스(BCI)에서 중요한 문제이지만, 많은 딥러닝 모델은 예측의 근거가 되는 뇌 영역에 대한 통찰을 제한적으로만 제공한다. 우리는 움직임 대 휴식 분류를 위해 LGGNet에서 착안한 국소-전역 그래프 분기와 EEGNet 방식의 합성곱 분기를 결합한 이중 분기 아키텍처를 제안한다. 그래프 분기는 61개의 EEG 전극을 해부학적으로 정의된 영역으로 묶고 그 공간적 관계를 학습하여, 모델이 중시하는 영역을 직접적으로 표현한다. 제안한 아키텍처를 Ofner 상지 움직임 데이터셋에서 피험자 제외 교차 검증(leave-one-subject-out)으로 평가하였다. 모델은 피험자 전반에서 평균 F1 점수 0.74 +/- 0.06을 달성한다. 분류 성능 외에도 학습된 그래프 구조를 분석하여 연결성이 가장 강한 영역을 식별하였다. 모든 홀드아웃 피험자에서 가장 높은 연결성은 일관되게 전극 P1과 P3에 해당하는 Parietal Left Low 영역에서 관찰되었다. 이 영역은 수행된 오른팔 움직임의 반대편이며, 이전에 상지 움직임 처리와 연관된 것으로 알려진 후두정 영역 내에 있다. 이러한 결과는 영역 기반 그래프를 디코더에 통합하면 효과적인 움직임 분류를 유지하면서 해부학적으로 해석 가능한 표현을 제공할 수 있음을 보여 주며, 더 투명한 EEG 기반 BCI를 향한 실용적인 접근을 제시한다.
Machine learning models are often trained on labeled data produced by multiple human annotators. When those annotators disagree, their labels are commonly collapsed into a single majority vote, which discards information about the underlying disagreement. We examine the cost of this practice for cyberbullying severity, a subjective judgment on which annotators disagree heavily. In the corpus we study, all 5 annotators assigned the same severity label to only 4.1% of comments. Turning 5 judgments into one label hides this disagreement and obscures how much the annotators differed in their assessments. In this paper, we ask whether a model can preserve this information by predicting the distribution of annotator judgments instead of a single majority label. We find 3 main results. First, accuracy against the majority label cannot tell competent models apart: 2 models with similar accuracy can differ greatly in how well they match the distribution of annotator judgments. Second, predicting the full distribution requires little extra effort. Calibrating an existing model, which adjusts its output probabilities after training, captures most of the improvement without retraining, across 3 datasets covering severity, abuse, and irony, while training on label distributions adds a small further gain. Third, we examine a dataset that includes annotator demographics, where a single shared model has one advantage and one limit. The advantage is that a model predicting the distribution of judgments matches each demographic group's judgments significantly better than a model trained on majority labels, so both groups gain. The limit is that it does not narrow the gap in performance between the groups, because one shared model cannot encode which group is right on a given comment. Preserving annotator disagreement is therefore a low-cost step toward fairer moderation, though not a complete one.
여러 LLM이 구조화된 토론을 진행하는 다중 에이전트 숙의(multi-agent deliberation, MAD)는 다양한 벤치마크에서 AI 성능을 향상시키지만, 인간이 더 나은 의사결정을 내리는 데 도움이 되는지는 아직 검증되지 않았다. 본 연구는 LLM 응답 검증과 사실 확인에 대해 두 건의 사용자 연구를 수행한다. 먼저 MAD를 일반적인 AI 의사결정 지원 방법들과 비교하여, MAD를 규정하는 두 가지 차원인 다수의 AI와 다중 라운드 상호작용을 분리해 살펴본다. 그 결과 MAD는 두 과제 모두에서 단일 라운드 AI 지원보다 우수했으며, 이러한 이점의 주된 원인은 다중 라운드 상호작용이었고, 두 번째 AI는 단일 AI에게 개선의 여지가 있을 때 가치를 더했다. 이어서 MAD의 두 가지 설계 선택인 AI 페르소나와 인간 참여 수준을 연구했으며, 악마의 대변인 페르소나는 정확도와 사용자 경험을 낮추는 것으로 나타났고, MAD에 대한 인간의 능동적 참여는 한 과제에서 정확도를 향상시켰으나 그 대가로 좌절감을 유발했다. 마지막으로 다중 에이전트 숙의가 인간의 의사결정을 언제, 왜, 어떻게 지원할 수 있는지에 대한 시사점을 논의한다.