arXiv:2606.06572v1 cs.LG

생성 모델은 시장 선택을 통해 인간의 시간적 학습을 침식한다

Generative Models Erode Human Temporal Learning Through Market Selection

Wenjun Cao

제출 2026-06-04

한국어 초록

우리는 현대 생성 모델이 현재의 AGI 이전(sub-AGI) 역량 수준에서 지식 및 문화 생산에 구조적 위험을 초래한다고 주장한다. 우리는 인간 시간적 학습(Human Temporal Learning, HTL)을 시간이 지남에 따라 문제와의 지속적인 참여를 통한 경로 의존적 지식 축적으로 정의한다. 생성 결과물은 표면적 특징에서 점점 더 HTL 집약적 작업을 닮아가고 있어, 특정 결과물이 진정한 인간 학습을 반영하는지 검증하는 비용이 기대 편익 대비 증가하고 있다. 검증이 경제적 정당성을 잃으면 평가자들은 생산 방식에 관계없이 결과물에 보상을 제공하게 되고, 수년간의 학습에 투자한 생산자들은 거의 비용 없이 생성된 결과물과 가격 경쟁을 벌이게 된다. 우리는 이 경로를 가치 붕괴(value collapse)라 부르며, 이를 비용이 드는 검사(costly-inspection) 프레임워크를 통해 형식화한다. 학술 출판, 법률 실무, 콘텐츠 플랫폼, 소프트웨어 보안에 걸친 교차 도메인 증거는 검증 침식(verification erosion)의 네 단계에 대응된다. 정렬(alignment)의 성공은 이 문제와 직교적이다. 더 잘 정렬된 모델은 인간과 AI 결과물 사이의 관찰 가능한 격차를 좁혀 출처 검증을 더욱 어렵게 만들고, 개별 AI 결과물이 개선되더라도 HTL 집약적 작업에 대한 경쟁 압력을 심화시킨다.

원문 초록

We argue that modern generative models create structural risks for knowledge and cultural production at current, sub-AGI capability levels. We define Human Temporal Learning (HTL) as path-dependent knowledge accumulation through sustained engagement with problems over time. Generative outputs increasingly resemble HTL-intensive work in surface features, so verifying whether a given output reflects genuine human learning grows costly relative to its expected benefit. Once verification loses economic justification, evaluators reward outputs regardless of production mode, and producers who invested years of learning compete on price against outputs that cost almost nothing to generate. We call this pathway value collapse and formalize it through a costly-inspection framework. Cross-domain evidence from academic publishing, legal practice, content platforms, and software security maps onto four stages of verification erosion. Alignment success is orthogonal. Better-aligned models narrow observable gaps between human and AI outputs, making source verification harder and intensifying competitive pressure against HTL-intensive work even when individual AI outputs improve.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06572v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13455v1cs.AI공통 태그 Survey, Large Language Model

에이전틱 대규모 언어 모델

Agentic Large Language Models

대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.

arXiv:2610.10650v1cs.CL공통 태그 Text Generation, Large Language Model

대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구

Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System

공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.

arXiv:2610.02303v1cs.LG공통 태그 Fairness, Large Language Model

PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정

PowerBench: Measuring Language Model Bias in Power-shifting Requests

언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.

arXiv:2610.00061v1cs.AI공통 태그 Text Generation, Large Language Model

개인화된 선호도 최적화를 위한 그래디언트 정렬 쌍 선택

Gradient-Aligned Pair Selection for Personalized Preference Optimization

대규모 언어 모델(LLM)을 개인화하려면 생성 동작을 전체적인 평균 품질이 아닌 사용자별 선호도에 정렬(alignment)시켜야 합니다. 직접 선호 최적화(DPO)는 선호도 학습을 위한 안정적인 프레임워크를 제공하지만, 개인화된 환경에서의 효과는 선호도 쌍을 어떻게 선택하느냐에 크게 의존합니다. 기존 접근 방식은 일반적으로 가능도(likelihood) 기반 극단값과 같은 휴리스틱 기준에 의존하므로, 최적화가 명시적인 사용자 효용과 분리되어 개인화 성능 저하로 이어질 수 있습니다. 본 연구에서는 기대 사용자 효용의 그래디언트와 DPO 업데이트 방향 간의 1차 상호작용을 분석하여, 개인화된 선호도 학습을 기하학적으로 정렬된 최적화 문제로 공식화합니다. 분석 결과, 오프-정책(off-policy) 샘플링 하에서 선호도 마진이 효용 그래디언트와 방향적으로 정렬될 때 DPO 업데이트가 순수한 오류 수정 신호에서 강화 형태의 업데이트로 전환됨을 확인했습니다. 이러한 관점은 쌍 선택이 선호도 최적화가 개인화를 촉진하는지 저해하는지를 좌우하는 기하학적 결정임을 보여줍니다. 이러한 통찰을 바탕으로, 에포크(epoch)별 재생성을 통해 분포 변화를 제어하면서 효용을 인지하고 기하학적으로 정렬된 쌍 선택을 수행하는 반복 알고리즘인 GAP-DPO(Geometry-Aligned Preference DPO)를 제안합니다. 개인화된 텍스트 생성 벤치마크에 대한 실험은 GAP-DPO가 표준 DPO 변형들과 비교하여 문체 충실도, 선호도 정렬 및 생성 품질을 지속적으로 향상함을 보여줍니다. 종합적으로 본 연구의 결과는 그래디언트 정렬을 개인화된 선호도 최적화를 위한 통합 원리로 확립하며, 쌍 선택이 휴리스틱 전처리 단계가 아니라 최적화 기하학의 본질적인 구성 요소임을 입증합니다.

arXiv:2610.00093v1cs.CR공통 태그 Survey, Large Language Model

자기 진화형 에이전트의 안전성: 서베이

Safety in Self-Evolving Agents: A Survey

대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.

arXiv:2610.00430v1cs.SI공통 태그 Misinformation, Large Language Model

밈적 트로이목마: 에이전트 네트워크에서 적대적 페이로드의 매개체로서의 사회적 전염

Memetic Trojans: Social Contagions as Carriers of Adversarial Payloads in Agent Networks

자율형 대규모 언어 모델(LLM) 에이전트(agent)는 에이전트 간에 적대적 콘텐츠가 전파될 수 있는 네트워크 환경에서 점점 더 많이 상호작용하고 있습니다. 알려진 공격으로는 자기 복제 프롬프트(prompt) 주입이나 구성 손상을 통해 확산되는 에이전트 웜(agent worm)이 있습니다. 본 연구에서는 콘텐츠를 재전송하고 증폭하려는 에이전트의 성향을 악용하는 별개의 네트워크 매개 공격 클래스인 밈적 트로이목마(memetic trojan)를 소개합니다. 전파가 적대적으로 유도되는 에이전트 웜과 달리, 밈적 트로이목마는 에이전트가 공유할 내적 동기를 가진 콘텐츠인 사회적 전염(social contagion)에 적대적 페이로드를 삽입하여 내생적(endogenous) 전송을 악용합니다. 연구의 일환으로, LLM 에이전트용 소셜 미디어 플랫폼인 Moltbook에서 사회적 전염 콘텐츠를 추출합니다. 통제된 전송 실험을 통해 바이럴리티(virality)에 큰 차이가 있음을 확인했습니다. 가장 효과적인 전염 콘텐츠는 이후 에이전트 게시물의 약 50%에서 재전송되었으며 평균 게시물 대비 2.5배 높은 비율로 추천(upvote)을 받았습니다. 이에 대응하는 밈적 트로이목마 역시 이러한 특성을 대부분 물려받습니다. 몬테카를로(Monte Carlo) 공격 시뮬레이션 결과, 밈적 트로이목마는 기대 노출을 최대 3.19배까지 증폭하는 것으로 나타났습니다. 네트워크 구조와 증폭 메커니즘은 전파 양상을 강하게 형성하여 네트워크 전반에 걸친 노출에 가까운 두터운 꼬리(heavy-tailed) 결과를 초래합니다. 이러한 결과는 내생적 사회 전송이 다중 에이전트 시스템에서 별개의 보안 취약점임을 규명합니다. 전파를 위해 에이전트가 악의적인 재전송 지시를 따를 필요가 없으므로, 프롬프트 주입 탐지나 에이전트 손상 방지에만 초점을 맞춘 방어책으로는 밈적 트로이목마의 전파를 단독으로 막을 수 없습니다. 대규모 에이전트 생태계를 안전하게 보호하려면 에이전트의 선호도, 추천 메커니즘, 네트워크 토폴로지가 적대적 페이로드를 어떻게 증폭하는지 고려하는 네트워크 수준의 방어가 필요할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.