Management of Machine Learning Lifecycle Artifacts: A Survey
원문 초록
The explorative and iterative nature of developing and operating machine learning (ML) applications leads to a variety of artifacts, such as datasets, features, models, hyperparameters, metrics, software, configurations, and logs. In order to enable comparability, reproducibility, and traceability of these artifacts across the ML lifecycle steps and iterations, systems and tools have been developed to support their collection, storage, and management. It is often not obvious what precise functional scope such systems offer so that the comparison and the estimation of synergy effects between candidates are quite challenging. In this paper, we aim to give an overview of systems and platforms which support the management of ML lifecycle artifacts. Based on a systematic literature review, we derive assessment criteria and apply them to a representative selection of more than 60 systems and platforms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화
From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.
인공지능과 혁신 생태계: 진화적 발전, 도전 과제, 그리고 미래 방향
Artificial Intelligence and Innovation Ecosystem: Evolutionary Developments, Challenges, and Future Directions
혁신 생태계(Innovative Ecosystem, IE)의 발전은 경제 통합, 협력적 발전, 그리고 공유 성과를 위한 새로운 패러다임을 제시한다. 인공지능(AI)의 부상은 디지털화, 정보화, 지능화의 글로벌 프로세스를 크게 가속화했다. AI가 고유한 특성을 활용하여 IE의 발전 궤적에 영향을 미치는 방식을 탐구하는 것은 추가 조사가 필요한 주제이다. IE 내에서 AI의 점점 커지는 중요성과 역할을 고려하여, 본 논문은 이 새로운 형태를 분석하며 IE에 대한 AI의 고유한 기여와 잠재적 도전 과제를 모두 검토한다. 첫째, 본 논문은 IE를 둘러싼 개념적 프레임워크를 종합하고, 이를 물리적, 사회적, 사고 공간에서의 구현으로 분해한다. 또한 공간적 관점에서 인공지능 혁신 생태계(AIIE)의 개념을 도입하고, AI가 IE에 기여하는 특성에 대한 탐구를 수행한다. 이어서 본 논문은 진화적 관점을 활용하여 AIIE의 서로 다른 발전 시기 동안 AI가 제공하는 역할을 분석한다. 그다음 본 논문은 AIIE 정의의 타당성, 유효성, 합리성을 검증하고, 기업 발전 사례를 통해 진화적 관점에서 AIIE 발전을 분석한다. 마지막으로 AI의 고유한 한계를 인정하면서, 본 논문은 네 가지 관점에서 AIIE가 미래에 직면할 잠재적 도전 과제를 검토하여 AIIE의 추가 발전을 위한 새로운 연구 방향을 도출하는 것을 목표로 한다.
AI 거버넌스에서의 최종 권한: 프론티어 제공자 주권과 행동 중심 배포자 거버넌스
Final Authority in AI Governance: Frontier-Provider Sovereignty and Action-Centered Deployer Governance
본 논문은 유능한 AI 시스템이 조직 워크플로에 내재된 이후 최종 권한이 어디에 있어야 하는지를 검토한다. 두 가지 거버넌스 모델을 비교한다. 첫 번째인 프론티어 제공자 주권(frontier-provider sovereignty)은 가장 유능한 모델의 제공자에게 특권적 권한을 부여하며, 프론티어 모델 테스트, 출시 게이팅, 투명성 의무, 컴퓨트 관련 통제에 대한 현대의 논의에 반영되어 있다. 두 번째인 행동 중심 배포자 주권(action-centered deployer sovereignty)은 고영향 행동에 대한 최종 권한을 행동을 승인하고 업무 프로세스에 내재하며 하류의 법적·운영적·상업적 결과를 부담하는 조직에 둔다. 본 논문은 공개 거버넌스 프레임워크의 비교 독해와 런타임 이질성 및 기업 통제 요구사항에 대한 구현 기반 분석을 결합한다. EU AI Act 지침, NIST AI 위험 관리 프레임워크, 싱가포르의 에이전트형 AI를 위한 모델 AI 거버넌스 프레임워크, 최근 일본 AI 정책 수단, 캐나다의 자발적 규범 및 관리 지침을 비교한다. 이러한 자료들을 종합하면, 본 논문은 일방적 프론티어 제공자 통제보다 분산된 운영 책임에 더 강한 지지가 있음을 발견한다. 또한 급속한 기업 채택, 제공자 투명성의 저하, 통제 격차의 확대가 제공자 고유 세션 객체가 아니라 거버넌스가 적용된 행동을 중심으로 한 이식 가능한 거버넌스 층의 가치를 높인다고 주장한다. 결론은 절대주의적이기보다 다층적이다. 강한 상류 권한은 프론티어 역량 게이팅에 대해 여전히 정당화되지만, 구체적 기업 행동에 대한 최종 권한은 배포자 및 결과 부담자에게 두는 것이 더 낫다.
AI 증강 인적 자원 관리? 독일 기업으로부터의 통찰
AI-Augmented Human Resource Management? Insights from German companies
본 연구는 독일 기업에서 인적 자원 관리(Human Resource Management)에 AI를 통합하는 과정을 조사한다. AI 기반 기술이 인적 자원 관리를 실제로 어떻게, 그리고 '증강(augmenting)'하고 있는지를 묻는다. 조직은 생성형 AI(generative AI) 또는 예측 분석(predictive analytics)을 활용해 전통적인 인적 자원 기능을 변화시키고, 일상 업무를 간소화하며, 자원을 전략적이고 사람 중심의 활동으로 재배치한다. 인터뷰, 집단 토론, 설문조사(N=410)를 통해 얻은 결과는 AI 도구가 HR 분석 역량을 강화하는 한편, 도입은 주로 효율성 및 합리화(rationalising) 목표를 위해 이루어진다는 점을 보여준다. AI 도구의 도입은 디지털 인프라, 공동결정(co-determination) 체계, 윤리적 함의와 같은 조직 변혁 요인에 의해 형성된다. 본 연구는 인재 개발 개선을 위한 전략적 잠재력과 데이터 거버넌스(data governance) 및 알고리즘 투명성(algorithmic transparency)이 제기하는 과제를 모두 조명한다. 전반적으로, 이 연구는 HR에서 기술 변화의 모호한 역할을 이해하는 데 기여하며, 예측 역량을 증강할 것을 약속하면서도 효율성과 합리화(rationalisation)의 목적에 기여한다는 점을 보여준다.
에이전틱 서비스 지향 컴퓨팅: 서비스 지향 컴퓨팅의 다음 전선을 위한 선언
Agentic Service-Oriented Computing: A Manifesto for the Next Frontier of Service-Oriented Computing
대규모 언어 모델(LLM) 기반 자율 및 준자율 에이전트의 급격한 등장은 소프트웨어 시스템을 정적 요청-응답 컴포넌트에서 목표 지향적이고 적응적이며 도구를 사용하는 계산 행위자로 재편하고 있다. 이러한 에이전트가 고립된 인지적 프로토타입에서 복잡한 분산 워크플로로 확장됨에 따라, 서비스 지향 컴퓨팅(Service-Oriented Computing) 커뮤니티가 20년 넘게 연구해 온 과제들과 마주하게 된다: 구성, 상호운용성, 서비스 품질(QoS), 생명주기 관리, 거버넌스, 보안, 신뢰. 그러나 오늘날 에이전틱 AI 생태계의 상당 부분은 신뢰할 수 있는 기업 및 사회적 배포에 필요한 공학적 엄격성 없이 이러한 기반을 임시방편적으로 구축하고 있다. 본 논문은 에이전트를 서비스로서 공학화하고, 자율 및 준자율 에이전트를 통해 서비스를 오케스트레이션하며, 신뢰, 사이버보안, 규정 준수, 성능, 책임성의 제약 하에서 에이전트와 서비스 생태계를 거버넌스하는 것을 다루는 새로운 연구 및 실무 영역인 에이전틱 서비스 지향 컴퓨팅(ASOC)을 제안한다. 우리는 ASOC의 여섯 가지 기본 원칙(활용 가능성, 구성 가능성, 생명주기 공학, 설계상 신뢰성, 목표 기반 오케스트레이션, 관측 가능성/책임성)을 명시하고 다음을 아우르는 5차원 연구 의제를 구성한다: (i) 에이전틱 서비스 기반 및 생명주기 공학; (ii) 구성, 오케스트레이션, 상호운용성; (iii) 거버넌스, 관측 가능성, 책임성; (iv) 보안, 신뢰, 위험 관리; (v) 평가, 인증, 에이전틱 QoS. 우리는 서비스 컴퓨팅(Services Computing) 커뮤니티가 이 신흥 분야에 대한 개념적·공학적 중추를 제공하기에 특히 유리한 위치에 있으며, 에이전틱 AI를 파편화된 시연에서 인간과 조직의 신뢰에 부합하는 신뢰할 수 있는 서비스 기반 시스템으로 전환할 수 있다고 주장한다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
토론
이 논문과 연결된 포럼 글이 아직 없습니다.