当前位置: 首页 > news >正文

《containerd原理剖析与实战》大模型时代下如何学习云原生

大模型与云原生

近年来,大语言模型的热度可谓是愈发高涨,尤其是今年年初 Sora 的出现,更是让全球再次看到了AIGC 的巨大威力。

图片

Sora 生成实例视频---几头巨大的长毛猛犸踏着积雪的草地而来

在当前大模型流行的时代下,云原生技术的热度似乎有所减退,然而,我们不能忽视的是,大模型所依赖的基础设施仍然需要云原生和 Kubernetes 的支持。

图片

GTC 2024大会上,NVIDIA创始人兼首席执行官黄仁勋,不仅推出了目前全球最强劲的 GPU 芯片 B200。还专门为大规模部署 AI 模型推出了 "英伟达推理微服务 (NVIDIA NIM)"。

英伟达 的 AI 推理服务 NIM(NVIDIA Inference Manager) 

NVIDIA NIM 是一个强大的工具,可以简化和优化基于NVIDIA GPU的推理任务的管理和部署。NIM 的运行依赖 kubernetes 和 containerd 容器运行时,NIM 微服务通过打包算法、系统和运行时优化,并添加行业标准的 API,能够大幅度简化 AI 模型部署过程。

基于kubernetes 和 containerd 管理 NVIDIA GPU

NIM 通过 kubernetes 来编排 AI 模型部署任务,同时,通过 containerd 集成自家的 nvidia-container-runtime 管理 GPU 设备,实现 GPU 算力的资源池化。

在大模型的背景下,容器运行时的重要性更加明显。相比传统的虚拟化技术,容器启动速度更快,同时共享内核的轻量型虚拟化,大幅减少了资源的开销。这对于大模型的训练和推理来说非常重要,因为它们通常需要快速部署和高效的资源利用。

为什么写这本书

Kubernetes 作为容器编排领域的事实标准毫无疑问,同时大模型时代的到来也证明了云原生依然是无可撼动的云计算基础设施。随着 2020 年 Kubernetes 在 v2.20 版本宣布开始弃用 dockershim,越来越多的 企业在构建 Kubernetes 集群是选择 containerd 作为底层运行时,这使得 containerd 在整个云原生技术栈中的地位日益提升。

CRI 支持的容器运行时有很多,其中 containerd 作为从 Docker 项目中分离出来的项目,由于经历了 Docker 多年生产环境的磨练,相比其他 CRI 运行时也更加健壮、成熟。正因如此,它也是 kubernetes 官方推荐使用的运行时。

Docker 作为老牌的容器运行时,市面上关于它的书籍和资料很多,Kubernetes 的书籍也很多,而 containerd 作为一个新兴的容器运行时,截止本书出版前,却依然没有一个系统介绍 containerd 的书籍。

作为一名云原生以及容器技术的忠实粉丝,笔者很早就接触到了 containerd 项目,见证了 containerd 项目的发展,并为之取得的成就感到骄傲。也对 containerd 项目充满了信心。因此希望通过这本书让更多的人了解 containerd,体验 containerd 带来的价值。

本书内容

本书从云原生与容器运行时讲起,内容涵盖云原生以及容器的发展史、容器技术的 Linux 原理、containerd 的架构、原理、功能、部署、配置、插件扩展开发等,并详细介绍 containerd生产实践中的配置以及落地实践,使读者对 containerd 的概念、原理、实践有比较清晰的了解。

大咖推荐

本书的出版也得到了 CNCF、浙江大学计算机系 SEL 实验室、火山引擎边缘云、边缘计算社区、kata containerd 架构委员会等专家的倾力推荐。

购买链接:https://item.jd.com/14517428.html

相关文章:

《containerd原理剖析与实战》大模型时代下如何学习云原生

大模型与云原生 近年来,大语言模型的热度可谓是愈发高涨,尤其是今年年初 Sora 的出现,更是让全球再次看到了AIGC 的巨大威力。 Sora 生成实例视频---几头巨大的长毛猛犸踏着积雪的草地而来 在当前大模型流行的时代下,云原生技术…...

【实用工具】使用飞书机器人监控工程日志

1.创建一个飞书群聊,设置-->群机器人-->添加机器人-->自定义机器人-->修改机器人名称-->添加 2.复制webhook地址 3.编写日志请求代码 import logging import requests import json import os from datetime import datetime import time import sub…...

NIKKE胜利女神PC怎么设置中文 手把手教你设置中文教程

这个游戏中的妮姬分四个企业,其中朝圣者这个派别的妮姬很少而且不在愿望单理,朝圣者的所有姐姐都很哇塞,红莲更是其中的大姐大。一般想抽朝圣者只能靠歪或者出限定卡池,举个栗子,我入坑的时候 朝圣者 神罚 是限定卡池&…...

【leetcode面试经典150题】2.移除元素(C++)

【leetcode面试经典150题】专栏系列将为准备暑期实习生以及秋招的同学们提高在面试时的经典面试算法题的思路和想法。本专栏将以一题多解和精简算法思路为主,题解使用C语言。(若有使用其他语言的同学也可了解题解思路,本质上语法内容一致&…...

实现几何对象按照一定距离向外缓冲

1、首先&#xff0c;确保你已经引入了Turf.js库。你可以通过在HTML文件中添加以下代码来引入 <script src"https://cdn.jsdelivr.net/npm/turf/turf6.5.0/turf.min.js"></script>2、使用turf.buffer实现几何对象按照设定距离扩充 let originalCoordinat…...

现代深度学习模型和技术

Transformer模型的理解和应用 Transformer模型自2017年由Vaswani等人在论文《Attention is All You Need》中提出以来&#xff0c;已经彻底改变了自然语言处理&#xff08;NLP&#xff09;领域的面貌。Transformer的核心是自注意力&#xff08;Self-Attention&#xff09;机制…...

go的orm框架-Gorm

官网文档 特点 全功能 ORM 关联 (拥有一个&#xff0c;拥有多个&#xff0c;属于&#xff0c;多对多&#xff0c;多态&#xff0c;单表继承) Create&#xff0c;Save&#xff0c;Update&#xff0c;Delete&#xff0c;Find 中钩子方法 支持 Preload、Joins 的预加载 事务&…...

嵌入式开发学习---(部分)数据结构(无代码)

数据结构 为什么学习数据结构&#xff1f; 1&#xff09;c语言告诉如何写程序&#xff0c;数据结构是如何简洁高效的写程序 2&#xff09;遇到一个实际问题&#xff0c;需要写程序去实现相应功能&#xff0c;需要解决那两个方面的问题&#xff1f; 如何表达数据之间的逻辑规律…...

ChatGPT 之联盟营销

原文&#xff1a;ChatGPT for Affiliate Marketing 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 第二章 制定转化对话 制定转化对话是每个营销人员和企业所有者都应该掌握的关键技能。它涉及创建和传递引人入胜的信息&#xff0c;吸引您的受众并激励他们采取行动。…...

1.k8s简介

目录 k8s是什么 k8s不是什么 云原生 微服务 整体式架构与微服务架构 微服务的特性 微服务的优势 k8s是什么 Kubernetes 是一个可移植、可扩展的开源平台&#xff0c;用于管理容器化的工作负载和服务&#xff0c;可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快…...

go包下载时报proxyconnect tcp: dial tcp 127.0.0.1:80: connectex错误的解决方案

一大早的GoLand就开始抽风了&#xff0c;好几个文件import都红了&#xff0c;于是我正常操作点击提示的sync&#xff0c;但是却报了一堆错&#xff1a; go: downloading google.golang.org/grpc v1.61.1 go: downloading google.golang.org/genproto v0.0.0-20240228224816-df9…...

Vaadin框架是如何处理前后端交互的?列举几个Vaadin中常用的UI组件,并描述它们的作用。如何使用Vaadin的布局管理器来构建复杂的用户界面?

Vaadin框架是如何处理前后端交互的&#xff1f; Vaadin框架处理前后端交互的方式主要基于服务端渲染和事件驱动的编程模型。以下是具体的处理过程&#xff1a; 服务端渲染&#xff1a;Vaadin应用程序的UI组件是在服务器端创建和渲染的。当用户在浏览器中访问应用程序时&#x…...

动态属性的响应式问题和行内编辑的问题

动态属性的响应式问题 通过点击给目标添加动态数据&#xff0c;该数据不具备响应式特性 如下图&#xff1a; 点击编辑&#xff0c;前面的数据框会变成输入框&#xff0c;点取消会消失 // 获取数据 async getList () {const res await xxxthis.list res.data.rows// 1. 获…...

微信小程序第六次课(模块化和绑定事件)

模块化 1.首先 我们在utils里面创建一个新的js文件 2.新的js文件里面写我们要实现的函数功能 3.把新的函数功能 通过 module.export.对外公开文件名 新文件名 的方式把之前的函数公开到其他他模块 &#xff08;类似于public 让别的模块可以…...

【Unity添加远程桌面】使用Unity账号远程控制N台电脑

设置地址&#xff1a; URDP终极远程桌面&#xff1b;功能强大&#xff0c;足以让开发人员、设计师、建筑师、工程师等等随时随地完成工作或协助别人https://cloud-desktop.u3dcloud.cn/在网站登录自己的Unity 账号上去 下载安装被控端安装 保持登录 3.代码添加当前主机 "…...

maven的settings.xml、pom.xml配置文件

1、配置文件 maven的配置文件主要有 settings.xml 和pom.xml 两个文件。 其中在maven安装目录下的settings.xml&#xff0c;如&#xff1a;D:\Program Files\apache-maven-3.6.3\conf\settings.xml 是全局配置文件 用户目录的.m2子目录下的settings.xml&#xff0c;如&#…...

使用MQTT.fx接入新版ONENet(24.4.8)

新版ONENet使用MQTT.fx 模拟接入 目录 新版ONENet使用MQTT.fx 模拟接入开始前的准备创建产品设备获取关键参数 计算签名使用MQTT.fx连接服务器数据流准备与上传数据流准备数据发送与接收 开始前的准备 创建产品 设备下载Token签名工具生成签名 创建产品设备 根据以下内容填写…...

Selenium 自动化遇见 shadow-root 元素怎么处理?

shadow-root是前端的特殊元素节点&#xff0c;其使用了一个叫做shadowDOM的技术做了封装&#xff0c;shadowDOM的作用可以理解为在默认的DOM结构中又嵌套了一个DOM结构&#xff08;和iframe有点类似&#xff0c;只不过iframe内嵌的是HTML&#xff09;&#xff0c;我们遇见shado…...

软件系统质量属性_2.面向架构评估的质量属性

为了评价一个软件系统&#xff0c;特别是软件系统的架构&#xff0c;需要进行架构评估。在架构评估过程中&#xff0c;评估人员所关注的是系统的质量属性。评估方法所普遍关注的质量属性有&#xff1a;性能、可靠性、可用性、安全性、可修改性、功能性、可变性、互操作性。 1.…...

设计模式:抽象工厂

定义 抽象工厂模式是一种创建型设计模式&#xff0c;它提供了一个接口&#xff0c;用于创建一系列相关或相互依赖的对象&#xff0c;而无需指定它们具体的类。这种模式特别适用于处理产品族&#xff0c;但在不可能修改的情况下扩展产品族是困难的。 应用场景 抽象工厂模式通…...

如何免费解锁WeMod专业版:2026年终极完整指南

如何免费解锁WeMod专业版&#xff1a;2026年终极完整指南 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/gh_mirrors/we/Wand-Enhancer 还在为WeMod专业版的高昂费用而烦恼吗&#xf…...

【低功耗蓝牙】④ 蓝牙MIDI协议:从ESP32 MicroPython代码到智能乐器DIY

1. 蓝牙MIDI协议入门&#xff1a;从音乐小白到智能乐器开发者 第一次听说蓝牙MIDI协议时&#xff0c;我正盯着桌上的ESP32开发板发呆。作为一个只会弹几个和弦的编程爱好者&#xff0c;完全没想到自己能用代码"演奏"音乐。蓝牙MIDI就像音乐世界的通用语言&#xff0c…...

罗技PUBG鼠标宏终极教程:告别压枪烦恼,轻松提升射击稳定性

罗技PUBG鼠标宏终极教程&#xff1a;告别压枪烦恼&#xff0c;轻松提升射击稳定性 【免费下载链接】logitech-pubg PUBG no recoil script for Logitech gaming mouse / 绝地求生 罗技 鼠标宏 项目地址: https://gitcode.com/gh_mirrors/lo/logitech-pubg 还在为《绝地求…...

用51单片机和HC-SR04超声波模块DIY一个倒车雷达(附完整代码和立创EDA原理图)

51单片机与HC-SR04超声波模块实战&#xff1a;打造高精度倒车雷达系统 在汽车电子和智能硬件领域&#xff0c;倒车雷达作为基础安全装置&#xff0c;其DIY实现不仅能帮助理解超声波测距原理&#xff0c;更是掌握嵌入式系统开发的绝佳实践。本文将手把手教你使用经典的STC89C52单…...

基于RP2040与CircuitPython的HDMI倒计时器:RTC与DVI原生输出实践

1. 项目概述与核心价值如果你手头有一块带HDMI输出的微控制器开发板&#xff0c;比如Adafruit的Feather RP2040 DVI&#xff0c;又恰好需要一个能摆在桌面上、精确到秒的倒计时器&#xff0c;那么今天这个项目就是为你量身定做的。它不仅仅是一个简单的“Hello World”式显示应…...

Ruby LLM框架:为Ruby开发者打造的大语言模型应用开发工具包

1. 项目概述&#xff1a;一个为Ruby语言量身打造的LLM应用框架如果你是一名Ruby开发者&#xff0c;最近被各种大语言模型&#xff08;LLM&#xff09;的应用搞得心痒痒&#xff0c;但看着满世界的Python库和框架感到无从下手&#xff0c;那么crmne/ruby_llm这个项目可能就是你在…...

Legacy-iOS-Kit完整指南:如何让老旧iPhone和iPad重获新生

Legacy-iOS-Kit完整指南&#xff1a;如何让老旧iPhone和iPad重获新生 【免费下载链接】Legacy-iOS-Kit An all-in-one tool to restore/downgrade, save SHSH blobs, jailbreak legacy iOS devices, and more 项目地址: https://gitcode.com/gh_mirrors/le/Legacy-iOS-Kit …...

EL线创客工作坊:从零到一的电致发光项目实践指南

1. 项目概述&#xff1a;为什么EL线工作坊是创客入门的绝佳选择如果你正在寻找一个能让新手快速上手、成品炫酷、且能完美融合电子与手工的创客项目&#xff0c;EL线工作坊几乎是一个无可挑剔的答案。EL&#xff0c;即电致发光&#xff0c;它不像LED那样依赖一个个分立的光点&a…...

ESP32-S2 Reverse TFT Feather开发板深度解析:从核心硬件到物联网项目实战

1. 项目概述&#xff1a;为什么选择ESP32-S2 Reverse TFT Feather&#xff1f;如果你正在寻找一款能让你快速搭建物联网设备原型&#xff0c;尤其是那些需要一块漂亮屏幕来交互或显示信息的项目&#xff0c;那么ESP32-S2 Reverse TFT Feather绝对是一个值得你花时间研究的开发板…...

开源提示词管理工具:本地化部署与AI工作流效率提升实践

1. 项目概述&#xff1a;一个为AI工作流设计的提示词管理利器如果你和我一样&#xff0c;每天都在和ChatGPT、Claude、Midjourney这些AI模型打交道&#xff0c;那你一定有过这样的烦恼&#xff1a;昨天精心调试好的、能稳定输出高质量代码的提示词&#xff0c;今天想用的时候&a…...