AGI时代,程序员想学习大语言模型(LLM),应该从哪里开始?
程序员25岁做什么能够改变35岁被淘汰的命运?对于程序员的新一轮革命,我觉得人工智能大模型方向是你可以认真审视的一个方向,你可以选择通过它创业,也可以选择进入这个领域,它是一个更加开放的领域,也让程序员有更多的选择,也能创造无限的可能。
大模型技术栈不断更新发展,作为程序员的我们该如何应用大模型技术实现自己的技术飞跃,哪怕只是实现效率提升呢!相信很多的伙伴都有这样的想法,期望通过应用大模型去做一些自己的应用。加上前段时间OpenAI发布会介绍的GPTs,更是无限降低了技术人才以及非技术人才去开发自己的应用门槛。当然,更深层次的应用是我们做技术的更向往的,不管是AI编程,还是模型微调,甚者想要实现自己的模型私有化。这篇文章,我将分享自己应用大模型技术迈出的第一步,希望对你有帮助。
2022年底,随着ChatGPT的横空出世,大模型时代来临了,千亿甚至万亿参数的大模型陆续出现,各大企业、高校争相发声,纷纷推出自己的大模型,这些都预示着通用智能时代的到来。那么我们可以做些什么呢?
作为一个技术开发者,ChatGPT的出现带给我巨大的震撼,也促使我开始思考,相信就像很多人思考的一样,在大模型时代的洪流下,我会被大模型所取代吗?我能够做些什么来抵挡它带来的冲击,他又会带给我什么样的机遇呢?
我开始在各大网站上搜索大模型相关的信息,希望能够尽量多的了解一些大模型的知识,得到一些指导,功夫不负有心人,我终于找到了一套非常全面且系统的资料,老师还能给专业的指导,好东西总想写大家分享,需要的都可以免费领取~
一、 怎样学好,并应用大模型
AGI(Artificial General Intelligence,通用人工智能)时代,懂AI、懂编程、懂业务的超级个体,会是AGI时代最重要的人。为了成为这样的超级个体,我们需要在哪几个方向发力呢?那就是:原理、实践和认知。
不懂原理就不会举一反三,走不了太远。
不懂实践就只能纸上谈兵,做事不落地。
认知不高就无法做对决策,天花板太低。
接着,老师给我们展示了我们学员的职业构成,我从来没有见过有哪一门课,学员的组成是这样的复杂与多样。而这也反证了,大模型时代,对各行业的大家都提出了要求,也都给予了机遇,我们站在风口上,应当抓住它。下面我放一张关于这个课程的学习人群,我们也能看出来各个行业领域,看看是否你也是其中一员。
学习大模型技术人才岗位比例
孙老师在课上也给同学们吃了几颗定心丸,这也让我认识到多模态新一代人工智能的变化之大,相较于过去得确存在很大的变化,我总结以下核心几点:
- 用好AI需要很多数学知识吗?
以前真需要,以后可能不那么需要了。
- 有的知识太深,我理解不了怎么办?
[用到再讲,学以致用]是这堂课的教学理念,很多知识,用着用着就了解了;
少部分数学知识主要集中在数据和模型训练部分,不理解,也不影响使用。
- 感觉讲的太浅了,没学到知识怎么办?
更深的东西,在实践中未必有用;
欢迎随时在群里提问。
- 课听懂了,实际工作中还是不会用怎么办?
NLP的实际问题通常不是由一个算法解决的,我们把拆解问题的思路融入课程中,用心体会。
在了解了这些之后,接下来我们看一些更干、更实的内容,大模型到底能干什么?
大模型能干什么?
大模型,全称「大语言模型」,英文「Large Language Model」,缩写「LLM」。例如以下这些都是目前访问量较高的大语言模型,我们能够看到越来越多的头部公司、创业公司开始布局大模型,我也给大家放了访问地址,大家可以自行体验:
ChatGPT:https://chat.openai.com/
Bing Chat:https://bing.com/new
文心一言:https://yiyan.baidu.com/
讯飞星火:https://xinghuo.xfyun.cn/
智谱清言:https://chatglm.cn/
当然,我们不难发现,在大模型快速发展的一年,ChatGPT 仍然是当家扛把子,别人追赶的对象。对于问答类的大模型大家难免会有疑问,那大语言模型只能充当聊天机器人吗?
我的回答是:NONONO,它的应用场景,远不止于此。在图像、音视频、编程、文案、知识库等应用上,它都能比传统的处理方式或工具强N多倍,接下来我就结合几个大家常用的案例来抛砖引玉一下。
- 按格式输出
我们提供给大模型一个收件地址,并用自然语言描述我们希望它输出的格式,那么大模型就会按照“name”、“address”以及“phone”三个字段对进行整合。
- 分类
我们提供给大模型一个新闻标题,以及几个类别,让大模型为我们在这几个类别里面进行分类,那么大模型就会给出它认为的答案并输出。
3.聚类
我们提供给大模型几个句子,并让大模型根据它自己的理解,对这几个句子进行聚类,以数组的形式进行输出,可以看到大模型也给出了它认为的答案。
4.持续互动
当然大模型也可以与用户进行多轮对话,即持续互动,以下举了一个下棋的例子,首先将三个子连成一行的那方赢,第一轮对话中我们给大模型介绍了游戏规则,并以坐标的形式放了4个棋子,这轮对话结束后,我们继续问大模型“该X方放置棋子了,他应该把棋子放在哪里?”,大模型给出了图示以及这样放置的原因,可见大模型是能够保存上一轮对话的历史的,我们可以基于历史对大模型进行进一步的交流。
- 技术相关问题
技术相关的问题肯定是程序员的必问问题之一,以下例子中我们用自然语言描述了我们的需求,我们在Ubuntu的系统中,我们没有安装任何软件包,我们需要运行一个MySQL的数据库,我们应该怎样做,可见大模型给到了我们非常详细的代码。当然了,除此之外,我们还可以将我们运行代码过程中遇到的报错信息粘贴到大模型对话框里,可能下一秒这个问题就解决了~
结合上面几个简单的小例子,可能没那么难,这也是它的冰山一角。
而这仅仅是一个入门,《AI全栈工程师培养计划》这门课是一个全面、系统、实践创新的综合性课程,旨在培养掌握前沿技术的全栈工程师。该计划包括多个阶段,涵盖了从基础知识到大模型框架、大模型微调的方方面面。我建议你可以先通过公开课,来全方位剖析一下在你的工作领域有哪些工作是可以通过大模型来进行优化。
🔥2024大模型公开课👉技术原理+模型训练+应用场景
¥0.00点击领取
相信你也比较好奇,大模型是怎样生成结果,接下来我们一起来深入探讨一下。
大模型如何生成结果
其实,大模型只是根据上文,猜测下一个词(的概率),相当于逐字逐句的生成,而OpenAI 的接口名就叫「completion」,也证明了其只会「生成」的本质。
举个例子:假如我们将“今天我很”的prompt给到大模型,那么他就会返回“高兴,因为我学会了如何使用github”,我们也不知道他为什么返回这句话,但这个例子证明了大模型的回复是一个字一个字依次往后生成的,且每次生成的字都是概率最大的字。
简单解释下以下代码,首先我们需要导入openai的包,然后导入我们自己的api_key,如果有小伙伴还不知道api_key是怎样生成的以及有什么作用,后面我会单独再出一篇文章来讲解一下。这些给出以后,我们定义prompt,也就是给到大模型的输入“今天我很”,定义一个response参数来接收大模型的返回结果,其中需要的参数包括:model(我们选用的大模型是哪个)、prompt(输入模板)、max_tokens(最大返回字符数)、temperature(回答随机性大小)、stream(是否回持续生成文本,知道用户手动停止或达到设定的生成长度)。
我们可以通俗的解读一下ChatGPT 的工作原理:
- GPT「大模型」阅读了人类曾说过的所有的话。这就是「学习」
- 把一串 token 后面跟着的不同 token 的概率记下来。记下的就是「参数」,也叫「权重」
- 当我们给它若干 token,GPT 就能算出概率最高的下一个 token 是什么。这就是「生成」
- 用生成的 token,再加上上文,就能继续生成下一个 token。以此类推,生成更多文字
在了解了我们相关原理之后,我们浅浅来解析一下大模型的开发框架,我们想要学习并应用大模型,那么我们对大模型的原理还是要非常熟悉的。
大模型应用架构
大模型技术分两个部分:
- 训练基础大模型:全世界只需要1000个人
- 建造大模型应用:所有技术人员都应该掌握
目前大模型在业务中是如何应用的呢?典型的业务架构有以下三种。
AI Embedded模式是指,大模型技术在业务中仅仅参与某一个单独的分支,是大模型刚刚介入业务的初期阶段。
AI Copilot是指大模型已经逐渐参与到业务中的每个分支,但是还需要人做总体把控与业务派分,是大模型发展的中期阶段。
AI Agent是指大模型已经完全可以独立完成业务分派与执行,人工只需要在最初的时候进行发号指令。
目前Agent还太超前,我们正处于由AI Embedded追求AI Copilot的阶段。
lot是指大模型已经逐渐参与到业务中的每个分支,但是还需要人做总体把控与业务派分,是大模型发展的中期阶段。
AI Agent是指大模型已经完全可以独立完成业务分派与执行,人工只需要在最初的时候进行发号指令。
目前Agent还太超前,我们正处于由AI Embedded追求AI Copilot的阶段。
👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓
相关文章:

AGI时代,程序员想学习大语言模型(LLM),应该从哪里开始?
程序员25岁做什么能够改变35岁被淘汰的命运?对于程序员的新一轮革命,我觉得人工智能大模型方向是你可以认真审视的一个方向,你可以选择通过它创业,也可以选择进入这个领域,它是一个更加开放的领域,也让程序…...
Vue在表单校验中trigger属性指定何时触发校验规则
Vue在表单校验中trigger属性指定何时触发校验规则 一、前言1.示例代码 一、前言 在表单校验中,trigger 属性用于指定何时触发校验规则。常见的触发方式包括 "change" 和 "blur". 它们的区别如下: trigger: "change": 触发…...
【多线程实例】
使用场景 拿到了一个商品的list,然后要循环list去获取每个商品的明细,由于调用api很依赖于网络,一个个执行速度慢,所以考虑使用线程去解决。 //根据机器id 获取 所有商品信息 public List<ProductResponse> productList(MachineConf…...
数据治理在数据提取中的角色:确保数据质量和安全
在数字化浪潮中,数据已成为企业运营和决策的核心驱动力。然而,随着数据量的快速增长和来源的多样化,如何确保所提取数据的质量和安全性成为企业面临的重大挑战。数据治理,作为一种系统的管理方法,在数据提取过程中扮演…...

Nuxt快速学习开发 - Nuxt3静态资源Assets
Nuxt 使用两个目录来处理样式表、字体或图像等资产。 public/目录内容按原样在服务器根目录中提供。 assets/目录包含您希望构建工具(Vite 或 webpack)处理的所有资产。 public/目录 public目录用作静态资产的公共服务器,可在您的应用程序定…...

为什么企业需要数据挖掘平台?哪个比较好呢?
什么是数据挖掘? 数据挖掘就是从大量的数据中去发现有用的信息,然后根据这些信息来辅助决策。听起来是不是跟传统的数据分析很像呢?实际上,数据挖掘就是智能化的数据分析,它们的目标都是一样的。但是,…...

leetCode-hot100-链表专题
leetCode-hot100-链表专题 链表简介单链表单链表的使用例题206.反转链表19.删除链表的倒数第N个结点24.两两交换链表中的节点25.K个一组翻转链表 双向链表双向链表的使用 循环链表61.旋转链表141.环形链表142.环形链表Ⅱ LinkedListLinkedList的使用 链表简介 参考博客&#x…...

【ai】tx2-nx:配置tritonserver2.17.0-jetpack4.6 环境并运行例子
2.17.0 for jetpack 4.6运行需要 如果在jetson上构建Triton : Note: When building Triton on Jetson, you will require a newer version of cmake. We recommend using cmake 3.21.0. Below is a script to upgrade your cmake version to 3.21.0. You can use cmake 3.18.4…...
Spring和Spring Boot常用注解介绍及使用
Spring和Spring Boot框架通过丰富的注解集简化了Java开发,使得配置更加简洁且易于理解。 下面是一些常用的Spring和Spring Boot注解及其使用方式的简介: 目录 1. Component 2. Service 3. Repository 4. Controller 5. RestController 6. Autowire…...

【计算机毕业设计】211校园约拍微信小程序
🙊作者简介:拥有多年开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件,帮助大学选题。赠送开题报告模板ÿ…...

笨蛋学算法之LeetCodeHot100_1_两数之和(Java)
package com.lsy.leetcodehot100;public class _Hot1_两数之和 {//自写方法public static int[] twoSum1(int[] nums, int target) {//定义存放返回变量的数组int[] arr new int[2];//遍历整个数组for (int i 0; i < nums.length; i) {//从第二个数开始相加判断for (int j…...
用ip link add link命令创建vlan子设备
用ip link add link命令创建vlan子设备 ip link add link 命令用于在 Linux 系统中创建网络设备,其中可以用它来创建 VLAN (Virtual Local Area Network) 子接口,这是一个典型的用法。 VLAN是一种在二层网络(即数据链路层)上区分…...

AD复用布局布线
在用AD软件绘制PCB时,如果有多个部分布线相同,则可以使用复用布局布线功能,加快并且方便PCB的绘制。 一、创建Room 1、绘制好的电路图创建Room 2、需要拷贝的电路图创建Room 二、PCB List操作 1、PCB List内设置 2、复制绘制完的线路图 3、…...

【深度学习驱动流体力学】采集OpenFOAM仿真的流体力学数据送入到强化学习DQN模型训练
目录 技术原理1. 数据准备与环境构建2. DQN模型的设计与训练3. 训练过程中的监控与可视化训练记录参考技术原理 1. 数据准备与环境构建 首先,数据从VTK文件中读取并处理,这些文件包含流体速度场数据。通过PyVista库提取速度场信息,并将其存储在NumPy数组中。数据集随后被划…...
国内公开数据
以下是一些关于国内政府部门公布的数据或互联网上开放数据的资源,包括CSV、JSON和Parquet格式: 国内政府部门公开数据 中国政府数据开放平台 链接: 数据开放平台概要: 提供来自中国各级政府的公开数据集,数据格式包括CSV、JSON等。 上海市公…...
QT QByteArray 的用法
QByteArray 是 Qt 中用于处理原始字节数据的类,类似于标准库中的 std::vector<char> 或 std::string,但具有更多适合Qt框架的功能。它可以用来处理文本和二进制数据,并提供了一些方便的方法进行数据操作。下面是一些常见的用法示例&…...

InPixio Photo Cutter v10 解锁版安装教程 (懒人抠图工具)
前言 InPixio Photo Cutter是一款懒人抠图工具,采用了增强的算法切割技术,可以在不影响图像质量的情况下,允许用户从照片中删除任何物体或人物,并且保持其完整的质量。你只需点击几下鼠标,便可从照片中剪下任何细节、…...

Java17 --- SpringSecurity之OAuth2
一、OAuth2 1.1、使用github以授权码方式 1.1.1、注册应用程序 1.1.2、测试代码 pom依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-oauth2-client</artifactId></dependency> spring…...
服务器上线的一些事
最近不少人在上线上遇到问题 对于最近的上戏 进行一个坑或操作步骤的总结 以及遇到这些之后如何做 关于选项的选择 1 对于是否要在一个小时前释放 这个是看个人的 2 对于选择一台服务器还是两台呢?这个是最后限制 一台 这个免费的服务器 是有一个两百的额度的 选择…...
OceanBase-docker安装、连接数据库、修改mysql用户密码
OceanBase-docker安装、连接数据库、修改mysql用户密码 安装拉取镜像开启容器验证 连接数据库1.直接连接的方式修改数据库密码2.先进入镜像再连接数据库的方式进入镜像无密码有秘密 本人使用docker安装的oceanbase 安装 拉取镜像 docker pull oceanbase/oceanbase-ce:3.1.4 …...

8k长序列建模,蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂
蛋白质结合剂(如抗体、抑制肽)在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上,高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术,但这类方法普遍面临资源消耗巨大、研发周期冗长…...

PPT|230页| 制造集团企业供应链端到端的数字化解决方案:从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节,供应链协同管理在供应链上下游企业之间建立紧密的合作关系,通过信息共享、资源整合、业务协同等方式,实现供应链的全面管理和优化,提高供应链的效率和透明度,降低供应链的成…...

页面渲染流程与性能优化
页面渲染流程与性能优化详解(完整版) 一、现代浏览器渲染流程(详细说明) 1. 构建DOM树 浏览器接收到HTML文档后,会逐步解析并构建DOM(Document Object Model)树。具体过程如下: (…...

【单片机期末】单片机系统设计
主要内容:系统状态机,系统时基,系统需求分析,系统构建,系统状态流图 一、题目要求 二、绘制系统状态流图 题目:根据上述描述绘制系统状态流图,注明状态转移条件及方向。 三、利用定时器产生时…...
【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张(Windows/Linux)
要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况,可以通过以下几种方式模拟或触发: 1. 增加CPU负载 运行大量计算密集型任务,例如: 使用多线程循环执行复杂计算(如数学运算、加密解密等)。运行图…...
鱼香ros docker配置镜像报错:https://registry-1.docker.io/v2/
使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题:docker pull 失败 网络不同,需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...

用机器学习破解新能源领域的“弃风”难题
音乐发烧友深有体会,玩音乐的本质就是玩电网。火电声音偏暖,水电偏冷,风电偏空旷。至于太阳能发的电,则略显朦胧和单薄。 不知你是否有感觉,近两年家里的音响声音越来越冷,听起来越来越单薄? —…...
iOS性能调优实战:借助克魔(KeyMob)与常用工具深度洞察App瓶颈
在日常iOS开发过程中,性能问题往往是最令人头疼的一类Bug。尤其是在App上线前的压测阶段或是处理用户反馈的高发期,开发者往往需要面对卡顿、崩溃、能耗异常、日志混乱等一系列问题。这些问题表面上看似偶发,但背后往往隐藏着系统资源调度不当…...
纯 Java 项目(非 SpringBoot)集成 Mybatis-Plus 和 Mybatis-Plus-Join
纯 Java 项目(非 SpringBoot)集成 Mybatis-Plus 和 Mybatis-Plus-Join 1、依赖1.1、依赖版本1.2、pom.xml 2、代码2.1、SqlSession 构造器2.2、MybatisPlus代码生成器2.3、获取 config.yml 配置2.3.1、config.yml2.3.2、项目配置类 2.4、ftl 模板2.4.1、…...
k8s从入门到放弃之HPA控制器
k8s从入门到放弃之HPA控制器 Kubernetes中的Horizontal Pod Autoscaler (HPA)控制器是一种用于自动扩展部署、副本集或复制控制器中Pod数量的机制。它可以根据观察到的CPU利用率(或其他自定义指标)来调整这些对象的规模,从而帮助应用程序在负…...