简单聊聊“DeepSeek”
目录
DeepSeek一夜火爆并受到广泛关注的优势
技术实力与创新
低成本与高效率
开源与免费
市场策略与应用领域
团队与资金优势
行业认可与媒体关注
DeepSeek在推理效率上的特别之处
多头潜在注意力(MLA)
多词元预测(MTP)
FP8混合精度训练
知识蒸馏
高推理速度
DeepSeek在哪些场景下表现最好?
科研与技术开发
企业智能化升级
教育与培训
数据分析与智能决策
DeepSeek-V3项目地址及相关信息
项目特点
性能和效率提升
评测成绩
使用方法
使用GitHub方式安装和使用DeepSeek-V3(本地部署)
克隆仓库并安装依赖
下载模型权重
模型权重转换
运行推理
DeepSeek(深度求索)是一家由量化私募巨头幻方量化旗下的AI公司,成立于2023年5月,专注于人工智能技术研发,致力于打造高性能、低成本的AI模型。
DeepSeek一夜火爆并受到广泛关注的优势
技术实力与创新
- 高性能模型:DeepSeek-V3拥有6710亿参数,激活参数370亿,在14.8万亿token数据上进行预训练。这种庞大的模型规模和海量的训练数据,使其在自然语言处理任务中表现出色,能够处理复杂的语义理解和生成任务。
- 创新架构:DeepSeek采用了多头潜在注意力(MLA)、混合专家架构(MoE)和FP8低精度训练等技术,这些创新使得模型在性能和效率上得到了显著提升。
- 强化学习:DeepSeek-R1在后训练阶段广泛应用了强化学习技术,允许模型在获取更少标注数据的情况下,实现显著的性能提升。
低成本与高效率
- 训练成本低:DeepSeek的训练成本仅为OpenAI同类模型的十分之一,API用户使用成本仅为OpenAI的5%。这种低成本、高性能的产品定位,让DeepSeek赢得了中小企业和开发者的青睐。
- 推理效率高:DeepSeek在推理效率上具有显著优势,能够快速响应用户请求,为用户提供更加流畅的交互体验。
开源与免费
- 开源模式:DeepSeek坚持开源和免费,用户可以自主下载与部署模型,这极大地降低了技术壁垒,促进了AI技术的普及和应用。
- 社区支持:开源模式吸引了全球开发者社区的支持,进一步推动了模型的优化和应用开发。
市场策略与应用领域
- 市场定位明确:DeepSeek在进入市场的初期就较为明确地选择了重点行业,并通过与行业领导者的合作,迅速建立起品牌信誉。
- 广泛应用:DeepSeek在多个领域展现了强大的应用价值,包括自然语言处理、代码生成与编程辅助、多模态数据处理和长文本处理等。
团队与资金优势
- 资金支持:DeepSeek的母公司幻方量化是中国头部量化对冲基金,曾管理资金规模超1000亿元,为DeepSeek提供了强大的资金支持。
- 技术理想主义:DeepSeek的创始人梁文锋坚信AI将改变世界,坚持将技术成果开源,以推动生态发展,这种非功利性的理念吸引了众多优秀年轻人才加入。
行业认可与媒体关注
- 行业认可:DeepSeek在专业大模型排名平台Arena上,基准测试分数高达1357,略高于OpenAI o1的1352分,这标志着中国AI技术在国际舞台上的崛起。
- 媒体关注:《纽约时报》《金融时报》等主流媒体对DeepSeek进行了报道,提升了其知名度。
DeepSeek在推理效率上的特别之处
多头潜在注意力(MLA)
- 低秩联合压缩:DeepSeek通过一种特殊的压缩技术,减少了在推理过程中需要处理的数据量。这就像是把一个大包裹压缩成一个小包裹,运输起来更快更省力。
- 动态调整路由偏置:DeepSeek能够根据任务的复杂程度,自动调整数据处理的路径,避免了不必要的计算,提高了效率。
多词元预测(MTP)
- 多词元预测:传统的模型一次只能处理一个词,而DeepSeek一次可以处理多个词。这就像是同时处理多个任务,而不是一个接一个地处理,大大提高了处理速度。
FP8混合精度训练
- 低精度计算:DeepSeek使用了一种特殊的计算方式,减少了计算过程中需要的内存和带宽。这就像是用更小的管道运输相同的水量,节省了资源,提高了效率。
知识蒸馏
- 模型蒸馏:DeepSeek将大模型的推理能力迁移到小模型中,使得小模型在资源有限的场景中也能保持较高的推理精度。这就像是把一个大机器的功能浓缩到一个小机器里,小机器也能高效工作。
高推理速度
- 生成速度提升:DeepSeek-V3的生成速度从上一代的20TPS提升到60TPS,提升了3倍。这就像是从慢跑提升到冲刺,处理任务的速度明显加快。
DeepSeek在哪些场景下表现最好?
科研与技术开发
- 数学推理:DeepSeek在数学推理任务中表现优异,尤其是在处理复杂数学问题(如MATH-500)时,表现甚至超过了一些领先的闭源模型。
- 代码生成与优化:DeepSeek在代码生成和优化方面表现出色,支持多种编程语言,能够自动生成高效代码,并快速检测潜在的Bug和优化点。
- 自然语言推理:DeepSeek在自然语言理解、自动推理和语义分析等任务中表现突出,为自然语言处理领域提供了强大的技术支持。
企业智能化升级
- 智能客服:企业可以通过DeepSeek的API服务,将模型集成到智能客服系统中,实现自动化的客户问题解答和问题处理。
- 自动化决策:DeepSeek能够处理复杂的逻辑推理任务,适用于企业的数据分析和智能决策支持系统,为企业的市场预测和策略制定提供有力支持。
教育与培训
- 教育工具:DeepSeek可作为教育工具,帮助学生掌握复杂的推理方法,促进学习者在数学和编程等学科的深度理解。
- 思维过程展示:DeepSeek的长推理链和详细的思维过程展示,能为教育场景提供更直观的教学支持。
数据分析与智能决策
- 数据分析:DeepSeek在处理复杂逻辑推理任务方面表现出色,适用于数据分析和智能决策支持系统。
- 市场预测:DeepSeek的推理能力可以为企业的数据分析、市场预测和策略制定提供有力支持。
DeepSeek-V3项目地址及相关信息
DeepSeek-V3的GitHub项目地址是:GitHub - deepseek-ai/DeepSeek-V3。
项目特点
- 高效的MoE架构:使用多头潜在注意力(MLA)和DeepSeekMoE架构,实现高效推理和经济高效的训练。
- 创新的负载均衡策略:采用无辅助损失的负载均衡策略,最大限度地减少了由于鼓励负载均衡而导致的性能下降。
- 多标记预测(MTP)目标:采用多标记预测目标,提高模型性能,并可用于推测解码以加速推理。
- FP8混合精度训练:首次验证了FP8训练在大规模模型上的可行性和有效性,显著提高训练效率并降低训练成本。
- 推理优化:支持FP8和BF16推理,并与多个开源推理框架集成,例如DeepSeek-Infer Demo、SGLang、LMDeploy和TensorRT-LLM等,支持在NVIDIA和AMD GPU以及华为Ascend NPU上运行。
- 知识蒸馏:从DeepSeek-R1系列模型中蒸馏推理能力,提升DeepSeek-V3的推理性能,同时控制输出风格和长度。
- 优秀的性能:在各种基准测试中超越其他开源模型,并实现了与领先的闭源模型相当的性能。
性能和效率提升
- 参数规模:DeepSeek V3采用了高达6710亿参数的MoE架构,这种大规模参数化使得模型能够捕捉更复杂的模式和关系。
- 计算资源管理:通过MoE架构,DeepSeek V3能够动态选择最合适的专家进行计算,从而减少不必要的计算和内存消耗。
- 数据并行和模型并行:DeepSeek V3在训练过程中使用了数据并行、张量并行、序列并行和1F1B流水线并行等并行策略,这些策略提高了硬件利用率,加快了模型的训练速度。
- 优化的学习率调度器:DeepSeek V3使用了多阶段学习率调度器,这有助于模型在不同的训练阶段保持最佳的学习速率。
- Scaling Laws研究:DeepSeek V3的开发团队对Scaling Laws进行了深入研究,以找到最优的模型/数据规模分配比例,并对大规模模型训练结果进行预测。
- 安全评估:DeepSeek V3在全训练过程中都进行严格的数据安全性筛选,确保训练得到的模型是符合人类价值观的。
评测成绩
在LiveBench测试中:
- 全球平均分:60.4分
- 推理能力:50分
- 编程技能:63.4分
- 数学解析:60分
- 数据分析:57.7分
- 语言理解:50.2分
- 即时反馈(IF):80.9分。
使用方法
- 在DeepSeek的官方网站上与DeepSeek-V3聊天:https://chat.deepseek.com。
- 在DeepSeek平台上提供与OpenAI兼容的API:https://platform.deepseek.com。
使用GitHub方式安装和使用DeepSeek-V3(本地部署)
官方详细教程:DeepSeek V3 本地部署指南:从入门到精通
克隆仓库并安装依赖
首先,克隆DeepSeek-V3的GitHub仓库,并安装所需的依赖:
git clone https://github.com/deepseek-ai/DeepSeek-V3.git
cd DeepSeek-V3/inference
pip install -r requirements.txt
下载模型权重
从HuggingFace下载模型权重,并将其放入指定的文件夹。DeepSeek-V3提供了两种模型版本:
- 基础模型:适用于通用任务。
- 对话模型:针对对话和交互优化。
使用以下命令下载模型权重:
# For Base Model
git lfs install
git clone https://huggingface.co/deepseek-ai/DeepSeek-V3-Base# For Chat Model
git lfs install
git clone https://huggingface.co/deepseek-ai/DeepSeek-V3
模型权重转换
如果需要将FP8权重转换为BF16权重,可以使用以下命令:
python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16
运行推理
使用DeepSeek-Infer Demo进行推理。以下是一个简单的交互式推理示例:
启动推理服务:
torchrun --nnodes 2 --nproc-per-node 8 generate.py --node-rank $RANK --master-addr $ADDR --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200
交互式使用:按照提示输入问题,模型会生成回答。
相关文章:

简单聊聊“DeepSeek”
目录 DeepSeek一夜火爆并受到广泛关注的优势 技术实力与创新 低成本与高效率 开源与免费 市场策略与应用领域 团队与资金优势 行业认可与媒体关注 DeepSeek在推理效率上的特别之处 多头潜在注意力(MLA) 多词元预测(MTP)…...
使用 Docker + Nginx + Certbot 实现自动化管理 SSL 证书
使用 Docker Nginx Certbot 实现自动化管理 SSL 证书 在互联网安全环境日益重要的今天,为站点或应用部署 HTTPS 已经成为一种常态。然而,手动申请并续期证书既繁琐又容易出错。本文将以 Nginx Certbot 为示例,基于 Docker 容器来搭建一个…...

粒子群算法 笔记 数学建模
引入: 如何找到全局最大值:如果只是贪心的话,容易被局部最大解锁定 方法有:盲目搜索,启发式搜索 盲目搜索:枚举法和蒙特卡洛模拟,但是样例太多花费巨量时间 所以启发式算法就来了,通过经验和规…...

【C语言】结构体与共用体深入解析
在C语言中,结构体(struct)和共用体(union)都是用来存储不同类型数据的复合数据类型,它们在程序设计中具有重要的作用。 推荐阅读:操作符详细解说,让你的编程技能更上一层楼 1. 结构体…...
es6.7.1分词器ik插件安装-和head插件连接es特殊配置
es6.7.1分词器ik插件安装-和head插件连接es特殊配置 如果对运维课程感兴趣,可以在b站上、A站或csdn上搜索我的账号: 运维实战课程,可以关注我,学习更多免费的运维实战技术视频 1.查看es6.7.1和es-head安装位置和es插件路径 [ro…...

java求职学习day18
常用的设计原则和设计模式 1 常用的设计原则(记住) 1.1 软件开发的流程 需求分析文档、概要设计文档、详细设计文档、编码和测试、安装和调试、维护和升级 1.2 常用的设计原则 (1)开闭原则(Open Close Principle…...
单链表专题(上)
链表的定义与创建 线性表: 1. 物理结构上不一定是线性的 2. 逻辑结构上一定是线性的 链表是一种物理存储结构上非连续,非顺序的存储结构 链表也是线性表的一种,但是在物理结构上不是连续的 链表是由一个一个的节点组成,需要数…...

【stm32学习】STM32F103相关特性
| 名称 | 缩写 | 频率 | 外部连接 | 功能 | 用途 | 特性 | |--------------------|------|----------------|---------------|------------|--------------|----------------| | 外部高速晶体振荡器 | HSE | 4~16MHz …...

PostGIS笔记:PostgreSQL中表、键和索引的基础操作
创建、查看与删除表 在数据库中创建一个表,使用如下代码: create table streets (id serial not null primary key, name varchar(50));这里的表名是streets,id是主键所以非空,采用serial数据类型,这个数据类型会自动…...

蓝桥杯python语言基础(3)——循环结构
一、for语句 理解range函数 range(start, stop, step) start: 序列开始的数字(默认为0)。stop: 序列结束的数字(不包含stop)。step: 步长(默认为1)。 练习 输出在 l 和 r 之间的所有偶数: pri…...

微服务网关鉴权之sa-token
目录 前言 项目描述 使用技术 项目结构 要点 实现 前期准备 依赖准备 统一依赖版本 模块依赖 配置文件准备 登录准备 网关配置token解析拦截器 网关集成sa-token 配置sa-token接口鉴权 配置satoken权限、角色获取 通用模块配置用户拦截器 api模块配置feign…...

23【进制的理解】
很多人可能听过计算机的最底层是2进制执行,但是原理并不知道,我们今天先不讨论那么复杂的问题,先讨论什么是进制 1910,10并不是1个字符,而是2个字符,也就是说在10进制里面没有“10”这个字符,1…...

jemalloc 5.3.0的tsd模块的源码分析
一、背景 在主流的内存库里,jemalloc作为android 5.0-android 10.0的默认分配器肯定占用了非常重要的一席之地。jemalloc的低版本和高版本之间的差异特别大,低版本的诸多网上整理的总结,无论是在概念上和还是在结构体命名上在新版本中很多都…...

【Convex Optimization Stanford】Lec3 Function
【Convex Optimization Stanford】Lec3 Function 前言凸函数的定义对凸函数在一条线上的限制增值扩充? 一阶条件二阶条件一些一阶/二阶条件的例子象集和sublevel set关于函数凸性的扩展(Jesen Inequality)保持函数凸性的操作非负加权和 & 仿射函数的…...

深入 Rollup:从入门到精通(三)Rollup CLI命令行实战
准备阶段:初始化项目 初始化项目,这里使用的是pnpm,也可以使用yarn或者npm # npm npm init -y # yarn yarn init -y # pnpm pnpm init安装rollup # npm npm install rollup -D # yarn yarn add rollup -D # pnpm pnpm install rollup -D在…...

wangEditor富文本编辑器,Laravel上传图片配置和使用
文章目录 前言步骤1. 构造好前端模版2. 搭建后端存储3. 调试 前言 由于最近写项目需要使用富文本编辑器,使用的是VUE3.0版本所以很多不兼容,实际测试以后推荐使用wangEditor 步骤 构造好前端模版搭建后端存储调试 1. 构造好前端模版 安装模版 模版安…...
chrome源码剖析—进程通信
Chrome 浏览器采用多进程架构(multi-process architecture),这种架构使得每个浏览器标签、扩展、插件、GPU 渲染等都在独立的进程中运行。为了确保不同进程之间的高效通信,Chrome 使用 进程间通信(IPC, Inter-Process …...
JJJ:linux时间子系统相关术语
文章目录 墙上时间内核管理的各种时间无时钟滴答模式(tickless mode 或 no-tick mode)简要介绍具体实现动态时钟滴答 Dynamic Ticks完全无时钟滴答(Full Tickless) nohz sleep单触发模式 oneshot mode 墙上时间 真实世界的真实时…...

0 基础学运维:解锁 K8s 云计算运维工程师成长密码
前言:作为一个过来人,我曾站在技术的门槛之外,连电脑运行内存和内存空间都傻傻分不清,完完全全的零基础。但如今,我已成长为一名资深的k8s云计算运维工程师。回顾这段历程,我深知踏上这条技术之路的艰辛与不…...
大一计算机的自学总结:位运算的应用及位图
前言 不仅异或运算有很多骚操作,位运算本身也有很多骚操作。(尤其后几个题,太逆天了) 一、2 的幂 class Solution { public:bool isPowerOfTwo(int n) {return n>0&&n(n&-n);} }; 根据二进制表示数的原理&#…...
React Native 导航系统实战(React Navigation)
导航系统实战(React Navigation) React Navigation 是 React Native 应用中最常用的导航库之一,它提供了多种导航模式,如堆栈导航(Stack Navigator)、标签导航(Tab Navigator)和抽屉…...

YSYX学习记录(八)
C语言,练习0: 先创建一个文件夹,我用的是物理机: 安装build-essential 练习1: 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件,随机修改或删除一部分,之后…...

DBAPI如何优雅的获取单条数据
API如何优雅的获取单条数据 案例一 对于查询类API,查询的是单条数据,比如根据主键ID查询用户信息,sql如下: select id, name, age from user where id #{id}API默认返回的数据格式是多条的,如下: {&qu…...
3403. 从盒子中找出字典序最大的字符串 I
3403. 从盒子中找出字典序最大的字符串 I 题目链接:3403. 从盒子中找出字典序最大的字符串 I 代码如下: class Solution { public:string answerString(string word, int numFriends) {if (numFriends 1) {return word;}string res;for (int i 0;i &…...

【开发技术】.Net使用FFmpeg视频特定帧上绘制内容
目录 一、目的 二、解决方案 2.1 什么是FFmpeg 2.2 FFmpeg主要功能 2.3 使用Xabe.FFmpeg调用FFmpeg功能 2.4 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI 三、总结 一、目的 当前市场上有很多目标检测智能识别的相关算法,当前调用一个医疗行业的AI识别算法后返回…...
Redis的发布订阅模式与专业的 MQ(如 Kafka, RabbitMQ)相比,优缺点是什么?适用于哪些场景?
Redis 的发布订阅(Pub/Sub)模式与专业的 MQ(Message Queue)如 Kafka、RabbitMQ 进行比较,核心的权衡点在于:简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...

回溯算法学习
一、电话号码的字母组合 import java.util.ArrayList; import java.util.List;import javax.management.loading.PrivateClassLoader;public class letterCombinations {private static final String[] KEYPAD {"", //0"", //1"abc", //2"…...

【VLNs篇】07:NavRL—在动态环境中学习安全飞行
项目内容论文标题NavRL: 在动态环境中学习安全飞行 (NavRL: Learning Safe Flight in Dynamic Environments)核心问题解决无人机在包含静态和动态障碍物的复杂环境中进行安全、高效自主导航的挑战,克服传统方法和现有强化学习方法的局限性。核心算法基于近端策略优化…...

[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.
ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #:…...

Qemu arm操作系统开发环境
使用qemu虚拟arm硬件比较合适。 步骤如下: 安装qemu apt install qemu-system安装aarch64-none-elf-gcc 需要手动下载,下载地址:https://developer.arm.com/-/media/Files/downloads/gnu/13.2.rel1/binrel/arm-gnu-toolchain-13.2.rel1-x…...