[针对于个人用户] 显卡与计算卡性能对比表
笔者使用 Quadro M4000 显卡用于 LLM 相关任务,但奈何该卡发布的年代过于久远,以至于 LLM 相关任务只能使用例如:Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型,且速度不堪理想,也经常因为显卡过热降频导致对话效率低下。
对于家用而言,不会去考虑那些特别新的 Tesla 计算卡,而会考虑一些旧的大显存平台,最好是大于10 GB 的显存,这样可以跑一些经过量化的、参数量高一些的模型。对于计算相关,推理相关的更应注重FP16的计算能力,如果有微调需求,同时也应注重FP32的计算能力。
最近总想着置办一张计算卡用于 Homelab 的 LLM 应用,但是市面上的计算卡/显卡种类太多了,有的时候不晓得要看哪一张显卡,故从TechPowerUp 网站摘录下表,以供参考。
| 显卡型号 | Chip | Released | VRAM | Bandwidth | BF16 | FP16 | FP32 | FP64 | TDP (W) |
|---|---|---|---|---|---|---|---|---|---|
| Quadro M4000 (现役) | GM204 | Jun 29th, 2015 | 8 GB GDDR5 | 192.3 GB/s | Nan | Nan | 2.573 TFlops | 80.39 GFlops | 120 |
| Tesla P4 | GP104 | Sep 13th, 2016 | 8GB GDDR5 | 192.3GB/s | Nan | 89.12 GFlops | 5.704 TFlops | 178.2 GFlops | 75 |
| Tesla P40 | GP102 | Sep 13th, 2016 | 24GB GDDR5 | 347.1 GB/s | Nan | 183.7 GFlops | 11.76 TFlops | 367.4 GFlops | 250 |
| Tesla P100 PCIE | GP100 | Jun 20th, 2016 | 16GB HBM2 | 732.2 GB/s | Nan | 19.05 TFlops | 9.526 TFlops | 4.763 TFlops | 250 |
| Tesla P100 SXM2 | GP100 | Apr 5th, 2016 | 16GB HBM2 | 732.2 GB/s | Nan | 21.22 TFlops | 10.61 TFlops | 5.304 TFlops | 300 |
| GTX 1080 | GP104 | May 27th, 2016 | 8GB GDDR5X | 320.3 GB/s | Nan | 138.6 GFlops | 8.873 TFlops | 277.3 GFlops | 180 |
| RTX 2080 Ti | TU102 | Sep 20th, 2018 | 11GB GDDR6 | 616.0 GB/s | Nan | 26.9 TFlops | 13.45 TFlops | 420.2 GFlops | 250 |
| Tesla V100 PCIe | GV100 | Jun 21st, 2017 | 16 GB HBM2 | 897.0 GB/s | Nan | 28.26 TFlops | 14.13 TFlops | 7.066 TFlops | 300 |
| Tesla V100 PCIe | GV100 | Mar 27th, 2018 | 32 GB HBM2 | 897.0 GB/s | Nan | 28.26 TFlops | 14.13 TFlops | 7.066 TFlops | 250 |
| Tesla T4 | TU104 | Sep 13th, 2018 | 16 GB GDDR6 | 320.0 GB/s | Nan | 65.13 TFlops | 8.141 TFlops | 254.4 GFlops | 70 |
| RTX3060 | GA104 | Sep 1st, 2021 | 12GB GDDR6 | 360.0 GB/s | Unknow | 12.74 TFlops | 12.74 TFlops | 199.0 GFlops | 170 |
| RTX3060 | GA106 | Jan 12th, 2021 | 12GB GDDR6 | 360.0 GB/s | Unknow | 12.74 TFlops | 12.74 TFlops | 199.0 GFlops | 170 |
| RTX3060 Ti | GA104 | Dec 1st, 2020 | 8GB GDDR6 | 448.0 GB/s | Unknow | 16.2 TFlops | 16.2 TFlops | 253.1 GFlops | 200 |
| RTX 3080 Ti | GA102 | Jan 2022 | 20GB GDDR6X | 760.3 GB/s | Unknow | 34.1 TFlops | 34.1 TFlops | 532.8 GFlops | 350 |
| RTX 3090 | GA102 | Sep 1st, 2020 | 24 GB GDDR6X | 936.2 GB/s | Unknow | 35.58 TFlops | 35.58 TFlops | 556.0 GFlops | 350 |
| RTX 3090 Ti | GA102 | Jan 27th, 2022 | 24GB GDDR6X | 1.01 TB/s | Unknow | 40 TFlops | 40 TFlops | 625.0 GFlops | 450 |
| A100 PCIe | GA100 | Jun 22nd, 2020 | 40 GB HBM2e | 1.56 TB/s | 311.84 TFlops | 77.97 TFlops | 19.49 TFlops | 9.746 TFlops | 250 |
| RTX 4060 | AD107 | May 18th, 2023 | 8 GB GDDR6 | 272.0 GB/s | Unknow | 15.11 TFlops | 15.11 TFlops | 236.2 GFlops | 115 |
| RTX 4060 Ti | AD106 | May 18th, 2023 | 16 GB GDDR6 | 288.0 GB/s | Unknow | 22.06 TFlops | 22.06 TFlops | 344.8 GFlops | 165 |
| RTX 4070 SUPER | AD104 | Jan 8th, 2024 | 12 GB GDDR6X | 504.2 GB/s | Unknow | 35.48 TFlops | 35.48 TFlops | 554.4 GFlops | 220 |
| RTX 4070 Ti SUPER | AD103 | Jan 8th, 2024 | 16 GB GDDR6X | 672.3 GB/s | Unknow | 44.10 TFlops | 44.10 TFlops | 689.0 GFlops | 285 |
| RTX 4080 | AD103 | Sep 20th, 2022 | 16 GB GDDR6X | 716.8 GB/s | Unknow | 48.74 TFlops | 48.74 TFlops | 761.5 GFlops | 320 |
| RTX 4080 SUPER | AD103 | Jan 8th, 2024 | 16 GB GDDR6X | 736.3 GB/s | Unknow | 52.22 TFlops | 52.22 TFlops | 816.0 GFlops | 320 |
| RTX 4090 | AD102 | Sep 20th, 2022 | 24 GB GDDR6X | 1.01 TB/s | Unknow | 82.58 TFlops | 82.58 TFlops | 1,290 GFlops | 450 |
| RTX 4090 D | AD102 | Sep 20th, 2022 | 24 GB GDDR6X | 1.01 TB/s | Unknow | 73.54 TFlops | 73.54 TFlops | 1,149 GFlops | 450 |
相关文章:
[针对于个人用户] 显卡与计算卡性能对比表
笔者使用 Quadro M4000 显卡用于 LLM 相关任务,但奈何该卡发布的年代过于久远,以至于 LLM 相关任务只能使用例如:Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型,且速度不堪理想,也经常因为显卡过热降…...
2024年智能录屏解决方案全攻略,从桌面到云端
如果你有过录屏经验那你一定遇到过被限制录制时长或者录制的画面比较模糊之类的情况。这次我我推荐几款免费录屏软件,让我们可以更自由的录制屏幕画面。 1.福晰REC大师 链接:www.foxitsoftware.cn/REC/ 这款软件便捷好操作,而且符合我这次…...
CentOS7.9下snmp v3 inform搭建监控端
1.基础环境配置 为了防止防火墙及selinux等的影响,需关闭防火墙及selinux等,具体参考: Linux常规基础配置_linux基础配置-CSDN博客 2.安装snmp yum源配置,具体参考: Linux常规基础配置_linux基础配置-CSDN博客 snmp安装命令: yum install -y net-snmp net-snmp-ut…...
水库大坝安全监测方案,双重守护,安全无忧
水库作为重要的水利设施,在防洪、灌溉及供水等方面发挥着重要作用。然而随着时间的推移,大坝面临着自然老化、设计标准不足及极端天气等多重挑战,其安全性与稳定性日益受到关注。水库堤坝险情导致的洪涝灾害给人民生命财产和经济社会发展带来…...
yolov8实现图片验证码识别
1、环境准备 1.1、安装miniconda 地址:Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 注意:为避免不兼容的问题,推荐下载py38版本,我下载的是Miniconda3-py38_23.1.0-1-Windows-x86_…...
代码随想录训练营 Day56打卡 图论part06 108. 冗余连接 109. 冗余连接II
代码随想录训练营 Day56打卡 图论part06 一、卡码108. 冗余连接 题目描述 有一个图,它是一棵树,他是拥有 n 个节点(节点编号1到n)和 n - 1 条边的连通无环无向图(其实就是一个线形图),如图&…...
QT天气预报
json 理论 什么是JSON? 规则 被大括号包括的是JSON对象,被中括号包括的是JSON数组. JSON数组JSON对象 实验 构建JSON 用代码实现如下json内容: //构建JSON void WirteJson() {QJsonObject rootObject;//1.插入name字段rootObject.insert("name","china&quo…...
JavaWeb中处理 Web 请求的方式总结
文章目录 JavaWeb中处理 Web 请求的方式总结1. 原始的 Servlet 方式1.1. 环境搭建**创建 Maven 或 Gradle 项目**:**添加 Servlet 依赖**:**创建 Servlet 类**:**配置项目**:**配置 Tomcat**: 1.2. 路由机制1.3. 示例代…...
React的事件与原生事件的执行顺序?
react自身实现了一套自己的事件机制,包括事件注册、事件的合成、事件冒泡、事件派发等,虽然和原生的是两码事,但也是基于浏览器的事件机制下完成的。 react 的所有事件并没有绑定到具体的dom节点上而是绑定在了document 上,然后由…...
【Java】Runtime与Properties获取系统信息
Java系列文章目录 补充内容 Windows通过SSH连接Linux 第一章 Linux基本命令的学习与Linux历史 文章目录 Java系列文章目录一、前言二、学习内容:三、问题描述四、解决方案:4.1 代码4.2 运行结果 五、总结: 一、前言 这些都被淘汰比较少用了…...
基于SpringBoot的社团管理系统
作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 基于JavaSpringBootVueMySQL的社团管理系统【附源码文档】、…...
UE5.3_跟一个插件—Socket.IO Client
网上看到这个插件,挺好! 项目目前也没有忙到不可开交,索性跟着测一下吧: 商城可见,售价72.61人民币! 但是,git上有仓库哦,免费!! 跟着链接先准备起来: Documentation: GitHub - getnamo/SocketIOClient-Unreal: Socket.IO client plugin for the Unreal Engin…...
鸿蒙轻内核A核源码分析系列七 进程管理 (1)
往期知识点记录: 鸿蒙(HarmonyOS)应用层开发(北向)知识点汇总 轻内核A核源码分析系列一 数据结构-双向循环链表 轻内核A核源码分析系列二 数据结构-位图操作 轻内核A核源码分析系列三 物理内存(1࿰…...
qt QGraphicsScene场景坐标和场景内GraphicsItem局部坐标的相互转换
为了更清晰地解释场景坐标与局部坐标之间的转换过程,我们可以通过一个简单的实例来演示如何赋值场景坐标,并将其转换为图形项的局部坐标。 实例步骤 假设我们有一个场景 QGraphicsScene 和一个矩形图形项 QGraphicsRectItem,矩形的大小为 1…...
Windows与linux中docker的安装与使用
windos中安装使用docker 下载Docker_Desktop 安装包进入docker官网下载Docker_Desktop: https://www.docker.com/启用wsl 我们搜索“启用或关闭Windows功能”,打开后勾选适用于Linux的Windows 子系统 Docker_Desktop设置 出现Docker Engine stopp…...
some electronic products
纽扣电池 button cell 运动手环 sports wristband 智能手环 smart bracelet 皮卡丘夜灯 pikachu night lamp 数字显示充电器 Charger with a digital display 磁吸无线充 magnetic wireless charger 直流电机调速器 DC motor speed controller 继电器模块 relay module 锂离子电…...
刘润《关键跃升》读书笔记7
沟通: 想明⽩,说清楚,能接受 团队沟通的正确⽅式可以⽤9个字来概括:想明⽩,说清楚,能接受 (⻅图4-1)想明⽩ 有时经理跟⼈沟通,讲完之后却⽆奈地对员⼯说,你怎…...
带参宏定义
#define WM_EVENT_DECLARE_GROUP(group) extern wm_event_group_t const group 宏定义的结构: #define:这是C语言中的预处理指令,用来定义宏。宏的作用是替换代码中的特定部分,类似于全局的文本替换。这里定义的宏名称是 WM_EVE…...
java流
99. ByteArrayOutputStream转化为ByteArrayInputStream ByteArrayOutputStream baos xxx;i new ByteArrayInputStream(baos.toByteArray())100.将inputstream转换为byte[] https://blog.csdn.net/yogima/article/details/128500056 100.1 方式一 直接使用IOUtils byte[] …...
Java ArrayList扩容机制 (源码解读)
结论:初始长度为10,若所需长度小于1.5倍原长度,则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义 1:数组默认长度 2:这是一个共享的空数组实例,用于明确创建长度为0时的ArrayList ÿ…...
目前浙江省内每年MBA/MPA/MEM/MPAcc哪个项目录取指标供给最多?工程管理还有提升空间!
很多考生都知道,管理类硕士包含七个不同的专业方向,其中在职考生们比较匹配的一般是工商管理硕士(MBA)、公共管理硕士(MPA)和工程管理硕士(MEM),对于这几个项目目前浙江省…...
开发AI应用时如何借助Taotoken模型广场进行选型
🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 开发AI应用时如何借助Taotoken模型广场进行选型 当开发者着手构建一个AI应用时,选择合适的模型往往是项目成功的关键起…...
“八股文”已死?2026技术校招面试官亲述:我们现在只问这三个真实项目题
上个月公司校招,我坐在面试间里,对面是一个985硕士。简历漂亮:GPA前10%,两段大厂实习,技能栏写满了Spring Cloud、Kafka、Redis。 我问了第一个问题:“你简历上写做过秒杀系统,那我想知道&#…...
在OpenClaw项目中集成Taotoken实现Agent工作流
🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 在OpenClaw项目中集成Taotoken实现Agent工作流 对于使用OpenClaw框架构建AI Agent的开发者而言,一个稳定、便捷的模型服…...
Lovable应用性能优化全链路(首屏加载≤300ms实测方案)
更多请点击: https://codechina.net 第一章:Lovable应用性能优化全链路概览 Lovable 是一款面向高并发、低延迟场景的现代 Web 应用框架,其性能优化需贯穿开发、构建、部署与运行时全生命周期。理解各环节的协同关系与瓶颈传导路径ÿ…...
智赋能源 安筑未来|济南昊安光电亮相 2026 第六届中国贵州国际能源产业博览交易会
2026 年 5 月 18 日 —5月 20日,2026 第六届中国贵州国际能源产业博览交易会(简称 “贵州能源博览会”)在贵阳国际会议展览中心盛大启幕。本届展会聚焦能源产业数字化转型、绿色低碳发展与安全高效生产,汇聚能源领域全产业链优质企…...
终极指南:如何用TrafficMonitor股票插件打造桌面投资监控中心
终极指南:如何用TrafficMonitor股票插件打造桌面投资监控中心 【免费下载链接】TrafficMonitorPlugins 用于TrafficMonitor的插件 项目地址: https://gitcode.com/gh_mirrors/tr/TrafficMonitorPlugins 还在为错过重要股票行情而烦恼吗?想在工作时…...
2026软考高级系统架构设计师预测试卷(二)
2026软考高级系统架构设计师预测试卷(二) 编制说明:本试卷为第二套预测卷,侧重不同考点角度,与第一套试卷不重复。 考试结构: 科目一:综合知识(75道单选题,每题1分,满分75分,合格线45分) 科目二:案例分析(1道必答+4选2,共答3道,满分75分,合格线45分) 科目三…...
破冰总结:写给 QA 的一份 30 天 AI 技术转型学习路线图
写在前面:一个不得不面对的现实 打开招聘网站,搜索“高级QA工程师”,你会发现薪资最高的一批岗位都有同一个关键词:AI。不是指“用AI写测试用例”那种浮于表面的用法,而是要求你真正理解AI系统的工作原理、能评估模型输出质量、能设计对抗性测试方案、能把RAG管线部署到生…...
MapTRV2 部署训练与测试(踩坑版本)
1. 背景 目录 1. 背景 1.1 结果 1.1.1 过程截图 存在的坑 安装环境 踩坑记录 过程记录 requirements.txt 设置调试的launch.json数据 合成视频脚本 跑通了MapTRV1 ,想继续跑通MapTRV2,安装运行的时候都存在问题,先从网上找了一些相关的教程,发现教程需要收费,作为白嫖党怎…...
