当前位置： 首页 > news >正文

模型和算力看板：Compute DashBoard

news 2025/9/17 12:15:02

AGI 之路

AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类似MLPerf 这样的第三方评价组织， 但其数据主要依赖各个厂家进行提交，包含单机和服务器的各项指标，通常很难比较单一GPU或者单一模型的各项能力。

我们在选择云服务或者单机服务器时，基于现有模型如何匹配合适的算力，通常是一件糟心的事情，考虑到算力的昂贵，需要物尽其用，综合考虑现存/算力/带宽/散热 等影响因子。Compute DashBoard 从算力的角度出发，整理了各家国内外数据中心推理训练卡的各项参数，囊括了包含封装，互联以及算力指标等性能参数，可以为模型部署提供参考，同时如果你是一个芯片行业从业者，从产品角度，提供了一个竞品的功能和性能参考。

除此之外，Compute DashBoard 还提供了各个主流LLM开源模型在不同参数匹配情况下的Performance Benchmark， 包括首字延时/平均延时和吞吐。

使用指引

访问Compute DashBoard 网站：ostring.streamlit.app
在这里插入图片描述

进入主页后，Home 页是一个GPU Evolution 的Timeline 页面，希望呈现出各个阶段代表性的GPU 产品，AIGC 作为一个时代的Milestone， 产品也应该有它自己的Milestone，持续进化中。
在这里插入图片描述

GPUs 页面,我们可以选择芯片厂商，同时在对应的列表中选择支持的加速器产品
在这里插入图片描述

Models页面，目前支持市面上绝大多数开源的LLM模型，基于GPU 的性能数据，我们以柱状图的形式展示其在不同的GPU 平台上的延时和吞吐数据。

在这里插入图片描述

访问申请

Compute DashBoard 基于streamlit 作为开发框架快速搭建，基于streamlit community cloud进行部署。

  • step1: 登录streamlit cloud注册一个账号
    在这里插入图片描述

  • step2: 关注微信公众号OString2024或者CSDN OString2024，后台私信您的streamlit 账号（邮箱号：xxxx@xxx.com）
    在这里插入图片描述

  • step3: 博主在后台添加对应账号即可访问：ostring.streamlit.app

由于模型性能数据均由个人租用真实GPU来进行性能读出并整理至数据库，租用GPU会产生一定费用, 因此访问申请会逐渐放开，或者考虑收取少量费用，敬请了解。

期待

欢迎大家后台反馈你们的需求。
后续还会持续上线：

  • Diffusion/VIT 模型的benchmark；
  • 充实GPU 家族
  • 各厂家MLPerf 的性能结果

相关文章：

模型和算力看板：Compute DashBoard

AGI 之路 AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类…...

编程日记 2024/9/7 10:36:56

Python加载 TorchScript 格式的 ResNet18 模型分类该模型进行预测并输出预测的类别和置信度

首先加载预训练的 ResNet18 模型。将模型设置为评估模式，以确保特定层（如 Dropout 和 BatchNorm）在评估时具有确定性的行为。创建一个形状为 (1, 3, 224, 224) 的随机张量作为示例输入。使用 torch.jit.trace 函数追踪模型在给定示例输入上的…...

编程日记 2024/9/7 10:33:25

学习笔记--MybatisPlus

官网：MyBatis-Plus 🚀 为简化开发而生 快速入门 入门案例 引入MybatisPlus的起步依赖 定义Mapper 问题： MybatisPlus中Invalid bound statement (not found): com.itheima.mp.mapper.UserMapper.insert 一定要指定实体类！&am…...

编程日记 2024/9/7 10:32:21

【机器学习】XGBoost的用法和参数解释

一、XGBoost的用法 流程： 代码案例： 二、XGBoost的几大参数 1、一般参数，用于集成算法本身 ①n_estimators 集成算法通过在数据上构建多个弱 评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类…...

编程日记 2024/9/7 10:31:20

Vivado 约束

步骤5：保存约束 约束管理是设计流程的重要一步，Vivado设计套件 为您提供了在现有约束文件中添加新约束、覆盖的灵活性 现有约束，或创建新的约束文件以跟踪设计更改或完成 缺少约束。 您为设计创建了一些定时异常，但这些异常仅存在…...

编程日记 2024/9/7 10:30:09

如何在Excel中创建一个VBA宏，并设置一个按钮来执行这个宏

下面是一个详细的步骤指南 步骤1：创建VBA宏 1. 打开Excel并按 Alt F11 打开VBA编辑器。 2. 在VBA编辑器中，选择 Insert > Module 来插入一个新的模块。 3. 将以下代码粘贴到模块中： vba Sub CreateNewSheet() 声明一个工作表对象Dim …...

编程日记 2024/9/7 10:25:52

H3C SR-MPLS通过OSPF通告SID配置

首先在配置前理解几个基本概念 Prefix SID配置 统一分配和配置（全局规划）loopback和prefix sidPrefix SIDSRGB Base（16000）index Adj SID自动生成 对应SR节点间的互联链路SR节点本地标识，从设备本地Segment池中动态…...

编程日记 2024/9/7 10:24:48

JS面试真题 part2

JS面试真题 part2 6、typeof 与 instanceof 区别7、JavaScript原型，原型链？有什么特点8、说说你对作用域链的理解9、谈谈this对象的理解10、说说new操作符具体干了什么 6、typeof 与 instanceof 区别 自己回答： typeof：用来判断数…...

编程日记 2024/9/7 10:23:47

python 下载excel 添加水印

Python 在 Excel 中添加水印 https://zhuanlan.zhihu.com/p/499239298 生成图片 from PIL import Image, ImageDraw, ImageFont import numpy as np import matplotlib.pyplot as plt# 创建一个新的白色图片 img Image.new(RGB, (200, 100), color(255, 255, 255))# 指定中…...

编程日记 2024/9/7 10:21:38

CosyVoice：开源强大的 AI 语音合成工具

在当今科技飞速发展的时代，AI 语音合成技术正逐渐改变着我们的生活。今天，就为大家介绍一款卓越的语音合成工具——CosyVoice。 一、安装步骤 克隆和安装： 克隆仓库：git clone --recursive https://github.com/FunAudioLLM/Cos…...

编程日记 2024/9/7 10:18:05

【靶场】Pikachu—XSS Cross-Site Scripting（前五关）

🏘️个人主页： 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍收藏💗支持一下哦 【靶场】Pikachu—XSS Cross-Site Scripting（前五关） 第一关 反射型xss(get)第二关 反射型xss(post)第三关…...

编程日记 2024/9/7 10:13:24

Dance with Compiler - EP2

今天来熟悉汇编指令。 基本指令特点 str: store value to memory ldr: load value from memory stp: store register value to stack ldp: load stack value to register 更新寄存器的操作，一般结果寄存器是左操作数。 写内存的操作（str）&…...

编程日记 2024/9/7 10:12:19

微博视频无水印下载的方法

在如今的数字时代，社交媒体平台如微博已经成为人们分享日常生活、获取新闻和娱乐内容的重要渠道。我们时常会在刷微博时看到一些有趣的视频图片，或是名人的访谈，或是搞笑的短片，有时甚至是一些珍贵的历史资料。这些视频不仅内容丰…...

编程日记 2024/9/7 10:10:13

C语言 | Leetcode C语言题解之第390题消除游戏

题目&#xff1a; 题解&#xff1a; int lastRemaining(int n) {int a1 1;int k 0, cnt n, step 1;while (cnt > 1) {if (k % 2 0) { // 正向a1 a1 step;} else { // 反向a1 (cnt % 2 0) ? a1 : a1 step;}k;cnt cnt >> 1;step step << 1;}return …...

编程日记 2024/9/7 10:09:12

虚拟现实辅助工程技术助力多学科协同评估

在当今高速发展的经济环境中&#xff0c;制造业面临着多重挑战&#xff0c;包括提高产品性能、压缩设计周期、实现轻量化设计和降低成本。为了有效应对这些挑战&#xff0c;多学科协同评估成为缩短研发周期和提升研制质量的关键手段。 传统的多学科评估面临着数据孤立与融合困难…...

编程日记 2024/9/7 10:07:50

Java获取小程序码示例（三种小程序码）

首先我们可以看到官方文档上是有三种码的 获取小程序码 这里特别要注意的是第一种和第三种是有数量限制的&#xff0c;所以大家生成的时候记得保存&#xff0c;也不要一直瞎生成 还有一点要注意的是第一种和第二种是太阳码 第三种是方形码 好了直接上代码 这里要注意&#xff…...

编程日记 2024/9/7 10:05:48

【最新华为OD机试E卷-支持在线评测】分糖果(100分)-多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ，一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-E/D卷的三语言AC题解 💻 ACM金牌🏅️团队| 多次AK大厂笔试 ｜ 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试D卷目录，全、新、准，题目覆盖率达 95% 以上，…...

编程日记 2024/9/7 10:03:36

Windows下Python和PyCharm的应用(二)__快捷键方式的设定

前言 程序写久了&#xff0c;难免会形成自己的编程习惯。比如对某一套快捷键的使用&#xff0c;已经形成了肌肉记忆。 为了方便快捷键的使用&#xff0c;可以在PyCharm中设置自己喜欢的快捷键。 我比较习惯于微软Visual Studio的快捷键设置。&#xff08;因为早些年VC开发用的…...

编程日记 2024/9/7 10:02:32

网络安全宗旨和目标

网络安全涉及网络和相关数据及信息的保护与保障。它已从物理技术发展到防病毒和反网络钓鱼平台等软件方法。 在本章中&#xff0c;我们将详细讨论网络安全的主要目标和原则&#xff0c;并提供与之相关的具体示例。所以&#xff0c;让我们从网络安全的目标开始。 网络安全的目的…...

编程日记 2024/9/7 10:00:23

stm32之软件SPI读写W25Q64存储器应用案例

系列文章目录 1. stm32之SPI通信协议 文章目录 系列文章目录前言一、电路接线图二、应用案例代码三、应用案例分析3.1 SPI通信模块3.2 W25Q64模块3.3 主程序 前言 提示&#xff1a;本文主要用作在学习江科大自化协STM32入门教程后做的归纳总结笔记&#xff0c;旨在学习记录&a…...

编程日记 2024/9/7 9:59:22

golang循环变量捕获问题​​

在 Go 语言中&#xff0c;当在循环中启动协程&#xff08;goroutine&#xff09;时&#xff0c;如果在协程闭包中直接引用循环变量&#xff0c;可能会遇到一个常见的陷阱 - ​​循环变量捕获问题​​。让我详细解释一下&#xff1a; 问题背景 看这个代码片段&#xff1a; fo…...

编程新知 2025/7/5 11:03:11

《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一）

CSI-2 协议详细解析 (一&#xff09; 1. CSI-2层定义&#xff08;CSI-2 Layer Definitions&#xff09; 分层结构 &#xff1a;CSI-2协议分为6层&#xff1a; 物理层&#xff08;PHY Layer&#xff09; &#xff1a; 定义电气特性、时钟机制和传输介质&#xff08;导线&#…...

编程新知 2025/9/10 1:16:45

2024年赣州旅游投资集团社会招聘笔试真

2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案，答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年，()预言了电磁波的存在，并指出…...

编程新知 2025/7/25 10:29:46

如何在看板中有效管理突发紧急任务

在看板中有效管理突发紧急任务需要&#xff1a;设立专门的紧急任务通道、重新调整任务优先级、保持适度的WIP&#xff08;Work-in-Progress&#xff09;弹性、优化任务处理流程、提高团队应对突发情况的敏捷性。其中&#xff0c;设立专门的紧急任务通道尤为重要&#xff0c;这能…...

编程新知 2025/9/15 23:48:19

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

编程新知 2025/8/22 22:34:43

06 Deep learning神经网络编程基础 激活函数 --吴恩达

深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...

编程新知 2025/7/6 11:42:31

python报错No module named ‘tensorflow.keras‘

是由于不同版本的tensorflow下的keras所在的路径不同&#xff0c;结合所安装的tensorflow的目录结构修改from语句即可。 原语句&#xff1a; from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 修改后&#xff1a; from tensorflow.python.keras.lay…...

编程新知 2025/9/6 0:10:01

day36-多路IO复用

一、基本概念 &#xff08;服务器多客户端模型&#xff09; 定义&#xff1a;单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力 作用&#xff1a;应用程序通常需要处理来自多条事件流中的事件&#xff0c;比如我现在用的电脑&#xff0c;需要同时处理键盘鼠标…...

编程新知 2025/9/3 17:15:14

Vue3 PC端 UI组件库我更推荐Naive UI

一、Vue3生态现状与UI库选择的重要性 随着Vue3的稳定发布和Composition API的广泛采用&#xff0c;前端开发者面临着UI组件库的重新选择。一个好的UI库不仅能提升开发效率&#xff0c;还能确保项目的长期可维护性。本文将对比三大主流Vue3 UI库&#xff08;Naive UI、Element …...

编程新知 2025/9/9 10:05:39

python可视化：俄乌战争时间线关键节点与深层原因

俄乌战争时间线可视化分析&#xff1a;关键节点与深层原因 俄乌战争是21世纪欧洲最具影响力的地缘政治冲突之一&#xff0c;自2022年2月爆发以来已持续超过3年。 本文将通过Python可视化工具&#xff0c;系统分析这场战争的时间线、关键节点及其背后的深层原因&#xff0c;全面…...

编程新知 2025/9/2 16:42:15