当前位置： 首页 > news >正文

模型和算力看板：Compute DashBoard

news 2025/7/9 7:35:51

AGI 之路

AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类似MLPerf 这样的第三方评价组织， 但其数据主要依赖各个厂家进行提交，包含单机和服务器的各项指标，通常很难比较单一GPU或者单一模型的各项能力。

我们在选择云服务或者单机服务器时，基于现有模型如何匹配合适的算力，通常是一件糟心的事情，考虑到算力的昂贵，需要物尽其用，综合考虑现存/算力/带宽/散热 等影响因子。Compute DashBoard 从算力的角度出发，整理了各家国内外数据中心推理训练卡的各项参数，囊括了包含封装，互联以及算力指标等性能参数，可以为模型部署提供参考，同时如果你是一个芯片行业从业者，从产品角度，提供了一个竞品的功能和性能参考。

除此之外，Compute DashBoard 还提供了各个主流LLM开源模型在不同参数匹配情况下的Performance Benchmark， 包括首字延时/平均延时和吞吐。

使用指引

访问Compute DashBoard 网站：ostring.streamlit.app
在这里插入图片描述

进入主页后，Home 页是一个GPU Evolution 的Timeline 页面，希望呈现出各个阶段代表性的GPU 产品，AIGC 作为一个时代的Milestone， 产品也应该有它自己的Milestone，持续进化中。
在这里插入图片描述

GPUs 页面,我们可以选择芯片厂商，同时在对应的列表中选择支持的加速器产品
在这里插入图片描述

Models页面，目前支持市面上绝大多数开源的LLM模型，基于GPU 的性能数据，我们以柱状图的形式展示其在不同的GPU 平台上的延时和吞吐数据。

在这里插入图片描述

访问申请

Compute DashBoard 基于streamlit 作为开发框架快速搭建，基于streamlit community cloud进行部署。

  • step1: 登录streamlit cloud注册一个账号
    在这里插入图片描述

  • step2: 关注微信公众号OString2024或者CSDN OString2024，后台私信您的streamlit 账号（邮箱号：xxxx@xxx.com）
    在这里插入图片描述

  • step3: 博主在后台添加对应账号即可访问：ostring.streamlit.app

由于模型性能数据均由个人租用真实GPU来进行性能读出并整理至数据库，租用GPU会产生一定费用, 因此访问申请会逐渐放开，或者考虑收取少量费用，敬请了解。

期待

欢迎大家后台反馈你们的需求。
后续还会持续上线：

  • Diffusion/VIT 模型的benchmark；
  • 充实GPU 家族
  • 各厂家MLPerf 的性能结果

相关文章：

模型和算力看板：Compute DashBoard

AGI 之路 AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类…...

编程日记 2024/9/7 10:36:56

Python加载 TorchScript 格式的 ResNet18 模型分类该模型进行预测并输出预测的类别和置信度

首先加载预训练的 ResNet18 模型。将模型设置为评估模式，以确保特定层（如 Dropout 和 BatchNorm）在评估时具有确定性的行为。创建一个形状为 (1, 3, 224, 224) 的随机张量作为示例输入。使用 torch.jit.trace 函数追踪模型在给定示例输入上的…...

编程日记 2024/9/7 10:33:25

学习笔记--MybatisPlus

官网：MyBatis-Plus 🚀 为简化开发而生 快速入门 入门案例 引入MybatisPlus的起步依赖 定义Mapper 问题： MybatisPlus中Invalid bound statement (not found): com.itheima.mp.mapper.UserMapper.insert 一定要指定实体类！&am…...

编程日记 2024/9/7 10:32:21

【机器学习】XGBoost的用法和参数解释

一、XGBoost的用法 流程： 代码案例： 二、XGBoost的几大参数 1、一般参数，用于集成算法本身 ①n_estimators 集成算法通过在数据上构建多个弱 评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类…...

编程日记 2024/9/7 10:31:20

Vivado 约束

步骤5：保存约束 约束管理是设计流程的重要一步，Vivado设计套件 为您提供了在现有约束文件中添加新约束、覆盖的灵活性 现有约束，或创建新的约束文件以跟踪设计更改或完成 缺少约束。 您为设计创建了一些定时异常，但这些异常仅存在…...

编程日记 2024/9/7 10:30:09

如何在Excel中创建一个VBA宏，并设置一个按钮来执行这个宏

下面是一个详细的步骤指南 步骤1：创建VBA宏 1. 打开Excel并按 Alt F11 打开VBA编辑器。 2. 在VBA编辑器中，选择 Insert > Module 来插入一个新的模块。 3. 将以下代码粘贴到模块中： vba Sub CreateNewSheet() 声明一个工作表对象Dim …...

编程日记 2024/9/7 10:25:52

H3C SR-MPLS通过OSPF通告SID配置

首先在配置前理解几个基本概念 Prefix SID配置 统一分配和配置（全局规划）loopback和prefix sidPrefix SIDSRGB Base（16000）index Adj SID自动生成 对应SR节点间的互联链路SR节点本地标识，从设备本地Segment池中动态…...

编程日记 2024/9/7 10:24:48

JS面试真题 part2

JS面试真题 part2 6、typeof 与 instanceof 区别7、JavaScript原型，原型链？有什么特点8、说说你对作用域链的理解9、谈谈this对象的理解10、说说new操作符具体干了什么 6、typeof 与 instanceof 区别 自己回答： typeof：用来判断数…...

编程日记 2024/9/7 10:23:47

python 下载excel 添加水印

Python 在 Excel 中添加水印 https://zhuanlan.zhihu.com/p/499239298 生成图片 from PIL import Image, ImageDraw, ImageFont import numpy as np import matplotlib.pyplot as plt# 创建一个新的白色图片 img Image.new(RGB, (200, 100), color(255, 255, 255))# 指定中…...

编程日记 2024/9/7 10:21:38

CosyVoice：开源强大的 AI 语音合成工具

在当今科技飞速发展的时代，AI 语音合成技术正逐渐改变着我们的生活。今天，就为大家介绍一款卓越的语音合成工具——CosyVoice。 一、安装步骤 克隆和安装： 克隆仓库：git clone --recursive https://github.com/FunAudioLLM/Cos…...

编程日记 2024/9/7 10:18:05

【靶场】Pikachu—XSS Cross-Site Scripting（前五关）

🏘️个人主页： 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍收藏💗支持一下哦 【靶场】Pikachu—XSS Cross-Site Scripting（前五关） 第一关 反射型xss(get)第二关 反射型xss(post)第三关…...

编程日记 2024/9/7 10:13:24

Dance with Compiler - EP2

今天来熟悉汇编指令。 基本指令特点 str: store value to memory ldr: load value from memory stp: store register value to stack ldp: load stack value to register 更新寄存器的操作，一般结果寄存器是左操作数。 写内存的操作（str）&…...

编程日记 2024/9/7 10:12:19

微博视频无水印下载的方法

在如今的数字时代，社交媒体平台如微博已经成为人们分享日常生活、获取新闻和娱乐内容的重要渠道。我们时常会在刷微博时看到一些有趣的视频图片，或是名人的访谈，或是搞笑的短片，有时甚至是一些珍贵的历史资料。这些视频不仅内容丰…...

编程日记 2024/9/7 10:10:13

C语言 | Leetcode C语言题解之第390题消除游戏

题目&#xff1a; 题解&#xff1a; int lastRemaining(int n) {int a1 1;int k 0, cnt n, step 1;while (cnt > 1) {if (k % 2 0) { // 正向a1 a1 step;} else { // 反向a1 (cnt % 2 0) ? a1 : a1 step;}k;cnt cnt >> 1;step step << 1;}return …...

编程日记 2024/9/7 10:09:12

虚拟现实辅助工程技术助力多学科协同评估

在当今高速发展的经济环境中&#xff0c;制造业面临着多重挑战&#xff0c;包括提高产品性能、压缩设计周期、实现轻量化设计和降低成本。为了有效应对这些挑战&#xff0c;多学科协同评估成为缩短研发周期和提升研制质量的关键手段。 传统的多学科评估面临着数据孤立与融合困难…...

编程日记 2024/9/7 10:07:50

Java获取小程序码示例（三种小程序码）

首先我们可以看到官方文档上是有三种码的 获取小程序码 这里特别要注意的是第一种和第三种是有数量限制的&#xff0c;所以大家生成的时候记得保存&#xff0c;也不要一直瞎生成 还有一点要注意的是第一种和第二种是太阳码 第三种是方形码 好了直接上代码 这里要注意&#xff…...

编程日记 2024/9/7 10:05:48

【最新华为OD机试E卷-支持在线评测】分糖果(100分)-多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ，一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-E/D卷的三语言AC题解 💻 ACM金牌🏅️团队| 多次AK大厂笔试 ｜ 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试D卷目录，全、新、准，题目覆盖率达 95% 以上，…...

编程日记 2024/9/7 10:03:36

Windows下Python和PyCharm的应用(二)__快捷键方式的设定

前言 程序写久了&#xff0c;难免会形成自己的编程习惯。比如对某一套快捷键的使用&#xff0c;已经形成了肌肉记忆。 为了方便快捷键的使用&#xff0c;可以在PyCharm中设置自己喜欢的快捷键。 我比较习惯于微软Visual Studio的快捷键设置。&#xff08;因为早些年VC开发用的…...

编程日记 2024/9/7 10:02:32

网络安全宗旨和目标

网络安全涉及网络和相关数据及信息的保护与保障。它已从物理技术发展到防病毒和反网络钓鱼平台等软件方法。 在本章中&#xff0c;我们将详细讨论网络安全的主要目标和原则&#xff0c;并提供与之相关的具体示例。所以&#xff0c;让我们从网络安全的目标开始。 网络安全的目的…...

编程日记 2024/9/7 10:00:23

stm32之软件SPI读写W25Q64存储器应用案例

系列文章目录 1. stm32之SPI通信协议 文章目录 系列文章目录前言一、电路接线图二、应用案例代码三、应用案例分析3.1 SPI通信模块3.2 W25Q64模块3.3 主程序 前言 提示&#xff1a;本文主要用作在学习江科大自化协STM32入门教程后做的归纳总结笔记&#xff0c;旨在学习记录&a…...

编程日记 2024/9/7 9:59:22

conda相比python好处

Conda 作为 Python 的环境和包管理工具&#xff0c;相比原生 Python 生态&#xff08;如 pip 虚拟环境&#xff09;有许多独特优势&#xff0c;尤其在多项目管理、依赖处理和跨平台兼容性等方面表现更优。以下是 Conda 的核心好处&#xff1a; 一、一站式环境管理&#xff1a…...

编程新知 2025/6/15 5:36:36

C++_核心编程_多态案例二-制作饮品

#include <iostream> #include <string> using namespace std;/*制作饮品的大致流程为&#xff1a;煮水 - 冲泡 - 倒入杯中 - 加入辅料 利用多态技术实现本案例&#xff0c;提供抽象制作饮品基类&#xff0c;提供子类制作咖啡和茶叶*//*基类*/ class AbstractDr…...

编程新知 2025/7/9 7:21:59

【Linux】C语言执行shell指令

在C语言中执行Shell指令 在C语言中&#xff0c;有几种方法可以执行Shell指令&#xff1a; 1. 使用system()函数 这是最简单的方法&#xff0c;包含在stdlib.h头文件中&#xff1a; #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...

编程新知 2025/6/21 17:11:09

基于服务器使用 apt 安装、配置 Nginx

&#x1f9fe; 一、查看可安装的 Nginx 版本 首先&#xff0c;你可以运行以下命令查看可用版本&#xff1a; apt-cache madison nginx-core输出示例&#xff1a; nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

编程新知 2025/7/8 20:09:11

Objective-C常用命名规范总结

【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名&#xff08;Class Name)2.协议名&#xff08;Protocol Name)3.方法名&#xff08;Method Name)4.属性名&#xff08;Property Name&#xff09;5.局部变量/实例变量&#xff08;Local / Instance Variables&…...

编程新知 2025/6/21 15:57:46

P3 QT项目----记事本（3.8）

3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

编程新知 2025/7/7 3:01:07

Matlab | matlab常用命令总结

常用命令 一、 基础操作与环境二、 矩阵与数组操作（核心）三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结，涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...

编程新知 2025/6/20 11:09:49

【python异步多线程】异步多线程爬虫代码示例

claude生成的python多线程、异步代码示例&#xff0c;模拟20个网页的爬取&#xff0c;每个网页假设要0.5-2秒完成。 代码 Python多线程爬虫教程 核心概念 多线程&#xff1a;允许程序同时执行多个任务&#xff0c;提高IO密集型任务&#xff08;如网络请求&#xff09;的效率…...

编程新知 2025/7/6 2:44:56

基于matlab策略迭代和值迭代法的动态规划

经典的基于策略迭代和值迭代法的动态规划matlab代码&#xff0c;实现机器人的最优运输 Dynamic-Programming-master/Environment.pdf , 104724 Dynamic-Programming-master/README.md , 506 Dynamic-Programming-master/generalizedPolicyIteration.m , 1970 Dynamic-Programm…...

编程新知 2025/7/8 1:59:59

Xen Server服务器释放磁盘空间

disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...

编程新知 2025/6/21 10:27:51