当前位置： 首页 > news >正文

模型和算力看板：Compute DashBoard

news 2026/2/9 18:57:24

AGI 之路

AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类似MLPerf 这样的第三方评价组织， 但其数据主要依赖各个厂家进行提交，包含单机和服务器的各项指标，通常很难比较单一GPU或者单一模型的各项能力。

我们在选择云服务或者单机服务器时，基于现有模型如何匹配合适的算力，通常是一件糟心的事情，考虑到算力的昂贵，需要物尽其用，综合考虑现存/算力/带宽/散热 等影响因子。Compute DashBoard 从算力的角度出发，整理了各家国内外数据中心推理训练卡的各项参数，囊括了包含封装，互联以及算力指标等性能参数，可以为模型部署提供参考，同时如果你是一个芯片行业从业者，从产品角度，提供了一个竞品的功能和性能参考。

除此之外，Compute DashBoard 还提供了各个主流LLM开源模型在不同参数匹配情况下的Performance Benchmark， 包括首字延时/平均延时和吞吐。

使用指引

访问Compute DashBoard 网站：ostring.streamlit.app
在这里插入图片描述

进入主页后，Home 页是一个GPU Evolution 的Timeline 页面，希望呈现出各个阶段代表性的GPU 产品，AIGC 作为一个时代的Milestone， 产品也应该有它自己的Milestone，持续进化中。
在这里插入图片描述

GPUs 页面,我们可以选择芯片厂商，同时在对应的列表中选择支持的加速器产品
在这里插入图片描述

Models页面，目前支持市面上绝大多数开源的LLM模型，基于GPU 的性能数据，我们以柱状图的形式展示其在不同的GPU 平台上的延时和吞吐数据。

在这里插入图片描述

访问申请

Compute DashBoard 基于streamlit 作为开发框架快速搭建，基于streamlit community cloud进行部署。

  • step1: 登录streamlit cloud注册一个账号
    在这里插入图片描述

  • step2: 关注微信公众号OString2024或者CSDN OString2024，后台私信您的streamlit 账号（邮箱号：xxxx@xxx.com）
    在这里插入图片描述

  • step3: 博主在后台添加对应账号即可访问：ostring.streamlit.app

由于模型性能数据均由个人租用真实GPU来进行性能读出并整理至数据库，租用GPU会产生一定费用, 因此访问申请会逐渐放开，或者考虑收取少量费用，敬请了解。

期待

欢迎大家后台反馈你们的需求。
后续还会持续上线：

  • Diffusion/VIT 模型的benchmark；
  • 充实GPU 家族
  • 各厂家MLPerf 的性能结果

相关文章：

模型和算力看板：Compute DashBoard

AGI 之路 AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类…...

编程日记 2024/9/7 10:36:56

Python加载 TorchScript 格式的 ResNet18 模型分类该模型进行预测并输出预测的类别和置信度

首先加载预训练的 ResNet18 模型。将模型设置为评估模式，以确保特定层（如 Dropout 和 BatchNorm）在评估时具有确定性的行为。创建一个形状为 (1, 3, 224, 224) 的随机张量作为示例输入。使用 torch.jit.trace 函数追踪模型在给定示例输入上的…...

编程日记 2024/9/7 10:33:25

学习笔记--MybatisPlus

官网：MyBatis-Plus 🚀 为简化开发而生 快速入门 入门案例 引入MybatisPlus的起步依赖 定义Mapper 问题： MybatisPlus中Invalid bound statement (not found): com.itheima.mp.mapper.UserMapper.insert 一定要指定实体类！&am…...

编程日记 2024/9/7 10:32:21

【机器学习】XGBoost的用法和参数解释

一、XGBoost的用法 流程： 代码案例： 二、XGBoost的几大参数 1、一般参数，用于集成算法本身 ①n_estimators 集成算法通过在数据上构建多个弱 评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类…...

编程日记 2024/9/7 10:31:20

Vivado 约束

步骤5：保存约束 约束管理是设计流程的重要一步，Vivado设计套件 为您提供了在现有约束文件中添加新约束、覆盖的灵活性 现有约束，或创建新的约束文件以跟踪设计更改或完成 缺少约束。 您为设计创建了一些定时异常，但这些异常仅存在…...

编程日记 2024/9/7 10:30:09

如何在Excel中创建一个VBA宏，并设置一个按钮来执行这个宏

下面是一个详细的步骤指南 步骤1：创建VBA宏 1. 打开Excel并按 Alt F11 打开VBA编辑器。 2. 在VBA编辑器中，选择 Insert > Module 来插入一个新的模块。 3. 将以下代码粘贴到模块中： vba Sub CreateNewSheet() 声明一个工作表对象Dim …...

编程日记 2024/9/7 10:25:52

H3C SR-MPLS通过OSPF通告SID配置

首先在配置前理解几个基本概念 Prefix SID配置 统一分配和配置（全局规划）loopback和prefix sidPrefix SIDSRGB Base（16000）index Adj SID自动生成 对应SR节点间的互联链路SR节点本地标识，从设备本地Segment池中动态…...

编程日记 2024/9/7 10:24:48

JS面试真题 part2

JS面试真题 part2 6、typeof 与 instanceof 区别7、JavaScript原型，原型链？有什么特点8、说说你对作用域链的理解9、谈谈this对象的理解10、说说new操作符具体干了什么 6、typeof 与 instanceof 区别 自己回答： typeof：用来判断数…...

编程日记 2024/9/7 10:23:47

python 下载excel 添加水印

Python 在 Excel 中添加水印 https://zhuanlan.zhihu.com/p/499239298 生成图片 from PIL import Image, ImageDraw, ImageFont import numpy as np import matplotlib.pyplot as plt# 创建一个新的白色图片 img Image.new(RGB, (200, 100), color(255, 255, 255))# 指定中…...

编程日记 2024/9/7 10:21:38

CosyVoice：开源强大的 AI 语音合成工具

在当今科技飞速发展的时代，AI 语音合成技术正逐渐改变着我们的生活。今天，就为大家介绍一款卓越的语音合成工具——CosyVoice。 一、安装步骤 克隆和安装： 克隆仓库：git clone --recursive https://github.com/FunAudioLLM/Cos…...

编程日记 2024/9/7 10:18:05

【靶场】Pikachu—XSS Cross-Site Scripting（前五关）

🏘️个人主页： 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍收藏💗支持一下哦 【靶场】Pikachu—XSS Cross-Site Scripting（前五关） 第一关 反射型xss(get)第二关 反射型xss(post)第三关…...

编程日记 2024/9/7 10:13:24

Dance with Compiler - EP2

今天来熟悉汇编指令。 基本指令特点 str: store value to memory ldr: load value from memory stp: store register value to stack ldp: load stack value to register 更新寄存器的操作，一般结果寄存器是左操作数。 写内存的操作（str）&…...

编程日记 2024/9/7 10:12:19

微博视频无水印下载的方法

在如今的数字时代，社交媒体平台如微博已经成为人们分享日常生活、获取新闻和娱乐内容的重要渠道。我们时常会在刷微博时看到一些有趣的视频图片，或是名人的访谈，或是搞笑的短片，有时甚至是一些珍贵的历史资料。这些视频不仅内容丰…...

编程日记 2024/9/7 10:10:13

C语言 | Leetcode C语言题解之第390题消除游戏

题目&#xff1a; 题解&#xff1a; int lastRemaining(int n) {int a1 1;int k 0, cnt n, step 1;while (cnt > 1) {if (k % 2 0) { // 正向a1 a1 step;} else { // 反向a1 (cnt % 2 0) ? a1 : a1 step;}k;cnt cnt >> 1;step step << 1;}return …...

编程日记 2024/9/7 10:09:12

虚拟现实辅助工程技术助力多学科协同评估

在当今高速发展的经济环境中&#xff0c;制造业面临着多重挑战&#xff0c;包括提高产品性能、压缩设计周期、实现轻量化设计和降低成本。为了有效应对这些挑战&#xff0c;多学科协同评估成为缩短研发周期和提升研制质量的关键手段。 传统的多学科评估面临着数据孤立与融合困难…...

编程日记 2024/9/7 10:07:50

Java获取小程序码示例（三种小程序码）

首先我们可以看到官方文档上是有三种码的 获取小程序码 这里特别要注意的是第一种和第三种是有数量限制的&#xff0c;所以大家生成的时候记得保存&#xff0c;也不要一直瞎生成 还有一点要注意的是第一种和第二种是太阳码 第三种是方形码 好了直接上代码 这里要注意&#xff…...

编程日记 2024/9/7 10:05:48

【最新华为OD机试E卷-支持在线评测】分糖果(100分)-多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ，一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-E/D卷的三语言AC题解 💻 ACM金牌🏅️团队| 多次AK大厂笔试 ｜ 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试D卷目录，全、新、准，题目覆盖率达 95% 以上，…...

编程日记 2024/9/7 10:03:36

Windows下Python和PyCharm的应用(二)__快捷键方式的设定

前言 程序写久了&#xff0c;难免会形成自己的编程习惯。比如对某一套快捷键的使用&#xff0c;已经形成了肌肉记忆。 为了方便快捷键的使用&#xff0c;可以在PyCharm中设置自己喜欢的快捷键。 我比较习惯于微软Visual Studio的快捷键设置。&#xff08;因为早些年VC开发用的…...

编程日记 2024/9/7 10:02:32

网络安全宗旨和目标

网络安全涉及网络和相关数据及信息的保护与保障。它已从物理技术发展到防病毒和反网络钓鱼平台等软件方法。 在本章中&#xff0c;我们将详细讨论网络安全的主要目标和原则&#xff0c;并提供与之相关的具体示例。所以&#xff0c;让我们从网络安全的目标开始。 网络安全的目的…...

编程日记 2024/9/7 10:00:23

stm32之软件SPI读写W25Q64存储器应用案例

系列文章目录 1. stm32之SPI通信协议 文章目录 系列文章目录前言一、电路接线图二、应用案例代码三、应用案例分析3.1 SPI通信模块3.2 W25Q64模块3.3 主程序 前言 提示&#xff1a;本文主要用作在学习江科大自化协STM32入门教程后做的归纳总结笔记&#xff0c;旨在学习记录&a…...

编程日记 2024/9/7 9:59:22

Ubuntu系统下交叉编译openssl

一、参考资料 OpenSSL&&libcurl库的交叉编译 - hesetone - 博客园 二、准备工作 1. 编译环境 宿主机&#xff1a;Ubuntu 20.04.6 LTSHost&#xff1a;ARM32位交叉编译器&#xff1a;arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编译工具链 在交叉编译之前&#x…...

编程新知 2025/11/10 15:33:04

Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误

HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误&#xff0c;它们的含义、原因和解决方法都有显著区别。以下是详细对比&#xff1a; 1. HTTP 406 (Not Acceptable) 含义&#xff1a; 客户端请求的内容类型与服务器支持的内容类型不匹…...

编程新知 2026/2/1 20:49:03

ubuntu搭建nfs服务centos挂载访问

在Ubuntu上设置NFS服务器 在Ubuntu上&#xff0c;你可以使用apt包管理器来安装NFS服务器。打开终端并运行&#xff1a; sudo apt update sudo apt install nfs-kernel-server创建共享目录 创建一个目录用于共享&#xff0c;例如/shared&#xff1a; sudo mkdir /shared sud…...

编程新知 2026/2/6 23:18:59

逻辑回归：给不确定性划界的分类大师

想象你是一名医生。面对患者的检查报告&#xff08;肿瘤大小、血液指标&#xff09;&#xff0c;你需要做出一个**决定性判断**&#xff1a;恶性还是良性&#xff1f;这种“非黑即白”的抉择&#xff0c;正是**逻辑回归&#xff08;Logistic Regression&#xff09;** 的战场&a…...

编程新知 2025/10/27 21:25:04

【磁盘】每天掌握一个Linux命令 - iostat

目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat&#xff08;I/O Statistics&#xff09;是Linux系统下用于监视系统输入输出设备和CPU使…...

编程新知 2025/9/30 16:39:11

cf2117E

原题链接&#xff1a;https://codeforces.com/contest/2117/problem/E 题目背景&#xff1a; 给定两个数组a,b&#xff0c;可以执行多次以下操作&#xff1a;选择 i (1 < i < n - 1)&#xff0c;并设置 或&#xff0c;也可以在执行上述操作前执行一次删除任意 和 。求…...

编程新知 2026/2/4 15:29:40

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2026/1/29 5:29:57

Spring AI与Spring Modulith核心技术解析

Spring AI核心架构解析 Spring AI&#xff08;https://spring.io/projects/spring-ai&#xff09;作为Spring生态中的AI集成框架&#xff0c;其核心设计理念是通过模块化架构降低AI应用的开发复杂度。与Python生态中的LangChain/LlamaIndex等工具类似&#xff0c;但特别为多语…...

编程新知 2025/12/14 17:38:21

Rapidio门铃消息FIFO溢出机制

关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系&#xff0c;以下是深入解析&#xff1a; 门铃FIFO溢出的本质 在RapidIO系统中&#xff0c;门铃消息FIFO是硬件控制器内部的缓冲区&#xff0c;用于临时存储接收到的门铃消息&#xff08;Doorbell Message&#xff09;。…...

编程新知 2026/1/7 1:29:19

【Java学习笔记】BigInteger 和 BigDecimal 类

BigInteger 和 BigDecimal 类 二者共有的常见方法 方法功能add加subtract减multiply乘divide除 注意点&#xff1a;传参类型必须是类对象 一、BigInteger 1. 作用&#xff1a;适合保存比较大的整型数 2. 使用说明 创建BigInteger对象 传入字符串 3. 代码示例 import j…...

编程新知 2025/11/8 15:39:00