当前位置： 首页 > news >正文

模型和算力看板：Compute DashBoard

news 2026/5/28 10:37:30

AGI 之路

AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类似MLPerf 这样的第三方评价组织， 但其数据主要依赖各个厂家进行提交，包含单机和服务器的各项指标，通常很难比较单一GPU或者单一模型的各项能力。

我们在选择云服务或者单机服务器时，基于现有模型如何匹配合适的算力，通常是一件糟心的事情，考虑到算力的昂贵，需要物尽其用，综合考虑现存/算力/带宽/散热 等影响因子。Compute DashBoard 从算力的角度出发，整理了各家国内外数据中心推理训练卡的各项参数，囊括了包含封装，互联以及算力指标等性能参数，可以为模型部署提供参考，同时如果你是一个芯片行业从业者，从产品角度，提供了一个竞品的功能和性能参考。

除此之外，Compute DashBoard 还提供了各个主流LLM开源模型在不同参数匹配情况下的Performance Benchmark， 包括首字延时/平均延时和吞吐。

使用指引

访问Compute DashBoard 网站：ostring.streamlit.app
在这里插入图片描述

进入主页后，Home 页是一个GPU Evolution 的Timeline 页面，希望呈现出各个阶段代表性的GPU 产品，AIGC 作为一个时代的Milestone， 产品也应该有它自己的Milestone，持续进化中。
在这里插入图片描述

GPUs 页面,我们可以选择芯片厂商，同时在对应的列表中选择支持的加速器产品
在这里插入图片描述

Models页面，目前支持市面上绝大多数开源的LLM模型，基于GPU 的性能数据，我们以柱状图的形式展示其在不同的GPU 平台上的延时和吞吐数据。

在这里插入图片描述

访问申请

Compute DashBoard 基于streamlit 作为开发框架快速搭建，基于streamlit community cloud进行部署。

  • step1: 登录streamlit cloud注册一个账号
    在这里插入图片描述

  • step2: 关注微信公众号OString2024或者CSDN OString2024，后台私信您的streamlit 账号（邮箱号：xxxx@xxx.com）
    在这里插入图片描述

  • step3: 博主在后台添加对应账号即可访问：ostring.streamlit.app

由于模型性能数据均由个人租用真实GPU来进行性能读出并整理至数据库，租用GPU会产生一定费用, 因此访问申请会逐渐放开，或者考虑收取少量费用，敬请了解。

期待

欢迎大家后台反馈你们的需求。
后续还会持续上线：

  • Diffusion/VIT 模型的benchmark；
  • 充实GPU 家族
  • 各厂家MLPerf 的性能结果

相关文章：

模型和算力看板：Compute DashBoard

AGI 之路 AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类…...

编程日记 2024/9/7 10:36:56

Python加载 TorchScript 格式的 ResNet18 模型分类该模型进行预测并输出预测的类别和置信度

首先加载预训练的 ResNet18 模型。将模型设置为评估模式，以确保特定层（如 Dropout 和 BatchNorm）在评估时具有确定性的行为。创建一个形状为 (1, 3, 224, 224) 的随机张量作为示例输入。使用 torch.jit.trace 函数追踪模型在给定示例输入上的…...

编程日记 2024/9/7 10:33:25

学习笔记--MybatisPlus

官网：MyBatis-Plus 🚀 为简化开发而生 快速入门 入门案例 引入MybatisPlus的起步依赖 定义Mapper 问题： MybatisPlus中Invalid bound statement (not found): com.itheima.mp.mapper.UserMapper.insert 一定要指定实体类！&am…...

编程日记 2024/9/7 10:32:21

【机器学习】XGBoost的用法和参数解释

一、XGBoost的用法 流程： 代码案例： 二、XGBoost的几大参数 1、一般参数，用于集成算法本身 ①n_estimators 集成算法通过在数据上构建多个弱 评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类…...

编程日记 2024/9/7 10:31:20

Vivado 约束

步骤5：保存约束 约束管理是设计流程的重要一步，Vivado设计套件 为您提供了在现有约束文件中添加新约束、覆盖的灵活性 现有约束，或创建新的约束文件以跟踪设计更改或完成 缺少约束。 您为设计创建了一些定时异常，但这些异常仅存在…...

编程日记 2024/9/7 10:30:09

如何在Excel中创建一个VBA宏，并设置一个按钮来执行这个宏

下面是一个详细的步骤指南 步骤1：创建VBA宏 1. 打开Excel并按 Alt F11 打开VBA编辑器。 2. 在VBA编辑器中，选择 Insert > Module 来插入一个新的模块。 3. 将以下代码粘贴到模块中： vba Sub CreateNewSheet() 声明一个工作表对象Dim …...

编程日记 2024/9/7 10:25:52

H3C SR-MPLS通过OSPF通告SID配置

首先在配置前理解几个基本概念 Prefix SID配置 统一分配和配置（全局规划）loopback和prefix sidPrefix SIDSRGB Base（16000）index Adj SID自动生成 对应SR节点间的互联链路SR节点本地标识，从设备本地Segment池中动态…...

编程日记 2024/9/7 10:24:48

JS面试真题 part2

JS面试真题 part2 6、typeof 与 instanceof 区别7、JavaScript原型，原型链？有什么特点8、说说你对作用域链的理解9、谈谈this对象的理解10、说说new操作符具体干了什么 6、typeof 与 instanceof 区别 自己回答： typeof：用来判断数…...

编程日记 2024/9/7 10:23:47

python 下载excel 添加水印

Python 在 Excel 中添加水印 https://zhuanlan.zhihu.com/p/499239298 生成图片 from PIL import Image, ImageDraw, ImageFont import numpy as np import matplotlib.pyplot as plt# 创建一个新的白色图片 img Image.new(RGB, (200, 100), color(255, 255, 255))# 指定中…...

编程日记 2024/9/7 10:21:38

CosyVoice：开源强大的 AI 语音合成工具

在当今科技飞速发展的时代，AI 语音合成技术正逐渐改变着我们的生活。今天，就为大家介绍一款卓越的语音合成工具——CosyVoice。 一、安装步骤 克隆和安装： 克隆仓库：git clone --recursive https://github.com/FunAudioLLM/Cos…...

编程日记 2024/9/7 10:18:05

【靶场】Pikachu—XSS Cross-Site Scripting（前五关）

🏘️个人主页： 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍收藏💗支持一下哦 【靶场】Pikachu—XSS Cross-Site Scripting（前五关） 第一关 反射型xss(get)第二关 反射型xss(post)第三关…...

编程日记 2024/9/7 10:13:24

Dance with Compiler - EP2

今天来熟悉汇编指令。 基本指令特点 str: store value to memory ldr: load value from memory stp: store register value to stack ldp: load stack value to register 更新寄存器的操作，一般结果寄存器是左操作数。 写内存的操作（str）&…...

编程日记 2024/9/7 10:12:19

微博视频无水印下载的方法

在如今的数字时代，社交媒体平台如微博已经成为人们分享日常生活、获取新闻和娱乐内容的重要渠道。我们时常会在刷微博时看到一些有趣的视频图片，或是名人的访谈，或是搞笑的短片，有时甚至是一些珍贵的历史资料。这些视频不仅内容丰…...

编程日记 2024/9/7 10:10:13

C语言 | Leetcode C语言题解之第390题消除游戏

题目&#xff1a; 题解&#xff1a; int lastRemaining(int n) {int a1 1;int k 0, cnt n, step 1;while (cnt > 1) {if (k % 2 0) { // 正向a1 a1 step;} else { // 反向a1 (cnt % 2 0) ? a1 : a1 step;}k;cnt cnt >> 1;step step << 1;}return …...

编程日记 2024/9/7 10:09:12

虚拟现实辅助工程技术助力多学科协同评估

在当今高速发展的经济环境中&#xff0c;制造业面临着多重挑战&#xff0c;包括提高产品性能、压缩设计周期、实现轻量化设计和降低成本。为了有效应对这些挑战&#xff0c;多学科协同评估成为缩短研发周期和提升研制质量的关键手段。 传统的多学科评估面临着数据孤立与融合困难…...

编程日记 2024/9/7 10:07:50

Java获取小程序码示例（三种小程序码）

首先我们可以看到官方文档上是有三种码的 获取小程序码 这里特别要注意的是第一种和第三种是有数量限制的&#xff0c;所以大家生成的时候记得保存&#xff0c;也不要一直瞎生成 还有一点要注意的是第一种和第二种是太阳码 第三种是方形码 好了直接上代码 这里要注意&#xff…...

编程日记 2024/9/7 10:05:48

【最新华为OD机试E卷-支持在线评测】分糖果(100分)-多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ，一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-E/D卷的三语言AC题解 💻 ACM金牌🏅️团队| 多次AK大厂笔试 ｜ 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试D卷目录，全、新、准，题目覆盖率达 95% 以上，…...

编程日记 2024/9/7 10:03:36

Windows下Python和PyCharm的应用(二)__快捷键方式的设定

前言 程序写久了&#xff0c;难免会形成自己的编程习惯。比如对某一套快捷键的使用&#xff0c;已经形成了肌肉记忆。 为了方便快捷键的使用&#xff0c;可以在PyCharm中设置自己喜欢的快捷键。 我比较习惯于微软Visual Studio的快捷键设置。&#xff08;因为早些年VC开发用的…...

编程日记 2024/9/7 10:02:32

网络安全宗旨和目标

网络安全涉及网络和相关数据及信息的保护与保障。它已从物理技术发展到防病毒和反网络钓鱼平台等软件方法。 在本章中&#xff0c;我们将详细讨论网络安全的主要目标和原则&#xff0c;并提供与之相关的具体示例。所以&#xff0c;让我们从网络安全的目标开始。 网络安全的目的…...

编程日记 2024/9/7 10:00:23

stm32之软件SPI读写W25Q64存储器应用案例

系列文章目录 1. stm32之SPI通信协议 文章目录 系列文章目录前言一、电路接线图二、应用案例代码三、应用案例分析3.1 SPI通信模块3.2 W25Q64模块3.3 主程序 前言 提示&#xff1a;本文主要用作在学习江科大自化协STM32入门教程后做的归纳总结笔记&#xff0c;旨在学习记录&a…...

编程日记 2024/9/7 9:59:22

Taotoken的TokenPlan套餐如何实现更经济的模型调用

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 Taotoken的TokenPlan套餐如何实现更经济的模型调用 1. 理解TokenPlan的计费模式 在模型应用开发过程中&#xff0c;成本的可预测性…...

编程新知 2026/5/26 3:15:58

别再只测accuracy！DeepSeek集成测试必须监控的5个隐性指标（P99首token延迟、context bleed率、tool-call schema漂移）

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;DeepSeek集成测试的核心范式演进 DeepSeek大模型的工程化落地对集成测试提出了全新挑战&#xff1a;传统基于接口响应码与字段校验的测试范式已难以覆盖语义一致性、推理链鲁棒性、上下文敏感度等高阶质…...

编程新知 2026/5/26 0:42:31

[智能体-81]：工程化智能体 = 模型做脑力拆解 + 框架做流程落地。前者是决策者，后者是管理者，tools/function call是内部员工；mcp server是外部资源；

一、全角色人设 & 对应技术组件角色定位对应技术模块核心职责决策者&#xff08;脑力大脑&#xff09;大模型 LLM理解目标、任务拆解、逻辑判断、分支决策、内容生成&#xff0c;负责 “想方案、定步骤”管理者&#xff08;流程总管&#xff09;智能体编排框架&#xff08;…...

编程新知 2026/5/26 0:34:24

钱钟书《围城》第1-5章阅读笔记：一场关于人生困境的提前预演

前言 钱钟书先生的《围城》被誉为"新儒林外史"&#xff0c;是中国现代文学史上风格独特的讽刺经典。这部创作于20世纪40年代的长篇小说&#xff0c;以抗战初期为背景&#xff0c;通过主人公方鸿渐的人生轨迹&#xff0c;深刻揭示了知识分子群体的精神困境与人性弱点。…...

编程新知 2026/5/26 0:20:12

Burp Suite证书安装全解：HTTPS抓包失败的根源与跨平台命令行方案

1. 为什么必须亲手安装Burp Suite证书——不是“点一下就完事”的操作很多人第一次在手机或测试设备上配置Burp Suite代理时&#xff0c;会下意识认为&#xff1a;只要把电脑上的Burp监听地址填进Wi-Fi代理设置&#xff0c;再用浏览器访问http://burp&#xff0c;点击那个绿色的…...

编程新知 2026/5/26 0:10:02

XML 服务器

XML 服务器 引言 XML（可扩展标记语言）服务器在现代互联网技术中扮演着至关重要的角色。它为数据的传输和处理提供了灵活且高效的方式。本文将深入探讨XML服务器的概念、工作原理、应用场景及其在软件开发中的重要性。 什么是XML服务器？ XML服务器是一种用于存储、处理和…...

编程新知 2026/5/25 23:29:17

深度解析HS2-HF Patch：从技术框架到创作工具链的完整升级方案

深度解析HS2-HF Patch&#xff1a;从技术框架到创作工具链的完整升级方案 【免费下载链接】HS2-HF_Patch Automatically translate, uncensor and update HoneySelect2! 项目地址: https://gitcode.com/gh_mirrors/hs/HS2-HF_Patch 你是否曾因Honey Select 2的原版体验受…...

编程新知 2026/5/25 21:31:51

十年以上经验的建站公司推荐｜策划强、落地稳的网站制作公司盘点

互联网时代&#xff0c;企业官网已从单纯的信息展示窗口升级为集品牌价值传递、用户体验连接与业务高效转化于一体的核心数字阵地。行业报告显示&#xff0c;优质官网可帮助企业线上转化率提升35%-60%&#xff0c;而低效官网则可能导致潜在客户大量流失。面对市场上众多的网站建…...

编程新知 2026/5/25 21:13:33

BetterJoy终极指南：3分钟让你的Switch手柄变身PC游戏神器

BetterJoy终极指南&#xff1a;3分钟让你的Switch手柄变身PC游戏神器 【免费下载链接】BetterJoy Allows the Nintendo Switch Pro Controller, Joycons and SNES controller to be used with CEMU, Citra, Dolphin, Yuzu and as generic XInput 项目地址: https://gitcode.c…...

编程新知 2026/5/25 19:36:54

通用物联网开发板设计：基于ESP8266的硬件集成与开发实践

1. 项目概述&#xff1a;为什么我们需要一块“通用”的物联网开发板&#xff1f;在捣鼓了几年物联网项目之后&#xff0c;我发现自己桌面上堆满了各种开发板&#xff1a;ESP8266、ESP32、Arduino Uno、STM32 Nucleo……每个项目都要重新连线、配置电源、焊接传感器接口&#xf…...

编程新知 2026/5/26 22:09:57