当前位置：首页 > news >正文

怎么看待Groq

news 2026/2/9 0:46:35

用眼睛看。

就是字面上的意思用眼睛看。

我属于第一波玩到的，先给大家一个直观的印象，Groq到底有多快。

目前Groq只能选Llama的70b，和Mixtral的MoE，那我选7*8的这个MoE模型来实验。

这么好些字大概花了不到1秒，流式响应，其实是不是流式已经没那么重要了

，然后看每秒Token数525！！！

如果大家没什么概念可以做一下对比，GPT-3.5大概20几个，我用本地的卡做KV cache，然后Vllm拿Alpaca做推理，大概极限能冲到30几个Token...

是的，它就是这么快。

刚出的时候，Ross顶着TPU发明者的身份，被很多无良媒体解读说Groq是LPU，是Google TPU的同架构，然而两者根本一点关系也没有，TPU就别蹭了，TPU可以理解为更接近于GPU的架构,（TPU也根本做不到这么快，慢10倍都不止）LPU更像是Dojo，是空间计

怎么看待Groq

用眼睛看。就是字面上的意思用眼睛看。我属于第一波玩到的，先给大家一个直观的印象，Groq到底有多快。目前Groq只能选Llama的70b，和Mixtral的MoE，那我选7*8的这个MoE模型来实验。这么好些字大概花了不到1秒，流式响应，其实是不是流式已经没那么重要了，然后看每秒Toke…...

编程日记 2024/3/10 23:10:30

Kafka | SpringBoot集成Kafka

SpringBoot集成Kafka 一、前言二、项目1. pom2. application.properties4. 消息生产者-测试5. 消息消费者三、启动测试四、有总结的不对的地方/或者问题请指正, 我在努力中一、前言该文章中主要对SpringBoot 集成Kafka 主要是 application.properties 与 pom坐标就算集成完…...

编程日记 2024/3/10 23:07:27

python的tqdm库不显示动态进度条的问题

python的tqdm库不显示动态进度条的问题本质原因是tqdm无法获取内部对象的长度，这可能是因为内部对象是一个迭代器，问题经常发生在同时使用tqdm与enumerate的场合，例如深度学习中经常可能出现的： tqdm.tqdm(enumerate(train_loade…...

编程日记 2024/3/10 23:06:26

【prompt四】Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains

motivation 领域泛化(DG)是一个复杂的迁移学习问题，旨在学习未知领域的可泛化模型。最近的基础模型(FMs)对许多分布变化都具有鲁棒性，因此，应该从本质上提高DG的性能。在这项工作中，我们研究了采用视觉语言基础模型CLIP来解决图像分类中的DG问题的通用方法。虽然ERM使用标…...

编程日记 2024/3/10 23:05:25

利用Amazon Bedrock畅玩Claude 3等多种领先模型，抢占AI高地(体验倒计时4小时)

快乐的时间总是短暂的，Claude 3 在亚马逊云科技上限时体验仅剩4小时，上次分享了入门级操作教程，本期给大家带来AWS Lambda Amazon Bedrock一起构建可以便捷使用的Claude 3接口 AWS Lambda AWS Lambda 是一项计算服务，可以运行您…...

编程日记 2024/3/10 23:02:20

MySql分布式事务

1 seata 底层原理 Seata（Simple Extensible Autonomous Transaction Architecture）是一个开源的分布式事务解决方案，其底层原理主要基于改进的传统2PC（Two-Phase Commit，两阶段提交）协议，并结合…...

编程日记 2024/3/10 23:01:18

android基础学习

从上面的描述就可以知道，每一个Activity组件都有一个对应的ViewRoot对象、View对象以及WindowManager.LayoutParams对象。这三个对象的对应关系是由WindowManagerImpl类来维护的。具体来说，就是由WindowManagerImpl类的成员变量mRoots、mViews和mParams所…...

编程日记 2024/3/10 22:56:12

解决方案：Python画图汉字丢失显示小方块

解决方案： linux python解决中文字体 - jingsupo - 博客园 (cnblogs.com) 在找字体缓存文件的时候我找了一会儿，我的路径是这里： 做了所有更改之后，最后一定要把缓存文件删掉，不然还是会报同样的错误的。这里再贴一…...

编程日记 2024/3/10 22:53:09

JWT的是什么

session共享什么是session共享 Session共享是指在分布式系统中，在多个服务器之间共享同一个用户的会话数据。在传统的Web应用中，用户的会话信息通常存储在服务器端的Session中，而每个用户的请求在同一个服务器上处理，因此可以轻…...

编程日记 2024/3/10 22:52:07

git常用命令集合

1.差异对比显示出branch1和branch2中差异的部分 git diff branch1 branch2 --stat显示出所有有差异的文件的详细差异 git diff branch1 branch2查看branch1分支有，而branch2中没有的log git log branch1 ^branch22.分支列出所有本地分支 git branch列出所有远…...

编程日记 2024/3/10 22:51:06

UDP通信发送和接收 || UDP实现全双工通信

recvfrom ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags, struct sockaddr *src_addr, socklen_t *addrlen); 功能: 从套接字中接收数据参数: sockfd:套接字文件描述符 buf:存放数据空间首地址 …...

编程日记 2024/3/10 22:50:04

SH脚本安装Aethas curl -L https://alibaba.github.io/arthas/install.sh | sh安装脚本说明示例源文件： #! /bin/bash# temp file of as.sh TEMP_ARTHAS_FILE"./as.sh.$$"# target file of as.sh TARGET_ARTHAS_FILE"./as.sh"# update timeo…...

编程日记 2024/3/10 22:49:03

Elasticsearch：dense vector 数据类型及标量量化

密集向量（dense_vector）字段类型存储数值的密集向量。密集向量场主要用于 k 最近邻 (kNN) 搜索。 dense_vector 类型不支持聚合或排序。默认情况下，你可以基于 element_type 添加一个 dend_vector 字段作为 float 数值数组： …...

编程日记 2024/3/10 22:48:02

Linux C/C++下使用Lex/Yacc构建实现DBMS（Minisql）

DBMS（数据库管理系统）是一种用于管理和组织数据库的软件系统。它的重要性在于提供了一种有效地存储、管理和访问大量数据的方式。本文将深入探讨如何使用C语言、Lex（词法分析器生成器）和Yacc（语法分析器生成器&#xf…...

编程日记 2024/3/10 22:47:02

c语言指针小白基础教学

指针 1. 什么是指针？2. 如何编址（即如何给地址分配空间呢）3. 概念和基本术语3.1指针的值指针所指向的地址/内存区3.2 指针的类型（指针本身的类型）思考： 3.3 指针所指向的类型3.4 指针本身所占据的内存区3.5…...

编程日记 2024/3/10 22:46:00

面向对象设计之里氏替换原则

设计模式专栏：http://t.csdnimg.cn/4Mt4u 思考：什么样的代码才算违反里氏替换原则？ 目录 1.里氏替换原则的定义 2.里氏替换原则与多态的区别 3.违反里氏替换原则的反模式 4.总结 1.里氏替换原则的定义里氏替换原则（Liskov S…...

编程日记 2024/3/10 22:40:53

MySQL·SQL优化

目录一 . 前言二 . 优化方法 1 . 索引 （1）数据构造 （2）单索引 （3）explain （4）组合索引 （5）索引总结 2 . 避免使用select * 3 . 用union all代替u…...

编程日记 2024/3/10 22:37:51

Dockerfile指令大全

Dockerfile文件由一系列指令和参数组成。指令的一般格式为INSTRUCTION arguments。具体来说，包括"配置指令"(配置镜像信息)和"操作指令"(具体执行操作)。每条指令，如FROM，都是大小写不敏感的。但是为了区分指令和参数&am…...

编程日记 2024/3/10 22:36:50

第八个实验：(A+B)-C的结果判断奇偶特性

实验内容：(A+B)-C的结果判断奇偶特性，最后显示结果实验步骤：第一步：建立项目第二步：实验步骤，编写程序第三步：实验结果...

编程日记 2024/3/10 22:34:49

设计模式：观察者模式 ⑧

一、思想观察者模式是一种常见的设计模式，也称作发布-订阅模式。它主要解决了对象之间的通知依赖关系问题。在这种模式中，一个对象（称作Subject）维护着一个对象列表，这些对象（称作Observers）都…...

编程日记 2024/3/10 22:33:48

华为云AI开发平台ModelArts

华为云ModelArts：重塑AI开发流程的“智能引擎”与“创新加速器”！ 在人工智能浪潮席卷全球的2025年，企业拥抱AI的意愿空前高涨，但技术门槛高、流程复杂、资源投入巨大的现实，却让许多创新构想止步于实验室。数据科学家…...

编程新知 2026/2/8 4:37:19

三维GIS开发cesium智慧地铁教程（5）Cesium相机控制

一、环境搭建 <script src"../cesium1.99/Build/Cesium/Cesium.js"></script> <link rel"stylesheet" href"../cesium1.99/Build/Cesium/Widgets/widgets.css"> 关键配置点： 路径验证：确保相对路径.…...

编程新知 2025/12/1 19:23:04