怎么看待Groq
用眼睛看。
就是字面上的意思用眼睛看。
我属于第一波玩到的，先给大家一个直观的印象，Groq到底有多快。
目前Groq只能选Llama的70b，和Mixtral的MoE，那我选7*8的这个MoE模型来实验。
这么好些字大概花了不到1秒，流式响应，其实是不是流式已经没那么重要了
，然后看每秒Token数525！！！
如果大家没什么概念可以做一下对比，GPT-3.5大概20几个，我用本地的卡做KV cache，然后Vllm拿Alpaca做推理，大概极限能冲到30几个Token...
是的，它就是这么快。
刚出的时候，Ross顶着TPU发明者的身份，被很多无良媒体解读说Groq是LPU，是Google TPU的同架构，然而两者根本一点关系也没有，TPU就别蹭了，TPU可以理解为更接近于GPU的架构,（TPU也根本做不到这么快，慢10倍都不止）LPU更像是Dojo，是空间计
相关文章：
怎么看待Groq
用眼睛看。 就是字面上的意思用眼睛看。 我属于第一波玩到的，先给大家一个直观的印象，Groq到底有多快。 目前Groq只能选Llama的70b，和Mixtral的MoE，那我选7*8的这个MoE模型来实验。 这么好些字大概花了不到1秒，流式响应，其实是不是流式已经没那么重要了 ，然后看每秒Toke…...
Kafka | SpringBoot集成Kafka
SpringBoot集成Kafka 一、前言二、项目1. pom2. application.properties4. 消息生产者-测试5. 消息消费者 三、启动测试四、有总结的不对的地方/或者问题 请指正, 我在努力中 一、前言 该文章中主要对SpringBoot 集成Kafka 主要是 application.properties 与 pom坐标就算集成完…...
python的tqdm库不显示动态进度条的问题
python的tqdm库不显示动态进度条的问题 本质原因是tqdm无法获取内部对象的长度，这可能是因为内部对象是一个迭代器，问题经常发生在同时使用tqdm与enumerate的场合，例如深度学习中经常可能出现的： tqdm.tqdm(enumerate(train_loade…...
【prompt四】Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains
motivation 领域泛化(DG)是一个复杂的迁移学习问题，旨在学习未知领域的可泛化模型。最近的基础模型(FMs)对许多分布变化都具有鲁棒性，因此，应该从本质上提高DG的性能。在这项工作中，我们研究了采用视觉语言基础模型CLIP来解决图像分类中的DG问题的通用方法。虽然ERM使用标…...
利用Amazon Bedrock畅玩Claude 3等多种领先模型，抢占AI高地(体验倒计时4小时)
快乐的时间总是短暂的，Claude 3 在亚马逊云科技上限时体验仅剩4小时，上次分享了入门级操作教程，本期给大家带来AWS Lambda Amazon Bedrock一起构建可以便捷使用的Claude 3接口 AWS Lambda AWS Lambda 是一项计算服务，可以运行您…...
MySql分布式事务
1 seata 底层原理 Seata（Simple Extensible Autonomous Transaction Architecture）是一个开源的分布式事务解决方案，其底层原理主要基于改进的传统2PC（Two-Phase Commit，两阶段提交）协议，并结合…...
android基础学习
从上面的描述就可以知道，每一个Activity组件都有一个对应的ViewRoot对象、View对象以及WindowManager.LayoutParams对象。这三个对象的对应关系是由WindowManagerImpl类来维护的。具体来说，就是由WindowManagerImpl类的成员变量mRoots、mViews和mParams所…...
解决方案：Python画图汉字丢失显示小方块
解决方案： linux python解决中文字体 - jingsupo - 博客园 (cnblogs.com) 在找字体缓存文件的时候我找了一会儿，我的路径是这里： 做了所有更改之后，最后一定要把缓存文件删掉，不然还是会报同样的错误的。 这里再贴一…...
JWT的是什么
session共享 什么是session共享 Session共享是指在分布式系统中，在多个服务器之间共享同一个用户的会话数据。在传统的Web应用中，用户的会话信息通常存储在服务器端的Session中，而每个用户的请求在同一个服务器上处理，因此可以轻…...
git常用命令集合
1.差异对比 显示出branch1和branch2中差异的部分 git diff branch1 branch2 --stat显示出所有有差异的文件的详细差异 git diff branch1 branch2查看branch1分支有，而branch2中没有的log git log branch1 ^branch22.分支 列出所有本地分支 git branch列出所有远…...
UDP通信发送和接收 || UDP实现全双工通信
recvfrom ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags, struct sockaddr *src_addr, socklen_t *addrlen); 功能: 从套接字中接收数据 参数: sockfd:套接字文件描述符 buf:存放数据空间首地址 …...
Mac 以SH脚本安装Arthas
SH脚本安装Aethas curl -L https://alibaba.github.io/arthas/install.sh | sh安装脚本说明 示例源文件： #! /bin/bash# temp file of as.sh TEMP_ARTHAS_FILE"./as.sh.$$"# target file of as.sh TARGET_ARTHAS_FILE"./as.sh"# update timeo…...
Elasticsearch：dense vector 数据类型及标量量化
密集向量（dense_vector）字段类型存储数值的密集向量。 密集向量场主要用于 k 最近邻 (kNN) 搜索。 dense_vector 类型不支持聚合或排序。 默认情况下，你可以基于 element_type 添加一个 dend_vector 字段作为 float 数值数组： …...
Linux C/C++下使用Lex/Yacc构建实现DBMS（Minisql）
DBMS（数据库管理系统）是一种用于管理和组织数据库的软件系统。它的重要性在于提供了一种有效地存储、管理和访问大量数据的方式。本文将深入探讨如何使用C语言、Lex（词法分析器生成器）和Yacc（语法分析器生成器…...
c语言指针小白基础教学
指针 1. 什么是指针？2. 如何编址（即如何给地址分配空间呢）3. 概念和基本术语3.1指针的值指针所指向的地址/内存区3.2 指针的类型（指针本身的类型）思考： 3.3 指针所指向的类型3.4 指针本身所占据的内存区3.5…...
面向对象设计之里氏替换原则
设计模式专栏：http://t.csdnimg.cn/4Mt4u 思考：什么样的代码才算违反里氏替换原则？ 目录 1.里氏替换原则的定义 2.里氏替换原则与多态的区别 3.违反里氏替换原则的反模式 4.总结 1.里氏替换原则的定义 里氏替换原则（Liskov S…...
MySQL·SQL优化
目录 一 . 前言 二 . 优化方法 1 . 索引 （1）数据构造 （2）单索引 （3）explain （4）组合索引 （5）索引总结 2 . 避免使用select * 3 . 用union all代替u…...
Dockerfile指令大全
Dockerfile文件由一系列指令和参数组成。指令的一般格式为INSTRUCTION arguments。具体来说，包括"配置指令"(配置镜像信息)和"操作指令"(具体执行操作)。每条指令，如FROM，都是大小写不敏感的。但是为了区分指令和参数&am…...
第八个实验：(A+B)-C的结果判断奇偶特性
实验内容：(A+B)-C的结果判断奇偶特性，最后显示结果 实验步骤： 第一步：建立项目 第二步：实验步骤，编写程序 第三步：实验结果...
设计模式：观察者模式 ⑧
一、思想 观察者模式是一种常见的设计模式，也称作发布-订阅模式。它主要解决了对象之间的通知依赖关系问题。在这种模式中，一个对象（称作Subject）维护着一个对象列表，这些对象（称作Observers）都…...
突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合
强化学习（Reinforcement Learning, RL）是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程，然后使用强化学习的Actor-Critic机制（中文译作“知行互动”机制），逐步迭代求解…...
-----深度优先搜索（DFS）实现)
c++ 面试题(1)-----深度优先搜索（DFS）实现
操作系统：ubuntu22.04 IDE:Visual Studio Code 编程语言：C11 题目描述 地上有一个 m 行 n 列的方格，从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子，但不能进入行坐标和列坐标的数位之和大于 k 的格子。 例…...
OkHttp 中实现断点续传 demo
在 OkHttp 中实现断点续传主要通过以下步骤完成，核心是利用 HTTP 协议的 Range 请求头指定下载范围： 实现原理 Range 请求头：向服务器请求文件的特定字节范围（如 Range: bytes1024-） 本地文件记录：保存已…...
【AI学习】三、AI算法中的向量
在人工智能（AI）算法中，向量（Vector）是一种将现实世界中的数据（如图像、文本、音频等）转化为计算机可处理的数值型特征表示的工具。它是连接人类认知（如语义、视觉特征）与…...
uniapp微信小程序视频实时流+pc端预览方案
方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度WebSocket图片帧定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐RTMP推流TRTC/即构SDK推流❌ 付费方案 （部分有免费额度&#x…...
《基于Apache Flink的流处理》笔记
思维导图 1-3 章 4-7章 8-11 章 参考资料 源码： https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...
Android Bitmap治理全解析：从加载优化到泄漏防控的全生命周期管理
引言 Bitmap（位图）是Android应用内存占用的“头号杀手”。一张1080P（1920x1080）的图片以ARGB_8888格式加载时，内存占用高达8MB（192010804字节）。据统计，超过60%的应用OOM崩溃与Bitm…...
CSS设置元素的宽度根据其内容自动调整
width: fit-content 是 CSS 中的一个属性值，用于设置元素的宽度根据其内容自动调整，确保宽度刚好容纳内容而不会超出。 效果对比 默认情况（width: auto）： 块级元素（如 <div>）会占满父容器…...
Java + Spring Boot + Mybatis 实现批量插入
在 Java 中使用 Spring Boot 和 MyBatis 实现批量插入可以通过以下步骤完成。这里提供两种常用方法：使用 MyBatis 的 <foreach> 标签和批处理模式（ExecutorType.BATCH）。 方法一：使用 XML 的 <foreach> 标签ÿ…...
JVM虚拟机：内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...