当前位置: 首页 > news >正文

如何用 Groq API 免费使用 DeepSeek-R1 70B,并通过 Deno 实现国内访问

这几天都被Deepseek刷屏了,而且Deepseek由于异常访问量,这几天都不能愉快的和它玩耍了,

我发现Groq新增了一个Deepseek的70b参数的模型,

DeepSeek-R1 70B 作为一款强大的开源模型,提供了卓越的推理能力,而 Groq API 提供了一个免费访问该模型的途径。然而,由于 Groq API 在国内无法直接访问,我们可以借助 Deno 进行代理,实现无缝调用。

一、问题分析

1. Groq API 的优势

  • 免费使用 DeepSeek-R1 70B

  • 计算速度快

  • API 设计简洁

2. 国内访问的挑战

  • 直接访问 Groq API 可能受限

  • 需要稳定、易用的代理方案

二、解决方案

1. 通过 Groq API 调用 DeepSeek-R1 70B

首先,需要注册 Groq 账号并获取 API Key。然后,调用 Groq API 的接口请求 DeepSeek-R1 70B 进行推理。

Groq is Fast AI InferenceThe LPU™ Inference Engine by Groq is a hardware and software platform that delivers exceptional compute speed, quality, and energy efficiency. Groq provides cloud and on-prem solutions at scale for AI applications.https://groq.com/https://groq.com/

当申请下来key以后,下面python代码可以测试key

import requestsdef chat_api_curl(prompt):# 请确保将以下变量替换为您的实际API密钥openai_api_key = 'GROQ_KEY'headers = {"Content-Type": "application/json","Authorization": f"Bearer {openai_api_key}"}data = {"model": "deepseek-r1-distill-llama-70b","messages": [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt},]}response = requests.post("https://api.groq.com/openai/v1/chat/completions", headers=headers, json=data)# 检查响应是否成功if response.status_code == 200:# 解析响应数据response_data = response.json()# 获取choices列表中的第一个元素的message字典的content值content = response_data['choices'][0]['message']['content']return contentelse:print("请求失败,状态码:", response.status_code)print("响应内容:", response.text)prompt = "你是什么模型?"
res = chat_api_curl(prompt)
print(res)

可以看到回答如下:

2. 使用 Deno 作为国内访问代理

Deno 作为一个现代化的 JavaScript 运行时,支持原生 TypeScript,且内置 HTTP 服务器,非常适合快速搭建代理。我们可以在 Deno 上部署一个代理服务,将国内请求转发至 Groq API。

这里简单介绍一下Deno:

Deno 是一个现代的 JavaScript/TypeScript 运行时环境,由 Node.js 的创造者 Ryan Dahl 发起。它旨在解决 Node.js 中的一些设计缺陷,并提供更安全、更简洁的开发体验。

Deno 的几个特点:

  1. 内置 TypeScript 支持:Deno 原生支持 TypeScript,无需额外配置。
  2. 安全性:默认情况下,Deno 对文件、网络和环境变量访问进行限制,只有明确授权的操作才可以执行。
  3. 标准库:Deno 提供了一套标准库,不依赖第三方包管理工具(如 npm)。
  4. 简洁的模块系统:模块直接通过 URL 引入,而不是依赖本地的 package.json。
  5. 单一二进制文件:Deno 是一个单一的二进制文件,没有复杂的安装过程。

总的来说,Deno 是一个轻量级、现代化的运行时环境,特别适合快速开发和现代 Web 应用。

Deno, the next-generation JavaScript runtimeDeno features improved security, performance, and developer experience compared to its predecessor. It's a great time to upgrade your Node.js project to run on Deno.https://deno.com/https://deno.com/

部署过程如下:

Deno DeployDeno Deploy: deploy JavaScript globally to the edge.https://dash.deno.com/account/overviewhttps://dash.deno.com/account/overview

将下面代码拷贝过去:

interface RateLimiter {requests: number;tokens: number;lastReset: number;
}const rateLimiter: RateLimiter = {requests: 0,tokens: 0,lastReset: Date.now(),
};function estimateTokens(body: any): number {try {const messages = body?.messages || [];return messages.reduce((acc: number, msg: any) => acc + (msg.content?.length || 0) * 0.25, 0);} catch {return 0;}
}function resetCountersIfNeeded() {const now = Date.now();if (now - rateLimiter.lastReset >= 60000) {rateLimiter.requests = 0;rateLimiter.tokens = 0;rateLimiter.lastReset = now;}
}async function processResponse(response: Response): Promise<Response> {const contentType = response.headers.get('content-type');if (contentType?.includes('application/json')) {const jsonData = await response.json();if (jsonData.choices && jsonData.choices[0]?.message?.content) {const content = jsonData.choices[0].message.content;const processedContent = content.replace(/<think>.*?<\/think>\s*/s, '').trim();jsonData.choices[0].message.content = processedContent;}return new Response(JSON.stringify(jsonData), {status: response.status,headers: response.headers});}return response;
}async function handleRequest(request: Request): Promise<Response> {const url = new URL(request.url);const pathname = url.pathname;if (pathname === '/' || pathname === '/index.html') {return new Response('Proxy is Running!', {status: 200,headers: { 'Content-Type': 'text/html' }});}if (pathname.includes('api.groq.com')) {resetCountersIfNeeded();if (rateLimiter.requests >= 30) {return new Response('Rate limit exceeded. Max 30 requests per minute.', {status: 429,headers: {'Retry-After': '60','Content-Type': 'application/json'}});}try {const bodyClone = request.clone();const body = await bodyClone.json();const estimatedTokens = estimateTokens(body);if (rateLimiter.tokens + estimatedTokens > 6000) {return new Response('Token limit exceeded. Max 6000 tokens per minute.', {status: 429,headers: {'Retry-After': '60','Content-Type': 'application/json'}});}rateLimiter.tokens += estimatedTokens;} catch (error) {console.error('Error parsing request body:', error);}rateLimiter.requests++;}const targetUrl = `https://${pathname}`;try {const headers = new Headers();const allowedHeaders = ['accept', 'content-type', 'authorization'];for (const [key, value] of request.headers.entries()) {if (allowedHeaders.includes(key.toLowerCase())) {headers.set(key, value);}}const response = await fetch(targetUrl, {method: request.method,headers: headers,body: request.body});const responseHeaders = new Headers(response.headers);responseHeaders.set('Referrer-Policy', 'no-referrer');responseHeaders.set('X-RateLimit-Remaining', `${30 - rateLimiter.requests}`);responseHeaders.set('X-TokenLimit-Remaining', `${6000 - rateLimiter.tokens}`);const processedResponse = await processResponse(response);return new Response(processedResponse.body, {status: processedResponse.status,headers: responseHeaders});} catch (error) {console.error('Failed to fetch:', error);return new Response(JSON.stringify({error: 'Internal Server Error',message: error.message}), { status: 500,headers: {'Content-Type': 'application/json'}});}
}Deno.serve(handleRequest);

最后生成的地址和groq的地址拼接起来就是国内可以访问的url地址:

https://epic-gecko-41.deno.dev/api.groq.com/openai/v1/chat/completions

  如何使用,以openwebui 为例,其他AI模型都可以参照这个

代理地址填入刚才拼接生成的地址,apikey就填写groq的apikey

回答速度超级快。

如果用python调用,回答结果如下:

Github项目地址:

https://github.com/wuhanwhite/geno_groq_proxyhttps://github.com/wuhanwhite/geno_groq_proxy

相关文章:

如何用 Groq API 免费使用 DeepSeek-R1 70B,并通过 Deno 实现国内访问

这几天都被Deepseek刷屏了&#xff0c;而且Deepseek由于异常访问量&#xff0c;这几天都不能愉快的和它玩耍了&#xff0c; 我发现Groq新增了一个Deepseek的70b参数的模型&#xff0c; DeepSeek-R1 70B 作为一款强大的开源模型&#xff0c;提供了卓越的推理能力&#xff0c;而 …...

iperf 测 TCP 和 UDP 网络吞吐量

注&#xff1a;本文为 “iperf 测网络吞吐量” 相关文章合辑。 未整理去重。 使用 iperf3 监测网络吞吐量 Tom 王 2019-12-21 22:23:52 一 iperf3 介绍 (1.1) iperf3 是一个网络带宽测试工具&#xff0c;iperf3 可以擦拭 TCP 和 UDP 带宽质量。iperf3 可以测量最大 TCP 带宽…...

Autogen_core: Model Context

目录 示例代码代码解释另一个例子 示例代码 from dataclasses import dataclassfrom autogen_core import AgentId, MessageContext, RoutedAgent, SingleThreadedAgentRuntime, message_handler from autogen_core.model_context import BufferedChatCompletionContext from …...

SpringBoot AOP 和 事务

SpringBoot 整合 AOP 动态代理技术 JDK 动态代理 JDK 动态代理是 Java 自带的一种代理方式。它要求目标类必须有接口&#xff0c;基于这个接口&#xff0c;JDK 在运行时会动态生成一个代理对象。这个代理对象和目标对象就像 “拜把子” 的兄弟&#xff0c;因为它们都实现了相同…...

Ubuntu全面卸载mysql

如果你已经看到whereis mysql输出了与MySQL相关的路径&#xff0c;说明MySQL仍然存在于系统中。要卸载MySQL&#xff0c;可以按照以下步骤操作&#xff0c;确保完全删除所有相关的文件和配置&#xff1a; 1. 停止MySQL服务 首先&#xff0c;停止MySQL服务&#xff1a; sudo …...

android的gradle

资料&#xff1a; GitHub - ChenSWD/CopyGradleInAction: 备份《Gradle IN Action》书中的源码&#xff0c;添加了部分注释 //github上一个开源项目&#xff0c;外加pdf书 Gradle User Manual gradle官网 讲的挺好的博客 Gradle之重新认识Gradle(项目结构、命令行、tas…...

前端开发之jsencrypt加密解密的使用方法和使用示例

目录 RSA密钥生成选项简介 jsencrypt 使用教程 一、安装 jsencrypt 二、使用 jsencrypt 进行加密和解密 1. 创建密钥对 2. 加密数据 3. 解密数据 三、实际应用示例 加密数据并存储到 localStorage 中&#xff1a; 从 localStorage 中读取加密数据并解密&#xff1a; …...

电路研究9.2.5——合宙Air780EP中GPS 相关命令使用方法研究

注&#xff1a;本命令仅适用于合宙 4G CAT1 模块&#xff08;Air780EG 系列&#xff09;。 正好&#xff0c;我们使用的Air780EP好像也有4G CAT1模块&#xff0c;好像也属于Air780EG系列吧。 这个例子好像比较少就个。 18.9 使用方法举例 18.1GPS 开关&#xff1a;ATCGNSPWR 这…...

Python标准库 - os (3) 调度策略、系统信息

文章目录 6 调度策略6.1 调度策略常量6.2 访问和设置进程的调度策略 7 系统信息7.1 系统信息7.2 系统配置信息7.3 系统负载7.4 路径相关常量7.5 生成随机字节 os模块提供了各种操作系统接口。包括环境变量、进程管理、进程调度、文件操作等方面。 这里整理了进程调度和查看系统…...

【NLP251】NLP RNN 系列网络

NLP251 系列主要记录从NLP基础网络结构到知识图谱的学习 &#xff11;.原理及网络结构 &#xff11;.&#xff11;&#xff32;&#xff2e;&#xff2e; 在Yoshua Bengio论文中( http://proceedings.mlr.press/v28/pascanu13.pdf )证明了梯度求导的一部分环节是一个指数模型…...

【漫话机器学习系列】067.希腊字母(greek letters)-写法、名称、读法和常见用途

希腊字母&#xff08;Greek Letters&#xff09; 希腊字母在数学、科学、工程学和编程中广泛使用&#xff0c;常用于表示变量、常量、参数、角度等。以下是希腊字母的完整列表及其常见用途。 大写与小写希腊字母表 大写小写名称&#xff08;英文&#xff09;名称&#xff08;…...

2.文件IO

2.文件IO **1. 文件I/O概述****2. 文件I/O函数接口****3. 文件定位****4. 文件描述符与文件流指针的转换****5. 文件I/O与标准I/O的比较****6. 练习与作业****7. 文件I/O与标准I/O的对应关系****8. 其他注意事项****9. 总结** 1. 文件I/O概述 文件I/O&#xff1a;操作系统为了…...

毕业设计--具有车流量检测功能的智能交通灯设计

摘要&#xff1a; 随着21世纪机动车保有量的持续增加&#xff0c;城市交通拥堵已成为一个日益严重的问题。传统的固定绿灯时长方案导致了大量的时间浪费和交通拥堵。为解决这一问题&#xff0c;本文设计了一款智能交通灯系统&#xff0c;利用车流量检测功能和先进的算法实现了…...

【SpringBoot教程】Spring Boot + MySQL + HikariCP 连接池整合教程

&#x1f64b;大家好&#xff01;我是毛毛张! &#x1f308;个人首页&#xff1a; 神马都会亿点点的毛毛张 在前面一篇文章中毛毛张介绍了SpringBoot中数据源与数据库连接池相关概念&#xff0c;今天毛毛张要分享的是关于SpringBoot整合HicariCP连接池相关知识点以及底层源码…...

设计模式的艺术-策略模式

行为型模式的名称、定义、学习难度和使用频率如下表所示&#xff1a; 1.如何理解策略模式 在策略模式中&#xff0c;可以定义一些独立的类来封装不同的算法&#xff0c;每个类封装一种具体的算法。在这里&#xff0c;每个封装算法的类都可以称之为一种策略&#xff08;Strategy…...

【memgpt】letta 课程1/2:从头实现一个自我编辑、记忆和多步骤推理的代理

llms-as-operating-systems-agent-memory llms-as-operating-systems-agent-memory内存 操作系统的内存管理...

动态规划DP 最长上升子序列模型 合唱队形(题目分析+C++完整代码)

概览检索 动态规划DP 最长上升子序列模型 合唱队形 原题链接 AcWiing 482. 合唱队形 题目描述 N位同学站成一排&#xff0c;音乐老师要请其中的 (N−K)位同学出列&#xff0c;使得剩下的 K位同学排成合唱队形。 合唱队形是指这样的一种队形&#xff1a;设 K位同学从左到右…...

【踩坑】解决Hugging-face下载问题

解决Hugging-face下载问题 问题1&#xff1a;couldnt connect to https://huggingface.co问题2&#xff1a;HTTPSConnectionPool(hostcdn-lfs-us-1.hf-mirror.com, port443)设置hf_transfer加快速度 问题3&#xff1a;requests.exceptions.ChunkedEncodingError: (Connection b…...

Spring AI 在微服务中的应用:支持分布式 AI 推理

1. 引言 在现代企业中&#xff0c;微服务架构 已成为开发复杂系统的主流方式&#xff0c;而 AI 模型推理 也越来越多地被集成到业务流程中。如何在分布式微服务架构下高效地集成 Spring AI&#xff0c;使多个服务可以协同完成 AI 任务&#xff0c;并支持分布式 AI 推理&#x…...

5.3.2 软件设计原则

文章目录 抽象模块化信息隐蔽与独立性衡量 软件设计原则&#xff1a;抽象、模块化、信息隐蔽。 抽象 抽象是抽出事物本质的共同特性。过程抽象是指将一个明确定义功能的操作当作单个实体看待。数据抽象是对数据的类型、操作、取值范围进行定义&#xff0c;然后通过这些操作对数…...

别再只盯着运放了:用跨阻放大器搞定光电传感器信号调理的完整指南

光电传感器信号调理实战&#xff1a;跨阻放大器设计与避坑指南 当你在昏暗的灯光下测试光电传感器时&#xff0c;是否曾被微弱的电流信号折磨得焦头烂额&#xff1f;作为嵌入式工程师&#xff0c;我曾在凌晨三点的实验室里&#xff0c;面对闪烁不定的示波器波形&#xff0c;才…...

别再手动切换收发!用SP3485芯片实现RS485自动收发电路的保姆级教程

用SP3485芯片实现RS485自动收发电路的完整设计指南 在工业控制、楼宇自动化等长距离通信场景中&#xff0c;RS485接口因其抗干扰能力强、传输距离远等优势成为首选。然而传统RS485设计需要手动控制收发使能信号&#xff0c;不仅增加软件复杂度&#xff0c;还容易因时序错误导致…...

微信聊天记录永久保存:WeChatExporter开源工具全流程指南

微信聊天记录永久保存&#xff1a;WeChatExporter开源工具全流程指南 【免费下载链接】WeChatExporter 一个可以快速导出、查看你的微信聊天记录的工具 项目地址: https://gitcode.com/gh_mirrors/wec/WeChatExporter 问题&#xff1a;数据丢失的三重警示 2023年某科技…...

Qwen3-Reranker-0.6B与Java后端服务集成实战

Qwen3-Reranker-0.6B与Java后端服务集成实战 1. 为什么需要在Java服务中集成重排序模型 在企业级搜索和推荐系统中&#xff0c;我们经常遇到这样的场景&#xff1a;用户输入一个查询词&#xff0c;系统从千万级文档库中召回前100个候选结果&#xff0c;但这些结果的排序质量往…...

OpenClaw我的龙虾怎么识别不了图片

问题现象 图片发送给龙虾&#xff0c;要么一直说没收到图片&#xff0c;要么提示不支持&#xff0c;要么提示安装OCR工具&#xff0c;要么就是识别出来的完全牛头不对马嘴。 解决方案 这里面涉及三个因素&#xff1a; 模型是否支撑图片识别配置中的input是否配置了image聊天渠道…...

Qwen3智能字幕系统效果展示:法庭庭审录音→高司法术语准确率字幕

Qwen3智能字幕系统效果展示&#xff1a;法庭庭审录音→高司法术语准确率字幕 1. 引言&#xff1a;当AI成为“数字书记员” 想象一下这样的场景&#xff1a;一场长达数小时的法庭庭审正在进行&#xff0c;书记员的手指在键盘上飞速敲击&#xff0c;试图跟上律师与证人间密集、…...

小白友好!MedGemma X-Ray完整使用流程:上传、提问、获取报告

小白友好&#xff01;MedGemma X-Ray完整使用流程&#xff1a;上传、提问、获取报告 你是不是也遇到过这样的情况&#xff1f;拿到一张胸部X光片&#xff0c;看着上面复杂的骨骼、肺纹理和阴影&#xff0c;感觉无从下手&#xff0c;不知道哪些是正常的&#xff0c;哪些是需要关…...

Anaconda环境配置:TranslateGemma开发最佳实践

Anaconda环境配置&#xff1a;TranslateGemma开发最佳实践 1. 环境准备与快速部署 如果你正在尝试运行TranslateGemma-12B-it这样的翻译模型&#xff0c;很可能会遇到Python版本冲突、CUDA不兼容或者依赖包打架的问题。Anaconda的环境隔离功能正好能解决这些头疼的事情。 An…...

原神抽卡记录导出工具:一键备份分析你的抽卡历史数据

原神抽卡记录导出工具&#xff1a;一键备份分析你的抽卡历史数据 【免费下载链接】genshin-wish-export biuuu/genshin-wish-export - 一个使用Electron制作的原神祈愿记录导出工具&#xff0c;它可以通过读取游戏日志或代理模式获取访问游戏祈愿记录API所需的authKey。 项目…...

别再只用Billboard了!用Cesium Entity实现高性能动态告警点的3个优化技巧

突破性能瓶颈&#xff1a;Cesium Entity动态告警点的高阶优化实战 当三维场景中需要同时呈现数百个闪烁的告警点时&#xff0c;许多开发者会发现原本流畅的界面开始变得卡顿。这不是Cesium的局限性&#xff0c;而是我们可能还没有完全掌握其性能优化的精髓。本文将带您深入探索…...