当前位置: 首页 > news >正文

使用FastAPI做人工智能后端服务器时,接口内的操作不是异步操作的解决方案

在做AI模型推理的接口时,这时候接口是非异步的,但是uvicorn运行FastAPI时就会出现阻塞所有请求。

这时候需要解决这个问题:

api.py:

import asyncio
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
import time
import io
import uvicornapp = FastAPI()def my_io(num):print(num)time.sleep(20)@app.get("/hello")
async def hello():loop = asyncio.get_event_loop()# my_io 里包含不支持异步操作的代码, 所以就使用线程池来配合实现了。future = loop.run_in_executor(None , my_io , 666)response = await futureprint("运行完成", response)return {"message" : "success"}def read_image_data(image_path : str):with open(image_path , "rb") as fr:datas = fr.read()return datas@app.get("/show_image/{image_path:path}")
async def show_image(image_path : str):datas = await asyncio.get_event_loop().run_in_executor(None , read_image_data , image_path)bytes = io.BytesIO(datas)return StreamingResponse(bytes , media_type="image/png")if __name__ == "__main__":uvicorn.run("api:app", host="0.0.0.0", port=10001, reload=True)

完美解决!!!perfect!!! 

相关文章:

使用FastAPI做人工智能后端服务器时,接口内的操作不是异步操作的解决方案

在做AI模型推理的接口时,这时候接口是非异步的,但是uvicorn运行FastAPI时就会出现阻塞所有请求。 这时候需要解决这个问题: api.py: import asyncio from fastapi import FastAPI from fastapi.responses import StreamingResp…...

Leetcode 3312. Sorted GCD Pair Queries

Leetcode 3312. Sorted GCD Pair Queries 1. 解题思路2. 代码实现 题目链接:3312. Sorted GCD Pair Queries 1. 解题思路 这一题的话坦率来说没有搞定,后来是找的大佬的代码抄了一下…… 整体来说这道题思路上还是比较暴力的,还是一个二重…...

用 Delphi 做了一个简单的 CMS

Delphi 代码上面花的时间最少。 前提是你要熟悉 Delphi 的 WebBroker 框架。不熟悉也没关系,5分钟就可以入门,10分钟就熟悉了。 CMS 就是个基于 WEB 的内容管理嘛。相当于一个简单的没有跟贴功能的 BBS。这样的东西,后边是数据库&#xff0…...

ASK, PSK, FSK, DPSK

ASK, PSK, FSK, DPSK详解: 这四种调制方式都是数字调制技术,用于将数字信号转换成适合在信道上传输的模拟信号。它们的主要区别在于如何用模拟信号的变化来表示数字信息。 1. ASK (Amplitude Shift Keying) 幅移键控: 原理: ASK 通过改变载波信号的幅…...

【Linux】认识Linux内核中进程级别的文件结构体【files_struct】&文件IO模型初步演示

前言 大家好吖,欢迎来到 YY 滴 系列 ,热烈欢迎! 本章主要内容面向接触过C的老铁 主要内容含: 欢迎订阅 YY滴C专栏!更多干货持续更新!以下是传送门! YY的《C》专栏YY的《C11》专栏YY的《Linux》…...

[Offsec Lab] ICMP Monitorr-RCE+hping3权限提升

信息收集 IP AddressOpening Ports192.168.52.218TCP:22,80 $ nmap -p- 192.168.52.218 --min-rate 1000 -sC -sV -Pn PORT STATE SERVICE VERSION 22/tcp open ssh OpenSSH 7.9p1 Debian 10deb10u2 (protocol 2.0) | ssh-hostkey: | 2048 de:b5:23:89:bb:9f:d4:1…...

Studying-多线程学习Part4 - 异步并发——async future、packaged_task、promise

异步并发——async future packaged_task promise 1.async、future 是C11引入的一个函数模版,用于异步执行一个函数,并返回一个future对象,表示异步操作的结果。使用 async 可以方便地进行异步编程,避免了手动创建线程和管理线程…...

【Java基础】用Scanner类获取控制台输入

目录 Scanner类是什么导入并创建读取一个数读取字符串读取一行读取直到空白字符为止读取多个数直到^z读取一个字符 Scanner类是什么 在Java中,Scanner 是一个非常有用的类,用于从各种输入源(如键盘、文件或其他输入流)读取数据。…...

微服务seata解析部署使用全流程

官网地址: Seata 是什么? | Apache Seata 1、Seata术语 用来管理分布式事务,由阿里巴巴出品。 【1、TC (Transaction Coordinator) - 事务协调者】 用来维护事务的,包括主事务和分支事务。 【2、TM (Transaction Manager) - …...

Linux性能调优技巧

目录 前言1. CPU性能优化1.1 调整CPU调度策略1.2 合理分配多核处理 2. 内存性能优化2.1 调整内存分配策略2.2 缓存和分页优化 3. 磁盘I/O性能优化3.1 使用合适的I/O调度器3.2 磁盘分区和文件系统优化 4. 网络性能优化4.1 优化网络参数4.2 调整网络拥塞控制算法 5. 系统监控与优…...

python 实现sha1算法

sha1算法介绍 SHA-1(Secure Hash Algorithm 1,安全散列算法1)是一种密码散列函数,由美国国家安全局(NSA)设计,并由美国国家标准技术研究所(NIST)发布为联邦数据处理标准…...

ejb-ref元素

ejb-ref 是用于在 Java EE (现在称为 Jakarta EE) 中引用 Enterprise JavaBeans (EJB) 的一个元素,主要用于定义和配置 SLEE (Service Logic Execution Environment) 组件中的 EJB 依赖关系。通过这个引用,SBB (Service Building Block) 可以轻松地访问和…...

Perl 子程序(函数)

Perl 子程序(函数) Perl 是一种高级、解释型、动态编程语言,广泛用于CGI脚本、系统管理、网络编程、 finance, bioinformatics, 以及其他领域。在Perl中,子程序(也称为函数)是组织代码和重用代码块的重要方…...

ElasticSearch 备考 -- Snapshot Restore

一、题目 备份集群下的索引 task,存储快照名称为 snapshot_1 二、思考 这个涉及的是集群的备份,主要是通过创建快照,涉及到以下2步骤 Setp1:注册一个备份 snapshot repository Setp2:创建 snapshot 可以通过两种方…...

【Linux】进程替换、命令行参数及环境变量(超详解)

目录 进程替换 替换函数的含义 命令行参数 环境变量 PATH 进程替换 我们先看代码&#xff1a; 1 #include<stdio.h>2 #include<unistd.h>3 int main()4 {5 printf("process...begin!\n");6 7 execl("/usr/bin/ls","ls"…...

MySQL事务日志—redo日志介绍

MySQL事务日志—redo日志 事务有4种特性&#xff1a; 原子性、一致性、隔离性和持久性。 那么事务的四种特性到底是基于什么机制实现? 事务的原子性、一致性由事务的 undo 日志事务的隔离性由锁机制和MVCC实现。事务的持久性由redo 日志来保证。 两类日志概述&#xff1a;…...

告别音乐小白!字节跳动AI音乐创作工具,让你一键变作曲家!

还在羡慕别人能创作动听的音乐&#xff1f;五音不全的你&#xff0c;也梦想着谱写属于自己的乐章&#xff1f;现在&#xff0c;机会来了&#xff01;字节跳动推出了一款AI音乐创作工具——抖音推出的海绵音乐&#xff0c;它能让你轻松一键创作音乐&#xff0c;即使是“音乐小白…...

空心正方形图案

KiKi学习了循环&#xff0c;BoBo老师给他出了一系列打印图案的练习&#xff0c;该任务是打印用“*”组成的“空心”正方形图案。 输入描述&#xff1a; 多组输入&#xff0c;一个整数(3~20)&#xff0c;表示输出的行数&#xff0c;也表示组成正方形边的“ * ”的数量。 输出描述…...

【EXCEL数据处理】000020 案例 保姆级教程,附多个操作案例。EXCEL使用表格。

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享一篇文章&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f495; 目录 【EXCEL数据处理】000020 案例 保姆级教程&#xff0c;附多个操作案例。…...

虾皮Shopee大数据面试题及参考答案

Cube 表性能优化,还有其他优化的方法吗? Cube 表性能优化可以从多个方面入手。 一方面,可以优化数据存储格式。选择合适的存储格式能够减少存储空间占用,提高数据读取速度。例如,Parquet 格式是一种高效的列式存储格式,它可以按列进行数据压缩,大大减少磁盘 I/O 和内存占…...

泰勒级数实战:如何快速估算任意数的平方根(附Python代码)

泰勒级数实战&#xff1a;如何快速估算任意数的平方根&#xff08;附Python代码&#xff09; 在工程计算和科学实验中&#xff0c;快速估算平方根是一项常见需求。传统查表法精度有限&#xff0c;而现代计算器又过度依赖硬件。泰勒级数展开提供了一种优雅的数学解决方案——通过…...

VBA Collection vs Dictionary:如何根据项目需求选择最佳数据容器?

VBA Collection与Dictionary深度对比&#xff1a;如何为项目选择最优数据容器&#xff1f; 在VBA开发中&#xff0c;数据容器的选择往往决定了代码的执行效率和可维护性。Collection和Dictionary作为两种最常用的数据结构&#xff0c;各自拥有独特的优势和应用场景。本文将深入…...

Screencast-Keys问题速解:从环境配置到界面优化的7个实战方案

Screencast-Keys问题速解&#xff1a;从环境配置到界面优化的7个实战方案 【免费下载链接】Screencast-Keys Blender Add-on: Screencast Keys 项目地址: https://gitcode.com/gh_mirrors/sc/Screencast-Keys Screencast-Keys是一款Blender插件&#xff0c;能够实时显示…...

Arduino ESP平台MQTT固件空中升级(FUOTA)轻量库

1. 项目概述mqtt_fuota_duino是一个面向资源受限嵌入式物联网终端的轻量级固件空中升级&#xff08;Firmware Update Over-The-Air, FUOTA&#xff09;库&#xff0c;专为 Arduino 生态设计&#xff0c;深度适配 ESP8266 和 ESP32 平台。其核心使命并非替代标准 HTTP/HTTPS OTA…...

2023-12-15 Qt Location开发实战指南:从零构建地图应用

1. Qt Location模块入门指南 第一次接触Qt Location模块时&#xff0c;我完全被它强大的地图功能震撼到了。这个模块完美融合了QML的声明式语法和C的高性能&#xff0c;让开发者能够轻松构建跨平台的地图应用。记得当时为了显示一个简单的地图&#xff0c;我整整折腾了两天&…...

VTK.js终极指南:7个步骤掌握Web端3D可视化开发

VTK.js终极指南&#xff1a;7个步骤掌握Web端3D可视化开发 【免费下载链接】vtk-js Visualization Toolkit for the Web 项目地址: https://gitcode.com/gh_mirrors/vt/vtk-js 你是否曾想过在浏览器中实现专业的医学影像三维重建&#xff1f;或是让复杂的科学数据在网页…...

Vue项目实战:5分钟搞定ECharts与高德地图(AMap)的完美结合

Vue项目实战&#xff1a;5分钟实现ECharts与高德地图的深度整合 最近在开发一个物流数据可视化平台时&#xff0c;遇到了一个典型需求&#xff1a;如何在地图上动态展示全国各区域的订单流向&#xff1f;经过反复尝试&#xff0c;发现ECharts与高德地图的组合是最佳解决方案。本…...

多语言支持测试:OpenClaw对接Qwen3-32B镜像处理非英语任务

多语言支持测试&#xff1a;OpenClaw对接Qwen3-32B镜像处理非英语任务 1. 测试背景与实验设计 最近在探索如何用本地化AI工具处理多语言工作流时&#xff0c;我注意到OpenClaw框架的灵活性——它不仅能对接各类大模型&#xff0c;还能通过技能扩展实现跨语言自动化。这次我决…...

微信聊天记录导出终极指南:免费工具WeChatExporter完整使用教程

微信聊天记录导出终极指南&#xff1a;免费工具WeChatExporter完整使用教程 【免费下载链接】WeChatExporter 一个可以快速导出、查看你的微信聊天记录的工具 项目地址: https://gitcode.com/gh_mirrors/wec/WeChatExporter 你是否担心珍贵的微信聊天记录会因手机更换或…...

基于DBO优化算法的三维无人机路径规划应用:蜣螂算法的MATLAB代码实现

基于蜣螂优化算法的三维无人机路径规划应用matlab代码 DBO优化三维无人机路径规划无人机要在复杂三维地形里找到最优路径&#xff0c;这事听着简单实际操作起来真能让人头秃。传统算法容易陷入局部最优&#xff0c;这时候就得请出蜣螂优化算法&#xff08;DBO&#xff09;这种新…...