fastapi框架异步执行踩坑记录

fastapi框架异步执行踩坑

问题与背景

在公司项目中，使用了python作为中间件实现的主语言，项目是中间件性质的需要并行的为第三方提供服务，但是在使用过程中，出现了并行的问题，多个耗时操作，在串行，导致项目的分析操作耗时巨大。

web技术采用的是fastapi，这个技术官网介绍是并行的，用java起多线程访问接口，得到的结论竟然是串行的，这地方就特意研究了一下。

最佳实践

这篇文章，给我答疑解惑了：https://www.jb51.net/python/323052zd6.htm

我在项目中，翻了一个使用的错误，类似的方式如下：

 @router.get("/a")
async def a():
    time.sleep(1)
    return {"message": "异步模式，但是同步执行sleep函数，执行过程是串行的"}

这种写法在于接口访问是异步的，但是执行的时候却是在主线程中，用同步的方法，就导致了串行了。

所以async和await应该是成对出现的，否则就不是绝对的异步：

import asyncio

@router.get("/b")
async def b():
    loop = asyncio.get_event_loop()
    result = await loop.run_in_executor(None, time.sleep, 1)
    return {"message": "线程池中运行sleep函数"}

这种方案接口可以异步调用，并且接口中的内容也会被异步执行，在实际使用中，可以对方法中的内容进行封装，然后通过loop.run_in_executor去异步调用封装的一个方法，最终实现绝对的异步。

fastapi的异步大骗/局

有部分入坑fastapi的同志们，可能经常会遇到一个耗时的密集型IO任务阻塞主线程的情况，导致接口单个接口占用整体的线程时间过长，从而影响到其他的接口响应。

很多人可能会说，fastapi不是一个异步的框架吗？为什么会存在阻塞这个问题？

这是一个很好的问题，我之前也想过这个问题，但是后面才发现，原来是fastapi框架的接口，本身不会自动帮忙处理长耗时的任务，如生成式的请求，调用复杂的第三方api，这个过程大概需要10-20s。

假如说自己使用的http请求是直接requests库的请求，那么就会导致阻塞。

正确的做法应该是：

使用一个异步执行的请求方式，例如aiohttp库，手动为请求添加上这个异步的请求方法，我就是使用这个库解决了长耗时任务阻塞线程的问题。

首先得安装好这个库：

pip install aiohttp

然后就再代码当中

from fastapi import FastAPI
import aiohttp
import asyncio

app = FastAPI()

async def long_running_task(url: str):
    async with aiohttp.ClientSession() as session:
        async with session.post(url, json={"load": "data"}) as response:
            # 处理响应数据
            data = await response.json()
            return data

@app.post("/start_task/")
async def start_task():
    url = "http://example.com/api"  # 目标 API 的 URL
    task_result = await long_running_task(url)
    return task_result

这样，这个长任务就不会阻塞主线程了。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。