Java如何基于okhttp请求SSE接口流式返回详解
作者：萧老板
前言
最近在开发跟大模型相关的业务，需要用java去请求大模型的对话接口并支持流式的返回，变用到了sse接口。首先介绍一下什么是SSE，SSE （ Server-sent Events ）是 WebSocket 的一种轻量代替方案，使用 HTTP 协议。
严格地说，HTTP 协议是没有办法做服务器推送的，但是当服务器向客户端声明接下来要发送流信息时，客户端就会保持连接打开，SSE 使用的就是这种原理。
一、SSE 能做什么？
理论上， SSE 和 WebSocket 做的是同一件事情。当你需要用新数据局部更新网络应用时，SSE 可以做到不需要用户执行任何操作，便可以完成。
这种技术通常用于实现实时更新、通知和事件驱动的应用程序，例如实时聊天、股票市场更新、新闻通知等。
二、SSE vs. WebSocket
SSE 是单向通道，只能服务器向客户端发送消息，如果客户端需要向服务器发送消息，则需要一个新的 HTTP 请求。这对比 WebSocket 的双工通道来说，会有更大的开销。这么一来的话就会存在一个「什么时候才需要关心这个差异？」的问题，如果平均每秒会向服务器发送一次消息的话，那应该选择 WebSocket。如果一分钟仅 5 - 6 次的话，其实这个差异并不大。
在浏览器兼容方面，两者差不多。在较早之前，每当需要建立双向 Socket 时就会使用 Flash，在 移动浏览器不支持 Flash 的情况下，WebSocket 的兼容是比较难做的。
SSE 我认为最大的优势是便利，实现一个完整的服务仅需要少量的代码；可以在现有的服务中使用，不需要启动一个新的服务；可以用任何一种服务端语言中使用；基于 HTTP ／ HTTPS 协议，可以直接运行于现有的代理服务器和认证技术。有了这些优势，在选择使用 SSE 时就已经为自己的项目节约了不少成本。
三、下面来写一下如何用java调用sse接口
我们可以借助okhttp来实现，首先引入okhttp-sse的依赖：
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp-sse</artifactId>
<version>4.12.0</version>
</dependency>
调用代码如下：
OkHttpClient client = new OkHttpClient.Builder()
.connectTimeout(10, TimeUnit.SECONDS)
.writeTimeout(50, TimeUnit.SECONDS)
.readTimeout(10, TimeUnit.MINUTES)
.build();
EventSource.Factory factory = EventSources.createFactory(client);
// 请求体
HashMap<String, Object> map = new HashMap<>();
map.put("prompt","哈喽，你好");
map.put("history", Arrays.asList());
map.put("temperature",0.9);
map.put("top_p",0.7);
map.put("max_new_tokens",4096);
String json = JsonUtil.objectToString(map);
RequestBody body = RequestBody.create(MediaType.parse("application/json; charset=utf-8"),json);
// 请求对象
Request request = new Request.Builder()
.url("http://localhost:8001/chat")
.post(body)
.build();
// 自定义监听器
EventSourceListener eventSourceListener = new EventSourceListener() {
@Override
public void onOpen(EventSource eventSource, Response response) {
super.onOpen(eventSource, response);
}
@Override
public void onEvent(EventSource eventSource, @Nullable String id, @Nullable String type, String data) {
// 接受消息 data
super.onEvent(eventSource, id, type, data);
}
@Override
public void onClosed(EventSource eventSource) {
super.onClosed(eventSource);
}
@Override
public void onFailure(EventSource eventSource, @Nullable Throwable t, @Nullable Response response) {
super.onFailure(eventSource, t, response);
}
};
// 创建事件
EventSource eventSource = factory.newEventSource(request, eventSourceListener);
运行效果
""
"你"
"你好"
"你好👋"
"你好👋！"
"你好👋！很高兴"
"你好👋！很高兴见到"
"你好👋！很高兴见到你"
"你好👋！很高兴见到你，"
"你好👋！很高兴见到你，欢迎"
"你好👋！很高兴见到你，欢迎问我"
"你好👋！很高兴见到你，欢迎问我任何"
"你好👋！很高兴见到你，欢迎问我任何问题"
"你好👋！很高兴见到你，欢迎问我任何问题。"
总结
到此这篇关于Java如何基于okhttp请求SSE接口流式返回的文章就介绍到这了,更多相关Java请求SSE接口流式返回内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！