Nginx反向代理大模型推理接口(SSE)

Nginx反向代理大模型推理接口(SSE)

Nginx作用这么大？

在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。

用普通的Nginx代理配置接口返回特别慢。

找了下原因，发现是代理配置有问题。

Nginx反向代理配置

代码语言：javascript代码运行次数：0运行复制

location /ai-interface {
    add_header X-XSS-Protection "1;mode=block";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $http_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Scheme $scheme;
    proxy_set_header Accept-Encoding "";
    proxy_ssl_session_reuse on;
    proxy_redirect off;
    proxy_ignore_client_abort on;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
    proxy_connect_timeout 86400s;
    # SSE 连接时的超时时间
    proxy_read_timeout 86400s;
    proxy_send_timeout 86400s;
    proxy_pass http://192.168.0.105:228866;
}

配置之后，重启一下Nginx。

接口总算丝滑了。

代码语言：javascript代码运行次数：0运行复制

http://192.168.0.105:228866

这个地址是你对应第三方AI大模型返回数据的接口。

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2025-04-02，如有侵权请联系 cloudcommunity@tencent 删除接口模型nginxsse反向代理