文档使用文档配置模型(代理方式)

在LangChat中使用第三方代理配置模型

LangChat支持例如one api平台的代理接口方式,对于购买了第三方代理平台的同学非常有用。

注意: 使用第三方平台代理,一定要在BaseUrl后面增加 /v1 后缀。

注意: 使用第三方平台代理,一定要在BaseUrl后面增加 /v1 后缀。

注意: 使用第三方平台代理,一定要在BaseUrl后面增加 /v1 后缀。

首先,第三方代理一般有两种接入方式:

  1. 修改BaseUrl,统一使用OpenAI接口格式分发请求,无论什么模型都将使用统一的请求响应格式
  2. 仅修改BaseUrl,仍按照模型官方的接口格式转发请求

OpenAI接口格式

注意:如上,这里说的是如果第三方代理使用OpenAI接口格式转发不同模型供应商接口格式的情况,在这种情况下,所有模型的请求响应接口都是安装OpenAI格式

对于这种情况,只需要在LangChat模型配置页面中选择OpenAI配置不同的模型即可:(主要是遵循OpenAI接口格式,无论什么模型都在可以这里配置)

代理官方接口格式

对于第二种情况,仅仅需要修改BaseUrl即可,然后不同的模型仍然在LangChat不同的模型供应商下面配置。