4.6.8-alpha (#804)

* perf: redirect request and err log replace perf: dataset openapi feat: session fix: retry input error feat: 468 doc sub page feat: standard sub perf: rerank tip perf: rerank tip perf: api sdk perf: openapi sub plan perf: sub ui fix: ts * perf: init log * fix: variable select * sub page * icon * perf: llm model config * perf: menu ux * perf: system store * perf: publish app name * fix: init data * perf: flow edit ux * fix: value type format and ux * fix prompt editor default value (#13) * fix prompt editor default value * fix prompt editor update when not focus * add key with variable --------- Co-authored-by: Archer <545436317@qq.com> * fix: value type * doc * i18n * import path * home page * perf: mongo session running * fix: ts * perf: use toast * perf: flow edit * perf: sse response * slider ui * fetch error * fix prompt editor rerender when not focus by key defaultvalue (#14) * perf: prompt editor * feat: dataset search concat * perf: doc * fix:ts * perf: doc * fix json editor onblur value (#15) * faq * vector model default config * ipv6 --------- Co-authored-by: heheer <71265218+newfish-cmyk@users.noreply.github.com>
2024-02-01 21:57:41 +08:00
parent fc19c4cf09
commit 34602b25df
285 changed files with 10345 additions and 11223 deletions
--- a/docSite/content/docs/development/configuration.md
+++ b/docSite/content/docs/development/configuration.md
@@ -13,153 +13,7 @@ weight: 708

 这个配置文件中包含了系统级参数、AI 对话的模型、function 模型等……

-
-## 旧版本配置文件
-
-以下配置适合 4.6.6-alpha 之前
-
-```json
-{
-  "SystemParams": {
-    "vectorMaxProcess": 15, // 向量生成最大进程，结合数据库性能和 key 来设置
-    "qaMaxProcess": 15,  // QA 生成最大进程，结合数据库性能和 key 来设置
-    "pgHNSWEfSearch": 100  // pg vector 索引参数，越大精度高但速度慢
-  },
-  "ChatModels": [ // 对话模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "price": 0, // 除以 100000 后等于1个token的价格
-      "maxContext": 16000, // 最大上下文长度
-      "maxResponse": 4000, // 最大回复长度
-      "quoteMaxToken": 2000, // 最大引用内容长度
-      "maxTemperature": 1.2, // 最大温度值
-      "censor": false, // 是否开启敏感词过滤(商业版)
-      "vision": false, // 支持图片输入
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-3.5-turbo-16k",
-      "name": "GPT35-16k",
-      "maxContext": 16000,
-      "maxResponse": 16000,
-      "price": 0,
-      "quoteMaxToken": 8000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": false,
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-4",
-      "name": "GPT4-8k",
-      "maxContext": 8000,
-      "maxResponse": 8000,
-      "price": 0,
-      "quoteMaxToken": 4000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": false,
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-4-vision-preview",
-      "name": "GPT4-Vision",
-      "maxContext": 128000,
-      "maxResponse": 4000,
-      "price": 0,
-      "quoteMaxToken": 100000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": true,
-      "defaultSystemChatPrompt": ""
-    }
-  ],
-  "QAModels": [ // QA 生成模型
-    {
-      "model": "gpt-3.5-turbo-16k",
-      "name": "GPT35-16k",
-      "maxContext": 16000,
-      "maxResponse": 16000,
-      "price": 0
-    }
-  ],
-  "CQModels": [ // 问题分类模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 16000,
-      "maxResponse": 4000,
-      "price": 0,
-      "toolChoice": true, // 是否支持openai的 toolChoice， 不支持的模型需要设置为 false，会走提示词生成
-      "functionPrompt": ""
-    },
-    {
-      "model": "gpt-4",
-      "name": "GPT4-8k",
-      "maxContext": 8000,
-      "maxResponse": 8000,
-      "price": 0,
-      "toolChoice": true,
-      "functionPrompt": ""
-    }
-  ],
-  "ExtractModels": [ // 内容提取模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 16000,
-      "maxResponse": 4000,
-      "price": 0,
-      "toolChoice": true,
-      "functionPrompt": ""
-    }
-  ],
-  "QGModels": [ // 生成下一步指引
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 1600,
-      "maxResponse": 4000,
-      "price": 0
-    }
-  ],
-  "VectorModels": [ // 向量模型
-    {
-      "model": "text-embedding-ada-002",
-      "name": "Embedding-2",
-      "price": 0.2,
-      "defaultToken": 700,
-      "maxToken": 3000
-    }
-  ],
-  "ReRankModels": [], // 重排模型,暂时填空数组
-  "AudioSpeechModels": [
-    {
-      "model": "tts-1",
-      "name": "OpenAI TTS1",
-      "price": 0,
-      "baseUrl": "",
-      "key": "",
-      "voices": [
-        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
-        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
-        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
-        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
-        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
-        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
-      ]
-    }
-  ],
-  "WhisperModel": {
-    "model": "whisper-1",
-    "name": "Whisper1",
-    "price": 0
-  }
-}
-```
-
-## 4.6.6-alpha 版本完整配置参数
+## 4.6.8 以前版本完整配置参数

 **使用时，请务必去除注释！**

@@ -315,6 +169,134 @@ weight: 708
 }
 ```

+## 4.6.8 新配置文件
+
+llm模型全部合并
+
+```json
+{
+  "systemEnv": {
+    "openapiPrefix": "fastgpt",
+    "vectorMaxProcess": 15,
+    "qaMaxProcess": 15,
+    "pgHNSWEfSearch": 100
+  },
+  "llmModels": [
+    {
+      "model": "gpt-3.5-turbo-1106", // 模型名
+      "name": "gpt-3.5-turbo", // 别名
+      "maxContext": 16000, // 最大上下文
+      "maxResponse": 4000, // 最大回复
+      "quoteMaxToken": 13000, // 最大引用内容
+      "maxTemperature": 1.2, // 最大温度
+      "inputPrice": 0, 
+      "outputPrice": 0,
+      "censor": false,
+      "vision": false, // 是否支持图片输入
+      "datasetProcess": false, // 是否设置为知识库处理模型
+      "toolChoice": true, // 是否支持工具选择
+      "functionCall": false, // 是否支持函数调用
+      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
+      "customExtractPrompt": "", // 自定义内容提取提示词
+      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
+      "defaultConfig":{}  // 对话默认配置（比如 GLM4 的 top_p
+    },
+    {
+      "model": "gpt-3.5-turbo-16k",
+      "name": "gpt-3.5-turbo-16k",
+      "maxContext": 16000,
+      "maxResponse": 16000,
+      "quoteMaxToken": 13000,
+      "maxTemperature": 1.2,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "censor": false,
+      "vision": false,
+      "datasetProcess": true,
+      "toolChoice": true,
+      "functionCall": false,
+      "customCQPrompt": "",
+      "customExtractPrompt": "",
+      "defaultSystemChatPrompt": "",
+      "defaultConfig":{} 
+    },
+    {
+      "model": "gpt-4-0125-preview",
+      "name": "gpt-4-turbo",
+      "maxContext": 125000,
+      "maxResponse": 125000,
+      "quoteMaxToken": 100000,
+      "maxTemperature": 1.2,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "censor": false,
+      "vision": false,
+      "datasetProcess": false,
+      "toolChoice": true,
+      "functionCall": false,
+      "customCQPrompt": "",
+      "customExtractPrompt": "",
+      "defaultSystemChatPrompt": "",
+      "defaultConfig":{} 
+    },
+    {
+      "model": "gpt-4-vision-preview",
+      "name": "gpt-4-vision",
+      "maxContext": 128000,
+      "maxResponse": 4000,
+      "quoteMaxToken": 100000,
+      "maxTemperature": 1.2,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "censor": false,
+      "vision": false,
+      "datasetProcess": false,
+      "toolChoice": true,
+      "functionCall": false,
+      "customCQPrompt": "",
+      "customExtractPrompt": "",
+      "defaultSystemChatPrompt": "",
+      "defaultConfig":{} 
+    }
+  ],
+  "vectorModels": [
+    {
+      "model": "text-embedding-ada-002",
+      "name": "Embedding-2",
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "defaultToken": 700,
+      "maxToken": 3000,
+      "weight": 100,
+      "defaultConfig":{}  // 默认配置。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
+    }
+  ],
+  "reRankModels": [],
+  "audioSpeechModels": [
+    {
+      "model": "tts-1",
+      "name": "OpenAI TTS1",
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "voices": [
+        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
+        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
+        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
+        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
+        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
+        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
+      ]
+    }
+  ],
+  "whisperModel": {
+    "model": "whisper-1",
+    "name": "Whisper1",
+    "inputPrice": 0,
+    "outputPrice": 0
+  }
+}
+```
+
 ## 特殊模型

 ### ReRank 接入
--- a/docSite/content/docs/development/custom-models/chatglm2-m3e.md
+++ b/docSite/content/docs/development/custom-models/chatglm2-m3e.md
@@ -59,10 +59,10 @@ Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One

 ## 接入 FastGPT

-修改 config.json 配置文件，在 ChatModels 中加入 chatglm2, 在 VectorModels 中加入 M3E 模型：
+修改 config.json 配置文件，在 llmModels 中加入 chatglm2, 在 vectorModels 中加入 M3E 模型：

 ```json
-"ChatModels": [
+"llmModels": [
  //其他对话模型
  {
    "model": "chatglm2",
@@ -74,7 +74,7 @@ Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One
    "defaultSystemChatPrompt": ""
  }
 ],
-"VectorModels": [
+"vectorModels": [
    {
      "model": "text-embedding-ada-002",
      "name": "Embedding-2",
--- a/docSite/content/docs/development/custom-models/chatglm2.md
+++ b/docSite/content/docs/development/custom-models/chatglm2.md
@@ -99,10 +99,10 @@ Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One

 ## 接入 FastGPT

-修改 config.json 配置文件，在 ChatModels 中加入 chatglm2 模型：
+修改 config.json 配置文件，在 llmModels 中加入 chatglm2 模型：

 ```json
-"ChatModels": [
+"llmModels": [
  //已有模型
  {
    "model": "chatglm2",
--- a/docSite/content/docs/development/docker.md
+++ b/docSite/content/docs/development/docker.md
@@ -94,10 +94,14 @@ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fast
 curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
 ```

+## 三、修改 docker-compose.yml 的环境变量

-## 三、启动容器
+修改`docker-compose.yml`中的`OPENAI_BASE_URL`（API 接口的地址，需要加/v1）和`CHAT_API_KEY`（API 接口的凭证）。

-修改`docker-compose.yml`中的`OPENAI_BASE_URL`和`CHAT_API_KEY`即可，对应为 API 的地址(别忘记加/v1)和 key。
+使用 OneAPI 的话，OPENAI_BASE_URL=OneAPI访问地址/v1；CHAT_API_KEY=令牌
+
+
+## 四、启动容器

 ```bash
 # 在 docker-compose.yml 同级目录下执行
@@ -105,7 +109,39 @@ docker-compose pull
 docker-compose up -d
 ```

-## 四、访问 FastGPT
+## 四、初始化 Mongo 副本集(4.6.8以前可忽略)
+
+FastGPT 4.6.8 后使用了 MongoDB 的事务，需要运行在副本集上。副本集没法自动化初始化，需手动操作。
+
+```bash
+# 查看 mongo 容器是否正常运行
+docker ps 
+# 进入容器
+docker exec -it mongo bash
+
+# 连接数据库
+mongo
+
+# 初始化副本集。
+rs.initiate({
+  _id: "rs0",
+  members: [
+    { _id: 0, host: "mongo:27017" }
+  ]
+})
+# 检查状态。如果提示 rs0 状态，则代表运行成功
+rs.status()
+
+# 初始化用户
+use admin
+db.createUser({
+  user: "admin",
+  pwd: "password",
+  roles: [{ role: "root", db: "admin" }]
+});
+```
+
+## 五、访问 FastGPT

 目前可以通过 `ip:3000` 直接访问(注意防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。

--- a/docSite/content/docs/development/faq.md
+++ b/docSite/content/docs/development/faq.md
@@ -48,6 +48,16 @@ OneAPI 的 API Key 配置错误，需要修改`OPENAI_API_KEY`环境变量，并
 1. 关闭翻译
 2. 检查配置文件是否正常加载，如果没有正常加载会导致缺失系统信息，在某些操作下会导致空指针。

+## 私有部署问题
+
+### 知识库索引没有进度
+
+先看日志报错信息。
+
+1. 可以对话，但是索引没有进度：没有配置向量模型（vectorModels）
+2. 不能对话，也不能索引：API调用失败。可能是没连上OneAPI或OenAI
+3. 有进度，但是非常慢：api key不行，OpenAI的免费号，一分钟只有3次还是60次。一天上限200次。
+
 ## Docker 部署常见问题

 ### 如何更新？
--- a/docSite/content/docs/development/intro.md
+++ b/docSite/content/docs/development/intro.md
@@ -48,6 +48,8 @@ git clone git@github.com:<github_username>/FastGPT.git

 第一次开发，需要先部署数据库，建议本地开发可以随便找一台 2C2G 的轻量小数据库实践。数据库部署教程：[Docker 快速部署](/docs/development/docker/)。部署完了，可以本地访问其数据库。

+Mongo 数据库需要修改副本集的`host`，从原来的`mongo:27017`修改为`ip:27017`。
+
 ### 4. 初始配置

 以下文件均在 `projects/app` 路径下。
--- a/docSite/content/docs/development/one-api.md
+++ b/docSite/content/docs/development/one-api.md
@@ -11,6 +11,10 @@ weight: 708
 * [One API](https://github.com/songquanpeng/one-api) 是一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
 * FastGPT 可以通过接入 OneAPI 来实现对不同大模型的支持。OneAPI 的部署方法也很简单。

+## FastGPT 与 OneAPI 关系
+
+![](/imgs/sealos-fastgpt.webp)
+
 ## MySQL 版本

 MySQL 版本支持多实例，高并发。
@@ -50,7 +54,14 @@ BATCH_UPDATE_ENABLED=true
 BATCH_UPDATE_INTERVAL=60
 ```

-## One API使用步骤
+## One API使用教程
+
+### 概念
+
+1. 渠道：
+   1. OneApi 中一个渠道对应一个 `Api Key`，这个 `Api Key` 可以是GPT、微软、ChatGLM、文心一言的。一个`Api Key`通常可以调用同一个厂商的多个模型。
+   2. OneAPI 会根据请求传入的`模型`来决定使用哪一个`Key`，如果一个模型对应了多个`Key`，则会随机调用。
+2. 令牌：访问 OneAPI 所需的凭证，只需要这`1`个凭证即可访问`OneAPI`上配置的模型。因此`FastGPT`中，只需要配置`OneAPI`的`baseurl`和`令牌`即可。

 ### 1. 登录 One API

@@ -68,7 +79,11 @@ BATCH_UPDATE_INTERVAL=60
 创建一个令牌
 ![step7](/imgs/oneapi-step7.png)

-### 3. 修改 FastGPT 的环境变量
+### 3. 修改账号余额
+
+OneAPI 默认 root 用户只有 200刀，可以自行修改编辑。
+
+### 4. 修改 FastGPT 的环境变量

 有了 One API 令牌后，FastGPT 可以通过修改 `baseurl` 和 `key` 去请求到 One API，再由 One API 去请求不同的模型。修改下面两个环境变量：

@@ -92,21 +107,29 @@ CHAT_API_KEY=sk-xxxxxx
 可以在 `/projects/app/src/data/config.json` 里找到配置文件（本地开发需要复制成 config.local.json），配置文件中有一项是对话模型配置：

 ```json
-"ChatModels": [
+"llmModels": [
    ...
    {
      "model": "ERNIE-Bot", // 这里的模型需要对应 One API 的模型
      "name": "文心一言", // 对外展示的名称
-      "maxContext": 8000, // 最大长下文 token，无论什么模型都按 GPT35 的计算。GPT 外的模型需要自行大致计算下这个值。可以调用官方接口去比对 Token 的倍率，然后在这里粗略计算。
-      "maxResponse": 4000, // 最大回复 token
-      // 例如：文心一言的中英文 token 基本是 1:1，而 GPT 的中文 Token 是 2:1，如果文心一言官方最大 Token 是 4000，那么这里就可以填 8000，保险点就填 7000.
-      "quoteMaxToken": 2000, // 引用知识库的最大 Token
-      "maxTemperature": 1, // 最大温度
-      "vision": false, // 是否开启图片识别
-      "defaultSystemChatPrompt": "" // 默认的系统提示词
+      "maxContext": 16000, // 最大上下文
+      "maxResponse": 4000, // 最大回复
+      "quoteMaxToken": 13000, // 最大引用内容
+      "maxTemperature": 1.2, // 最大温度
+      "inputPrice": 0, 
+      "outputPrice": 0,
+      "censor": false,
+      "vision": false, // 是否支持图片输入
+      "datasetProcess": false, // 是否设置为知识库处理模型
+      "toolChoice": true, // 是否支持工具选择
+      "functionCall": false, // 是否支持函数调用
+      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
+      "customExtractPrompt": "", // 自定义内容提取提示词
+      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
+      "defaultConfig":{}  // 对话默认配置（比如 GLM4 的 top_p
    }
    ...
 ],
 ```

-添加完后，重启 FastGPT 即可在选择文心一言模型进行对话。
+添加完后，重启 FastGPT 即可在选择文心一言模型进行对话。**添加向量模型也是类似操作，增加到 `vectorModels`里。**
--- a/docSite/content/docs/development/sealos.md
+++ b/docSite/content/docs/development/sealos.md
@@ -11,6 +11,13 @@ weight: 706

 ![](/imgs/sealos-fastgpt.webp)

+## 多模型支持
+
+FastGPT 使用了 one-api 项目来管理模型池，其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。
+
+可参考：[Sealos 快速部署 OneAPI](/docs/development/one-api)
+
+
 ## 一键部署
 Sealos 的服务器在国外，不需要额外处理网络问题，无需服务器、无需魔法、无需域名，支持高并发 & 动态伸缩。点击以下按钮即可一键部署 👇

--- a/docSite/content/docs/development/upgrading/467.md
+++ b/docSite/content/docs/development/upgrading/467.md
@@ -20,7 +20,8 @@ curl --location --request POST 'https://{{host}}/api/admin/initv467' \
 ```

 初始化说明：
-1. 将 images 重新关联到数据集（不初始化也问题不大，就是可能会留下永久脏数据）
+1. 将 images 重新关联到数据集
+2. 设置 pg 表的 null 值。


 ## V4.6.7 更新说明
--- a/docSite/content/docs/development/upgrading/468.md
+++ b/docSite/content/docs/development/upgrading/468.md
@@ -0,0 +1,27 @@
+---
+title: 'V4.6.8（进行中）'
+description: 'FastGPT V4.6.7'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 828
+---
+
+## docker 部署 - 更新 Mongo
+
+开启 Mongo 副本集模式。需要进入 mongo 执行一次 init，参考[初始化Mongo副本集](/docs/development/docker/#四初始化-mongo-副本集)，这个比较麻烦，初始化后可以用 mongoshell 之类的连接试试，看能不能连接上。
+
+## Sealos 部署 - 无需更新 Mongo
+
+## 修改配置文件
+
+去除了重复的模型配置，LLM模型都合并到一个属性中：[点击查看最新的配置文件](/docs/development/configuration/)
+
+## V4.6.8 更新说明
+
+1. 新增 - 知识库搜索合并模块。
+1. 优化 - LLM 模型配置，不再区分对话、分类、提取模型。同时支持模型的默认参数，避免不同模型参数冲突，可通过`defaultConfig`传入默认的配置。
+2. 优化 - HTTP 模块，支持输出字符串自动序列化（JSON可自动转成字符串）
+3. 优化 - 流响应，参考了`ChatNextWeb`的流，更加丝滑。此外，之前提到的乱码、中断，刷新后又正常了，可能会修复）
+4. 修复 - 语音输入文件无法上传。
+5. 修复 - 对话框重新生成无法使用。