fix: milvus sdk (#3249)

* fix: base64 image

* perf: quote qa

.github/ISSUE_TEMPLATE/bugs.md

@@ -21,7 +21,7 @@ assignees: ''
 - [ ] 公有云版本
 - [ ] 私有部署版本, 具体版本号: 
 
-**问题描述, 日志截图**
+**问题描述, 日志截图，配置文件等**
 
 **复现步骤**
 

.github/workflows/build-sandbox-image.yml

@@ -1,4 +1,4 @@
-name: Build fastgpt-sandbox images and copy image to docker hub
+name: Build fastgpt-sandbox images
 on:
   workflow_dispatch:
   push:

.github/workflows/fastgpt-image.yml

@@ -1,4 +1,4 @@
-name: Build FastGPT images and copy image to docker hub
+name: Build FastGPT images
 on:
   workflow_dispatch:
   push:
@@ -90,3 +90,86 @@ jobs:
           -t ${Docker_Hub_Tag} \
           -t ${Docker_Hub_Latest} \
           .
+  build-fastgpt-images-sub-route:
+    runs-on: ubuntu-20.04
+    steps:
+      # install env
+      - name: Checkout
+        uses: actions/checkout@v3
+        with:
+          fetch-depth: 1
+      - name: Install Dependencies
+        run: |
+          sudo apt update && sudo apt install -y nodejs npm
+      - name: Set up QEMU (optional)
+        uses: docker/setup-qemu-action@v2
+      - name: Set up Docker Buildx
+        uses: docker/setup-buildx-action@v2
+        with:
+          driver-opts: network=host
+      - name: Cache Docker layers
+        uses: actions/cache@v2
+        with:
+          path: /tmp/.buildx-cache
+          key: ${{ runner.os }}-buildx-${{ github.sha }}
+          restore-keys: |
+            ${{ runner.os }}-buildx-
+
+      # login docker
+      - name: Login to GitHub Container Registry
+        uses: docker/login-action@v2
+        with:
+          registry: ghcr.io
+          username: ${{ github.repository_owner }}
+          password: ${{ secrets.GH_PAT }}
+      - name: Login to Ali Hub
+        uses: docker/login-action@v2
+        with:
+          registry: registry.cn-hangzhou.aliyuncs.com
+          username: ${{ secrets.ALI_HUB_USERNAME }}
+          password: ${{ secrets.ALI_HUB_PASSWORD }}
+      - name: Login to Docker Hub
+        uses: docker/login-action@v2
+        with:
+          username: ${{ secrets.DOCKER_HUB_NAME }}
+          password: ${{ secrets.DOCKER_HUB_PASSWORD }}
+
+      # Set tag
+      - name: Set image name and tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+          else
+            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+          fi
+
+      - name: Build and publish image for main branch or tag push event
+        env:
+          DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
+        run: |
+          docker buildx build \
+          -f projects/app/Dockerfile \
+          --platform linux/amd64,linux/arm64 \
+          --build-arg base_url=/fastai \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
+          --label "org.opencontainers.image.description=fastgpt image" \
+          --push \
+          --cache-from=type=local,src=/tmp/.buildx-cache \
+          --cache-to=type=local,dest=/tmp/.buildx-cache \
+          -t ${Git_Tag} \
+          -t ${Git_Latest} \
+          -t ${Ali_Tag} \
+          -t ${Ali_Latest} \
+          -t ${Docker_Hub_Tag} \
+          -t ${Docker_Hub_Latest} \
+          .

.vscode/settings.json

@@ -16,8 +16,8 @@
     "i18n-ally.keystyle": "flat",
     "i18n-ally.sortKeys": true,
     "i18n-ally.keepFulfilled": false,
-    "i18n-ally.sourceLanguage": "zh", // 根据此语言文件翻译其他语言文件的变量和内容
-    "i18n-ally.displayLanguage": "zh", // 显示语言
+    "i18n-ally.sourceLanguage": "zh-CN", // 根据此语言文件翻译其他语言文件的变量和内容
+    "i18n-ally.displayLanguage": "zh-CN", // 显示语言
     "i18n-ally.namespace": true,
     "i18n-ally.pathMatcher": "{locale}/{namespaces}.json",
     "i18n-ally.extract.targetPickingStrategy": "most-similar-by-key",

docSite/content/zh-cn/docs/development/configuration.md

@@ -23,6 +23,7 @@ weight: 708
   "systemEnv": {
     "vectorMaxProcess": 15,
     "qaMaxProcess": 15,
+    "tokenWorkers": 50, // Token 计算线程保持数，会持续占用内存，不能设置太大。
     "pgHNSWEfSearch": 100 // 向量搜索参数。越大，搜索越精确，但是速度越慢。设置为100，有99%+精度。
   },
   "llmModels": [

docSite/content/zh-cn/docs/development/docker.md

@@ -35,9 +35,7 @@ weight: 707
 
 ### Milvus版本
 
-暂不推荐，部分系统存在精度丢失，等待修复。
-
-对于千万级以上向量性能更优秀。
+生产部署首选，对于千万级以上向量性能更优秀。
 
 [点击查看 Milvus 官方推荐配置](https://milvus.io/docs/prerequisite-docker.md)
 
@@ -51,9 +49,7 @@ weight: 707
 
 ### zilliz cloud版本
 
-暂不推荐，部分系统存在精度丢失，等待修复。
-
-亿级以上向量首选。
+Milvus 的全托管服务，性能优于 Milvus 并提供 SLA，点击使用 [Zilliz Cloud](https://zilliz.com.cn/)。
 
 由于向量库使用了 Cloud，无需占用本地资源，无需太关注。
 
@@ -138,14 +134,16 @@ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/mai
 # curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
 ```
 
-### 2. 修改 docker-compose.yml 环境变量
+### 2. 修改环境变量
+
+找到 yml 文件中，fastgpt 容器的环境变量进行下面操作：
 
 {{< tabs tabTotal="3" >}}
 {{< tab tabName="PgVector版本" >}}
 {{< markdownify >}}
 
 ```
-无需操作
+FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://cloud.fastgpt.cn
 ```
 
 {{< /markdownify >}}
@@ -154,7 +152,7 @@ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/mai
 {{< markdownify >}}
 
 ```
-无需操作
+FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://cloud.fastgpt.cn
 ```
 
 {{< /markdownify >}}
@@ -162,11 +160,14 @@ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/mai
 {{< tab tabName="Zilliz版本" >}}
 {{< markdownify >}}
 
+打开 [Zilliz Cloud](https://zilliz.com.cn/), 创建实例并获取相关秘钥。
+
 ![zilliz_key](/imgs/zilliz_key.png)
 
 {{% alert icon="🤖" context="success" %}}
 
-修改`MILVUS_ADDRESS`和`MILVUS_TOKEN`链接参数，分别对应 `zilliz` 的 `Public Endpoint` 和 `Api key`，记得把自己ip加入白名单。
+1. 修改`MILVUS_ADDRESS`和`MILVUS_TOKEN`链接参数，分别对应 `zilliz` 的 `Public Endpoint` 和 `Api key`，记得把自己ip加入白名单。
+2. 修改FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://cloud.fastgpt.cn
 
 {{% /alert %}}
 

docSite/content/zh-cn/docs/development/openapi/auth.md

@@ -25,7 +25,7 @@ FastGPT 的 API Key **有 2 类**，一类是全局通用的 key (无法直接
 
 |        通用key               |           应用特定 key            |
 | --------------------- | --------------------- |
-| ![](/imgs/fastgpt-api2.jpg) | ![](/imgs/fastgpt-api.jpg) |
+| ![](/imgs/fastgpt-api2.jpg) | ![](/imgs/fastgpt-api1.jpg) |
 
 ## 基本配置
 

docSite/content/zh-cn/docs/development/openapi/chat.md

@@ -35,9 +35,10 @@ curl --location --request POST 'http://localhost:3000/api/v1/chat/completions' \
 --header 'Authorization: Bearer fastgpt-xxxxxx' \
 --header 'Content-Type: application/json' \
 --data-raw '{
-    "chatId": "abcd",
+    "chatId": "my_chatId",
     "stream": false,
     "detail": false,
+    "responseChatItemId": "my_responseChatItemId",
     "variables": {
         "uid": "asdfadsfasfd2323",
         "name": "张三"
@@ -104,6 +105,7 @@ curl --location --request POST 'http://localhost:3000/api/v1/chat/completions' \
   - 为 `undefined` 时（不传入），不使用 FastGpt 提供的上下文功能，完全通过传入的 messages 构建上下文。 不会将你的记录存储到数据库中，你也无法在记录汇总中查阅到。
   - 为`非空字符串`时，意味着使用 chatId 进行对话，自动从 FastGpt 数据库取历史记录，并使用 messages 数组最后一个内容作为用户问题。请自行确保 chatId 唯一，长度小于250，通常可以是自己系统的对话框ID。
 - messages: 结构与 [GPT接口](https://platform.openai.com/docs/api-reference/chat/object) chat模式一致。
+- responseChatItemId: string | undefined 。如果传入，则会将该值作为本次对话的响应消息的 ID，FastGPT 会自动将该 ID 存入数据库。请确保，在当前`chatId`下，`responseChatItemId`是唯一的。
 - detail: 是否返回中间值（模块状态，响应的完整结果等），`stream模式`下会通过`event`进行区分，`非stream模式`结果保存在`responseData`中。
 - variables: 模块变量，一个对象，会替换模块中，输入框内容里的`{{key}}`
 {{% /alert %}}

docSite/content/zh-cn/docs/development/openapi/dataset.md

@@ -31,17 +31,6 @@ curl --location --request POST 'http://localhost:3000/api/support/wallet/usage/c
 }'
 ```
 
-**x例子**
-
-```bash
-curl --location --request POST 'http://localhost:3000/api/support/wallet/bill/createTrainingBill' \
---header 'Authorization: Bearer {{apikey}}' \
---header 'Content-Type: application/json' \
---data-raw '{
-    "name": "可选，自定义订单名称，例如：文档训练-fastgpt.docx"
-}'
-```
-
 {{< /markdownify >}}
 {{< /tab >}}
 

docSite/content/zh-cn/docs/development/upgrading/464.md

@@ -32,7 +32,7 @@ curl --location --request POST 'https://{{host}}/api/admin/initv464' \
 4. 优化 - 历史记录模块。弃用旧的历史记录模块，直接在对应地方填写数值即可。
 5. 调整 - 知识库搜索模块 topk 逻辑，采用 MaxToken 计算，兼容不同长度的文本块
 6. 调整鉴权顺序，提高 apikey 的优先级，避免cookie抢占 apikey 的鉴权。
-7. 链接读取支持多选择器。参考[Web 站点同步用法](/docs/course/websync)
+7. 链接读取支持多选择器。参考[Web 站点同步用法](/docs/guide/knowledge_base/websync/)
 8. 修复 - 分享链接图片上传鉴权问题
 9. 修复 - Mongo 连接池未释放问题。
 10. 修复 - Dataset Intro 无法更新

docSite/content/zh-cn/docs/development/upgrading/465.md

@@ -21,10 +21,10 @@ weight: 831
 
 ## V4.6.5 功能介绍
 
-1. 新增 - [问题优化模块](/docs/workflow/modules/coreferenceresolution/)
-2. 新增 - [文本编辑模块](/docs/workflow/modules/text_editor/)
-3. 新增 - [判断器模块](/docs/workflow/modules/tfswitch/)
-4. 新增 - [自定义反馈模块](/docs/workflow/modules/custom_feedback/)
+1. 新增 - [问题优化模块](/docs/guide/workbench/workflow/coreferenceresolution/)
+2. 新增 - [文本编辑模块](/docs/guide/workbench/workflow/text_editor/)
+3. 新增 - [判断器模块](/docs/guide/workbench/workflow/tfswitch//)
+4. 新增 - [自定义反馈模块](/docs/guide/workbench/workflow/custom_feedback/)
 5. 新增 - 【内容提取】模块支持选择模型，以及字段枚举
 6. 优化 - docx读取，兼容表格（表格转markdown）
 7. 优化 - 高级编排连接线交互

docSite/content/zh-cn/docs/development/upgrading/466.md

@@ -25,7 +25,7 @@ weight: 830
 
 1. 查看 [FastGPT 2024 RoadMap](https://github.com/labring/FastGPT?tab=readme-ov-file#-%E5%9C%A8%E7%BA%BF%E4%BD%BF%E7%94%A8)
 2. 新增 - Http 模块请求头支持 Json 编辑器。
-3. 新增 - [ReRank模型部署](/docs/development/custom-models/reranker/)
+3. 新增 - [ReRank模型部署](/docs/development/custom-models/bge-rerank/)
 4. 新增 - 搜索方式：分离向量语义检索，全文检索和重排，通过 RRF 进行排序合并。
 5. 优化 - 问题分类提示词，id引导。测试国产商用 api 模型（百度阿里智谱讯飞）使用 Prompt 模式均可分类。
 6. UI 优化，未来将逐步替换新的UI设计。

docSite/content/zh-cn/docs/development/upgrading/468.md

@@ -91,7 +91,7 @@ curl --location --request POST 'https://{{host}}/api/init/v468' \
 
 1. 新增 - 知识库搜索合并模块。
 2. 新增 - 新的 Http 模块，支持更加灵活的参数传入。同时支持了输入输出自动数据类型转化，例如：接口输出的 JSON 类型会自动转成字符串类型，直接给其他模块使用。此外，还补充了一些例子，可在文档中查看。
-3. 优化 - 内容补全。将内容补全内置到【知识库搜索】中，并实现了一次内容补全，即可完成“指代消除”和“问题扩展”。FastGPT知识库搜索详细流程可查看：[知识库搜索介绍](/docs/course/data_search/)
+3. 优化 - 内容补全。将内容补全内置到【知识库搜索】中，并实现了一次内容补全，即可完成“指代消除”和“问题扩展”。FastGPT知识库搜索详细流程可查看：[知识库搜索介绍](/docs/guide/workbench/workflow/dataset_search/)
 4. 优化 - LLM 模型配置，不再区分对话、分类、提取模型。同时支持模型的默认参数，避免不同模型参数冲突，可通过`defaultConfig`传入默认的配置。
 5. 优化 - 流响应，参考了`ChatNextWeb`的流，更加丝滑。此外，之前提到的乱码、中断，刷新后又正常了，可能会修复）
 6. 修复 - 语音输入文件无法上传。

docSite/content/zh-cn/docs/development/upgrading/4813.md

@@ -1,5 +1,5 @@
 ---
-title: 'V4.8.13(进行中)'
+title: 'V4.8.13'
 description: 'FastGPT V4.8.13 更新说明'
 icon: 'upgrade'
 draft: false
@@ -7,6 +7,24 @@ toc: true
 weight: 811
 ---
 
+## 更新指南
+
+### 1. 做好数据备份
+
+### 2. 修改镜像
+
+- 更新 FastGPT 镜像 tag: v4.8.13-fix
+- 更新 FastGPT 商业版镜像 tag: v4.8.13-fix （fastgpt-pro镜像）
+- Sandbox 镜像，可以不更新
+
+### 3. 添加环境变量
+
+- 给 fastgpt 和 fastgpt-pro 镜像添加环境变量：`FE_DOMAIN=http://xx.com`，值为 fastgpt 前端访问地址，注意后面不要加`/`。可以自动补齐相对文件地址的前缀。
+
+### 4. 调整文件上传编排
+
+虽然依然兼容旧版的文件上传编排，但是未来两个版本内将会去除兼容代码，请尽快调整编排，以适应最新的文件上传逻辑。尤其是嵌套应用的文件传递，未来将不会自动传递，必须手动指定传递的文件。具体内容可参考: [文件上传变更](/docs/guide/course/fileinput/#4813%E7%89%88%E6%9C%AC%E8%B5%B7%E5%85%B3%E4%BA%8E%E6%96%87%E4%BB%B6%E4%B8%8A%E4%BC%A0%E7%9A%84%E6%9B%B4%E6%96%B0)
+
 ## 更新说明
 
 1. 新增 - 数组变量选择支持多选，可以选多个数组或对应的单一数据类型，会自动按选择顺序进行合并。
@@ -16,26 +34,18 @@ weight: 811
 5. 新增 - 循环节点增加下标值。 
 6. 新增 - 部分对话错误提醒增加翻译。 
 7. 新增 - 对话输入框支持拖拽文件上传，可直接拖文件到输入框中。  
-8. 优化 - 合并多个 system 提示词成 1 个，避免部分模型不支持多个 system 提示词。  
-9. 优化 - 知识库上传文件，优化报错提示。  
-10. 优化 - 全文检索语句，减少一轮子查询。  
-11. 优化 - 修改 findLast 为 [...array].reverse().find，适配旧版浏览器。  
-12. 优化 - Markdown 组件自动空格，避免分割 url 中的中文。  
-13. 优化 - 工作流上下文拆分，性能优化。 
-14. 优化 - 语音播报，不支持 mediaSource 的浏览器可等待完全生成语音后输出。 
-15. 修复 - Dockerfile pnpm install 支持代理。 
-16. 修复 - BI 图表生成无法写入文件。 
-
-## 更新指南
-
-### 1. 做好数据备份
-
-### 2. 修改镜像
-
-- 更新 FastGPT 镜像 tag: v4.8.13-alpha
-- 更新 FastGPT 管理端镜像 tag: v4.8.13-alpha （fastgpt-pro镜像）
-- Sandbox 镜像，可以不更新
-
-### 3. 调整文件上传编排
-
-虽然依然兼容旧版的文件上传编排，但是未来两个版本内将会去除兼容代码，请尽快调整编排，以适应最新的文件上传逻辑。尤其是嵌套应用的文件传递，未来将不会自动传递，必须手动指定传递的文件。
+8. 新增 - 对话日志，来源可显示分享链接/API具体名称
+9. 新增 - 分享链接支持配置是否展示实时运行状态。
+10. 优化 - 合并多个 system 提示词成 1 个，避免部分模型不支持多个 system 提示词。  
+11. 优化 - 知识库上传文件，优化报错提示。  
+12. 优化 - 全文检索语句，减少一轮子查询。  
+13. 优化 - 修改 findLast 为 [...array].reverse().find，适配旧版浏览器。  
+14. 优化 - Markdown 组件自动空格，避免分割 url 中的中文。  
+15. 优化 - 工作流上下文拆分，性能优化。 
+16. 优化 - 语音播报，不支持 mediaSource 的浏览器可等待完全生成语音后输出。 
+17. 优化 - 对话引导 csv 读取，自动识别编码
+18. 优化 - csv 导入问题引导可能乱码
+19. 修复 - Dockerfile pnpm install 支持代理。。
+20. 修复 - Dockerfile pnpm install 支持代理。 
+21. 修复 - BI 图表生成无法写入文件。同时优化其解析，支持数字类型数组。
+22. 修复 - 分享链接首次加载时，标题显示不正确。 

docSite/content/zh-cn/docs/development/upgrading/4814.md

@@ -0,0 +1,52 @@
+---
+title: 'V4.8.14'
+description: 'FastGPT V4.8.14 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 810
+---
+
+## 更新指南
+
+### 1. 做好数据备份
+
+### 2. 修改镜像
+
+- 更新 FastGPT 镜像 tag: v4.8.14
+- 更新 FastGPT 商业版镜像 tag: v4.8.14 （fastgpt-pro镜像）
+- Sandbox 镜像，可以不更新
+
+## 新功能预览
+
+### 自动触发工作流
+
+可以允许你配置用户加载对话时，自动触发一次工作流。可以用于一些 CRM 系统，可以快速的引导用户使用，无需等待用户主动触发。
+
+| | |
+| --- | --- |
+| ![alt text](/imgs/image-8.png) | ![alt text](/imgs/image-9.png) |
+
+
+## 完整更新内容
+
+1. 新增 - 工作流支持进入聊天框/点击开始对话后，自动触发一轮对话。
+2. 新增 - 重写 chatContext，对话测试也会有日志，并且刷新后不会丢失对话。
+3. 新增 - 分享链接支持配置是否允许查看原文。
+4. 新增 - 新的 doc2x 插件。
+5. 新增 - 繁体中文-台湾。
+6. 新增 - 分析链接和 chat api 支持传入自定义 uid。
+7. 商业版新增 - 微软 oauth 登录
+8. 优化 - 工作流 ui 细节。
+9. 优化 - 应用编辑记录采用 diff 存储，避免浏览器溢出。
+10. 优化 - 代码入口，增加 register 入口，无需等待首次访问才执行。
+11. 优化 - 工作流检查，增加更多缺失值检查。
+12. 优化 - 增加知识库训练最大重试次数限制。
+13. 优化 - 图片路径问题和示意图任务
+14. 优化 - Milvus description
+15. 修复 - 分块策略，四级标题会被丢失。 同时新增了五级标题的支持。
+16. 修复 - MongoDB 知识库集合唯一索引。
+17. 修复 - 反选知识库引用后可能会报错。
+18. 修复 - 简易模式转工作流，不是使用最新编辑记录进行转移。
+19. 修复 - 表单输入的说明文字不显示。
+20. 修复 - API 无法使用 base64 图片。

docSite/content/zh-cn/docs/faq/_index.md

@@ -6,6 +6,6 @@ draft: false
 toc: true
 weight: 900
 ---
-<!-- 9800 ~ 1000 -->
+<!-- 900 ~ 1000 -->
 
 FastGPT 是一个由用户和贡献者参与推动的开源项目，如果您对产品使用存在疑问和建议，可尝试[加入社区](community)寻求支持。我们的团队与社区会竭尽所能为您提供帮助。

docSite/content/zh-cn/docs/faq/app.md

@@ -4,7 +4,7 @@ description: 'FastGPT 常见应用使用问题，包括简易应用、工作流
 icon: 'quiz'
 draft: false
 toc: true
-weight: 903
+weight: 908
 ---
 
 ## 工作流中多轮对话场景中如何使连续问题被问题分类节点正确的归类