4.8.13 test (#3107)

* perf: select file

* perf: drop files

* fix: imple mode adapt files

.github/workflows/build-sandbox-image.yml

@@ -1,4 +1,4 @@
-name: Build fastgpt-sandbox images
+name: Build fastgpt-sandbox images and copy image to docker hub
 on:
   workflow_dispatch:
   push:

.github/workflows/fastgpt-image.yml

@@ -1,4 +1,4 @@
-name: Build FastGPT images
+name: Build FastGPT images and copy image to docker hub
 on:
   workflow_dispatch:
   push:
@@ -90,67 +90,26 @@ jobs:
           -t ${Docker_Hub_Tag} \
           -t ${Docker_Hub_Latest} \
           .
-  build-fastgpt-images-sub-route:
+  build-fastgpt-images-child-route:
     runs-on: ubuntu-20.04
     steps:
-      # install env
-      - name: Checkout
-        uses: actions/checkout@v3
-        with:
-          fetch-depth: 1
-      - name: Install Dependencies
-        run: |
-          sudo apt update && sudo apt install -y nodejs npm
-      - name: Set up QEMU (optional)
-        uses: docker/setup-qemu-action@v2
-      - name: Set up Docker Buildx
-        uses: docker/setup-buildx-action@v2
-        with:
-          driver-opts: network=host
-      - name: Cache Docker layers
-        uses: actions/cache@v2
-        with:
-          path: /tmp/.buildx-cache
-          key: ${{ runner.os }}-buildx-${{ github.sha }}
-          restore-keys: |
-            ${{ runner.os }}-buildx-
-
-      # login docker
-      - name: Login to GitHub Container Registry
-        uses: docker/login-action@v2
-        with:
-          registry: ghcr.io
-          username: ${{ github.repository_owner }}
-          password: ${{ secrets.GH_PAT }}
-      - name: Login to Ali Hub
-        uses: docker/login-action@v2
-        with:
-          registry: registry.cn-hangzhou.aliyuncs.com
-          username: ${{ secrets.ALI_HUB_USERNAME }}
-          password: ${{ secrets.ALI_HUB_PASSWORD }}
-      - name: Login to Docker Hub
-        uses: docker/login-action@v2
-        with:
-          username: ${{ secrets.DOCKER_HUB_NAME }}
-          password: ${{ secrets.DOCKER_HUB_PASSWORD }}
-
       # Set tag
       - name: Set image name and tag
         run: |
           if [[ "${{ github.ref_name }}" == "main" ]]; then
-            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
-            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
-            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
-            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
-            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
-            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-child-route:latest" >> $GITHUB_ENV
+            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-child-route:latest" >> $GITHUB_ENV
+            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-child-route:latest" >> $GITHUB_ENV
+            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-child-route:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-child-route:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-child-route:latest" >> $GITHUB_ENV
           else
-            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:${{ github.ref_name }}" >> $GITHUB_ENV
-            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
-            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:${{ github.ref_name }}" >> $GITHUB_ENV
-            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
-            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:${{ github.ref_name }}" >> $GITHUB_ENV
-            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route:latest" >> $GITHUB_ENV
+            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-child-route:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-child-route:latest" >> $GITHUB_ENV
+            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-child-route:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-child-route:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-child-route:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-child-route:latest" >> $GITHUB_ENV
           fi
 
       - name: Build and publish image for main branch or tag push event
@@ -160,7 +119,7 @@ jobs:
           docker buildx build \
           -f projects/app/Dockerfile \
           --platform linux/amd64,linux/arm64 \
-          --build-arg base_url=/fastai \
+          --build-arg base_url=fastai \ 
           --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
           --label "org.opencontainers.image.description=fastgpt image" \
           --push \

.vscode/settings.json

@@ -16,8 +16,8 @@
     "i18n-ally.keystyle": "flat",
     "i18n-ally.sortKeys": true,
     "i18n-ally.keepFulfilled": false,
-    "i18n-ally.sourceLanguage": "zh-CN", // 根据此语言文件翻译其他语言文件的变量和内容
-    "i18n-ally.displayLanguage": "zh-CN", // 显示语言
+    "i18n-ally.sourceLanguage": "zh", // 根据此语言文件翻译其他语言文件的变量和内容
+    "i18n-ally.displayLanguage": "zh", // 显示语言
     "i18n-ally.namespace": true,
     "i18n-ally.pathMatcher": "{locale}/{namespaces}.json",
     "i18n-ally.extract.targetPickingStrategy": "most-similar-by-key",

docSite/content/zh-cn/docs/commercial/intro.md

@@ -4,7 +4,7 @@ description: 'FastGPT 商业版相关说明'
 icon: 'shopping_cart'
 draft: false
 toc: true
-weight: 1104
+weight: 1001
 ---
 
 ## 简介
@@ -85,15 +85,16 @@ FastGPT 商业版软件根据不同的部署方式，分为 3 类收费模式。
 
 ## QA
 
-### 如何交付？
+1. 如何交付？
 
    完整版应用 = 开源版镜像 + 商业版镜像
 
    我们会提供一个商业版镜像给你使用，该镜像需要一个 License 启动。
 
-### 二次开发如何操作？
+2. 二次开发如何操作？
+
+   可自行修改开源版代码进行二次开发，不支持修改商业版镜像。
 
-   可以修改开源版部分代码，不支持修改商业版镜像。完整版本=开源版+商业版镜像，所以是可以修改部分内容的。但是如果二开了，后续则需要自己进行代码合并升级。
 
 ## Sealos 费用
 

docSite/content/zh-cn/docs/commercial/saas.md

@@ -4,7 +4,7 @@ description: 'FastGPT 线上版定价'
 icon: 'currency_yen'
 draft: false
 toc: true
-weight: 1102
+weight: 1002
 type: redirect
 target: https://cloud.tryfastgpt.ai/price
 ---

docSite/content/zh-cn/docs/course/RAG.md

@@ -4,7 +4,7 @@ description: '本节详细介绍RAG模型的核心机制、应用场景及其在
 icon: 'language'
 draft: false
 toc: true
-weight: 402
+weight: 106
 ---
 
 [RAG文档](https://huggingface.co/docs/transformers/model_doc/rag)
@@ -83,7 +83,7 @@ RAG（检索增强生成）模型通过结合检索器和生成器，实现了
 RAG模型的性能很大程度上取决于检索器返回的文档质量。由于生成器主要依赖检索器提供的上下文信息，如果检索到的文档片段不相关、不准确，生成的文本可能出现偏差，甚至产生误导性的结果。尤其在多模糊查询或跨领域检索的情况下，检索器可能无法找到合适的片段，这将直接影响生成内容的连贯性和准确性。
 
 - 挑战：当知识库庞大且内容多样时，如何提高检索器在复杂问题下的精确度是一大挑战。当前的方法如BM25等在特定任务上有局限，尤其是在面对语义模糊的查询时，传统的关键词匹配方式可能无法提供语义上相关的内容。
-- 解决途径：引入混合检索技术，如结合稀疏检索（BM25）与密集检索（如向量检索）。例如，Faiss的底层实现允许通过BERT等模型生成密集向量表示，显著提升语义级别的匹配效果。通过这种方式，检索器可以捕捉深层次的语义相似性，减少无关文档对生成器的负面影响。
+- 解决途径：引入混合检索技术，如结合稀疏检索（BM25）与密集检索（如向量检索）。例如，[Faiss](https://fael3z0zfze.feishu.cn/wiki/LULawsUufitGvWkDjx3cKJqHnle?from=from_copylink)的底层实现允许通过BERT等模型生成密集向量表示，显著提升语义级别的匹配效果。通过这种方式，检索器可以捕捉深层次的语义相似性，减少无关文档对生成器的负面影响。
 
 #### 4.2.2 生成器的计算复杂度与性能瓶颈
 

docSite/content/zh-cn/docs/course/_index.md

@@ -6,4 +6,4 @@ icon: 'import_contacts'
 draft: false
 images: []
 ---
-<!-- 100 ~ 200 -->
+<!-- 100 ~ 300 -->

docSite/content/zh-cn/docs/course/ai_settings.md

@@ -4,7 +4,7 @@ description: "FastGPT AI 相关参数配置说明"
 icon: "sign_language"
 draft: false
 toc: true
-weight: 104
+weight: 102
 ---
 
 在 FastGPT 的 AI 对话模块中，有一个 AI 高级配置，里面包含了 AI 模型的参数配置，本文详细介绍这些配置的含义。
@@ -66,7 +66,7 @@ Tips: 可以通过点击上下文按键查看完整的上下文组成，便于
 
 FastGPT 知识库采用 QA 对(不一定都是问答格式，仅代表两个变量)的格式存储，在转义成字符串时候会根据**引用模板**来进行格式化。知识库包含多个可用变量： q, a, sourceId（数据的ID）, index(第n个数据), source(数据的集合名、文件名)，score(距离得分，0-1) 可以通过 {{q}} {{a}} {{sourceId}} {{index}} {{source}} {{score}} 按需引入。下面一个模板例子：
 
-可以通过 [知识库结构讲解](/docs/guide/knowledge_base/dataset_engine/) 了解详细的知识库的结构。
+可以通过 [知识库结构讲解](/docs/course/dataset_engine/) 了解详细的知识库的结构。
 
 #### 引用模板
 

docSite/content/zh-cn/docs/course/chat_input_guide.md

@@ -4,7 +4,7 @@ description: "FastGPT 对话问题引导"
 icon: "code"
 draft: false
 toc: true
-weight: 106
+weight: 108
 ---
 
 ![](/imgs/questionGuide.png)

docSite/content/zh-cn/docs/course/dataset_engine.md

@@ -4,7 +4,7 @@ description: '本节会详细介绍 FastGPT 知识库结构设计，理解其 QA
 icon: 'language'
 draft: false
 toc: true
-weight: 404
+weight: 106
 ---
 
 ## 理解向量

docSite/content/zh-cn/docs/course/externalFile.md

@@ -4,7 +4,7 @@ description: 'FastGPT 外部文件知识库功能介绍和使用方式'
 icon: 'language'
 draft: false
 toc: true
-weight: 408
+weight: 107
 ---
 
 外部文件库是 FastGPT 商业版特有功能。它允许接入你现在的文件系统，无需将文件再导入一份到 FastGPT 中。

docSite/content/zh-cn/docs/course/feishu.md

@@ -4,7 +4,7 @@ description: "FastGPT 接入飞书机器人教程"
 icon: "chat"
 draft: false
 toc: true
-weight: 504
+weight: 111
 ---
 
 从 4.8.10 版本起，FastGPT 商业版支持直接接入飞书机器人，无需额外的 API。

docSite/content/zh-cn/docs/course/fileInput.md

@@ -20,12 +20,10 @@ weight: 110
 
 随后，你的调试对话框中，就会出现一个文件选择的 icon，可以点击文件选择 icon，选择你需要上传的文件。
 
+由于采用的是工具调用模式，所以在提问时候，可能需要加上适当的引导，让模型知道，你需要读取`文档`。
+
 ![打开文件上传](/imgs/fileinpu-2.png)
 
-**工作模式**
-
-从 4.8.13 版本起，简易模式的文件读取将会强制解析文件并放入 system 提示词中，避免连续对话时，模型有时候不会主动调用读取文件的工具。
-
 ## 工作流中使用
 
 工作流中，可以在系统配置中，找到`文件输入`配置项，点击其右侧的`开启`/`关闭`按键，即可打开配置弹窗。
@@ -34,13 +32,14 @@ weight: 110
 
 在工作流中，使用文件的方式很多，最简单的就是类似下图中，直接通过工具调用接入文档解析，实现和简易模式一样的效果。
 
-| | |
-| --------------------- | --------------------- |
-| ![](/imgs/image-5.png) | ![](/imgs/image-6.png) |
+![打开文件上传](/imgs/fileinpu-3.jpg)
 
-当然，你也可以在工作流中，对文档进行内容提取、内容分析等，然后将分析的结果传递给 HTTP 或者其他模块，从而实现文件处理的 SOP。
+也可以更简单点，强制每轮对话都携带上文档内容进行回答，这样就不需要调用两次 AI 才能读取文档内容了。
+
+![打开文件上传](/imgs/fileinpu-5.jpg)
+
+当然，你也可以在工作流中，对文档进行内容提取、内容分析等，然后将分析的结果传递给 HTTP 或者其他模块，从而实现文件处理的 SOP。不过目前版本，`插件`中并未支持文件处理，所以在构建 SOP 的话可能还是有一些麻烦。
 
-![文档解析](/imgs/image-7.png)
 
 ## 文档解析工作原理
 
@@ -74,8 +73,23 @@ type UserChatItemValueItemType = {
 
 文档解析依赖文档解析节点，这个节点会接收一个`array<string>`类型的输入，对应的是文件输入的 URL；输出的是一个`string`，对应的是文档解析后的内容。
 
+![打开文件上传](/imgs/fileinpu-6.jpg)
+
 * 在文档解析节点中，只会解析`文档`类型的 URL，它是通过文件 URL 解析出来的`文名件后缀`去判断的。如果你同时选择了文档和图片，图片会被忽略。
-* **文档解析节点，只会解析本轮工作流接收的文件，不会解析历史记录的文件。**
+* 文档解析节点，除了解析本轮工作流接收的文件外，还会把历史记录中的文档 URL 进行解析。最终会解析至多 n 个文档，n 取决于你配置文件上传时，允许的最大文件数量。
+
+{{% alert icon="🤖" context="success" %}}
+举例：
+
+配置了最多允许 5 个文件上传
+
+1. 第一轮对话，上传 3 个文档和 1 个图片：文档解析节点，返回 3 个文档内容。
+2. 第二轮对话，不上传任何文件：文档解析节点，返回 3 个文档内容。
+3. 第三轮对话，上传 2 个文档：文档解析节点，返回 5 个文档内容。
+4. 第四轮对话，上传 1 个文档：文档解析节点，返回 5 个文档内容，第一轮对话中的第三个文档会被过滤掉。
+
+{{% /alert %}}
+
 * 多个文档内容如何拼接的
 
 按下列的模板，对多个文件进行拼接，即文件名+文件内容的形式组成一个字符串，不同文档之间通过分隔符：`\n******\n` 进行分割。
@@ -87,27 +101,32 @@ ${content}
 </Content>
 ```
 
-### AI节点中如何使用文档解析
+### 工具调用如何使用文档解析
 
-在 AI 节点（AI对话/工具调用）中，新增了一个文档链接的输入，可以直接引用文档的地址，从而实现文档内容的引用。
+在工具调用中，文档解析节点的调用提示词为：`解析对话中所有上传的文档，并返回对应文档内容`。
 
-它接收一个`Array<string>`类型的输入，最终这些 url 会被解析，并进行提示词拼接，放置在 role=system 的消息中。提示词模板如下：
+作为工具被执行后，文档解析节点会返回解析后的文档内容作为工具响应。
+
+### AI对话中如何使用文档解析
+
+在 AI 对话节点中，新增了一个文档引用的输入，可以直接引用文档解析节点的输出，从而实现文档内容的引用。
+
+它接收一个`string`类型的输入，除了可以引用文档解析结果外，还可以实现自定义内容引用，最终会进行提示词拼接，放置在 role=system 的消息中。提示词模板如下：
 
 ```
-将 <FilesContent></FilesContent> 中的内容作为本次对话的参考:
-<FilesContent>
+将 <Quote></Quote> 中的内容作为本次对话的参考:
+<Quote>
 {{quote}}
-</FilesContent>
+</Quote>
 ```
 
-# 4.8.13版本起，关于文件上传的更新
+quote 为引用的内容。
 
-由于与 4.8.9 版本有些差异，尽管我们做了向下兼容，避免工作流立即不可用。但是请尽快的按新版本规则进行调整工作流，后续将会去除兼容性代码。
+![打开文件上传](/imgs/fileinpu-7.jpg)
 
-1. 简易模式中，将会强制进行文件解析，不再由模型决策是否解析，保证每次都能参考文档。
-2. 文档解析：不再解析历史记录中的文件。
-3. 工具调用：支持直接选择文档引用，不需要再挂载文档解析工具。会自动解析历史记录中的文件。
-4. AI 对话：支持直接选择文档引用，不需要进过文档解析节点。会自动解析历史记录中的文件。
-5. 插件单独运行：不再支持全局文件；插件输入支持配置文件类型，可以取代全局文件上传。
-6. **工作流调用插件：不再自动传递工作流上传的文件到插件，需要手动给插件输入指定变量。**
-7. **工作流调用工作流：不再自动传递工作流上传的文件到子工作流，可以手动选择需要传递的文件链接。**
+## 文件输入后续更新
+
+* 插件支持配置文件输入。
+* 子应用和插件调用，支持传递文件输入。
+* 文档解析，结构化解析结果。
+* 更多的文件类型输入以及解析器。

docSite/content/zh-cn/docs/course/official_account.md

@@ -4,7 +4,7 @@ description: 'FastGPT 接入微信公众号教程'
 icon: 'description'
 draft: false
 toc: true
-weight: 506
+weight: 113
 ---
 
 从 4.8.10 版本起，FastGPT 商业版支持直接接入微信公众号，无需额外的 API。
@@ -39,53 +39,44 @@ weight: 506
 海外版用户（cloud.tryfastgpt.ai)可以填写下面的 IP 白名单：
 
 ```
-35.240.227.100
-34.124.237.188
-34.143.240.160
-34.87.51.146
-34.87.79.202
-35.247.163.68
-34.87.102.86
-35.198.192.104
-34.126.163.205
-34.124.189.116
-34.143.149.171
-34.87.173.252
-34.142.157.52
-34.87.180.104
-34.87.20.189
-34.87.110.152
-34.87.44.74
-34.87.152.33
-35.197.149.75
+34.87.20.17
 35.247.161.35
+34.87.51.146
+34.87.110.152	
+35.247.163.68
+34.126.163.205
+34.87.20.189
+34.87.102.86
+35.240.227.100
+35.198.192.104
+34.143.149.171
+34.87.152.33
+34.124.237.188
+35.197.149.75
+34.87.44.74
+34.124.189.116
+34.87.79.202
+34.87.173.252
+34.143.240.160
+34.87.180.104
+34.142.157.52
 ```
 
 国内版用户（fastgpt.cn)可以填写下面的 IP 白名单：
 
 ```
-47.97.1.240
-121.43.105.217
+47.97.59.172
+121.43.108.48
+121.41.75.88
 121.41.178.7
 121.40.65.187
-47.97.59.172
-101.37.205.32
-120.55.195.90
-120.26.229.115
-120.55.193.112
-47.98.190.173
-112.124.41.79
 121.196.235.183
-121.41.75.88
-121.43.108.48
-112.124.12.6
-121.43.52.222
-121.199.162.43
-121.199.162.102
-120.55.94.163
-47.99.59.223
-112.124.46.5
-121.40.46.247
+120.55.195.90
+120.55.193.112
+120.26.229.115
+112.124.41.79
+101.37.205.32
+47.98.190.173
 ```
 
 ## 4. 获取AES Key，选择加密方式

docSite/content/zh-cn/docs/course/openapi.md

@@ -4,7 +4,7 @@ description: "通过 API 访问 FastGPT 应用"
 icon: "model_training"
 draft: false
 toc: true
-weight: 502
+weight: 112
 ---
 
 在 FastGPT 中，你可以为每一个应用创建多个 API 密钥，用于访问应用的 API 接口。每个密钥仅能访问一个应用。完整的接口可以[查看应用对话接口](/docs/development/openapi/chat)。

docSite/content/zh-cn/docs/course/quick-start.md

@@ -4,7 +4,7 @@ description: '快速体验 FastGPT 基础功能'
 icon: 'rocket_launch'
 draft: false
 toc: true
-weight: 102
+weight: 101
 ---
 
 更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1sH4y1T7s9)