fix: simple bot dataset load error (#1764)

* feat: docker-compose version

* feat: chat slider support folder

* lazy behavior

* pref: code sandbox size

.github/workflows/build-sandbox-image.yml

@@ -0,0 +1,108 @@
+name: Build fastgpt-sandbox images and copy image to docker hub
+on:
+  workflow_dispatch:
+  push:
+    paths:
+      - 'projects/sandbox/**'
+    tags:
+      - 'v*'
+jobs:
+  build-fastgpt-sandbox-images:
+    runs-on: ubuntu-20.04
+    steps:
+      - name: Checkout
+        uses: actions/checkout@v3
+        with:
+          fetch-depth: 0
+      - name: Install Dependencies
+        run: |
+          sudo apt update && sudo apt install -y nodejs npm
+      - name: Set up QEMU (optional)
+        uses: docker/setup-qemu-action@v2
+      - name: Set up Docker Buildx
+        uses: docker/setup-buildx-action@v2
+        with:
+          driver-opts: network=host
+      - name: Cache Docker layers
+        uses: actions/cache@v2
+        with:
+          path: /tmp/.buildx-cache
+          key: ${{ runner.os }}-buildx-${{ github.sha }}
+          restore-keys: |
+            ${{ runner.os }}-buildx-
+      - name: Login to GitHub Container Registry
+        uses: docker/login-action@v2
+        with:
+          registry: ghcr.io
+          username: ${{ github.repository_owner }}
+          password: ${{ secrets.GH_PAT }}
+      - name: Set DOCKER_REPO_TAGGED based on branch or tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "DOCKER_REPO_TAGGED=ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:latest" >> $GITHUB_ENV
+          else
+            echo "DOCKER_REPO_TAGGED=ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{ github.ref_name }}" >> $GITHUB_ENV
+          fi
+      - name: Build and publish image for main branch or tag push event
+        env:
+          DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
+        run: |
+          docker buildx build \
+          -f projects/sandbox/Dockerfile \
+          --platform linux/amd64,linux/arm64 \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/fastgpt-sandbox" \
+          --label "org.opencontainers.image.description=fastgpt-sandbox image" \
+          --push \
+          --cache-from=type=local,src=/tmp/.buildx-cache \
+          --cache-to=type=local,dest=/tmp/.buildx-cache \
+          -t ${DOCKER_REPO_TAGGED} \
+          .
+  push-to-ali-hub:
+    needs: build-fastgpt-sandbox-images
+    runs-on: ubuntu-20.04
+    steps:
+      - name: Checkout code
+        uses: actions/checkout@v3
+      - name: Login to Ali Hub
+        uses: docker/login-action@v2
+        with:
+          registry: registry.cn-hangzhou.aliyuncs.com
+          username: ${{ secrets.ALI_HUB_USERNAME }}
+          password: ${{ secrets.ALI_HUB_PASSWORD }}
+      - name: Set DOCKER_REPO_TAGGED based on branch or tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "IMAGE_TAG=latest" >> $GITHUB_ENV
+          else
+            echo "IMAGE_TAG=${{ github.ref_name }}" >> $GITHUB_ENV
+          fi
+      - name: Pull image from GitHub Container Registry
+        run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Tag image with Docker Hub repository name and version tag
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}} ${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Push image to Docker Hub
+        run: docker push ${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+  push-to-docker-hub:
+    needs: build-fastgpt-sandbox-images
+    runs-on: ubuntu-20.04
+    steps:
+      - name: Checkout code
+        uses: actions/checkout@v3
+      - name: Login to Docker Hub
+        uses: docker/login-action@v2
+        with:
+          username: ${{ secrets.DOCKER_HUB_NAME }}
+          password: ${{ secrets.DOCKER_HUB_PASSWORD }}
+      - name: Set DOCKER_REPO_TAGGED based on branch or tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "IMAGE_TAG=latest" >> $GITHUB_ENV
+          else
+            echo "IMAGE_TAG=${{ github.ref_name }}" >> $GITHUB_ENV
+          fi
+      - name: Pull image from GitHub Container Registry
+        run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Tag image with Docker Hub repository name and version tag
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}} ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Push image to Docker Hub
+        run: docker push ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}

.github/workflows/docs-deploy-vercel.yml

@@ -47,7 +47,7 @@ jobs:
 
       - name: Add cdn for images
         run: |
-          sed -i "s#\](/imgs/#\](https://cdn.jsdelivr.net/gh/yangchuansheng/fastgpt-imgs@main/imgs/#g" $(grep -rl "\](/imgs/" docSite/content/docs)
+          sed -i "s#\](/imgs/#\](https://cdn.jsdelivr.net/gh/yangchuansheng/fastgpt-imgs@main/imgs/#g" $(grep -rl "\](/imgs/" docSite/content/zh-cn/docs)
 
       # Step 3 - Install Hugo (specific version)
       - name: Install Hugo

.github/workflows/docs-preview.yml

@@ -47,7 +47,7 @@ jobs:
 
       - name: Add cdn for images
         run: |
-          sed -i "s#\](/imgs/#\](https://cdn.jsdelivr.net/gh/yangchuansheng/fastgpt-imgs@main/imgs/#g" $(grep -rl "\](/imgs/" docSite/content/docs)
+          sed -i "s#\](/imgs/#\](https://cdn.jsdelivr.net/gh/yangchuansheng/fastgpt-imgs@main/imgs/#g" $(grep -rl "\](/imgs/" docSite/content/zh-cn/docs)
 
       # Step 3 - Install Hugo (specific version)
       - name: Install Hugo

.github/workflows/fastgpt-image.yml

@@ -49,7 +49,7 @@ jobs:
           DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
         run: |
           docker buildx build \
-          --build-arg name=app \
+          -f projects/app/Dockerfile \
           --platform linux/amd64,linux/arm64 \
           --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
           --label "org.opencontainers.image.description=fastgpt image" \
@@ -57,7 +57,6 @@ jobs:
           --cache-from=type=local,src=/tmp/.buildx-cache \
           --cache-to=type=local,dest=/tmp/.buildx-cache \
           -t ${DOCKER_REPO_TAGGED} \
-          -f Dockerfile \
           .
   push-to-docker-hub:
     needs: build-fastgpt-images
@@ -81,9 +80,9 @@ jobs:
       - name: Pull image from GitHub Container Registry
         run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Tag image with Docker Hub repository name and version tag
-        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.DOCKER_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Push image to Docker Hub
-        run: docker push ${{ secrets.DOCKER_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker push ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}
   push-to-ali-hub:
     needs: build-fastgpt-images
     if: github.repository == 'labring/FastGPT'
@@ -107,6 +106,6 @@ jobs:
       - name: Pull image from GitHub Container Registry
         run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Tag image with Docker Hub repository name and version tag
-        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.ALI_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.ALI_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Push image to Docker Hub
-        run: docker push ${{ secrets.ALI_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker push ${{ secrets.ALI_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}

.github/workflows/preview-image.yml

@@ -4,8 +4,6 @@ on:
     paths:
       - 'projects/app/**'
       - 'packages/**'
-    branches:
-      - 'main'
   workflow_dispatch:
 
 jobs:
@@ -44,15 +42,14 @@ jobs:
           DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
         run: |
           docker buildx build \
-          --build-arg name=app \
-          --label "org.opencontainers.image.source=  https://github.com/  ${{ github.repository_owner }}/FastGPT" \
-          --label "org.opencontainers.image.description=fastgpt-pr image" \
+          -f projects/app/Dockerfile \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
+          --label "org.opencontainers.image.description=fastgpt-pr imae" \
           --label "org.opencontainers.image.licenses=Apache" \
           --push \
           --cache-from=type=local,src=/tmp/.buildx-cache \
           --cache-to=type=local,dest=/tmp/.buildx-cache \
           -t ${DOCKER_REPO_TAGGED} \
-          -f Dockerfile \
           .
 
   helm-check:

.npmrc

@@ -0,0 +1,2 @@
+public-hoist-pattern[]=*tiktoken*
+public-hoist-pattern[]=*@zilliz/milvus2-sdk-node*

.vscode/i18n-ally-custom-framework.yml

@@ -0,0 +1,46 @@
+# .vscode/i18n-ally-custom-framework.yml
+
+# An array of strings which contain Language Ids defined by VS Code
+# You can check available language ids here: https://code.visualstudio.com/docs/languages/identifiers
+languageIds:
+  - javascript
+  - typescript
+  - javascriptreact
+  - typescriptreact
+
+# An array of RegExes to find the key usage. **The key should be captured in the first match group**.
+# You should unescape RegEx strings in order to fit in the YAML file
+# To help with this, you can use https://www.freeformatter.com/json-escape.html
+usageMatchRegex:
+  # The following example shows how to detect `t("your.i18n.keys")`
+  # the `{key}` will be placed by a proper keypath matching regex,
+  # you can ignore it and use your own matching rules as well
+  - "[^\\w\\d]t\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]commonT\\(['\"`]({key})['\"`]"
+  # 支持 appT("your.i18n.keys")
+  - "[^\\w\\d]appT\\(['\"`]({key})['\"`]"
+  # 支持 datasetT("your.i18n.keys")
+  - "[^\\w\\d]datasetT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]fileT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]publishT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]workflowT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]userT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]chatT\\(['\"`]({key})['\"`]"
+
+# A RegEx to set a custom scope range. This scope will be used as a prefix when detecting keys
+# and works like how the i18next framework identifies the namespace scope from the
+# useTranslation() hook.
+# You should unescape RegEx strings in order to fit in the YAML file
+# To help with this, you can use https://www.freeformatter.com/json-escape.html
+scopeRangeRegex: "useTranslation\\(\\s*\\[?\\s*['\"`](.*?)['\"`]"
+
+# An array of strings containing refactor templates.
+# The "$1" will be replaced by the keypath specified.
+# Optional: uncomment the following two lines to use
+
+# refactorTemplates:
+#  - i18n.get("$1")
+
+
+# If set to true, only enables this custom framework (will disable all built-in frameworks)
+monopoly: true

.vscode/nextapi.code-snippets

@@ -10,14 +10,19 @@
 		"scope": "javascript,typescript",
 		"prefix": "nextapi",
 		"body": [
-			"import type { NextApiRequest, NextApiResponse } from 'next';",
-			"import { NextAPI } from '@/service/middle/entry';",
+			"import type { ApiRequestProps, ApiResponseType } from '@fastgpt/service/type/next';",
+			"import { NextAPI } from '@/service/middleware/entry';",
 			"",
-			"type Props = {};",
+			"export type ${TM_FILENAME_BASE}Query = {};",
 			"",
-			"type Response = {};",
+			"export type ${TM_FILENAME_BASE}Body = {};",
 			"",
-			"async function handler(req: NextApiRequest, res: NextApiResponse<any>): Promise<Response> {",
+			"export type ${TM_FILENAME_BASE}Response = {};",
+			"",
+			"async function handler(",
+			"  req: ApiRequestProps<${TM_FILENAME_BASE}Body, ${TM_FILENAME_BASE}Query>,",
+			"  res: ApiResponseType<any>",
+			"): Promise<${TM_FILENAME_BASE}Response> {",
 			"    $1",
 			"    return {}",
 			"}",
@@ -25,5 +30,25 @@
 			"export default NextAPI(handler);"
 		],
 		"description": "FastGPT Next API template"
+	},
+	"use context template": {
+		"scope": "typescriptreact",
+		"prefix": "context",
+		"body": [
+			"import React, { ReactNode } from 'react';",
+			"import { createContext } from 'use-context-selector';",
+			"",
+			"type ContextType = {$1};",
+			"",
+			"export const Context = createContext<ContextType>({});",
+			"",
+			"const ContextProvider = ({ children }: { children: ReactNode }) => {",
+			"  const contextValue: ContextType = {};",
+			"  return <Context.Provider value={contextValue}>{children}</Context.Provider>;",
+			"};",
+			"",
+			"export default ContextProvider"
+		],
+		"description": "FastGPT usecontext template"
 	}
 }

.vscode/settings.json

@@ -11,5 +11,6 @@
     "i18n-ally.sortKeys": true,
     "i18n-ally.keepFulfilled": false,
     "i18n-ally.sourceLanguage": "zh", // 根据此语言文件翻译其他语言文件的变量和内容
-    "i18n-ally.displayLanguage": "zh" // 显示语言
+    "i18n-ally.displayLanguage": "zh", // 显示语言
+    "i18n-ally.extract.targetPickingStrategy": "most-similar-by-key"
 }

Makefile

@@ -0,0 +1,25 @@
+# 定义默认变量
+proxy=null
+image=null
+
+# 定义目标
+.PHONY: build
+
+# 检查 target 是否定义
+ifndef name
+$(error name is not defined)
+endif
+
+filePath=./projects/$(name)/Dockerfile
+
+dev:
+	pnpm --prefix ./projects/$(name) dev
+
+build:
+ifeq ($(proxy), taobao)
+	docker build -f $(filePath) -t $(image) . --build-arg proxy=taobao 
+else ifeq ($(proxy), clash)
+	docker build -f $(filePath) -t $(image) . --network host --build-arg HTTP_PROXY=http://127.0.0.1:7890 --build-arg HTTPS_PROXY=http://127.0.0.1:7890
+else
+	docker build -f $(filePath) -t $(image) .
+endif

README.md

@@ -52,11 +52,10 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 `1` 应用编排能力
    - [x] 提供简易模式，无需操作编排
    - [x] 工作流编排
-   - [x] 源文件引用追踪
-   - [x] 模块封装，实现多级复用
-   - [x] Tool 模块
-   - [ ] 嵌入 [Laf](https://github.com/labring/laf)，实现在线编写 HTTP 模块。初版已完成。
-   - [ ] 插件封装功能，支持低代码渲染
+   - [x] 工具调用
+   - [x] 插件 - 工作流封装能力
+   - [x] Code sandbox
+   - [ ] 循环调用
 
 `2` 知识库能力
    - [x] 多库复用，混用
@@ -66,15 +65,14 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] 支持 txt，md，html，pdf，docx，pptx，csv，xlsx (有需要更多可 PR file loader)
    - [x] 支持 url 读取、CSV 批量导入
    - [x] 混合检索 & 重排
-   - [ ] 支持文件阅读器
-   - [ ] 更多的数据预处理方案
+   - [ ] 标签过滤
   
 `3` 应用调试能力
    - [x] 知识库单点搜索测试
    - [x] 对话时反馈引用并可修改与删除
    - [x] 完整上下文呈现
    - [x] 完整模块中间值呈现
-   - [ ] 高级编排 DeBug 模式
+   - [x] 高级编排 DeBug 模式
   
 `4` OpenAPI 接口
    - [x] completions 接口 (chat 模式对齐 GPT 接口)
@@ -89,6 +87,8 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    
 `6` 其他
    - [x] 支持语音输入和输出 (可配置语音输入语音回答)
+   - [x] 模糊输入提示
+   - [ ] 模板市场
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
@@ -122,7 +122,7 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 
 wx 扫一下加入：
 
-![](https://oss.laf.run/htr4n1-images/fastgpt-qr-code.jpg)
+![](https://oss.laf.run/htr4n1-images/wechat-qr-code.jpg)
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">

README_en.md

@@ -10,28 +10,31 @@
   <a href="./README_ja.md">日语</a>
 </p>
 
-FastGPT is a knowledge-based Q&A system built on the LLM, offers out-of-the-box data processing and model invocation capabilities, allows for workflow orchestration through Flow visualization!
+FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration. 
 
 </div>
 
 <p align="center">
   <a href="https://fastgpt.in/">
-    <img height="21" src="https://img.shields.io/badge/在线使用-d4eaf7?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
+    <img height="21" src="https://img.shields.io/badge/Try it Online-d4eaf7?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
   </a>
   <a href="https://doc.fastgpt.in/docs/intro">
-    <img height="21" src="https://img.shields.io/badge/相关文档-7d09f1?style=flat-square" alt="document">
+    <img height="21" src="https://img.shields.io/badge/Documents-7d09f1?style=flat-square" alt="document">
   </a>
   <a href="https://doc.fastgpt.in/docs/development">
-    <img height="21" src="https://img.shields.io/badge/本地开发-%23d4eaf7?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
-  </a>
-  <a href="/#-%E7%9B%B8%E5%85%B3%E9%A1%B9%E7%9B%AE">
-    <img height="21" src="https://img.shields.io/badge/相关项目-7d09f1?style=flat-square" alt="project">
+    <img height="21" src="https://img.shields.io/badge/Local Development-%23d4eaf7?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
   </a>
   <a href="https://github.com/labring/FastGPT/blob/main/LICENSE">
     <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?style=flat-square&labelColor=d4eaf7&color=7d09f1" alt="license">
   </a>
 </p>
 
+<div align="center">
+
+  [![discord](https://theme.zdassets.com/theme_assets/678183/cc59daa07820943e943c2fc283b9079d7003ff76.svg)](https://discord.gg/mp68xkZn2Q)
+  
+</div>
+
 https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409bd33f6d4
 
 ## 🛸 Use Cloud Services
@@ -117,11 +120,11 @@ Project tech stack: NextJs + TS + ChakraUI + Mongo + Postgres (Vector plugin)
 - [Version Updates & Upgrades](https://doc.fastgpt.in/docs/installation/upgrading)
 
 
-## 🏘️ Community
+## 🏘️ Community & support
 
-| Community Group                                   | 
-| ------------------------------------------------- | 
-| ![](https://oss.laf.run/htr4n1-images/fastgpt-qr-code.jpg) | 
++ 🌐 Visit the [FastGPT website](https://fastgpt.in/) for full documentation and useful links.
++ 💬 Join our [Discord server](https://discord.gg/mp68xkZn2Q) is to chat with FastGPT developers and other FastGPT users. This is a good place to learn about FastGPT, ask questions, and share your experiences.
++ 🐞 Create [GitHub Issues](https://github.com/labring/FastGPT/issues/new/choose) for bug reports and feature requests.
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">

dev.md

@@ -1,17 +1,40 @@
-# 打包命令
+## Premise
+
+Since FastGPT is managed in the same way as monorepo, it is recommended to install 'make' first during development.
+
+monorepo Project Name:
+
+- app: main project
+-......
+
+## Dev
 
 ```sh
-# Build image, not proxy
-docker build -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.4.7 --build-arg name=app .
+# Give automatic script code execution permission (on non-Linux systems, you can manually execute the postinstall.sh file content)
+chmod -R +x ./scripts/
+# Executing under the code root directory installs all dependencies within the root package, projects, and packages
+pnpm i
 
-# build image with proxy
-docker build -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.4.7 --build-arg name=app --build-arg proxy=taobao .
+# Not make cmd
+cd projects/app
+pnpm dev
+
+# Make cmd
+make dev name=app
 ```
 
-# Pg 常用索引
 
-```sql
-CREATE INDEX IF NOT EXISTS modelData_dataset_id_index ON modeldata (dataset_id);
-CREATE INDEX IF NOT EXISTS modelData_collection_id_index ON modeldata (collection_id);
-CREATE INDEX IF NOT EXISTS modelData_teamId_index ON modeldata (team_id);
-```
+## Build
+
+```sh
+# Docker cmd: Build image, not proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app
+# Make cmd: Build image, not proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1
+
+# Docker cmd: Build image with proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app --build-arg proxy=taobao
+# Make cmd: Build image with proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 proxy=taobao
+```
+

docSite/content/docs/development/upgrading/48.md

@@ -1,31 +0,0 @@
----
-title: 'V4.8(开发中)'
-description: 'FastGPT V4.8 更新说明'
-icon: 'upgrade'
-draft: false
-toc: true
-weight: 824
----
-
-## 新工作流
-
-FastGPT workflow V2上线，支持更加简洁的工作流模式。
-
-**由于工作流差异较大，需要手动重新构建。**
-
-给应用和插件增加了 version 的字段，用于标识是旧工作流还是新工作流。当你更新 4.8 后，保存和新建的工作流均为新版，旧版工作流会有一个重置的弹窗提示。并且，如果是通过 API 和 分享链接 调用的工作流，仍可以正常使用，直到你下次保存它们。
-
-## V4.8 更新说明
-
-1. 重构 - 工作流
-2. 新增 - 判断器。支持 if elseIf else 判断。
-3. 新增 - 变量更新节点。支持更新运行中工作流输出变量，或更新全局变量。
-4. 新增 - 工作流 Debug 模式，可以调试单个节点或者逐步调试工作流。
-5. 新增 - 定时执行应用。可轻松实现定时任务。
-6. 新增 - 插件自定义输入优化，可以渲染输入组件。
-7. 优化 - 工作流连线，可以四向连接，方便构建循环工作流。
-8. 优化 - 工作流上下文传递，性能🚀。
-9. 优化 - 简易模式，更新配置后自动更新调试框内容，无需保存。
-10. 优化 - worker进程管理，并将计算 Token 任务分配给 worker 进程。
-11. 修复 - 工具调用时候，name不能是数字开头（随机数有概率数字开头）
-12. 修复 - 分享链接， query 全局变量会被缓存。

docSite/content/docs/workflow/intro.md

@@ -1,104 +0,0 @@
----
-title: "高级编排介绍"
-description: "快速了解 FastGPT 高级编排"
-icon: "circle"
-draft: false
-toc: true
-weight: 301
----
-
-FastGPT 从 V4 版本开始采用新的交互方式来构建 AI 应用。使用了 Flow 节点编排（工作流）的方式来实现复杂工作流，提高可玩性和扩展性。但同时也提高了上手的门槛，有一定开发背景的用户使用起来会比较容易。
-
-[查看视频教程](https://www.bilibili.com/video/BV1aB4y1Z7Hy/?spm_id_from=333.999.list.card_archive.click&vd_source=903c2b09b7412037c2eddc6a8fb9828b)
-
-![](/imgs/flow-intro1.png)
-
-## 什么是节点？
-
-在程序中，节点可以理解为一个个 Function 或者接口。可以理解为它就是一个**步骤**。将多个节点一个个拼接起来，即可一步步的去实现最终的 AI 输出。
-
-如下图，这是一个最简单的 AI 对话。它由用户输入的问题、聊天记录以及 AI 对话节点组成。
-
-![](/imgs/flow-intro2.png)
-
-执行流程如下：
-
-1. 用户输入问题后，会向服务器发送一个请求，并携带问题。从而得到【用户问题】节点的输出。
-2. 根据设置的【最长记录数】来获取数据库中的记录数，从而得到【聊天记录】节点的输出。
-   经过上面两个流程，就得到了左侧两个蓝色点的结果。结果会被注入到右侧的【AI】对话节点。
-3. 【AI 对话】节点根据传入的聊天记录和用户问题，调用对话接口，从而实现回答。（这里的对话结果输出隐藏了起来，默认只要触发了对话节点，就会往客户端输出内容）
-
-### 节点分类
-
-从功能上，节点可以分为 2 类：
-
-1. **系统节点**：用户引导（配置一些对话框信息）、用户问题（流程入口）。
-2. **功能节点**：知识库搜索、AI 对话等剩余节点。（这些节点都有输入和输出，可以自由组合）。
-
-### 节点的组成
-
-每个节点会包含 3 个核心部分：固定参数、外部输入（左边有个圆圈）和输出（右边有个圆圈）。
-
-   ![](/imgs/flow-intro3.png)
-   
-   - 对话模型、温度、回复上限、系统提示词和限定词为固定参数，同时系统提示词和限定词也可以作为外部输入，意味着如果你有输入流向了系统提示词，那么原本填写的内容就会被**覆盖**。
-   - 触发器、引用内容、聊天记录和用户问题则为外部输入，需要从其他节点的输出流入。
-   - 回复结束则为该节点的输出。
-
-## 重点 - 工作流是如何运行的
-
-与单出入口的工作流不同，FastGPT的工作流可以指定**不同的入口**，并且没有**固定的出口**，而是以节点运行结束作为出口，如果在一个轮调用中，所有节点都不再允许，则工作流结束。
-
-不过为了方便阅读，大部分时候，我们仍是设置一个模块作为入口，在工作流中，它被叫做`对话入口`。下面我们来看下，工作流是如何运行的，以及每个节点何时被触发执行。
-
-记住3个**节点可执行**的原则：
-
-1. 仅关心**已连接的**外部输入，即左边的圆圈被连接了参数。
-2. 当**已连接的**内容都被赋值的时候触发。（这个地方经常会遇到，连接了很多根输入线，但是只要有一个输入没有值，这个节点也不会执行）
-3. 可以多个输出连接到一个输入，后续的值会覆盖前面的值。
-
-![](/imgs/workflow_process.png)
-
-### 示例 1：
-
-聊天记录节点会自动执行，因此聊天记录输入会自动赋值。当用户发送问题时，【用户问题】节点会输出值，此时【AI 对话】节点的用户问题输入也会被赋值。两个连接的输入都被赋值后，会执行 【AI 对话】节点。
-
-![](/imgs/flow-intro1.png)
-
-### 例子 2：
-
-下图是一个知识库搜索例子。
-
-1. 历史记录会流入【AI 对话】节点。
-2. 用户的问题会流入【知识库搜索】和【AI 对话】节点，由于【AI 对话】节点的触发器和引用内容还是空，此时不会执行。
-3. 【知识库搜索】节点仅一个外部输入，并且被赋值，开始执行。
-4. 【知识库搜索】结果为空时，“搜索结果不为空”的值为空，不会输出，因此【AI 对话】节点会因为触发器没有赋值而无法执行。而“搜索结果为空”会有输出，流向指定回复的触发器，因此【指定回复】节点进行输出。
-5. 【知识库搜索】结果不为空时，“搜索结果不为空”和“引用内容”都有输出，会流向【AI 对话】，此时【AI 对话】的 4 个外部输入都被赋值，开始执行。
-
-![](/imgs/flow-intro4.png)
-
-## 如何连接节点
-
-1. 为了方便识别不同输入输出的类型，FastGPT 给每个节点的输入输出连接点赋予不同的颜色，你可以把相同颜色的连接点连接起来。其中，灰色代表任意类型，可以随意连接。
-2. 位于左侧的连接点为输入，右侧的为输出，连接只能将一个输入和输出连接起来，不能连接“输入和输入”或者“输出和输出”。
-3. 可以点击连接线中间的 x 来删除连接线。
-4. 可以左键点击选中连接线
-
-## 如何阅读？
-
-1. 建议从左往右阅读。
-2. 从 **用户问题** 节点开始。用户问题节点，代表的是用户发送了一段文本，触发任务开始。
-3. 关注【AI 对话】和【指定回复】节点，这两个节点是输出答案的地方。
-
-## FAQ
-
-### 想合并多个输出结果怎么实现？
-
-1. 文本加工，可以对字符串进行合并。
-2. 知识库搜索合并，可以合并多个知识库搜索结果
-3. 其他结果，无法直接合并，可以考虑传入到`HTTP`节点中进行合并，使用`[Laf](https://laf.run/)`可以快速实现一个无服务器HTTP接口。
-
-### 节点为什么有2个用户问题
-
-左侧的`用户问题`是指该节点所需的输入。右侧的`用户问题`是为了方便后续的连线，输出的值和传入的用户问题一样。
-

docSite/content/docs/workflow/modules/reply.md

@@ -1,32 +0,0 @@
----
-title: "指定回复"
-description: "FastGPT 指定回复模块介绍"
-icon: "reply"
-draft: false
-toc: true
-weight: 359
----
-
-## 特点
-
-- 可重复添加（防止复杂编排时线太乱，重复添加可以更美观）
-- 可手动输入
-- 可外部输入
-- 会输出结果给客户端
-
-制定回复模块通常用户特殊状态回复，当然你也可以像图 2 一样，实现一些比较骚的操作~ 触发逻辑非常简单：
-
-1. 一种是写好回复内容，通过触发器触发。
-2. 一种是不写回复内容，直接由外部输入触发，并回复输入的内容。
-
-{{< figure
-    src="/imgs/specialreply.png"
-    alt=""
-    caption="图 1"
-    >}}
-
-{{< figure
-    src="/imgs/specialreply2.png"
-    alt=""
-    caption="图 2"
-    >}}

docSite/content/docs/workflow/modules/tfswitch.md

@@ -1,62 +0,0 @@
----
-title: "判断器"
-description: "FastGPT 判断器模块介绍"
-icon: "input"
-draft: false
-toc: true
-weight: 362
----
-
-## 特点
-
-- 可重复添加
-- 有外部输入
-- 触发执行
-
-![](/imgs/judgement1.png)
-
-## 功能
-
-对任意输入内容进行 True False 输出，默认情况下，当传入的内容为 false, undefined, null,0,none 时，会输出 false。
-
-也可以增加自定义规则来补充输出 false 的内容，每行代表一个匹配规则，支持正则表达式。
-
-**例子1**
-
-不填写任何自定义 False 规则。
-
-| 输入 | 输出 |
-| --- | --- |
-| 123 | true |
-| 这是一段文本 | true |
-| false | false |
-| 0 | false |
-| null | false |
-
-**例子2**
-
-自定义 False 规则: 
-
-```
-123
-你好
-aa
-/dd/
-```
-
-| 输入 | 输出 | 说明 |
-| --- | --- | --- |
-| 123 | false | 命中自定义 false 规则 |
-| 这是一段文本 | true | 未命中 |
-| false | false | 命中自定义 内置 规则 |
-| 0 | false | 命中自定义 内置 规则 |
-| null | false | 命中自定义 内置 规则 |
-| aa | false | 命中自定义 false 规则 |
-| aaa | true | 未命中 |
-| bb | false | 命中自定义 false 规则 |
-| bbb | false | 命中自定义 false 规则（正则匹配通过） |
-
-## 作用
-
-适用场景有：让大模型做判断后输出固定内容，根据大模型回复内容判断是否触发后续模块。
-

docSite/content/docs/workflow/modules/trigger.md

@@ -1,24 +0,0 @@
----
-title: "触发器"
-description: "FastGPT 触发器模块介绍"
-icon: "work_history"
-draft: false
-toc: true
-weight: 360
----
-
-细心的同学可以发现，在每个功能模块里都会有一个叫【触发器】的外部输入，并且是 any 类型。
-
-它的**核心作用**就是控制模块的执行时机，以下图两个知识库搜索中的【AI 对话】模块为例子：
-
-| 图 1                         | 图 2                         |
-| ---------------------------- | ---------------------------- |
-| ![](/imgs/trigger1.png) | ![](/imgs/trigger2.png) |
-
-【知识库搜索】模块中，由于**引用内容**始终会有输出，会导致【AI 对话】模块的**引用内容**输入无论有没有搜到内容都会被赋值。如果此时不连接触发器（图 2），在搜索结束后必定会执行【AI 对话】模块。
-
-有时候，你可能希望空搜索时候进行额外处理，例如：回复固定内容、调用其他提示词的 GPT、发送一个 HTTP 请求…… 此时就需要用到触发器，需要将 **搜索结果不为空** 和 **触发器** 连接起来。
-
-当搜索结果为空时，【知识库搜索】模块不会输出 **搜索结果不为空** 的结果，因此 【AI 对话】 模块的触发器始终为空，便不会执行。
-
-总之，记住模块执行的逻辑就可以灵活的使用触发器：**外部输入字段（有连接的才有效）全部被赋值时才会被执行**。

docSite/content/zh-cn/docs/course/chat_input_guide.md

@@ -0,0 +1,54 @@
+---
+title: "对话问题引导"
+description: "FastGPT 对话问题引导"
+icon: "code"
+draft: false
+toc: true
+weight: 350
+---
+
+![](/imgs/questionGuide.png)
+
+## 什么是自定义问题引导
+
+你可以为你的应用提前预设一些问题，用户在输入时，会根据输入的内容，动态搜索这些问题作为提示，从而引导用户更快的进行提问。
+
+你可以直接在 FastGPT 中配置词库，或者提供自定义词库接口。
+
+## 自定义词库接口
+
+需要保证这个接口可以被用户浏览器访问。
+
+**请求：**
+
+```bash
+curl --location --request GET 'http://localhost:3000/api/core/chat/inputGuide/query?appId=663c75302caf8315b1c00194&searchKey=你'
+```
+
+其中 `appId` 为应用ID，`searchKey` 为搜索关键字，最多是50个字符。
+
+**响应**
+
+```json
+{
+  "code": 200,
+  "statusText": "",
+  "message": "",
+  "data": [
+    "是你",
+    "你是谁呀",
+    "你好好呀",
+    "你好呀",
+    "你是谁！",
+    "你好"
+  ]
+}
+```
+
+data是一个数组，包含了搜索到的问题，最多只需要返回5个问题。
+
+
+**参数说明：**
+
+- appId - 应用ID
+- searchKey - 搜索关键字

docSite/content/zh-cn/docs/course/externalFile.md

@@ -0,0 +1,26 @@
+---
+title: '外部文件知识库'
+description: 'FastGPT 外部文件知识库功能介绍和使用方式'
+icon: 'language'
+draft: false
+toc: true
+weight: 107
+---
+
+外部文件库是 FastGPT 商业版特有功能。它允许接入你现在的文件系统，无需将文件再导入一份到 FastGPT 中。
+
+并且，阅读权限可以通过你的文件系统进行控制。
+
+|                       |                       | |
+| --------------------- | --------------------- | --------------------- |
+| ![](/imgs/external_file0.png) | ![](/imgs/external_file1.png) | ![](/imgs/external_file2.png) | 
+
+
+## 导入参数说明
+
+- 外部预览地址：用于跳转你的文件阅读地址，会携带“文件阅读ID”进行访问。
+- 文件访问URL：文件可访问的地址。
+- 文件阅读ID：通常情况下，文件访问URL是临时的。如果希望永久可以访问，你需要使用该文件阅读ID，并配合上“外部预览地址”，跳转至新的阅读地址进行原文件访问。
+- 文件名：默认会自动解析文件访问URL上的文件名。如果你手动填写，将会以手动填写的值为准。
+
+[点击查看API导入文档](/docs/development/openapi/dataset/#创建一个外部文件库集合商业版)

docSite/content/zh-cn/docs/course/quick-start.md

@@ -7,7 +7,7 @@ toc: true
 weight: 101
 ---
 
-更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1n34y1A7Bo/?spm_id_from=333.337.search-card.all.click&vd_source=903c2b09b7412037c2eddc6a8fb9828b)
+更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1sH4y1T7s9)
 
 ## 知识库
 

docSite/content/zh-cn/docs/development/configuration.md

@@ -11,7 +11,7 @@ weight: 708
 
 **开发环境下**，你需要将示例配置文件 `config.json` 复制成 `config.local.json` 文件才会生效。
 
-这个配置文件中包含了系统参数和各个模型配置，`使用时务必去掉注释!!!!!!!!!!!!!!`
+这个配置文件中包含了系统参数和各个模型配置：
 
 ## 4.6.8+ 版本新配置文件
 
@@ -158,7 +158,7 @@ llm模型全部合并
 
 1. [部署 ReRank 模型](/docs/development/custom-models/bge-rerank/)
 1. 找到 FastGPT 的配置文件中的 `reRankModels`， 4.6.6 以前是 `ReRankModels`。
-2. 修改对应的值：（记得去掉注释）
+2. 修改对应的值：
 
 ```json
 {

docSite/content/zh-cn/docs/development/docker.md

@@ -7,34 +7,60 @@ toc: true
 weight: 707
 ---
 
+## 部署架构图
+
+![](/imgs/sealos-fastgpt.webp)
+
+
+{{% alert icon="🤖" context="success" %}}
+
+- MongoDB：用于存储除了向量外的各类数据
+- PostgreSQL/Milvus：存储向量数据
+- OneAPI: 聚合各类 AI API，支持多模型调用 （任何模型问题，先自行通过 OneAPI 测试校验）
+
+{{% /alert %}}
+
 ## 推荐配置
 
+### PgVector版本
+
+体验测试首选
+
 {{< table "table-hover table-striped-columns" >}}
 | 环境 | 最低配置（单节点） | 推荐配置 |
 | ---- | ---- | ---- |
 | 测试 | 2c2g  | 2c4g |
 | 100w 组向量 | 4c8g 50GB | 4c16g 50GB |
-| 500w 组向量 | 8c32g | 16c64g 200GB |
+| 500w 组向量 | 8c32g 200GB | 16c64g 200GB |
 {{< /table >}}
 
-## 部署架构图
+### Milvus版本
 
-![](/imgs/sealos-fastgpt.webp)
+对于千万级以上向量性能更优秀。
 
+[点击查看 Milvus 官方推荐配置](https://milvus.io/docs/prerequisite-docker.md)
 
-### 1. 准备好代理环境（国外服务器可忽略）
+{{< table "table-hover table-striped-columns" >}}
+| 环境 | 最低配置（单节点） | 推荐配置 |
+| ---- | ---- | ---- |
+| 测试 | 2c8g  | 4c16g |
+| 100w 组向量 | 未测试 |  |
+| 500w 组向量 |  |  |
+{{< /table >}}
 
-确保可以访问 OpenAI，具体方案可以参考：[代理方案](/docs/development/proxy/)。或直接在 Sealos 上 [部署 OneAPI](/docs/development/one-api)，既解决代理问题也能实现多 Key 轮询、接入其他大模型。
+### zilliz cloud版本
 
-### 2. 多模型支持
+亿级以上向量首选。
 
-FastGPT 使用了 one-api 项目来管理模型池，其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。
+由于向量库使用了 Cloud，无需占用本地资源，无需太关注。
 
-可选择 [Sealos 快速部署 OneAPI](/docs/development/one-api)，更多部署方法可参考该项目的 [README](https://github.com/songquanpeng/one-api)，也可以直接通过以下按钮一键部署：
+## 前置工作
 
-<a href="https://template.cloud.sealos.io/deploy?templateName=one-api" rel="external" target="_blank"><img src="https://cdn.jsdelivr.net/gh/labring-actions/templates@main/Deploy-on-Sealos.svg" alt="Deploy on Sealos"/></a>
+### 1. 确保网络环境
 
-## 一、安装 Docker 和 docker-compose
+如果使用`OpenAI`等国外模型接口，请确保可以正常访问，否则会报错：`Connection error` 等。 方案可以参考：[代理方案](/docs/development/proxy/)
+
+### 2. 准备 Docker 环境
 
 {{< tabs tabTotal="3" >}}
 {{< tab tabName="Linux" >}}
@@ -79,22 +105,75 @@ brew install orbstack
 {{< /tab >}}
 {{< /tabs >}}
 
-## 二、创建目录并下载 docker-compose.yml
 
-依次执行下面命令，创建 FastGPT 文件并拉取`docker-compose.yml`和`config.json`，执行完后目录下会有 2 个文件。
+## 开始部署
 
-非 Linux 环境或无法访问外网环境，可手动创建一个目录，并下载下面2个链接的文件: [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml),[config.json](https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json)
+### 1. 下载 docker-compose.yml
 
-**注意: `docker-compose.yml` 配置文件中 Mongo 为 5.x，部分服务器不支持，需手动更改其镜像版本为 4.4.24**（需要自己在docker hub下载，阿里云镜像没做备份）
+
+非 Linux 环境或无法访问外网环境，可手动创建一个目录，并下载配置文件和对应版本的`docker-compose.yml`
+
+- [config.json](https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json)
+- [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/files/docker) (注意，不同向量库版本的文件不一样)
+
+{{% alert icon="🤖" context="success" %}}
+
+所有 `docker-compose.yml` 配置文件中 `MongoDB` 为 5.x，需要用到AUX指令集，部分 CPU 不支持，需手动更改其镜像版本为 4.4.24**（需要自己在docker hub下载，阿里云镜像没做备份）
+
+{{% /alert %}}
+
+**Linux 快速脚本**
 
 ```bash
 mkdir fastgpt
 cd fastgpt
-curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
 curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
+
+# pgvector 版本(测试推荐，简单快捷)
+curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
+# milvus 版本
+# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
+# zilliz 版本
+# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
 ```
 
-## 三、启动容器
+### 2. 修改 docker-compose.yml 环境变量
+
+{{< tabs tabTotal="3" >}}
+{{< tab tabName="PgVector版本" >}}
+{{< markdownify >}}
+
+```
+无需操作
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+{{< tab tabName="Milvus版本" >}}
+{{< markdownify >}}
+
+```
+无需操作
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+{{< tab tabName="Zilliz版本" >}}
+{{< markdownify >}}
+
+![zilliz_key](/imgs/zilliz_key.png)
+
+{{% alert icon="🤖" context="success" %}}
+
+修改`MILVUS_ADDRESS`和`MILVUS_TOKEN`链接参数，分别对应 `zilliz` 的 `Public Endpoint` 和 `Api key`，记得把自己ip加入白名单。
+
+{{% /alert %}}
+
+{{< /markdownify >}}
+{{< /tab >}}
+{{< /tabs >}}
+
+### 3. 启动容器
 
 在 docker-compose.yml 同级目录下执行。请确保`docker-compose`版本最好在2.17以上，否则可能无法执行自动化命令。
 
@@ -107,13 +186,13 @@ sleep 10
 docker restart oneapi
 ```
 
-## 四、打开 OneAPI 添加模型
+### 4. 打开 OneAPI 添加模型
 
 可以通过`ip:3001`访问OneAPI，默认账号为`root`密码为`123456`。
 
 在OneApi中添加合适的AI模型渠道。[点击查看相关教程](/docs/development/one-api/)
 
-## 五、访问 FastGPT
+### 5. 访问 FastGPT
 
 目前可以通过 `ip:3000` 直接访问(注意防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。
 
@@ -125,7 +204,9 @@ docker restart oneapi
 
 ### Mongo 副本集自动初始化失败
 
-最新的 docker-compose 示例优化 Mongo 副本集初始化，实现了全自动。目前在 unbuntu20,22 centos7, wsl2, mac, window 均通过测试。如果你的环境特殊，可以手动初始化副本集：
+最新的 docker-compose 示例优化 Mongo 副本集初始化，实现了全自动。目前在 unbuntu20,22 centos7, wsl2, mac, window 均通过测试。仍无法正常启动，大部分是因为 cpu 不支持 AVX 指令集，可以切换 Mongo4.x 版本。
+
+如果是由于，无法自动初始化副本集合，可以手动初始化副本集：
 
 1. 终端中执行下面命令，创建mongo密钥：
 
@@ -257,15 +338,23 @@ PG 数据库没有连接上/初始化失败，可以查看日志。FastGPT 会
 2. 非 docker 部署的，需要手动安装 pg vector 插件
 3. 查看 fastgpt 日志，有没有相关报错
 
+### Illegal instruction
+
+可能原因：
+
+1. arm架构。需要使用 Mongo 官方镜像： mongo:5.0.18
+2. cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x。把 mongo 的 image 换成: mongo:4.4.29
+
 ### Operation `auth_codes.findOne()` buffering timed out after 10000ms
 
-mongo连接失败，查看mongo的运行状态对应日志。
+mongo连接失败，查看mongo的运行状态**对应日志**。
 
 可能原因：
 
 1. mongo 服务有没有起来（有些 cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x，可以docker hub找个最新的4.x，修改镜像版本，重新运行）
 2. 连接数据库的环境变量填写错误（账号密码，注意host和port，非容器网络连接，需要用公网ip并加上 directConnection=true）
 3. 副本集启动失败。导致容器一直重启。
+4. `Illegal instruction.... Waiting for MongoDB to start`: cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x
 
 ### 首次部署，root用户提示未注册
 
@@ -273,4 +362,4 @@ mongo连接失败，查看mongo的运行状态对应日志。
 
 ### 无法导出知识库、无法使用语音输入/播报
 
-没配置 SSL 证书，无权使用部分功能。
+没配置 SSL 证书，无权使用部分功能。

docSite/content/zh-cn/docs/development/faq.md

@@ -23,10 +23,6 @@ images: []
 
 可以。需要准备好向量模型和LLM模型。
 
-### 页面中可以正常回复，API 报错
-
-页面中是用 stream=true 模式，所以API也需要设置 stream=true 来进行测试。部分模型接口（国产居多）非 Stream 的兼容有点垃圾。
-
 ### 其他模型没法进行问题分类/内容提取
 
 1. 看日志。如果提示 JSON invalid，not support tool 之类的，说明该模型不支持工具调用或函数调用，需要设置`toolChoice=false`和`functionCall=false`，就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试。问题分类基本可用，内容提取不太行。
@@ -43,12 +39,36 @@ images: []
 1. 问题补全需要经过一轮AI生成。
 2. 会进行3~5轮的查询，如果数据库性能不足，会有明显影响。
 
-### 模型响应为空(core.chat.Chat API is error or undefined)
+### 对话接口报错或返回为空(core.chat.Chat API is error or undefined)
 
-1. 检查 key 问题。curl 请求看是否正常。务必用 stream=true 模式。并且 maxToken 等相关参数尽量一致。
+1. 检查 AI 的 key 问题：通过 curl 请求看是否正常。务必用 stream=true 模式。并且 maxToken 等相关参数尽量一致。
 2. 如果是国内模型，可能是命中风控了。
 3. 查看模型请求日志，检查出入参数是否异常。
 
+```sh
+# curl 例子。
+curl --location --request POST 'https://xxx.cn/v1/chat/completions' \
+--header 'Authorization: Bearer sk-xxxx' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "gpt-3.5-turbo",
+  "stream": true,
+  "temperature": 1,
+  "max_tokens": 3000,
+  "messages": [
+    {
+      "role": "user",
+      "content": "你是谁"
+    }
+  ]
+}'
+```
+
+### 页面中可以正常回复，API 报错
+
+页面中是用 stream=true 模式，所以API也需要设置 stream=true 来进行测试。部分模型接口（国产居多）非 Stream 的兼容有点垃圾。
+和上一个问题一样，curl 测试。
+
 ### 知识库索引没有进度/索引很慢
 
 先看日志报错信息。有以下几种情况：
@@ -77,12 +97,14 @@ images: []
 
 OneAPI 账号的余额不足，默认 root 用户只有 200 刀，可以手动修改。
 
+路径：打开OneAPI -> 用户 -> root用户右边的编辑 -> 剩余余额调大
+
 ### xxx渠道找不到
 
 FastGPT 模型配置文件中的 model 必须与 OneAPI 渠道中的模型对应上，否则就会提示这个错误。可检查下面内容：
 
 1. OneAPI 中没有配置该模型渠道，或者被禁用了。
-2. 修改了 FastGPT 配置文件中一部分的模型，但没有全部修改，仍有模型是 OneAPI 没配置的。
+2. FastGPT 配置文件有 OneAPI 没有配置的模型。如果 OneAPI 没有配置对应模型的，配置文件中也不要写。
 3. 使用旧的向量模型创建了知识库，后又更新了向量模型。这时候需要删除以前的知识库，重建。
 
 如果OneAPI中，没有配置对应的模型，`config.json`中也不要配置，否则容易报错。
@@ -96,4 +118,5 @@ OneAPI 的 API Key 配置错误，需要修改`OPENAI_API_KEY`环境变量，并
 ### bad_response_status_code bad response status code 503
 
 1. 模型服务不可用
-2. ....
+2. 模型接口参数异常（温度、max token等可能不适配）
+3. ....

docSite/content/zh-cn/docs/development/intro.md

@@ -16,8 +16,9 @@ weight: 705
 
 - [Git](http://git-scm.com/)
 - [Docker](https://www.docker.com/)（构建镜像）
-- [Node.js v18.x (不推荐最新的，可能有兼容问题)](http://nodejs.org)
-- [pnpm](https://pnpm.io/) 版本 8.x.x 
+- [Node.js v18.17 / v20.x](http://nodejs.org)
+- [pnpm](https://pnpm.io/) 版本 8.6.0 (目前官方的开发环境)
+- make命令: 根据不同平台，百度安装 (官方是GNU Make 4.3)
 
 ## 开始本地开发
 
@@ -72,26 +73,39 @@ Mongo 数据库需要注意，需要注意在连接地址中增加 `directConnec
 
 ### 5. 运行
 
+可参考项目根目录下的 `dev.md`
+
 ```bash
 # 给自动化脚本代码执行权限(非 linux 系统, 可以手动执行里面的 postinstall.sh 文件内容)
 chmod -R +x ./scripts/
 # 代码根目录下执行，会安装根 package、projects 和 packages 内所有依赖
+# 如果提示 isolate-vm 安装失败，可以参考：https://github.com/laverdet/isolated-vm?tab=readme-ov-file#requirements
 pnpm i
-# 切换到应用目录
-cd projects/app 
-# 开发模式运行
+
+# 非 Make 运行
+cd projects/app
 pnpm dev
+
+# Make 运行
+make dev name=app
 ```
 
 ### 6. 部署打包
 
 ```bash
-# 根目录下执行
-docker build -t dockername/fastgpt:tag --build-arg name=app .
-# 使用代理
-docker build -t dockername/fastgpt:tag --build-arg name=app --build-arg proxy=taobao .
+# Docker cmd: Build image, not proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app
+# Make cmd: Build image, not proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1
+
+# Docker cmd: Build image with proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app --build-arg proxy=taobao
+# Make cmd: Build image with proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 proxy=taobao
 ```
 
+如果不使用 `docker` 打包，需要手动把 `Dockerfile` 里 run 阶段的内容全部手动执行一遍（非常不推荐）。
+
 ## 提交代码至开源仓库
 
 1. 确保你的代码是 Fork [FastGPT](https://github.com/labring/FastGPT) 仓库
@@ -101,21 +115,21 @@ docker build -t dockername/fastgpt:tag --build-arg name=app --build-arg proxy=ta
 如果遇到问题，比如合并冲突或不知道如何打开拉取请求，请查看 GitHub 的[拉取请求教程](https://docs.github.com/en/pull-requests/collaborating-with-pull-requests)，了解如何解决合并冲突和其他问题。一旦您的 PR 被合并，您将自豪地被列为[贡献者表](https://github.com/labring/FastGPT/graphs/contributors)中的一员。
 
 
-
 ## QA
 
 ### 本地数据库无法连接
 
 1. 如果你是连接远程的数据库，先检查对应的端口是否开放。
 2. 如果是本地运行的数据库，可尝试`host`改成`localhost`或`127.0.0.1`
+3. 本地连接远程的 Mongo，需要增加 `directConnection=true` 参数，才能连接上副本集的数据库。
+4. mongo使用`mongocompass`客户端进行连接测试和可视化管理。
+5. pg使用`navicat`进行连接和管理。
 
 ### sh ./scripts/postinstall.sh 没权限
 
 FastGPT 在`pnpm i`后会执行`postinstall`脚本，用于自动生成`ChakraUI`的`Type`。如果没有权限，可以先执行`chmod -R +x ./scripts/`，再执行`pnpm i`。
 
-### 长时间运行后崩溃
-
-似乎是由于 tiktoken 库的开发环境问题，生产环境中未遇到，暂时可忽略。
+仍不可行的话，可以手动执行`./scripts/postinstall.sh`里的内容。
 
 ### TypeError: Cannot read properties of null (reading 'useMemo' )
 
@@ -133,3 +147,57 @@ FastGPT 在`pnpm i`后会执行`postinstall`脚本，用于自动生成`ChakraUI
 遇到困难了吗？有任何问题吗? 加入微信群与开发者和用户保持沟通。
 
 <img width="400px" src="https://oss.laf.run/htr4n1-images/fastgpt-qr-code.jpg" class="medium-zoom-image" />
+
+## 代码结构说明
+
+### nextjs
+
+FastGPT 使用了 nextjs 的 page route 作为框架。为了区分好前后端代码，在目录分配上会分成 global, service, web 3个自目录，分别对应着 `前后端共用`、`后端专用`、`前端专用`的代码。
+
+### monorepo
+FastGPT 采用 pnpm workspace 方式构建 monorepo 项目，主要分为两个部分：
+
+- projects/app - FastGPT 主项目  
+- packages/ - 子模块  
+  - global - 共用代码，通常是放一些前后端都能执行的函数、类型声明、常量。  
+  - service - 服务端代码  
+  - web - 前端代码  
+  - plugin - 工作流自定义插件的代码  
+
+### 领域驱动模式（DDD）
+
+FastGPT 在代码模块划分时，按DDD的思想进行划分，主要分为以下几个领域：
+
+core - 核心功能（知识库，工作流，应用，对话）
+support - 支撑功能（用户体系，计费，鉴权等）
+common - 基础功能（日志管理，文件读写等）
+
+{{% details title="代码结构说明" closed="true" %}}
+```
+.
+├── .github                      // github 相关配置
+├── .husky                       // 格式化配置
+├── docSite                      // 文档
+├── files                        // 一些外部文件，例如 docker-compose, helm
+├── packages                     // 子包
+│   ├── global                   // 前后端通用子包
+│   ├── plugins                  // 工作流插件（需要自定义包时候使用到）
+│   ├── service                  // 后端子包
+│   └── web                      // 前端子包
+├── projects
+│   └── app                      // FastGPT 主项目
+├── python                       // 存放一些模型代码，和 FastGPT 本身无关
+└── scripts                      // 一些自动化脚本
+    ├── icon                     // icon预览脚本，可以在顶层 pnpm initIcon(把svg写入到代码中), pnpm previewIcon（预览icon）
+    └── postinstall.sh           // chakraUI自定义theme初始化 ts 类型
+├── package.json                 // 顶层monorepo
+├── pnpm-lock.yaml
+├── pnpm-workspace.yaml          // monorepo 声明
+├── Dockerfile
+├── LICENSE
+├── README.md
+├── README_en.md
+├── README_ja.md
+├── dev.md
+```
+{{% /details %}}

docSite/content/zh-cn/docs/development/migration/ docker_mongo.md

@@ -0,0 +1,186 @@
+---
+title: "Docker Mongo迁移(dump模式)"
+description: "FastGPT Docker Mongo迁移"
+icon: database
+draft: false
+weight: 762
+---
+
+## 作者
+
+[https://github.com/samqin123](https://github.com/samqin123)
+
+[相关PR。有问题可打开这里与作者交流](https://github.com/labring/FastGPT/pull/1426)
+
+## 介绍
+
+如何使用Mongodump来完成从A环境到B环境的Fastgpt的mongodb迁移
+
+前提说明：
+
+ A环境：我在阿里云上部署的fastgpt，现在需要迁移到B环境。
+ B环境：是新环境比如腾讯云新部署的fastgpt，更特殊一点的是，NAS（群晖或者QNAP）部署了fastgpt，mongo必须改成4.2或者4.4版本（其实云端更方便，支持fastgpt mongo默认版本）
+ C环境：妥善考虑，用本地电脑作为C环境过渡，保存相关文件并分离操作
+‍
+
+## 1. 环境准备：进入 docker mongo 【A环境】
+``` 
+docker exec -it mongo sh
+mongo -u 'username' -p 'password'
+>> show dbs
+``` 
+看到fastgpt数据库，以及其它几个，确定下导出数据库名称
+准备：
+检查数据库，容器和宿主机都创建一下 backup 目录 【A环境 + C环境】
+
+##### 准备：
+
+检查数据库，容器和宿主机都创建一下“数据导出导入”临时目录 ，比如data/backup  【A环境建目录 + C环境建目录用于同步到容器中】
+
+#### 先在【A环境】创建文件目录，用于dump导出操作
+容器：（先进入fastgpt docker容器）
+``` 
+docker exec -it fastgpt sh
+mkdir -p /data/backup
+``` 
+
+建好后，未来导出mongo的数据，会在A环境本地fastgpt的安装目录/Data/下看到自动同步好的目录，数据会在data\backup中，然后可以衔接后续的压缩和下载转移动作。如果没有同步到本地，也可以手动建一下，配合docker cp 把文件拷到本地用（基本不会发生）
+
+#### 然后，【C环境】宿主机目录类似操作，用于把上传的文件自动同步到C环境部署的fastgpt容器里。
+到fastgpt目录，进入mongo目录，有data目录，下面建backup
+``` 
+mkdir -p /fastgpt/data/backup
+``` 
+准备好后，后续上传
+``` 
+### 新fastgpt环境【B】中也需要建一个，比如/fastgpt/mongobackup目录，注意不要在fastgpt/data目录下建立目录
+``` 
+mkdir -p /fastgpt/mongobackup
+``` 
+
+###2. 正题开始，从fastgpt老环境【A】中导出数据
+进入A环境，使用mongodump 导出mongo数据库。
+
+#### 2.1 导出 
+可以使用mongodump在源头容器中导出数据文件, 导出路径为上面指定临时目录，即"data\backup"
+
+[导出的文件在代码中指定为/data/backup，因为fastgpt配置文件已经建立了data的持久化，所以会同步到容器所在环境本地fast/mongo/data应该就能看到这个导出的目录：backup，里面有文件]
+
+一行指令导出代码，在服务器本地环境运行，不需要进入容器。
+``` 
+docker exec -it mongo bash -c "mongodump --db fastgpt -u 'username' -p 'password' --authenticationDatabase admin --out /data/backup"
+``` 
+
+也可以进入环境，熟手可以结合建目录，一次性完成建导出目录，以及使用mongodump导出数据到该目录
+``` 
+1.docker exec -it fastgpt sh
+
+2.mkdir -p /data/backup
+
+3. mongodump --host 127.0.0.1:27017 --db fastgpt -u "username" -p "password" --authenticationDatabase admin --out /data/backup
+‍
+
+##### 补充：万一没自动同步，也可以将mongodump导出的文件，手工导出到宿主机【A环境】，备用指令如下：
+``` 
+docker cp mongo:/data/backup   <A环境本地fastgpt目录>:/fastgpt/data/backup>
+‍``` 
+
+2.2  对新手，建议稳妥起见，压缩这个文件目录，并将压缩文件下载到本地过渡环境【A环境 -> C环境】；原因是因为留存一份，并且检查文件数量是否一致。
+
+        熟手可以直接复制到新部署服务器（腾讯云或者NAS）【A环境-> B环境】
+
+
+2.2.1 先进入  【A环境】源头系统的本地环境 fastgpt/mongo/data 目录
+
+``` 
+cd /usr/fastgpt/mongo/data 
+``` 
+
+#执行，压缩文件命令
+``` 
+tar -czvf ../fastgpt-mongo-backup-$(date +%Y-%m-%d).tar.gz ./  【A环境】
+``` 
+#接下来，把压缩包下载到本地 【A环境-> C环境】，以便于检查和留存版本。熟手，直接将该压缩包同步到B环境中新fastgpt目录data目录下备用。
+
+``` 
+scp  -i /Users/path/<user.pem换成你自己的pem文件链接> root@<fastgpt所在云服务器地址>:/usr/fastgpt/mongo/fastgptbackup-2024-05-03.tar.gz /<本地电脑路径>/Downloads/fastgpt
+
+``` 
+熟手直接换成新环境地址
+​
+``` 
+scp  -i /Users/path/<user.pem换成你自己的pem文件链接>  root@<老环境fastgpt服务器地址>:/usr/fastgpt/mongo/fastgptbackup-2024-05-03.tar.gz    root@<新环境fastgpt服务器地址>:/Downloads/fastgpt2 
+
+``` 
+
+2.2 【C环境】检查压缩文件是否完整，如果不完整，重新导出。事实上，我也出现过问题，因为跨环境scp会出现丢数据的情况。
+
+压缩数据包导入到C环境本地后，可以考虑在宿主机目录解压缩，放在一个自定义目录比如. < user/fastgpt/mongobackup/data>
+
+``` 
+tar -xvzf fastgptbackup-2024-05-03.tar.gz -C user/fastgpt/mongobackup/data
+``` 
+解压缩后里面是bson文件，这里可以检查下，压缩文件数量是否一致。如果不一致，后续启动新环境的fastgpt容器，也不会有任何数据。
+​
+<img width="1561" alt="image" src="https://github.com/labring/FastGPT/assets/103937568/cbb8a93c-5834-4a0d-be6c-c45c701f593e">
+
+
+如果没问题，准备进入下一步，将压缩包文件上传到B环境，也就是新fastgpt环境里的指定目录，比如/fastgpt/mongobackup, 注意不要放到fastgpt/data目录下，因为下面会先清空一次这个目录，否则导入会报错。
+``` 
+scp  -rfv <本地电脑路径>/Downloads/fastgpt/fastgptbackup-2024-05-03.tar.gz  root@<新环境fastgpt服务器地址>:/Downloads/fastgpt/backup
+``` 
+
+## 3 导入恢复：    实际恢复和导入步骤
+
+### 3.1. 进入新fastgpt本地环境的安装目录后，找到迁移的压缩文件包fastgptbackup-2024-05-03.tar.gz，解压缩到指定目录
+
+``` 
+tar -xvzf fastgptbackup-2024-05-03.tar.gz -C user/fastgpt/mongobackup/data
+``` 
+再次核对文件数量，和上面对比一下。
+
+熟手可以用tar指令检查文件完整性，上面是给新手准备的，便于比对核查。
+
+
+### 3.2 手动上传新fastgpt docker容器里备用 【C环境】
+说明：因为没有放在data里，所以不会自动同步到容器里。而且要确保容器的data目录被清理干净，否则导入时会报错。
+
+``` 
+docker cp user/fastgpt/mongobackup/data mongo:/tmp/backup
+‍``` 
+
+### 3.3 建议初始化一次docker compose ，运行后建立新的 mongo/data 持久化目录 
+如果不是初始化的 mongo/db 目录， mongorestore 导入可能会报错。如果报错，建议尝试初始化mongo。
+
+操作指令
+```
+cd /fastgpt安装目录/mongo/data
+rm -rf *
+``` 
+‍
+
+4.恢复： mongorestore 恢复 [C环境】
+简单一点，退回到本地环境，用 docker 命令一键导入，当然你也可以在容器里操作
+
+``` 
+docker exec -it mongo mongorestore -u "username" -p "password" --authenticationDatabase admin /tmp/backup/ --db fastgpt
+``` 
+<img width="1668" alt="image" src="https://github.com/labring/FastGPT/assets/103937568/32c2cdb8-bf80-4d31-9269-4bf3909cf04e">
+注意：导入文件数量量级太少，大概率是没导入成功的表现。如果导入不成功，新环境fastgpt可以登入，但是一片空白。
+
+
+5.重启容器 【C环境】
+``` 
+docker compose restart
+docker logs -f mongo  **强烈建议先检查mongo运行情况，在去做登陆动作，如果mongo报错，访问web也会报错”
+``` 
+
+如果mongo启动正常，显示的是类似这样的，而不是 “mongo is restarting”，后者就是错误
+<img width="1736" alt="iShot_2024-05-09_19 21 26" src="https://github.com/labring/FastGPT/assets/103937568/94ee00db-43de-48bd-a1fc-22dfe86aaa90">
+
+报错情况
+<img width="508" alt="iShot_2024-05-09_19 23 13" src="https://github.com/labring/FastGPT/assets/103937568/2e2afc9f-484c-4b63-93ee-1c14aef03de0">
+
+
+6. 启动fastgpt容器服务后，登陆新fastgpt web，能看到原来的数据库内容完整显示，说明已经导入系统了。
+<img width="1728" alt="iShot_2024-05-09_19 23 51" src="https://github.com/labring/FastGPT/assets/103937568/846b6157-6b6a-4468-a1d9-c44d681ebf7c">

docSite/content/zh-cn/docs/development/migration/_index.md

@@ -0,0 +1,9 @@
+---
+weight: 960
+title: "迁移&备份"
+description: "FastGPT 迁移&备份"
+icon: settings_backup_restore
+draft: false
+images: []
+---
+<!-- 960~970 -->

docSite/content/zh-cn/docs/development/migration/docker_db.md

@@ -0,0 +1,15 @@
+---
+weight: 762
+title: "Docker 数据库迁移(无脑操作)"
+description: "FastGPT Docker 数据库备份和迁移"
+icon: database
+draft: false
+images: []
+---
+
+## Copy文件
+
+Docker 部署数据库都会通过 volume 挂载本地的目录进入容器，如果要迁移，直接复制这些目录即可。
+
+`PG 数据`: pg/data
+`Mongo 数据`: mongo/data

docSite/content/zh-cn/docs/development/openapi/chat.md

@@ -69,7 +69,7 @@ curl --location --request POST 'https://api.fastgpt.in/api/v1/chat/completions'
 
 ## 响应
 
-{{< tabs tabTotal="4" >}}
+{{< tabs tabTotal="5" >}}
 {{< tab tabName="detail=false,stream=false 响应" >}}
 {{< markdownify >}}
 
@@ -211,10 +211,10 @@ data: {"id":"","object":"","created":0,"choices":[{"delta":{"content":"《"},"in
 {{< markdownify >}}
 
 ```bash
-event: moduleStatus
+event: flowNodeStatus
 data: {"status":"running","name":"知识库搜索"}
 
-event: moduleStatus
+event: flowNodeStatus
 data: {"status":"running","name":"AI 对话"}
 
 event: answer
@@ -238,10 +238,28 @@ data: {"id":"","object":"","created":0,"model":"","choices":[{"delta":{},"index"
 event: answer
 data: [DONE]
 
-event: appStreamResponse
+event: flowResponses
 data: [{"moduleName":"知识库搜索","moduleType":"datasetSearchNode","runningTime":1.78},{"question":"导演是谁","quoteList":[{"id":"654f2e49b64caef1d9431e8b","q":"电影《铃芽之旅》的导演是谁？","a":"电影《铃芽之旅》的导演是新海诚!","indexes":[{"type":"qa","dataId":"3515487","text":"电影《铃芽之旅》的导演是谁？","_id":"654f2e49b64caef1d9431e8c","defaultIndex":true}],"datasetId":"646627f4f7b896cfd8910e38","collectionId":"653279b16cd42ab509e766e8","sourceName":"data (81).csv","sourceId":"64fd3b6423aa1307b65896f6","score":0.8935586214065552},{"id":"6552e14c50f4a2a8e632af11","q":"导演是谁？","a":"电影《铃芽之旅》的导演是新海诚。","indexes":[{"defaultIndex":true,"type":"qa","dataId":"3644565","text":"导演是谁？\n电影《铃芽之旅》的导演是新海诚。","_id":"6552e14dde5cc7ba3954e417"}],"datasetId":"646627f4f7b896cfd8910e38","collectionId":"653279b16cd42ab509e766e8","sourceName":"data (81).csv","sourceId":"64fd3b6423aa1307b65896f6","score":0.8890955448150635},{"id":"654f34a0b64caef1d946337e","q":"本作的主人公是谁？","a":"本作的主人公是名叫铃芽的少女。","indexes":[{"type":"qa","dataId":"3515541","text":"本作的主人公是谁？","_id":"654f34a0b64caef1d946337f","defaultIndex":true}],"datasetId":"646627f4f7b896cfd8910e38","collectionId":"653279b16cd42ab509e766e8","sourceName":"data (81).csv","sourceId":"64fd3b6423aa1307b65896f6","score":0.8738770484924316},{"id":"654f3002b64caef1d944207a","q":"电影《铃芽之旅》男主角是谁？","a":"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。","indexes":[{"type":"qa","dataId":"3515538","text":"电影《铃芽之旅》男主角是谁？","_id":"654f3002b64caef1d944207b","defaultIndex":true}],"datasetId":"646627f4f7b896cfd8910e38","collectionId":"653279b16cd42ab509e766e8","sourceName":"data (81).csv","sourceId":"64fd3b6423aa1307b65896f6","score":0.8607980012893677},{"id":"654f2fc8b64caef1d943fd46","q":"电影《铃芽之旅》的编剧是谁？","a":"新海诚是本片的编剧。","indexes":[{"defaultIndex":true,"type":"qa","dataId":"3515550","text":"电影《铃芽之旅》的编剧是谁？22","_id":"654f2fc8b64caef1d943fd47"}],"datasetId":"646627f4f7b896cfd8910e38","collectionId":"653279b16cd42ab509e766e8","sourceName":"data (81).csv","sourceId":"64fd3b6423aa1307b65896f6","score":0.8468944430351257}],"moduleName":"AI 对话","moduleType":"chatNode","runningTime":1.86}]
 ```
 
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="detail=true,stream=true 时，event值" >}}
+{{< markdownify >}}
+
+event取值：
+
+- answer: 返回给客户端的文本（最终会算作回答）
+- fastAnswer: 指定回复返回给客户端的文本（最终会算作回答）
+- toolCall: 执行工具
+- toolParams: 工具参数
+- toolResponse: 工具返回
+- flowNodeStatus: 运行到的节点状态
+- flowResponses: 节点完整响应
+- updateVariables: 更新变量
+- error: 报错
+
 {{< /markdownify >}}
 {{< /tab >}}
 {{< /tabs >}}

docSite/content/zh-cn/docs/development/openapi/dataset.md

@@ -295,6 +295,24 @@ curl --location --request DELETE 'http://localhost:3000/api/core/dataset/delete?
 
 ## 集合
 
+### 通用创建参数说明
+
+**入参**
+
+| 参数 | 说明 | 必填 |
+| --- | --- | --- |
+| datasetId | 知识库ID | ✅ |
+| parentId： | 父级ID，不填则默认为根目录 |  |
+| trainingType | 训练模式。chunk: 按文本长度进行分割;qa: QA拆分;auto: 增强训练 | ✅ |
+| chunkSize | 预估块大小 |  |
+| chunkSplitter | 自定义最高优先分割符号 |  |
+| qaPrompt | qa拆分提示词 |  |
+
+**出参**
+
+- collectionId - 新建的集合ID  
+- insertLen：插入的块数量
+
 ### 创建一个空的集合
 
 {{< tabs tabTotal="3" >}}
@@ -500,7 +518,7 @@ data 为集合的 ID。
 {{< /tab >}}
 {{< /tabs >}}
 
-### 创建一个文件集合(商业版)
+### 创建一个文件集合
 
 传入一个文件，创建一个集合，会读取文件内容进行分割。目前支持：pdf, docx, md, txt, html, csv。
 
@@ -509,7 +527,7 @@ data 为集合的 ID。
 {{< markdownify >}}
 
 ```bash
-curl --location --request POST 'http://localhost:3000/api/proApi/core/dataset/collection/create/file' \
+curl --location --request POST 'http://localhost:3000/api/core/dataset/collection/create/localFile' \
 --header 'Authorization: Bearer {{authorization}}' \
 --form 'file=@"C:\\Users\\user\\Desktop\\fastgpt测试文件\\index.html"' \
 --form 'data="{\"datasetId\":\"6593e137231a2be9c5603ba7\",\"parentId\":null,\"trainingType\":\"chunk\",\"chunkSize\":512,\"chunkSplitter\":\"\",\"qaPrompt\":\"\",\"metadata\":{}}"'
@@ -565,6 +583,68 @@ data 为集合的 ID。
 {{< /tab >}}
 {{< /tabs >}}
 
+### 创建一个外部文件库集合（商业版）
+
+{{< tabs tabTotal="3" >}}
+{{< tab tabName="请求示例" >}}
+{{< markdownify >}}
+
+```bash
+curl --location --request POST 'http://localhost:3000/api/proApi/core/dataset/collection/create/externalFileUrl' \
+--header 'Authorization: Bearer {{authorization}}' \
+--header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "externalFileUrl":"https://image.xxxxx.com/fastgpt-dev/%E6%91%82.pdf",
+    "externalFileId":"1111",
+    "filename":"自定义文件名",
+    "datasetId":"6642d105a5e9d2b00255b27b",
+    "parentId": null,
+
+    "trainingType": "chunk",
+    "chunkSize":512,
+    "chunkSplitter":"",
+    "qaPrompt":""
+}'
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="参数说明" >}}
+{{< markdownify >}}
+
+| 参数 | 说明 | 必填 |
+| --- | --- | --- |
+| externalFileUrl | 文件访问链接（可以是临时链接） | ✅ |
+| externalFileId | 外部文件ID |  |
+| filename | 自定义文件名 |  |
+
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="响应示例" >}}
+{{< markdownify >}}
+
+data 为集合的 ID。
+
+```json
+{
+  "code": 200,
+  "statusText": "",
+  "message": "",
+  "data": {
+    "collectionId": "6646fcedfabd823cdc6de746",
+    "insertLen": 3
+  }
+}
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+{{< /tabs >}}
+
 ### 获取集合列表
 
 {{< tabs tabTotal="3" >}}

docSite/content/zh-cn/docs/development/openapi/share.md

@@ -247,7 +247,7 @@ curl --location --request POST '{{host}}/shareAuth/finish' \
 
 ```ts
 type ResponseType = {
-    moduleType: `${FlowNodeTypeEnum}`; // 模块类型
+    moduleType: FlowNodeTypeEnum; // 模块类型
     moduleName: string; // 模块名
     moduleLogo?: string; // logo
     runningTime?: number; // 运行时间