Context extract support value type (#1620)

* perf: chat box components

* perf: chatbox context

* feat: extract support value type

* workflow performance

* update doc

* feat: error response

* feat: error response

* oauth sort

* perf: logo

* fix: update laf account

* perf: team permission api

* update type

.github/ISSUE_TEMPLATE/bugs.md

@@ -21,7 +21,7 @@ assignees: ''
 - [ ] 公有云版本
 - [ ] 私有部署版本, 具体版本号: 
 
-**问题描述**
+**问题描述, 日志截图**
 
 **复现步骤**
 

.github/workflows/build-sandbox-image.yml

@@ -0,0 +1,108 @@
+name: Build fastgpt-sandbox images and copy image to docker hub
+on:
+  workflow_dispatch:
+  push:
+    paths:
+      - 'projects/sandbox/**'
+    tags:
+      - 'v*'
+jobs:
+  build-fastgpt-sandbox-images:
+    runs-on: ubuntu-20.04
+    steps:
+      - name: Checkout
+        uses: actions/checkout@v3
+        with:
+          fetch-depth: 0
+      - name: Install Dependencies
+        run: |
+          sudo apt update && sudo apt install -y nodejs npm
+      - name: Set up QEMU (optional)
+        uses: docker/setup-qemu-action@v2
+      - name: Set up Docker Buildx
+        uses: docker/setup-buildx-action@v2
+        with:
+          driver-opts: network=host
+      - name: Cache Docker layers
+        uses: actions/cache@v2
+        with:
+          path: /tmp/.buildx-cache
+          key: ${{ runner.os }}-buildx-${{ github.sha }}
+          restore-keys: |
+            ${{ runner.os }}-buildx-
+      - name: Login to GitHub Container Registry
+        uses: docker/login-action@v2
+        with:
+          registry: ghcr.io
+          username: ${{ github.repository_owner }}
+          password: ${{ secrets.GH_PAT }}
+      - name: Set DOCKER_REPO_TAGGED based on branch or tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "DOCKER_REPO_TAGGED=ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:latest" >> $GITHUB_ENV
+          else
+            echo "DOCKER_REPO_TAGGED=ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{ github.ref_name }}" >> $GITHUB_ENV
+          fi
+      - name: Build and publish image for main branch or tag push event
+        env:
+          DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
+        run: |
+          docker buildx build \
+          -f projects/sandbox/Dockerfile \
+          --platform linux/amd64,linux/arm64 \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/fastgpt-sandbox" \
+          --label "org.opencontainers.image.description=fastgpt-sandbox image" \
+          --push \
+          --cache-from=type=local,src=/tmp/.buildx-cache \
+          --cache-to=type=local,dest=/tmp/.buildx-cache \
+          -t ${DOCKER_REPO_TAGGED} \
+          .
+  push-to-ali-hub:
+    needs: build-fastgpt-sandbox-images
+    runs-on: ubuntu-20.04
+    steps:
+      - name: Checkout code
+        uses: actions/checkout@v3
+      - name: Login to Ali Hub
+        uses: docker/login-action@v2
+        with:
+          registry: registry.cn-hangzhou.aliyuncs.com
+          username: ${{ secrets.ALI_HUB_USERNAME }}
+          password: ${{ secrets.ALI_HUB_PASSWORD }}
+      - name: Set DOCKER_REPO_TAGGED based on branch or tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "IMAGE_TAG=latest" >> $GITHUB_ENV
+          else
+            echo "IMAGE_TAG=${{ github.ref_name }}" >> $GITHUB_ENV
+          fi
+      - name: Pull image from GitHub Container Registry
+        run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Tag image with Docker Hub repository name and version tag
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}} ${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Push image to Docker Hub
+        run: docker push ${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+  push-to-docker-hub:
+    needs: build-fastgpt-sandbox-images
+    runs-on: ubuntu-20.04
+    steps:
+      - name: Checkout code
+        uses: actions/checkout@v3
+      - name: Login to Docker Hub
+        uses: docker/login-action@v2
+        with:
+          username: ${{ secrets.DOCKER_HUB_NAME }}
+          password: ${{ secrets.DOCKER_HUB_PASSWORD }}
+      - name: Set DOCKER_REPO_TAGGED based on branch or tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "IMAGE_TAG=latest" >> $GITHUB_ENV
+          else
+            echo "IMAGE_TAG=${{ github.ref_name }}" >> $GITHUB_ENV
+          fi
+      - name: Pull image from GitHub Container Registry
+        run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Tag image with Docker Hub repository name and version tag
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt-sandbox:${{env.IMAGE_TAG}} ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}
+      - name: Push image to Docker Hub
+        run: docker push ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sandbox:${{env.IMAGE_TAG}}

.github/workflows/fastgpt-image.yml

@@ -6,7 +6,7 @@ on:
       - 'projects/app/**'
       - 'packages/**'
     tags:
-      - 'v*.*.*'
+      - 'v*'
 jobs:
   build-fastgpt-images:
     runs-on: ubuntu-20.04
@@ -49,7 +49,7 @@ jobs:
           DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
         run: |
           docker buildx build \
-          --build-arg name=app \
+          -f projects/app/Dockerfile \
           --platform linux/amd64,linux/arm64 \
           --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
           --label "org.opencontainers.image.description=fastgpt image" \
@@ -57,7 +57,6 @@ jobs:
           --cache-from=type=local,src=/tmp/.buildx-cache \
           --cache-to=type=local,dest=/tmp/.buildx-cache \
           -t ${DOCKER_REPO_TAGGED} \
-          -f Dockerfile \
           .
   push-to-docker-hub:
     needs: build-fastgpt-images
@@ -81,9 +80,9 @@ jobs:
       - name: Pull image from GitHub Container Registry
         run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Tag image with Docker Hub repository name and version tag
-        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.DOCKER_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Push image to Docker Hub
-        run: docker push ${{ secrets.DOCKER_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker push ${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}
   push-to-ali-hub:
     needs: build-fastgpt-images
     if: github.repository == 'labring/FastGPT'
@@ -107,6 +106,6 @@ jobs:
       - name: Pull image from GitHub Container Registry
         run: docker pull ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Tag image with Docker Hub repository name and version tag
-        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.ALI_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker tag ghcr.io/${{ github.repository_owner }}/fastgpt:${{env.IMAGE_TAG}} ${{ secrets.ALI_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}
       - name: Push image to Docker Hub
-        run: docker push ${{ secrets.ALI_IMAGE_NAME }}:${{env.IMAGE_TAG}}
+        run: docker push ${{ secrets.ALI_IMAGE_NAME }}/fastgpt:${{env.IMAGE_TAG}}

.github/workflows/preview-image.yml

@@ -44,15 +44,14 @@ jobs:
           DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
         run: |
           docker buildx build \
-          --build-arg name=app \
-          --label "org.opencontainers.image.source=  https://github.com/  ${{ github.repository_owner }}/FastGPT" \
-          --label "org.opencontainers.image.description=fastgpt-pr image" \
+          -f projects/app/Dockerfile \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
+          --label "org.opencontainers.image.description=fastgpt-pr imae" \
           --label "org.opencontainers.image.licenses=Apache" \
           --push \
           --cache-from=type=local,src=/tmp/.buildx-cache \
           --cache-to=type=local,dest=/tmp/.buildx-cache \
           -t ${DOCKER_REPO_TAGGED} \
-          -f Dockerfile \
           .
 
   helm-check:

.npmrc

@@ -0,0 +1 @@
+public-hoist-pattern[]=*tiktoken*

.vscode/i18n-ally-custom-framework.yml

@@ -0,0 +1,46 @@
+# .vscode/i18n-ally-custom-framework.yml
+
+# An array of strings which contain Language Ids defined by VS Code
+# You can check available language ids here: https://code.visualstudio.com/docs/languages/identifiers
+languageIds:
+  - javascript
+  - typescript
+  - javascriptreact
+  - typescriptreact
+
+# An array of RegExes to find the key usage. **The key should be captured in the first match group**.
+# You should unescape RegEx strings in order to fit in the YAML file
+# To help with this, you can use https://www.freeformatter.com/json-escape.html
+usageMatchRegex:
+  # The following example shows how to detect `t("your.i18n.keys")`
+  # the `{key}` will be placed by a proper keypath matching regex,
+  # you can ignore it and use your own matching rules as well
+  - "[^\\w\\d]t\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]commonT\\(['\"`]({key})['\"`]"
+  # 支持 appT("your.i18n.keys")
+  - "[^\\w\\d]appT\\(['\"`]({key})['\"`]"
+  # 支持 datasetT("your.i18n.keys")
+  - "[^\\w\\d]datasetT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]fileT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]publishT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]workflowT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]userT\\(['\"`]({key})['\"`]"
+  - "[^\\w\\d]chatT\\(['\"`]({key})['\"`]"
+
+# A RegEx to set a custom scope range. This scope will be used as a prefix when detecting keys
+# and works like how the i18next framework identifies the namespace scope from the
+# useTranslation() hook.
+# You should unescape RegEx strings in order to fit in the YAML file
+# To help with this, you can use https://www.freeformatter.com/json-escape.html
+scopeRangeRegex: "useTranslation\\(\\s*\\[?\\s*['\"`](.*?)['\"`]"
+
+# An array of strings containing refactor templates.
+# The "$1" will be replaced by the keypath specified.
+# Optional: uncomment the following two lines to use
+
+# refactorTemplates:
+#  - i18n.get("$1")
+
+
+# If set to true, only enables this custom framework (will disable all built-in frameworks)
+monopoly: true

.vscode/nextapi.code-snippets

@@ -0,0 +1,52 @@
+{
+	// Place your FastGPT 工作区 snippets here. Each snippet is defined under a snippet name and has a scope, prefix, body and 
+	// description. Add comma separated ids of the languages where the snippet is applicable in the scope field. If scope 
+	// is left empty or omitted, the snippet gets applied to all languages. The prefix is what is 
+	// used to trigger the snippet and the body will be expanded and inserted. Possible variables are: 
+	// $1, $2 for tab stops, $0 for the final cursor position, and ${1:label}, ${2:another} for placeholders. 
+	// Placeholders with the same ids are connected.
+	// Example:
+	"Next api template": {
+		"scope": "javascript,typescript",
+		"prefix": "nextapi",
+		"body": [
+			"import type { ApiRequestProps, ApiResponseType } from '@fastgpt/service/type/next';",
+			"import { NextAPI } from '@/service/middleware/entry';",
+			"",
+			"export type ${TM_FILENAME_BASE}Query = {};",
+			"",
+			"export type ${TM_FILENAME_BASE}Body = {};",
+			"",
+			"export type ${TM_FILENAME_BASE}Response = {};",
+			"",
+			"async function handler(",
+			"  req: ApiRequestProps<${TM_FILENAME_BASE}Body, ${TM_FILENAME_BASE}Query>,",
+			"  res: ApiResponseType<any>",
+			"): Promise<${TM_FILENAME_BASE}Response> {",
+			"    $1",
+			"    return {}",
+			"}",
+			"",
+			"export default NextAPI(handler);"
+		],
+		"description": "FastGPT Next API template"
+	},
+	"use context template": {
+		"scope": "typescriptreact",
+		"prefix": "context",
+		"body": [
+			"import { ReactNode } from 'react';",
+			"import { createContext } from 'use-context-selector';",
+			"",
+			"type ContextType = {$1};",
+			"",
+			"export const Context = createContext<ContextType>({});",
+			"",
+			"export const ContextProvider = ({ children }: { children: ReactNode }) => {",
+			"  const contextValue: ContextType = {};",
+			"  return <Context.Provider value={contextValue}>{children}</Context.Provider>;",
+			"};",
+		],
+		"description": "FastGPT usecontext template"
+	}
+}

.vscode/settings.json

@@ -4,12 +4,13 @@
     "typescript.tsdk": "node_modules/typescript/lib",
     "prettier.prettierPath": "",
     "i18n-ally.localesPaths": [
-        "projects/app/public/locales",
+        "projects/app/i18n",
     ],
-    "i18n-ally.enabledParsers": ["json"],
+    "i18n-ally.enabledParsers": ["json", "yaml", "js", "ts"],
     "i18n-ally.keystyle": "nested",
     "i18n-ally.sortKeys": true,
-    "i18n-ally.keepFulfilled": true,
+    "i18n-ally.keepFulfilled": false,
     "i18n-ally.sourceLanguage": "zh", // 根据此语言文件翻译其他语言文件的变量和内容
     "i18n-ally.displayLanguage": "zh", // 显示语言
+    "i18n-ally.extract.targetPickingStrategy": "most-similar-by-key"
 }

Makefile

@@ -0,0 +1,25 @@
+# 定义默认变量
+proxy=null
+image=null
+
+# 定义目标
+.PHONY: build
+
+# 检查 target 是否定义
+ifndef name
+$(error name is not defined)
+endif
+
+filePath=./projects/$(name)/Dockerfile
+
+dev:
+	pnpm --prefix ./projects/$(name) dev
+
+build:
+ifeq ($(proxy), taobao)
+	docker build -f $(filePath) -t $(image) . --build-arg proxy=taobao 
+else ifeq ($(proxy), clash)
+	docker build -f $(filePath) -t $(image) . --network host --build-arg HTTP_PROXY=http://127.0.0.1:7890 --build-arg HTTPS_PROXY=http://127.0.0.1:7890
+else
+	docker build -f $(filePath) -t $(image) .
+endif

README.md

@@ -53,10 +53,9 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] 提供简易模式，无需操作编排
    - [x] 工作流编排
    - [x] 源文件引用追踪
-   - [x] 模块封装，实现多级复用
-   - [x] Tool 模块
-   - [ ] 嵌入 [Laf](https://github.com/labring/laf)，实现在线编写 HTTP 模块。初版已完成。
-   - [ ] 插件封装功能，支持低代码渲染
+   - [x] 工具调用
+   - [x] 插件 - 工作流封装能力
+   - [ ] Code sandbox
 
 `2` 知识库能力
    - [x] 多库复用，混用
@@ -67,14 +66,13 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] 支持 url 读取、CSV 批量导入
    - [x] 混合检索 & 重排
    - [ ] 支持文件阅读器
-   - [ ] 更多的数据预处理方案
   
 `3` 应用调试能力
    - [x] 知识库单点搜索测试
    - [x] 对话时反馈引用并可修改与删除
    - [x] 完整上下文呈现
    - [x] 完整模块中间值呈现
-   - [ ] 高级编排 DeBug 模式
+   - [x] 高级编排 DeBug 模式
   
 `4` OpenAPI 接口
    - [x] completions 接口 (chat 模式对齐 GPT 接口)
@@ -86,8 +84,11 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] Iframe 一键嵌入
    - [x] 聊天窗口嵌入支持自定义 Icon，默认打开，拖拽等功能
    - [x] 统一查阅对话记录，并对数据进行标注
+   
 `6` 其他
    - [x] 支持语音输入和输出 (可配置语音输入语音回答)
+   - [x] 模糊输入提示
+   - [ ] 模板市场
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
@@ -121,7 +122,7 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 
 wx 扫一下加入：
 
-![](https://oss.laf.run/cofxat-test/fastgpt-qr-code2.jpg)
+![](https://oss.laf.run/htr4n1-images/wechat-qr-code.jpg)
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">

README_en.md

@@ -10,28 +10,31 @@
   <a href="./README_ja.md">日语</a>
 </p>
 
-FastGPT is a knowledge-based Q&A system built on the LLM, offers out-of-the-box data processing and model invocation capabilities, allows for workflow orchestration through Flow visualization!
+FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration. 
 
 </div>
 
 <p align="center">
   <a href="https://fastgpt.in/">
-    <img height="21" src="https://img.shields.io/badge/在线使用-d4eaf7?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
+    <img height="21" src="https://img.shields.io/badge/Try it Online-d4eaf7?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
   </a>
   <a href="https://doc.fastgpt.in/docs/intro">
-    <img height="21" src="https://img.shields.io/badge/相关文档-7d09f1?style=flat-square" alt="document">
+    <img height="21" src="https://img.shields.io/badge/Documents-7d09f1?style=flat-square" alt="document">
   </a>
   <a href="https://doc.fastgpt.in/docs/development">
-    <img height="21" src="https://img.shields.io/badge/本地开发-%23d4eaf7?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
-  </a>
-  <a href="/#-%E7%9B%B8%E5%85%B3%E9%A1%B9%E7%9B%AE">
-    <img height="21" src="https://img.shields.io/badge/相关项目-7d09f1?style=flat-square" alt="project">
+    <img height="21" src="https://img.shields.io/badge/Local Development-%23d4eaf7?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
   </a>
   <a href="https://github.com/labring/FastGPT/blob/main/LICENSE">
     <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?style=flat-square&labelColor=d4eaf7&color=7d09f1" alt="license">
   </a>
 </p>
 
+<div align="center">
+
+  [![discord](https://theme.zdassets.com/theme_assets/678183/cc59daa07820943e943c2fc283b9079d7003ff76.svg)](https://discord.gg/mp68xkZn2Q)
+  
+</div>
+
 https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409bd33f6d4
 
 ## 🛸 Use Cloud Services
@@ -117,11 +120,11 @@ Project tech stack: NextJs + TS + ChakraUI + Mongo + Postgres (Vector plugin)
 - [Version Updates & Upgrades](https://doc.fastgpt.in/docs/installation/upgrading)
 
 
-## 🏘️ Community
+## 🏘️ Community & support
 
-| Community Group                                   | 
-| ------------------------------------------------- | 
-| ![](https://oss.laf.run/htr4n1-images/fastgpt-qr-code.jpg) | 
++ 🌐 Visit the [FastGPT website](https://fastgpt.in/) for full documentation and useful links.
++ 💬 Join our [Discord server](https://discord.gg/mp68xkZn2Q) is to chat with FastGPT developers and other FastGPT users. This is a good place to learn about FastGPT, ask questions, and share your experiences.
++ 🐞 Create [GitHub Issues](https://github.com/labring/FastGPT/issues/new/choose) for bug reports and feature requests.
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">

dev.md

@@ -1,17 +1,40 @@
-# 打包命令
+## Premise
+
+Since FastGPT is managed in the same way as monorepo, it is recommended to install 'make' first during development.
+
+monorepo Project Name:
+
+- app: main project
+-......
+
+## Dev
 
 ```sh
-# Build image, not proxy
-docker build -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.4.7 --build-arg name=app .
+# Give automatic script code execution permission (on non-Linux systems, you can manually execute the postinstall.sh file content)
+chmod -R +x ./scripts/
+# Executing under the code root directory installs all dependencies within the root package, projects, and packages
+pnpm i
 
-# build image with proxy
-docker build -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.4.7 --build-arg name=app --build-arg proxy=taobao .
+# Not make cmd
+cd projects/app
+pnpm dev
+
+# Make cmd
+make dev name=app
 ```
 
-# Pg 常用索引
 
-```sql
-CREATE INDEX IF NOT EXISTS modelData_dataset_id_index ON modeldata (dataset_id);
-CREATE INDEX IF NOT EXISTS modelData_collection_id_index ON modeldata (collection_id);
-CREATE INDEX IF NOT EXISTS modelData_teamId_index ON modeldata (team_id);
-```
+## Build
+
+```sh
+# Docker cmd: Build image, not proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app
+# Make cmd: Build image, not proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1
+
+# Docker cmd: Build image with proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app --build-arg proxy=taobao
+# Make cmd: Build image with proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 proxy=taobao
+```
+

docSite/assets/docs/scss/custom/pages/_custom.scss

@@ -1,3 +1,16 @@
+:root {
+    --code-bg: rgba(0, 0, 0, 0.03);
+	--code-color: rgba(14, 116, 144, 0.95);
+	--inline-code-border: 0.5px solid var(--gray-400);
+
+}
+
+[data-dark-mode] {
+    --code-bg: hsla(0, 2%, 14%, 1);
+	--code-color: #f3f4f6ed;
+	--inline-code-border: 0.5px solid var(--gray-600);
+}
+
 #content {
 	font-family: JetBrains Mono, LXGW WenKai Screen, -apple-system, BlinkMacSystemFont, "Segoe UI", "Roboto", "Helvetica Neue", "Ubuntu";
 }
@@ -62,11 +75,33 @@ div.code-toolbar {
     z-index: 1;
 }
 
+.docs-content .main-content pre code {
+	padding: 0 2.5rem 1.25rem .9rem;
+  }
+
+.docs-content .main-content code {
+	font-size: .875em;
+	padding: 1px 2px;
+	background: var(--code-bg);
+	border: var(--inline-code-border);
+	padding-top: 3px;
+	padding-bottom: 3px;
+	padding-left: 5px;
+	padding-right: 5px;
+	border-radius: .25rem;
+	color: var(--code-color);
+}
+
 li p {
     margin-top: 1rem !important;
     margin-bottom: 1rem;
 }
 
+.docs-content .main-content ul > li {
+    margin-top: .3rem !important;
+    margin-bottom: .3rem;
+}
+
 footer {
 	height: 118px !important;
 }

docSite/assets/docs/scss/custom/plugins/prism/themes/_lotusdocs.scss

@@ -0,0 +1,178 @@
+ /**
+ * Lotus Docs theme
+ *
+ * Adapted from a theme based on:
+ * https://github.com/chriskempson/tomorrow-theme
+ *
+ * @author Colin Wilson <github.com/colinwilson>
+ * @version 1.0
+ */
+
+ :root {
+    --prism-code-bg: #faf9f8;
+    --prism-code-scrollbar-thumb-color: var(--gray-400);
+    --prism-color: #333;
+    --prism-bg: #f0f0f0;
+    --prism-highlight-bg: var(--blue-200);
+    --prism-copy-bg: var(--gray-500);
+    --prism-copy-hover-bg: var(--gray-700);
+    --prism-copy-success-bg: var(--emerald-500);
+    --prism-token-punctuation: #666;
+    --prism-token-deleted: #2b6cb0;
+    --prism-token-function-name: #3182bd;
+    --prism-token-function: #c53030;
+    --prism-token-number: var(--cardinal-600);
+    --prism-token-symbol: #333;
+    --prism-token-builtin: #1a202c;
+    --prism-token-regex: #2f855a;
+    --prism-token-variable: var(--yellow-700);
+    --prism-token-url: #4fd1c5;
+    --prism-token-inserted: #38a169;
+}
+
+[data-dark-mode] {
+    --prism-code-bg: var(--gray-900);
+    --prism-code-scrollbar-thumb-color: var(--gray-600);
+    --prism-color: #f5fbff;
+    --prism-bg: #32325d;
+    --prism-highlight-bg: var(--blue-400);
+    --prism-copy-bg: var(--gray-400);
+    --prism-copy-hover-bg: var(--white);
+    --prism-copy-success-bg: var(--emerald-200);
+    --prism-token-punctuation: #ccc;
+    --prism-token-deleted: #7fd3ed;
+    --prism-token-function-name: #6196cc;
+    --prism-token-function: #fda3f3;
+    --prism-token-number: var(--cardinal-200);
+    --prism-token-symbol: #ffffff;
+    --prism-token-builtin: #a4cdfe;
+    --prism-token-regex: #7ec699;
+    --prism-token-variable: var(--yellow-100);
+    --prism-token-url: #67cdcc;
+    --prism-token-inserted: green;
+}
+
+ code[class*="language-"],
+ pre[class*="language-"] {
+     color: var(--prism-color) !important;
+     background: var(--prism-code-bg) !important;
+ }
+
+/* Code blocks */
+pre[class*="language-"] {
+    // padding: 1em;
+    // margin: .5em 0;
+    overflow: auto;
+    border-radius: 0 0 4px 4px;
+}
+
+:not(pre) > code[class*="language-"],
+pre[class*="language-"] {
+    background: var(--prism-bg);
+}
+
+/* Inline code */
+:not(pre) > code[class*="language-"] {
+    padding: .1em;
+    border-radius: .3em;
+    white-space: normal;
+}
+
+.line-highlight:before,
+.line-highlight[data-end]:after {
+    background-color: var(--prism-highlight-bg);
+}
+
+[data-copy-state="copy"] span:empty::before {
+    background-color: var(--prism-copy-bg);
+}
+
+[data-copy-state="copy"] span:empty:hover::before {
+    background-color: var(--prism-copy-hover-bg);
+}
+
+[data-copy-state="copy-success"] span:empty::before {
+    background-color: var(--prism-copy-success-bg);
+}
+
+.token.comment,
+.token.block-comment,
+.token.prolog,
+.token.doctype,
+.token.cdata {
+    color: #999;
+}
+
+.token.punctuation {
+    color: var(--prism-token-punctuation);
+}
+
+.token.tag,
+.token.attr-name,
+.token.namespace,
+.token.deleted {
+    color: var(--prism-token-deleted);
+}
+
+.token.function-name {
+    color: var(--prism-token-function-name);
+}
+
+.token.boolean,
+.token.function {
+    color: var(--prism-token-function);
+}
+
+.token.number {
+    color: var(--prism-token-number);
+}
+
+.token.property,
+.token.class-name,
+.token.constant,
+.token.symbol {
+    color: var(--prism-token-symbol);
+    font-weight: 700;
+}
+
+.token.selector,
+.token.important,
+.token.atrule,
+.token.keyword,
+.token.builtin {
+    color: var(--prism-token-builtin);
+    font-weight: 700;
+}
+
+.token.string,
+.token.char,
+.token.attr-value,
+.token.regex {
+    color: var(--prism-token-regex);
+}
+
+.token.variable {
+    color: var(--prism-token-variable);
+}
+
+.token.operator,
+.token.entity,
+.token.url {
+    color: var(--prism-token-url);
+}
+
+.token.important,
+.token.bold {
+    font-weight: bold;
+}
+.token.italic {
+    font-style: italic;
+}
+
+.token.entity {
+    cursor: help;
+}
+
+.token.inserted {
+    color: var(--prism-token-inserted);
+}

docSite/content/docs/commercial/intro.md

@@ -48,15 +48,14 @@ FastGPT 商业版软件根据不同的部署方式，分为 3 类收费模式。
 {{< table "table-hover table-striped-columns" >}}
 | 部署方式 | 特有服务 | 上线时长 | 标品价格 |
 | ---- | ---- | ---- | ---- |
-| Sealos全托管 |  1. 有效期内免费升级。<br>2. 免运维服务&数据库。 |  半天  | 3000元起/月（3个月起）<br>或<br>30000元起/年  |
-| 自有服务器-单机版 |  1. 6个版本的升级服务。 | 14天内 |  60000元/套（不限时长） | 
-| 自有服务器-高可用版 | 1. 6个版本的升级服务。 | 14天内 | 150000元/套（不限时长）|
+| Sealos全托管 |  1. 有效期内免费升级。<br>2. 免运维服务&数据库。 |  半天  | 5000元起/月（3个月起）<br>或<br>50000元起/年  |
+| 自有服务器部署 |  1. 6个版本的升级服务。 | 14天内 |  具体价格可[联系咨询](https://fael3z0zfze.feishu.cn/share/base/form/shrcnRxj3utrzjywsom96Px4sud) |
 {{< /table >}}
 
 {{% alert icon="🤖 " context="success" %}}
 - 6个版本的升级服务不是指只能用 6 个版本，而是指依赖 FastGPT 团队提供的升级服务。大部分时候，建议自行升级，也不麻烦。
 - 全托管版本适合技术人员紧缺的团队，仅需关注业务推动，无需关心服务是否正常运行。
-- 单机版和高可用版可以完全部署在自己服务器中。
+- 自有服务器部署版可以完全部署在自己服务器中。
 - 单机版适合中小团队对内提供服务，需要自己维护数据库备份等。
 - 高可用版适合对外提供在线服务，包含可视化监控、多副本、负载均衡、数据库自动备份等生产环境的基础设施。
 {{% /alert %}}

docSite/content/docs/course/chat_input_guide.md

@@ -0,0 +1,54 @@
+---
+title: "对话问题引导"
+description: "FastGPT 对话问题引导"
+icon: "code"
+draft: false
+toc: true
+weight: 350
+---
+
+![](/imgs/questionGuide.png)
+
+## 什么是自定义问题引导
+
+你可以为你的应用提前预设一些问题，用户在输入时，会根据输入的内容，动态搜索这些问题作为提示，从而引导用户更快的进行提问。
+
+你可以直接在 FastGPT 中配置词库，或者提供自定义词库接口。
+
+## 自定义词库接口
+
+需要保证这个接口可以被用户浏览器访问。
+
+**请求：**
+
+```bash
+curl --location --request GET 'http://localhost:3000/api/core/chat/inputGuide/query?appId=663c75302caf8315b1c00194&searchKey=你'
+```
+
+其中 `appId` 为应用ID，`searchKey` 为搜索关键字，最多是50个字符。
+
+**响应**
+
+```json
+{
+  "code": 200,
+  "statusText": "",
+  "message": "",
+  "data": [
+    "是你",
+    "你是谁呀",
+    "你好好呀",
+    "你好呀",
+    "你是谁！",
+    "你好"
+  ]
+}
+```
+
+data是一个数组，包含了搜索到的问题，最多只需要返回5个问题。
+
+
+**参数说明：**
+
+- appId - 应用ID
+- searchKey - 搜索关键字

docSite/content/docs/course/externalFile.md

@@ -0,0 +1,26 @@
+---
+title: '外部文件知识库'
+description: 'FastGPT 外部文件知识库功能介绍和使用方式'
+icon: 'language'
+draft: false
+toc: true
+weight: 107
+---
+
+外部文件库是 FastGPT 商业版特有功能。它允许接入你现在的文件系统，无需将文件再导入一份到 FastGPT 中。
+
+并且，阅读权限可以通过你的文件系统进行控制。
+
+|                       |                       | |
+| --------------------- | --------------------- | --------------------- |
+| ![](/imgs/external_file0.png) | ![](/imgs/external_file1.png) | ![](/imgs/external_file2.png) | 
+
+
+## 导入参数说明
+
+- 外部预览地址：用于跳转你的文件阅读地址，会携带“文件阅读ID”进行访问。
+- 文件访问URL：文件可访问的地址。
+- 文件阅读ID：通常情况下，文件访问URL是临时的。如果希望永久可以访问，你需要使用该文件阅读ID，并配合上“外部预览地址”，跳转至新的阅读地址进行原文件访问。
+- 文件名：默认会自动解析文件访问URL上的文件名。如果你手动填写，将会以手动填写的值为准。
+
+[点击查看API导入文档](/docs/development/openapi/dataset/#创建一个外部文件库集合商业版)

docSite/content/docs/course/quick-start.md

@@ -7,7 +7,7 @@ toc: true
 weight: 101
 ---
 
-更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1n34y1A7Bo/?spm_id_from=333.337.search-card.all.click&vd_source=903c2b09b7412037c2eddc6a8fb9828b)
+更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1sH4y1T7s9)
 
 ## 知识库
 

docSite/content/docs/course/websync.md

@@ -0,0 +1,80 @@
+---
+title: 'Web 站点同步'
+description: 'FastGPT Web 站点同步功能介绍和使用方式'
+icon: 'language'
+draft: false
+toc: true
+weight: 105
+---
+
+![](/imgs/webSync1.jpg)
+
+该功能目前仅向商业版用户开放。
+
+## 什么是 Web 站点同步
+
+Web 站点同步利用爬虫的技术，可以通过一个入口网站，自动捕获`同域名`下的所有网站，目前最多支持`200`个子页面。出于合规与安全角度，FastGPT 仅支持`静态站点`的爬取，主要用于各个文档站点快速构建知识库。
+
+Tips: 国内的媒体站点基本不可用，公众号、csdn、知乎等。可以通过终端发送`curl`请求检测是否为静态站点，例如：
+
+```bash
+curl https://doc.fastgpt.in/docs/intro/
+```
+
+## 如何使用
+
+### 1. 新建知识库，选择 Web 站点同步
+
+![](/imgs/webSync2.png)
+
+![](/imgs/webSync3.png)
+
+### 2. 点击配置站点信息
+
+![](/imgs/webSync4.png)
+
+### 3. 填写网址和选择器
+
+![](/imgs/webSync5.jpg)
+
+好了， 现在点击开始同步，静等系统自动抓取网站信息即可。
+
+
+## 创建应用，绑定知识库
+
+![](/imgs/webSync6.webp)
+
+## 选择器如何使用
+
+选择器是 HTML CSS JS 的产物，你可以通过选择器来定位到你需要抓取的具体内容，而不是整个站点。使用方式为：
+
+### 首先打开浏览器调试面板（通常是 F12，或者【右键 - 检查】）
+
+![](/imgs/webSync7.webp)
+
+![](/imgs/webSync8.webp)
+
+### 输入对应元素的选择器
+
+[菜鸟教程 css 选择器](https://www.runoob.com/cssref/css-selectors.html)，具体选择器的使用方式可以参考菜鸟教程。
+
+上图中，我们选中了一个区域，对应的是`div`标签，它有 `data-prismjs-copy`, `data-prismjs-copy-success`, `data-prismjs-copy-error` 三个属性，这里我们用到一个就够。所以选择器是：
+**`div[data-prismjs-copy]`**
+
+除了属性选择器，常见的还有类和ID选择器。例如：
+
+![](/imgs/webSync9.webp)
+
+上图 class 里的是类名（可能包含多个类名，都是空格隔开的，选择一个即可），选择器可以为：**`.docs-content`**
+
+### 多选择器使用
+
+在开头的演示中，我们对 FastGPT 文档是使用了多选择器的方式来选择，通过逗号隔开了两个选择器。
+
+![](/imgs/webSync10.webp)
+
+我们希望选中上图两个标签中的内容，此时就需要两组选择器。一组是：`.docs-content .mb-0.d-flex`，含义是 `docs-content` 类下同时包含 `mb-0`和`d-flex` 两个类的子元素；
+
+另一组是`.docs-content div[data-prismjs-copy]`，含义是`docs-content` 类下包含`data-prismjs-copy`属性的`div`元素。
+
+把两组选择器用逗号隔开即可：`.docs-content .mb-0.d-flex, .docs-content div[data-prismjs-copy]`

docSite/content/docs/development/custom-models/bge-rerank.md

@@ -4,7 +4,7 @@ description: '接入 bge-rerank 重排模型'
 icon: 'sort'
 draft: false
 toc: true
-weight: 910
+weight: 920
 ---
 
 ## 不同模型推荐配置

docSite/content/docs/development/custom-models/chatglm2-m3e.md

@@ -4,7 +4,7 @@ description: ' 将 FastGPT 接入私有化模型 ChatGLM2和m3e-large'
 icon: 'model_training'
 draft: false
 toc: true
-weight: 930
+weight: 950
 ---
 
 ## 前言

docSite/content/docs/development/custom-models/chatglm2.md

@@ -4,7 +4,7 @@ description: ' 将 FastGPT 接入私有化模型 ChatGLM2-6B'
 icon: 'model_training'
 draft: false
 toc: true
-weight: 910
+weight: 930
 ---
 
 ## 前言

docSite/content/docs/development/custom-models/m3e.md

@@ -4,7 +4,7 @@ description: ' 将 FastGPT 接入私有化模型 M3E'
 icon: 'model_training'
 draft: false
 toc: true
-weight: 920
+weight: 940
 ---
 
 ## 前言

docSite/content/docs/development/custom-models/xinference.md

@@ -0,0 +1,184 @@
+---
+title: '使用 Xinference 接入本地模型'
+description: '一站式本地 LLM 私有化部署'
+icon: 'api'
+draft: false
+toc: true
+weight: 910
+---
+
+[Xinference](https://github.com/xorbitsai/inference) 是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
+
+## 安装 Xinference
+
+Xinference 支持多种推理引擎作为后端，以满足不同场景下部署大模型的需要，下面会分使用场景来介绍一下这三种推理后端，以及他们的使用方法。
+
+### 1. 服务器
+
+如果你的目标是在一台 Linux 或者 Window 服务器上部署大模型，可以选择 Transformers 或 vLLM 作为 Xinference 的推理后端：
+
++ [Transformers](https://huggingface.co/docs/transformers/index)：通过集成 Huggingface 的 Transformers 库作为后端，Xinference 可以最快地 集成当今自然语言处理（NLP）领域的最前沿模型（自然也包括 LLM）。
++ [vLLM](https://vllm.ai/): vLLM 是由加州大学伯克利分校开发的一个开源库，专为高效服务大型语言模型（LLM）而设计。它引入了 PagedAttention 算法， 通过有效管理注意力键和值来改善内存管理，吞吐量能够达到 Transformers 的 24 倍，因此 vLLM 适合在生产环境中使用，应对高并发的用户访问。
+
+假设你服务器配备 NVIDIA 显卡，可以参考[这篇文章中的指令来安装 CUDA](https://xorbits.cn/blogs/langchain-streamlit-doc-chat)，从而让 Xinference 最大限度地利用显卡的加速功能。
+
+#### Docker 部署
+
+你可以使用 Xinference 官方的 Docker 镜像来一键安装和启动 Xinference 服务（确保你的机器上已经安装了 Docker），命令如下：
+
+```bash
+docker run  -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0
+```
+
+#### 直接部署
+
+首先我们需要准备一个 3.9 以上的 Python 环境运行来 Xinference，建议先根据 conda 官网文档安装 conda。 然后使用以下命令来创建 3.11 的 Python 环境：
+
+```bash
+conda create --name py311 python=3.11
+conda activate py311
+```
+
+以下两条命令在安装 Xinference 时，将安装 Transformers 和 vLLM 作为 Xinference 的推理引擎后端：
+
+```bash
+pip install "xinference[transformers]"
+pip install "xinference[vllm]"
+pip install "xinference[transformers,vllm]" # 同时安装
+```
+
+PyPi 在 安装 Transformers 和 vLLM 时会自动安装 PyTorch，但自动安装的 CUDA 版本可能与你的环境不匹配，此时你可以根据 PyTorch 官网中的[安装指南](https://pytorch.org/get-started/locally/)来手动安装。
+
+只需要输入如下命令，就可以在服务上启动 Xinference 服务：
+
+```bash
+xinference-local -H 0.0.0.0
+```
+
+Xinference 默认会在本地启动服务，端口默认为 9997。因为这里配置了-H 0.0.0.0参数，非本地客户端也可以通过机器的 IP 地址来访问 Xinference 服务。
+
+### 2. 个人设备
+
+如果你想在自己的 Macbook 或者个人电脑上部署大模型，推荐安装 CTransformers 作为 Xinference 的推理后端。CTransformers 是用 GGML 实现的 C++ 版本 Transformers。
+
+[GGML](https://ggml.ai/) 是一个能让大语言模型在[消费级硬件上运行](https://github.com/ggerganov/llama.cpp/discussions/205)的 C++ 库。 GGML 最大的特色在于模型量化。量化一个大语言模型其实就是降低权重表示精度的过程，从而减少使用模型所需的资源。 例如，表示一个高精度浮点数（例如 0.0001）比表示一个低精度浮点数（例如 0.1）需要更多空间。由于 LLM 在推理时需要加载到内存中的，因此你需要花费硬盘空间来存储它们，并且在执行期间有足够大的 RAM 来加载它们，GGML 支持许多不同的量化策略，每种策略在效率和性能之间提供不同的权衡。
+
+通过以下命令来安装 CTransformers 作为 Xinference 的推理后端：
+
+```bash
+pip install xinference
+pip install ctransformers
+```
+
+因为 GGML 是一个 C++ 库，Xinference 通过 `llama-cpp-python` 这个库来实现语言绑定。对于不同的硬件平台，我们需要使用不同的编译参数来安装：
+
+- Apple Metal（MPS）：`CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python`
+- Nvidia GPU：`CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python`
+- AMD GPU：`CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python`
+
+安装后只需要输入 `xinference-local`，就可以在你的 Mac 上启动 Xinference 服务。
+
+## 创建并部署模型（以 Qwen-14B 模型为例）
+
+### 1. WebUI 方式启动模型
+
+Xinference 启动之后，在浏览器中输入: `http://127.0.0.1:9997`，我们可以访问到本地 Xinference 的 Web UI。
+
+打开“Launch Model”标签，搜索到 qwen-chat，选择模型启动的相关参数，然后点击模型卡片左下方的小火箭🚀按钮，就可以部署该模型到 Xinference。 默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。
+
+![](/imgs/xinference-launch-model.png)
+
+当你第一次启动 Qwen 模型时，Xinference 会从 HuggingFace 下载模型参数，大概需要几分钟的时间。Xinference 将模型文件缓存在本地，这样之后启动时就不需要重新下载了。 Xinference 还支持从其他模型站点下载模型文件，例如 [modelscope](https://inference.readthedocs.io/en/latest/models/sources/sources.html)。
+
+### 2. 命令行方式启动模型
+
+我们也可以使用 Xinference 的命令行工具来启动模型，默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。
+
+```bash
+xinference launch -n qwen-chat -s 14 -f pytorch
+```
+
+除了 WebUI 和命令行工具， Xinference 还提供了 Python SDK 和 RESTful API 等多种交互方式， 更多用法可以参考 [Xinference 官方文档](https://inference.readthedocs.io/en/latest/getting_started/index.html)。
+
+## 将本地模型接入 One API
+
+One API 的部署和接入请参考[这里](/docs/development/one-api/)。
+
+为 qwen1.5-chat 添加一个渠道，这里的 Base URL 需要填 Xinference 服务的端点，并且注册 qwen-chat (模型的 UID) 。
+
+![](/imgs/one-api-add-xinference-models.jpg)
+
+可以使用以下命令进行测试：
+
+```bash
+curl --location --request POST 'https://<oneapi_url>/v1/chat/completions' \
+--header 'Authorization: Bearer <oneapi_token>' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "qwen-chat",
+  "messages": [{"role": "user", "content": "Hello!"}]
+}'
+```
+
+将 <oneapi_url> 替换为你的 One API 地址，<oneapi_token> 替换为你的 One API 令牌。model 为刚刚在 One API 填写的自定义模型。
+
+## 将本地模型接入 FastGPT
+
+修改 FastGPT 的 `config.json` 配置文件，其中 chatModels（对话模型）用于聊天对话，cqModels（问题分类模型）用来对问题进行分类，extractModels（内容提取模型）则用来进行工具选择。我们分别在 chatModels、cqModels 和 extractModels 中加入 qwen-chat 模型：
+
+```json
+{
+  "chatModels": [
+      ...
+      {
+        "model": "qwen-chat",
+        "name": "Qwen",
+        "maxContext": 2048,
+        "maxResponse": 2048, 
+        "quoteMaxToken": 2000,
+        "maxTemperature": 1, 
+        "vision": false, 
+        "defaultSystemChatPrompt": "" 
+      }
+      ...
+  ],
+  "cqModels": [
+      ...
+      {
+        "model": "qwen-chat",
+        "name": "Qwen",
+        "maxContext": 2048,
+        "maxResponse": 2048,
+        "inputPrice": 0,
+        "outputPrice": 0,
+        "toolChoice": true,
+        "functionPrompt": ""
+      }
+      ...
+  ],    
+  "extractModels": [
+      ...
+      {
+        "model": "qwen-chat",
+        "name": "Qwen",
+        "maxContext": 2048,
+        "maxResponse": 2048,
+        "inputPrice": 0,
+        "outputPrice": 0,
+        "toolChoice": true,
+        "functionPrompt": ""
+      }
+      ...
+  ]
+}
+```
+
+然后重启 FastGPT 就可以在应用配置中选择 Qwen 模型进行对话：
+
+![](/imgs/fastgpt-list-models.png)
+
+---
+
++ 参考：[FastGPT + Xinference：一站式本地 LLM 私有化部署和应用开发](https://xorbits.cn/blogs/fastgpt-weather-chat)
+
+

docSite/content/docs/development/docker.md

@@ -257,6 +257,13 @@ PG 数据库没有连接上/初始化失败，可以查看日志。FastGPT 会
 2. 非 docker 部署的，需要手动安装 pg vector 插件
 3. 查看 fastgpt 日志，有没有相关报错
 
+### Illegal instruction
+
+可能原因：
+
+1. arm架构。需要使用 Mongo 官方镜像： mongo:5.0.18
+2. cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x。把 mongo 的 image 换成: mongo:4.4.29
+
 ### Operation `auth_codes.findOne()` buffering timed out after 10000ms
 
 mongo连接失败，查看mongo的运行状态对应日志。

docSite/content/docs/development/faq.md

@@ -13,7 +13,8 @@ images: []
 
 1. `docker ps -a` 查看所有容器运行状态，检查是否全部 running，如有异常，尝试`docker logs 容器名`查看对应日志。
 2. 容器都运行正常的，`docker logs 容器名` 查看报错日志
-3. 无法解决时，可以找找[Issue](https://github.com/labring/FastGPT/issues)，或新提 Issue，私有部署错误，务必提供详细的日志，否则很难排查。
+3. 带有`requestId`的，都是 OneAPI 提示错误，大部分都是因为模型接口报错。
+4. 无法解决时，可以找找[Issue](https://github.com/labring/FastGPT/issues)，或新提 Issue，私有部署错误，务必提供详细的日志，否则很难排查。
 
 
 ## 二、通用问题
@@ -22,14 +23,10 @@ images: []
 
 可以。需要准备好向量模型和LLM模型。
 
-### 页面中可以正常回复，API 报错
-
-页面中是用 stream=true 模式，所以API也需要设置 stream=true 来进行测试。部分模型接口（国产居多）非 Stream 的兼容有点垃圾。
-
 ### 其他模型没法进行问题分类/内容提取
 
-需要给其他模型配置`toolChoice=false`，就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试。
-问题分类基本可用，内容提取不太行。
+1. 看日志。如果提示 JSON invalid，not support tool 之类的，说明该模型不支持工具调用或函数调用，需要设置`toolChoice=false`和`functionCall=false`，就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试。问题分类基本可用，内容提取不太行。
+2. 如果已经配置正常，并且没有错误日志，则说明可能提示词不太适合该模型，可以通过修改`customCQPrompt`来自定义提示词。
    
 ### 页面崩溃
 
@@ -42,12 +39,36 @@ images: []
 1. 问题补全需要经过一轮AI生成。
 2. 会进行3~5轮的查询，如果数据库性能不足，会有明显影响。
 
-### 模型响应为空(core.chat.Chat API is error or undefined)
+### 对话接口报错或返回为空(core.chat.Chat API is error or undefined)
 
-1. 检查 key 问题。
+1. 检查 AI 的 key 问题：通过 curl 请求看是否正常。务必用 stream=true 模式。并且 maxToken 等相关参数尽量一致。
 2. 如果是国内模型，可能是命中风控了。
 3. 查看模型请求日志，检查出入参数是否异常。
 
+```sh
+# curl 例子。
+curl --location --request POST 'https://xxx.cn/v1/chat/completions' \
+--header 'Authorization: Bearer sk-xxxx' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "gpt-3.5-turbo",
+  "stream": true,
+  "temperature": 1,
+  "max_tokens": 3000,
+  "messages": [
+    {
+      "role": "user",
+      "content": "你是谁"
+    }
+  ]
+}'
+```
+
+### 页面中可以正常回复，API 报错
+
+页面中是用 stream=true 模式，所以API也需要设置 stream=true 来进行测试。部分模型接口（国产居多）非 Stream 的兼容有点垃圾。
+和上一个问题一样，curl 测试。
+
 ### 知识库索引没有进度/索引很慢
 
 先看日志报错信息。有以下几种情况：
@@ -76,12 +97,14 @@ images: []
 
 OneAPI 账号的余额不足，默认 root 用户只有 200 刀，可以手动修改。
 
+路径：打开OneAPI -> 用户 -> root用户右边的编辑 -> 剩余余额调大
+
 ### xxx渠道找不到
 
 FastGPT 模型配置文件中的 model 必须与 OneAPI 渠道中的模型对应上，否则就会提示这个错误。可检查下面内容：
 
 1. OneAPI 中没有配置该模型渠道，或者被禁用了。
-2. 修改了 FastGPT 配置文件中一部分的模型，但没有全部修改，仍有模型是 OneAPI 没配置的。
+2. FastGPT 配置文件有 OneAPI 没有配置的模型。如果 OneAPI 没有配置对应模型的，配置文件中也不要写。
 3. 使用旧的向量模型创建了知识库，后又更新了向量模型。这时候需要删除以前的知识库，重建。
 
 如果OneAPI中，没有配置对应的模型，`config.json`中也不要配置，否则容易报错。
@@ -90,4 +113,10 @@ FastGPT 模型配置文件中的 model 必须与 OneAPI 渠道中的模型对应
 
 OneAPI 的 API Key 配置错误，需要修改`OPENAI_API_KEY`环境变量，并重启容器（先 docker-compose down 然后再 docker-compose up -d 运行一次）。
 
-可以`exec`进入容器，`env`查看环境变量是否生效。
+可以`exec`进入容器，`env`查看环境变量是否生效。
+
+### bad_response_status_code bad response status code 503
+
+1. 模型服务不可用
+2. 模型接口参数异常（温度、max token等可能不适配）
+3. ....

docSite/content/docs/development/intro.md

@@ -16,8 +16,9 @@ weight: 705
 
 - [Git](http://git-scm.com/)
 - [Docker](https://www.docker.com/)（构建镜像）
-- [Node.js v18.x (不推荐最新的，可能有兼容问题)](http://nodejs.org)
-- [pnpm](https://pnpm.io/) 版本 8.x.x 
+- [Node.js v18.17 / v20.x](http://nodejs.org)
+- [pnpm](https://pnpm.io/) 版本 8.6.0 (目前官方的开发环境)
+- make命令: 根据不同平台，百度安装 (官方是GNU Make 4.3)
 
 ## 开始本地开发
 
@@ -72,24 +73,34 @@ Mongo 数据库需要注意，需要注意在连接地址中增加 `directConnec
 
 ### 5. 运行
 
+可参考项目根目录下的 `dev.md`
+
 ```bash
 # 给自动化脚本代码执行权限(非 linux 系统, 可以手动执行里面的 postinstall.sh 文件内容)
 chmod -R +x ./scripts/
 # 代码根目录下执行，会安装根 package、projects 和 packages 内所有依赖
 pnpm i
-# 切换到应用目录
-cd projects/app 
-# 开发模式运行
+
+# 非 Make 运行
+cd projects/app
 pnpm dev
+
+# Make 运行
+make dev name=app
 ```
 
 ### 6. 部署打包
 
 ```bash
-# 根目录下执行
-docker build -t dockername/fastgpt:tag --build-arg name=app .
-# 使用代理
-docker build -t dockername/fastgpt:tag --build-arg name=app --build-arg proxy=taobao .
+# Docker cmd: Build image, not proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app
+# Make cmd: Build image, not proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1
+
+# Docker cmd: Build image with proxy
+docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app --build-arg proxy=taobao
+# Make cmd: Build image with proxy
+make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 proxy=taobao
 ```
 
 ## 提交代码至开源仓库
@@ -101,21 +112,21 @@ docker build -t dockername/fastgpt:tag --build-arg name=app --build-arg proxy=ta
 如果遇到问题，比如合并冲突或不知道如何打开拉取请求，请查看 GitHub 的[拉取请求教程](https://docs.github.com/en/pull-requests/collaborating-with-pull-requests)，了解如何解决合并冲突和其他问题。一旦您的 PR 被合并，您将自豪地被列为[贡献者表](https://github.com/labring/FastGPT/graphs/contributors)中的一员。
 
 
-
 ## QA
 
 ### 本地数据库无法连接
 
 1. 如果你是连接远程的数据库，先检查对应的端口是否开放。
 2. 如果是本地运行的数据库，可尝试`host`改成`localhost`或`127.0.0.1`
+3. 本地连接远程的 Mongo，需要增加 `directConnection=true` 参数，才能连接上副本集的数据库。
+4. mongo使用`mongocompass`客户端进行连接测试和可视化管理。
+5. pg使用`navicat`进行连接和管理。
 
 ### sh ./scripts/postinstall.sh 没权限
 
 FastGPT 在`pnpm i`后会执行`postinstall`脚本，用于自动生成`ChakraUI`的`Type`。如果没有权限，可以先执行`chmod -R +x ./scripts/`，再执行`pnpm i`。
 
-### 长时间运行后崩溃
-
-似乎是由于 tiktoken 库的开发环境问题，生产环境中未遇到，暂时可忽略。
+仍不可行的话，可以手动执行`./scripts/postinstall.sh`里的内容。
 
 ### TypeError: Cannot read properties of null (reading 'useMemo' )
 
@@ -133,3 +144,57 @@ FastGPT 在`pnpm i`后会执行`postinstall`脚本，用于自动生成`ChakraUI
 遇到困难了吗？有任何问题吗? 加入微信群与开发者和用户保持沟通。
 
 <img width="400px" src="https://oss.laf.run/htr4n1-images/fastgpt-qr-code.jpg" class="medium-zoom-image" />
+
+## 代码结构说明
+
+### nextjs
+
+FastGPT 使用了 nextjs 的 page route 作为框架。为了区分好前后端代码，在目录分配上会分成 global, service, web 3个自目录，分别对应着 `前后端共用`、`后端专用`、`前端专用`的代码。
+
+### monorepo
+FastGPT 采用 pnpm workspace 方式构建 monorepo 项目，主要分为两个部分：
+
+- projects/app - FastGPT 主项目  
+- packages/ - 子模块  
+  - global - 共用代码，通常是放一些前后端都能执行的函数、类型声明、常量。  
+  - service - 服务端代码  
+  - web - 前端代码  
+  - plugin - 工作流自定义插件的代码  
+
+### 领域驱动模式（DDD）
+
+FastGPT 在代码模块划分时，按DDD的思想进行划分，主要分为以下几个领域：
+
+core - 核心功能（知识库，工作流，应用，对话）
+support - 支撑功能（用户体系，计费，鉴权等）
+common - 基础功能（日志管理，文件读写等）
+
+{{% details title="代码结构说明" closed="true" %}}
+```
+.
+├── .github                      // github 相关配置
+├── .husky                       // 格式化配置
+├── docSite                      // 文档
+├── files                        // 一些外部文件，例如 docker-compose, helm
+├── packages                     // 子包
+│   ├── global                   // 前后端通用子包
+│   ├── plugins                  // 工作流插件（需要自定义包时候使用到）
+│   ├── service                  // 后端子包
+│   └── web                      // 前端子包
+├── projects
+│   └── app                      // FastGPT 主项目
+├── python                       // 存放一些模型代码，和 FastGPT 本身无关
+└── scripts                      // 一些自动化脚本
+    ├── icon                     // icon预览脚本，可以在顶层 pnpm initIcon(把svg写入到代码中), pnpm previewIcon（预览icon）
+    └── postinstall.sh           // chakraUI自定义theme初始化 ts 类型
+├── package.json                 // 顶层monorepo
+├── pnpm-lock.yaml
+├── pnpm-workspace.yaml          // monorepo 声明
+├── Dockerfile
+├── LICENSE
+├── README.md
+├── README_en.md
+├── README_ja.md
+├── dev.md
+```
+{{% /details %}}

docSite/content/docs/development/migration/ docker_mongo.md

@@ -0,0 +1,186 @@
+---
+title: "Docker Mongo迁移(dump模式)"
+description: "FastGPT Docker Mongo迁移"
+icon: database
+draft: false
+weight: 762
+---
+
+## 作者
+
+[https://github.com/samqin123](https://github.com/samqin123)
+
+[相关PR。有问题可打开这里与作者交流](https://github.com/labring/FastGPT/pull/1426)
+
+## 介绍
+
+如何使用Mongodump来完成从A环境到B环境的Fastgpt的mongodb迁移
+
+前提说明：
+
+ A环境：我在阿里云上部署的fastgpt，现在需要迁移到B环境。
+ B环境：是新环境比如腾讯云新部署的fastgpt，更特殊一点的是，NAS（群晖或者QNAP）部署了fastgpt，mongo必须改成4.2或者4.4版本（其实云端更方便，支持fastgpt mongo默认版本）
+ C环境：妥善考虑，用本地电脑作为C环境过渡，保存相关文件并分离操作
+‍
+
+## 1. 环境准备：进入 docker mongo 【A环境】
+``` 
+docker exec -it mongo sh
+mongo -u 'username' -p 'password'
+>> show dbs
+``` 
+看到fastgpt数据库，以及其它几个，确定下导出数据库名称
+准备：
+检查数据库，容器和宿主机都创建一下 backup 目录 【A环境 + C环境】
+
+##### 准备：
+
+检查数据库，容器和宿主机都创建一下“数据导出导入”临时目录 ，比如data/backup  【A环境建目录 + C环境建目录用于同步到容器中】
+
+#### 先在【A环境】创建文件目录，用于dump导出操作
+容器：（先进入fastgpt docker容器）
+``` 
+docker exec -it fastgpt sh
+mkdir -p /data/backup
+``` 
+
+建好后，未来导出mongo的数据，会在A环境本地fastgpt的安装目录/Data/下看到自动同步好的目录，数据会在data\backup中，然后可以衔接后续的压缩和下载转移动作。如果没有同步到本地，也可以手动建一下，配合docker cp 把文件拷到本地用（基本不会发生）
+
+#### 然后，【C环境】宿主机目录类似操作，用于把上传的文件自动同步到C环境部署的fastgpt容器里。
+到fastgpt目录，进入mongo目录，有data目录，下面建backup
+``` 
+mkdir -p /fastgpt/data/backup
+``` 
+准备好后，后续上传
+``` 
+### 新fastgpt环境【B】中也需要建一个，比如/fastgpt/mongobackup目录，注意不要在fastgpt/data目录下建立目录
+``` 
+mkdir -p /fastgpt/mongobackup
+``` 
+
+###2. 正题开始，从fastgpt老环境【A】中导出数据
+进入A环境，使用mongodump 导出mongo数据库。
+
+#### 2.1 导出 
+可以使用mongodump在源头容器中导出数据文件, 导出路径为上面指定临时目录，即"data\backup"
+
+[导出的文件在代码中指定为/data/backup，因为fastgpt配置文件已经建立了data的持久化，所以会同步到容器所在环境本地fast/mongo/data应该就能看到这个导出的目录：backup，里面有文件]
+
+一行指令导出代码，在服务器本地环境运行，不需要进入容器。
+``` 
+docker exec -it mongo bash -c "mongodump --db fastgpt -u 'username' -p 'password' --authenticationDatabase admin --out /data/backup"
+``` 
+
+也可以进入环境，熟手可以结合建目录，一次性完成建导出目录，以及使用mongodump导出数据到该目录
+``` 
+1.docker exec -it fastgpt sh
+
+2.mkdir -p /data/backup
+
+3. mongodump --host 127.0.0.1:27017 --db fastgpt -u "username" -p "password" --authenticationDatabase admin --out /data/backup
+‍
+
+##### 补充：万一没自动同步，也可以将mongodump导出的文件，手工导出到宿主机【A环境】，备用指令如下：
+``` 
+docker cp mongo:/data/backup   <A环境本地fastgpt目录>:/fastgpt/data/backup>
+‍``` 
+
+2.2  对新手，建议稳妥起见，压缩这个文件目录，并将压缩文件下载到本地过渡环境【A环境 -> C环境】；原因是因为留存一份，并且检查文件数量是否一致。
+
+        熟手可以直接复制到新部署服务器（腾讯云或者NAS）【A环境-> B环境】
+
+
+2.2.1 先进入  【A环境】源头系统的本地环境 fastgpt/mongo/data 目录
+
+``` 
+cd /usr/fastgpt/mongo/data 
+``` 
+
+#执行，压缩文件命令
+``` 
+tar -czvf ../fastgpt-mongo-backup-$(date +%Y-%m-%d).tar.gz ./  【A环境】
+``` 
+#接下来，把压缩包下载到本地 【A环境-> C环境】，以便于检查和留存版本。熟手，直接将该压缩包同步到B环境中新fastgpt目录data目录下备用。
+
+``` 
+scp  -i /Users/path/<user.pem换成你自己的pem文件链接> root@<fastgpt所在云服务器地址>:/usr/fastgpt/mongo/fastgptbackup-2024-05-03.tar.gz /<本地电脑路径>/Downloads/fastgpt
+
+``` 
+熟手直接换成新环境地址
+​
+``` 
+scp  -i /Users/path/<user.pem换成你自己的pem文件链接>  root@<老环境fastgpt服务器地址>:/usr/fastgpt/mongo/fastgptbackup-2024-05-03.tar.gz    root@<新环境fastgpt服务器地址>:/Downloads/fastgpt2 
+
+``` 
+
+2.2 【C环境】检查压缩文件是否完整，如果不完整，重新导出。事实上，我也出现过问题，因为跨环境scp会出现丢数据的情况。
+
+压缩数据包导入到C环境本地后，可以考虑在宿主机目录解压缩，放在一个自定义目录比如. < user/fastgpt/mongobackup/data>
+
+``` 
+tar -xvzf fastgptbackup-2024-05-03.tar.gz -C user/fastgpt/mongobackup/data
+``` 
+解压缩后里面是bson文件，这里可以检查下，压缩文件数量是否一致。如果不一致，后续启动新环境的fastgpt容器，也不会有任何数据。
+​
+<img width="1561" alt="image" src="https://github.com/labring/FastGPT/assets/103937568/cbb8a93c-5834-4a0d-be6c-c45c701f593e">
+
+
+如果没问题，准备进入下一步，将压缩包文件上传到B环境，也就是新fastgpt环境里的指定目录，比如/fastgpt/mongobackup, 注意不要放到fastgpt/data目录下，因为下面会先清空一次这个目录，否则导入会报错。
+``` 
+scp  -rfv <本地电脑路径>/Downloads/fastgpt/fastgptbackup-2024-05-03.tar.gz  root@<新环境fastgpt服务器地址>:/Downloads/fastgpt/backup
+``` 
+
+## 3 导入恢复：    实际恢复和导入步骤
+
+### 3.1. 进入新fastgpt本地环境的安装目录后，找到迁移的压缩文件包fastgptbackup-2024-05-03.tar.gz，解压缩到指定目录
+
+``` 
+tar -xvzf fastgptbackup-2024-05-03.tar.gz -C user/fastgpt/mongobackup/data
+``` 
+再次核对文件数量，和上面对比一下。
+
+熟手可以用tar指令检查文件完整性，上面是给新手准备的，便于比对核查。
+
+
+### 3.2 手动上传新fastgpt docker容器里备用 【C环境】
+说明：因为没有放在data里，所以不会自动同步到容器里。而且要确保容器的data目录被清理干净，否则导入时会报错。
+
+``` 
+docker cp user/fastgpt/mongobackup/data mongo:/tmp/backup
+‍``` 
+
+### 3.3 建议初始化一次docker compose ，运行后建立新的 mongo/data 持久化目录 
+如果不是初始化的 mongo/db 目录， mongorestore 导入可能会报错。如果报错，建议尝试初始化mongo。
+
+操作指令
+```
+cd /fastgpt安装目录/mongo/data
+rm -rf *
+``` 
+‍
+
+4.恢复： mongorestore 恢复 [C环境】
+简单一点，退回到本地环境，用 docker 命令一键导入，当然你也可以在容器里操作
+
+``` 
+docker exec -it mongo mongorestore -u "username" -p "password" --authenticationDatabase admin /tmp/backup/ --db fastgpt
+``` 
+<img width="1668" alt="image" src="https://github.com/labring/FastGPT/assets/103937568/32c2cdb8-bf80-4d31-9269-4bf3909cf04e">
+注意：导入文件数量量级太少，大概率是没导入成功的表现。如果导入不成功，新环境fastgpt可以登入，但是一片空白。
+
+
+5.重启容器 【C环境】
+``` 
+docker compose restart
+docker logs -f mongo  **强烈建议先检查mongo运行情况，在去做登陆动作，如果mongo报错，访问web也会报错”
+``` 
+
+如果mongo启动正常，显示的是类似这样的，而不是 “mongo is restarting”，后者就是错误
+<img width="1736" alt="iShot_2024-05-09_19 21 26" src="https://github.com/labring/FastGPT/assets/103937568/94ee00db-43de-48bd-a1fc-22dfe86aaa90">
+
+报错情况
+<img width="508" alt="iShot_2024-05-09_19 23 13" src="https://github.com/labring/FastGPT/assets/103937568/2e2afc9f-484c-4b63-93ee-1c14aef03de0">
+
+
+6. 启动fastgpt容器服务后，登陆新fastgpt web，能看到原来的数据库内容完整显示，说明已经导入系统了。
+<img width="1728" alt="iShot_2024-05-09_19 23 51" src="https://github.com/labring/FastGPT/assets/103937568/846b6157-6b6a-4468-a1d9-c44d681ebf7c">

docSite/content/docs/development/migration/_index.md

@@ -0,0 +1,9 @@
+---
+weight: 960
+title: "迁移&备份"
+description: "FastGPT 迁移&备份"
+icon: settings_backup_restore
+draft: false
+images: []
+---
+<!-- 960~970 -->

docSite/content/docs/development/migration/docker_db.md

@@ -0,0 +1,15 @@
+---
+weight: 762
+title: "Docker 数据库迁移(无脑操作)"
+description: "FastGPT Docker 数据库备份和迁移"
+icon: database
+draft: false
+images: []
+---
+
+## Copy文件
+
+Docker 部署数据库都会通过 volume 挂载本地的目录进入容器，如果要迁移，直接复制这些目录即可。
+
+`PG 数据`: pg/data
+`Mongo 数据`: mongo/data