feat: vision model (#489)

* mongo init

* perf: mongo connect

* perf: tts

perf: whisper and tts

peref: tts whisper permission

log

reabase (#488)

* perf: modal

* i18n

* perf: schema lean

* feat: vision model format

* perf: tts loading

* perf: static data

* perf: tts

* feat: image

* perf: image

* perf: upload image and title

* perf: image size

* doc

* perf: color

* doc

* speaking can not select file

* doc

.github/ISSUE_TEMPLATE/bugs.md

@@ -11,7 +11,7 @@ assignees: ''
 [//]: # '方框内填 x 表示打钩'
 
 - [ ] 我已确认目前没有类似 issue
-- [ ] 我已完整查看过项目 README，以及[项目文档](https://doc.fastgpt.run/docs/intro/)
+- [ ] 我已完整查看过项目 README，以及[项目文档](https://doc.fastgpt.in/docs/intro/)
 - [ ] 我使用了自己的 key，并确认我的 key 是可正常使用的
 - [ ] 我理解并愿意跟进此 issue，协助测试和提供反馈
 - [x] 我理解并认可上述内容，并理解项目维护者精力有限，**不遵循规则的 issue 可能会被无视或直接关闭**

.github/ISSUE_TEMPLATE/config.yml

@@ -1,5 +1,5 @@
 blank_issues_enabled: false
 contact_links:
   - name: 微信交流群
-    url: https://doc.fastgpt.run/wechat-fastgpt.webp
+    url: https://doc.fastgpt.in/wechat-fastgpt.webp
     about: FastGPT 全是问题群

.github/workflows/fastgpt-image-personal.yml

@@ -0,0 +1,52 @@
+name: Build FastGPT images in Personal warehouse
+on:
+  workflow_dispatch:
+  push:
+    paths:
+      - 'projects/app/**'
+      - 'packages/**'
+    branches:
+      - 'main'
+jobs:
+  build-fastgpt-images:
+    runs-on: ubuntu-20.04
+    if: github.repository != 'labring/FastGPT'
+    steps:
+      - name: Checkout
+        uses: actions/checkout@v3
+        with:
+          fetch-depth: 0
+      - name: Set up Docker Buildx
+        uses: docker/setup-buildx-action@v2
+        with:
+          driver-opts: network=host
+      - name: Cache Docker layers
+        uses: actions/cache@v3
+        with:
+          path: /tmp/.buildx-cache
+          key: ${{ runner.os }}-buildx-${{ github.sha }}
+          restore-keys: |
+            ${{ runner.os }}-buildx-
+      - name: Login to GitHub Container Registry
+        uses: docker/login-action@v2
+        with:
+          registry: ghcr.io
+          username: ${{ github.repository_owner }}
+          password: ${{ secrets.GH_PAT }}
+      - name: Set DOCKER_REPO_TAGGED based on branch or tag
+        run: |
+          echo "DOCKER_REPO_TAGGED=ghcr.io/${{ github.repository_owner }}/fastgpt:latest" >> $GITHUB_ENV
+      - name: Build and publish image for main branch or tag push event
+        env:
+          DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
+        run: |
+          docker buildx build \
+          --build-arg name=app \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
+          --label "org.opencontainers.image.description=fastgpt image" \
+          --push \
+          --cache-from=type=local,src=/tmp/.buildx-cache \
+          --cache-to=type=local,dest=/tmp/.buildx-cache \
+          -t ${DOCKER_REPO_TAGGED} \
+          -f Dockerfile \
+          .

.github/workflows/fastgpt-image.yml

@@ -5,8 +5,6 @@ on:
     paths:
       - 'projects/app/**'
       - 'packages/**'
-    branches:
-      - 'main'
     tags:
       - 'v*.*.*'
 jobs:
@@ -53,9 +51,8 @@ jobs:
           docker buildx build \
           --build-arg name=app \
           --platform linux/amd64,linux/arm64 \
-          --label "org.opencontainers.image.source=  https://github.com/  ${{ github.repository_owner }}/FastGPT" \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
           --label "org.opencontainers.image.description=fastgpt image" \
-          --label "org.opencontainers.image.licenses=Apache" \
           --push \
           --cache-from=type=local,src=/tmp/.buildx-cache \
           --cache-to=type=local,dest=/tmp/.buildx-cache \

.github/workflows/preview-image.yml

@@ -15,13 +15,16 @@ jobs:
       - name: Checkout
         uses: actions/checkout@v3
         with:
-          fetch-depth: 1
+          ref: ${{ github.event.pull_request.head.ref }}
+          repository: ${{ github.event.pull_request.head.repo.full_name }}
+          submodules: recursive # Fetch submodules
+          fetch-depth: 0 # Fetch all history for .GitInfo and .Lastmod
       - name: Set up Docker Buildx
         uses: docker/setup-buildx-action@v2
         with:
           driver-opts: network=host
       - name: Cache Docker layers
-        uses: actions/cache@v2
+        uses: actions/cache@v3
         with:
           path: /tmp/.buildx-cache
           key: ${{ runner.os }}-buildx-${{ github.sha }}
@@ -45,6 +48,7 @@ jobs:
           --label "org.opencontainers.image.source=  https://github.com/  ${{ github.repository_owner }}/FastGPT" \
           --label "org.opencontainers.image.description=fastgpt-pr image" \
           --label "org.opencontainers.image.licenses=Apache" \
+          --push \
           --cache-from=type=local,src=/tmp/.buildx-cache \
           --cache-to=type=local,dest=/tmp/.buildx-cache \
           -t ${DOCKER_REPO_TAGGED} \

Dockerfile

@@ -1,5 +1,5 @@
 # Install dependencies only when needed
-FROM node:current-alpine AS deps
+FROM node:18.15-alpine AS deps
 # Check https://github.com/nodejs/docker-node/tree/b4117f9333da4138b03a546ec926ef50a31506c3#nodealpine to understand why libc6-compat might be needed.
 RUN apk add --no-cache libc6-compat && npm install -g pnpm
 WORKDIR /app
@@ -10,34 +10,30 @@ ARG name
 COPY package.json pnpm-lock.yaml pnpm-workspace.yaml ./
 COPY ./packages ./packages
 COPY ./projects/$name/package.json ./projects/$name/package.json
-COPY ./projects/$name/pnpm-lock.yaml ./projects/$name/pnpm-lock.yaml
 
-RUN \
-  [ -f pnpm-lock.yaml ] && pnpm install || \
-  (echo "Lockfile not found." && exit 1)
+RUN [ -f pnpm-lock.yaml ] || (echo "Lockfile not found." && exit 1)
 
-RUN pnpm prune
+RUN pnpm install
 
 # Rebuild the source code only when needed
-FROM node:current-alpine AS builder
+FROM node:18.15-alpine AS builder
 WORKDIR /app
 
 ARG name
 
 # copy common node_modules and one project node_modules
+COPY package.json pnpm-workspace.yaml ./
 COPY --from=deps /app/node_modules ./node_modules
 COPY --from=deps /app/packages ./packages
 COPY ./projects/$name ./projects/$name
 COPY --from=deps /app/projects/$name/node_modules ./projects/$name/node_modules
-COPY pnpm-lock.yaml pnpm-workspace.yaml ./
-COPY ./packages ./packages
 
 # Uncomment the following line in case you want to disable telemetry during the build.
 ENV NEXT_TELEMETRY_DISABLED 1
 RUN npm install -g pnpm
 RUN pnpm --filter=$name run build
 
-FROM node:current-alpine AS runner
+FROM node:18.15-alpine AS runner
 WORKDIR /app
 
 ARG name

README.md

@@ -15,19 +15,19 @@ FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开
 
 <p align="center">
   <a href="https://fastgpt.run/">
-    <img height="21" src="https://img.shields.io/badge/在线使用-fff?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
+    <img height="21" src="https://img.shields.io/badge/在线使用-d4eaf7?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
   </a>
-  <a href="https://doc.fastgpt.run/docs/intro">
+  <a href="https://doc.fastgpt.in/docs/intro">
     <img height="21" src="https://img.shields.io/badge/相关文档-7d09f1?style=flat-square" alt="document">
   </a>
-  <a href="https://doc.fastgpt.run/docs/development">
-    <img height="21" src="https://img.shields.io/badge/本地开发-%23fff?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
+  <a href="https://doc.fastgpt.in/docs/development">
+    <img height="21" src="https://img.shields.io/badge/本地开发-%23d4eaf7?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
   </a>
   <a href="/#-%E7%9B%B8%E5%85%B3%E9%A1%B9%E7%9B%AE">
     <img height="21" src="https://img.shields.io/badge/相关项目-7d09f1?style=flat-square" alt="project">
   </a>
   <a href="https://github.com/labring/FastGPT/blob/main/LICENSE">
-    <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?style=flat-square&labelColor=fff&color=7d09f1" alt="license">
+    <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?style=flat-square&labelColor=d4eaf7&color=7d09f1" alt="license">
   </a>
 </p>
 
@@ -35,18 +35,23 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 
 ## 🛸 在线使用
 
-[fastgpt.run](https://fastgpt.run/)（服务器在新加坡，部分地区可能无法直连）
+- 🌐 国内版：[ai.fastgpt.in](https://ai.fastgpt.in/)
+- 🌍 海外版：[fastgpt.run](https://fastgpt.run/)
 
 |                                    |                                    |
 | ---------------------------------- | ---------------------------------- |
 | ![Demo](./.github/imgs/intro1.png) | ![Demo](./.github/imgs/intro2.png) |
 | ![Demo](./.github/imgs/intro3.png) | ![Demo](./.github/imgs/intro4.png) |
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 💡 功能
 
 1. 强大的可视化编排，轻松构建 AI 应用
    - [x] 提供简易模式，无需操作编排
-   - [x] 用户对话前引导, 全局字符串变量
+   - [x] 用户对话前引导，全局字符串变量
    - [x] 知识库搜索
    - [x] 多 LLM 模型对话
    - [x] 文本内容提取成结构化数据
@@ -55,12 +60,12 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] 对话下一步指引
    - [ ] 对话多路线选择
    - [x] 源文件引用追踪
-   - [ ] 自定义文件阅读器
+   - [x] 模块封装，实现多级复用
 2. 丰富的知识库预处理
    - [x] 多库复用，混用
    - [x] chunk 记录修改和删除
-   - [x] 支持 手动输入, 直接分段, QA 拆分导入
-   - [x] 支持 url 读取、 CSV 批量导入
+   - [x] 支持手动输入，直接分段，QA 拆分导入
+   - [x] 支持 url 读取、CSV 批量导入
    - [x] 支持知识库单独设置向量模型
    - [x] 源文件存储
    - [ ] 文件学习 Agent
@@ -70,16 +75,20 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] 完整上下文呈现
    - [x] 完整模块中间值呈现
 4. OpenAPI
-   - [x] completions 接口（对齐 GPT 接口）
+   - [x] completions 接口 (对齐 GPT 接口)
    - [ ] 知识库 CRUD
 5. 运营功能
    - [x] 免登录分享窗口
    - [x] Iframe 一键嵌入
    - [x] 统一查阅对话记录，并对数据进行标注
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 👨‍💻 开发
 
-项目技术栈: NextJs + TS + ChakraUI + Mongo + Postgres（Vector 插件）
+项目技术栈：NextJs + TS + ChakraUI + Mongo + Postgres (Vector 插件)
 
 - **⚡ 快速部署**
 
@@ -89,12 +98,17 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 
   由于需要部署数据库，部署完后需要等待 2~4 分钟才能正常访问。默认用了最低配置，首次访问时会有些慢。
 
-* [快开始本地开发](https://doc.fastgpt.run/docs/development/intro/)
-* [部署 FastGPT](https://doc.fastgpt.run/docs/installation)
-* [系统配置文件说明](https://doc.fastgpt.run/docs/development/configuration/)
-* [多模型配置](https://doc.fastgpt.run/docs/installation/one-api/)
-* [版本更新/升级介绍](https://doc.fastgpt.run/docs/installation/upgrading)
-* [API 文档](https://doc.fastgpt.run/docs/development/openapi/)
+* [快开始本地开发](https://doc.fastgpt.in/docs/development/intro/)
+* [部署 FastGPT](https://doc.fastgpt.in/docs/installation)
+* [系统配置文件说明](https://doc.fastgpt.in/docs/development/configuration/)
+* [多模型配置](https://doc.fastgpt.in/docs/installation/one-api/)
+* [版本更新/升级介绍](https://doc.fastgpt.in/docs/installation/upgrading)
+* [OpenAPI API 文档](https://doc.fastgpt.in/docs/development/openapi/)
+* [知识库结构详解](https://doc.fastgpt.in/docs/use-cases/datasetengine/)
+
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
 
 ## 🏘️ 社区交流群
 
@@ -102,12 +116,20 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 
 ![](https://otnvvf-imgs.oss.laf.run/wx300.jpg)
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 💪 相关项目
 
-- [Laf: 3 分钟快速接入三方应用](https://github.com/labring/laf)
-- [Sealos: 快速部署集群应用](https://github.com/labring/sealos)
-- [One API: 多模型管理，支持 Azure、文心一言等](https://github.com/songquanpeng/one-api)
-- [TuShan: 5 分钟搭建后台管理系统](https://github.com/msgbyte/tushan)
+- [Laf：3 分钟快速接入三方应用](https://github.com/labring/laf)
+- [Sealos：快速部署集群应用](https://github.com/labring/sealos)
+- [One API：多模型管理，支持 Azure、文心一言等](https://github.com/songquanpeng/one-api)
+- [TuShan：5 分钟搭建后台管理系统](https://github.com/msgbyte/tushan)
+
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
 
 ## 👀 其他
 
@@ -115,19 +137,31 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 - [接入飞书](https://www.bilibili.com/video/BV1Su4y1r7R3/?spm_id_from=333.999.0.0)
 - [接入企微](https://www.bilibili.com/video/BV1Tp4y1n72T/?spm_id_from=333.999.0.0)
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 🤝 第三方生态
 
-- [OnWeChat 个人微信/企微机器人](https://doc.fastgpt.run/docs/use-cases/onwechat/)
+- [OnWeChat 个人微信/企微机器人](https://doc.fastgpt.in/docs/use-cases/onwechat/)
+
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
 
 ## 🌟 Star History
 
 [![Star History Chart](https://api.star-history.com/svg?repos=labring/FastGPT&type=Date)](https://star-history.com/#labring/FastGPT&Date)
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 使用协议
 
 本仓库遵循 [FastGPT Open Source License](./LICENSE) 开源协议。
 
-1. 允许作为后台服务直接商用，但不允许直接使用 SaaS 服务商用。
-2. 需保留相关版权信息。
+1. 允许作为后台服务直接商用，但不允许提供 SaaS 服务。
+2. 未经商业授权，任何形式的商用服务均需保留相关版权信息。
 3. 完整请查看 [FastGPT Open Source License](./LICENSE)
-4. 联系方式：yujinlong@sealos.io, [点击查看定价策略](https://doc.fastgpt.run/docs/commercial)
+4. 联系方式：yujinlong@sealos.io，[点击查看商业版定价策略](https://doc.fastgpt.in/docs/commercial)

README_en.md

@@ -15,19 +15,19 @@ FastGPT is a knowledge-based Q&A system built on the LLM, offers out-of-the-box
 
 <p align="center">
   <a href="https://fastgpt.run/">
-    <img height="21" src="https://img.shields.io/badge/Website-fff?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
+    <img height="21" src="https://img.shields.io/badge/在线使用-d4eaf7?style=flat-square&logo=spoj&logoColor=7d09f1" alt="cloud">
   </a>
   <a href="https://doc.fastgpt.run/docs/intro">
-    <img height="21" src="https://img.shields.io/badge/Docs-7d09f1?style=flat-square" alt="document">
+    <img height="21" src="https://img.shields.io/badge/相关文档-7d09f1?style=flat-square" alt="document">
   </a>
   <a href="https://doc.fastgpt.run/docs/development">
-    <img height="21" src="https://img.shields.io/badge/Development-%23fff?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
+    <img height="21" src="https://img.shields.io/badge/本地开发-%23d4eaf7?style=flat-square&logo=xcode&logoColor=7d09f1" alt="development">
   </a>
   <a href="/#-%E7%9B%B8%E5%85%B3%E9%A1%B9%E7%9B%AE">
-    <img height="21" src="https://img.shields.io/badge/Related Projects-7d09f1?style=flat-square" alt="project">
+    <img height="21" src="https://img.shields.io/badge/相关项目-7d09f1?style=flat-square" alt="project">
   </a>
   <a href="https://github.com/labring/FastGPT/blob/main/LICENSE">
-    <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?style=flat-square&labelColor=fff&color=7d09f1" alt="license">
+    <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?style=flat-square&labelColor=d4eaf7&color=7d09f1" alt="license">
   </a>
 </p>
 
@@ -41,6 +41,10 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 | ![Demo](./.github/imgs/intro1.png) | ![Demo](./.github/imgs/intro2.png) |
 | ![Demo](./.github/imgs/intro3.png) | ![Demo](./.github/imgs/intro4.png) |
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 💡 Features
 
 1. Powerful visual workflows: Effortlessly craft AI applications
@@ -54,9 +58,9 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] Extend with HTTP
    - [ ] Embed Laf for on-the-fly HTTP module crafting
    - [x] Directions for the next dialogue steps
-   - [ ] Multiple dialogue paths selection
    - [x] Tracking source file references
    - [ ] Custom file reader
+   - [ ] Modules are packaged into plug-ins to achieve reuse
 
 2. Extensive knowledge base preprocessing
 
@@ -86,6 +90,10 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
    - [x] One-click embedding with Iframe
    - [ ] Unified access to dialogue records
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 👨‍💻 Development
 
 Project tech stack: NextJs + TS + ChakraUI + Mongo + Postgres (Vector plugin)
@@ -111,6 +119,10 @@ Project tech stack: NextJs + TS + ChakraUI + Mongo + Postgres (Vector plugin)
 | ------------------------------------------------- | ---------------------------------------------- |
 | ![](https://otnvvf-imgs.oss.laf.run/wxqun300.jpg) | ![](https://otnvvf-imgs.oss.laf.run/wx300.jpg) | -->
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 👀 Others
 
 - [FastGPT FAQ](https://kjqvjse66l.feishu.cn/docx/HtrgdT0pkonP4kxGx8qcu6XDnGh)
@@ -118,6 +130,10 @@ Project tech stack: NextJs + TS + ChakraUI + Mongo + Postgres (Vector plugin)
 - [Official Account Integration Video Tutorial](https://www.bilibili.com/video/BV1xh4y1t7fy/)
 - [FastGPT Knowledge Base Demo](https://www.bilibili.com/video/BV1Wo4y1p7i1/)
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 💪 Related Projects
 
 - [Laf: 3-minute quick access to third-party applications](https://github.com/labring/laf)
@@ -125,10 +141,18 @@ Project tech stack: NextJs + TS + ChakraUI + Mongo + Postgres (Vector plugin)
 - [One API: Multi-model management, supports Azure, Wenxin Yiyuan, etc.](https://github.com/songquanpeng/one-api)
 - [TuShan: Build a backend management system in 5 minutes](https://github.com/msgbyte/tushan)
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 🤝 Third-party Ecosystem
 
 - [luolinAI: Enterprise WeChat bot, ready to use](https://github.com/luolin-ai/FastGPT-Enterprise-WeChatbot)
 
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-Back_to_Top-7d09f1.svg" alt="#" align="right">
+</a>
+
 ## 🌟 Star History
 
 [![Star History Chart](https://api.star-history.com/svg?repos=labring/FastGPT&type=Date)](https://star-history.com/#labring/FastGPT&Date)

docSite/.zhlintignore

@@ -0,0 +1 @@
+*.html

docSite/.zhlintrc

@@ -0,0 +1,6 @@
+{
+  "preset": "default",
+  "rules": {
+    "adjustedFullWidthPunctuation": ""
+  }
+}

docSite/README.md

@@ -3,7 +3,7 @@
 ## 本地运行
 
 1. 安装 go 语言环境。
-2. 安装 hugo。 [二进制下载](https://github.com/gohugoio/hugo/releases/tag/v0.117.0)，注意需要安装 extended 版本。
+2. 安装 hugo。[二进制下载](https://github.com/gohugoio/hugo/releases/tag/v0.117.0)，注意需要安装 extended 版本。
 3. cd docSite
 4. hugo serve
 5. 访问 http://localhost:1313

docSite/content/docs/commercial.md

@@ -13,18 +13,20 @@ weight: 20
 
 ## 商业版
 
-商业版最终交付版本功能与 https://fastgpt.run 完全一致，品牌内容可自定义。
+商业版最终交付版本功能与 https://fastgpt.run 完全一致，品牌内容可自定义，商业授权时长同`License`有效期。
 
 {{% alert icon="🤖" context="warning" %}}
-商业版与开源版功能差异：（目前计划）
+商业版比开源版额外增加的内容：（目前计划）
 
-1. 自定义 title 和 logo
+1. 可自定义 title 和 logo
 2. 用户注册，支付 （已有微信扫码支付，后续会补充支付方式）
 3. API 访问限制，可配置：额度、过期时间
-4. 团队空间 （计划）
-5. 完善的 OpenAPI（计划）
-6. 高级编排额外插件（计划）
-7. 后台管理系统   
+4. 分享链接限制，可配置：额度、过期时间、QPM、身份验证Hook
+5. 内容审核（目前对接了百度）
+6. 团队空间 （计划）
+7. 完善的 OpenAPI（计划）
+8. 高级编排额外插件（计划）
+9. 后台管理系统   
   a. 查询：用户、支付、应用、知识库  
   b. 变更：用户  
   c. 新增：用户  
@@ -36,7 +38,7 @@ weight: 20
 
 + 使用 [Sealos 公有云](https://sealos.io)部署：1万元/年/套 （无部署费用。赠送 8000 sealos 公有云额度，可用于 FastGPT 或其他云资源）。
 + 渠道商使用 Sealos 部署：返现 20% 成交额。
-+ 私有服务器部署：2万元/年/套（如需部署支持，按技术服务费计算）
++ 私有服务器部署：2万元/年/套
 + 渠道商私有服务器部署：1.3万元/年/套（渠道商合同单独约谈，累计 5 套以上可签）
 
 #### 用户注册数量费用（按注册量算，不计量分享和 API）
@@ -81,7 +83,7 @@ weight: 20
    
    完整版应用 = 开源版镜像 + 商业版镜像
 
-   我们会提供一个商业版镜像给你使用，该镜像需要一个 license 启动，license 有效期为 1 年。此外，还会提供一个简单的后台管理系统（目前只设置了简单的查询功能）
+   我们会提供一个商业版镜像给你使用，该镜像需要一个 License 启动，License 有效期为 1 年。此外，还会提供一个简单的后台管理系统（目前只设置了简单的查询功能）
 
 2. 二次开发如何操作？
    

docSite/content/docs/custom-models/chatglm2-m3e.md

@@ -63,15 +63,15 @@ Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One
 
 ```json
 "ChatModels": [
-  //已有模型
+  //其他对话模型
   {
     "model": "chatglm2",
     "name": "chatglm2",
-    "contextMaxToken": 8000,
+    "maxToken": 8000,
+    "price": 0,
     "quoteMaxToken": 4000,
     "maxTemperature": 1.2,
-    "price": 0,
-    "defaultSystem": ""
+    "defaultSystemChatPrompt": ""
   }
 ],
 "VectorModels": [

docSite/content/docs/custom-models/chatglm2.md

@@ -107,11 +107,11 @@ Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One
   {
     "model": "chatglm2",
     "name": "chatglm2",
-    "contextMaxToken": 8000,
+    "maxToken": 8000,
+    "price": 0,
     "quoteMaxToken": 4000,
     "maxTemperature": 1.2,
-    "price": 0,
-    "defaultSystem": ""
+    "defaultSystemChatPrompt": ""
   }
 ]
 ```

docSite/content/docs/development/configuration.md

@@ -21,77 +21,140 @@ weight: 520
 ```json
 {
   "SystemParams": {
+    "pluginBaseUrl": "", // 商业版接口地址
     "vectorMaxProcess": 15, // 向量生成最大进程，结合数据库性能和 key 来设置
     "qaMaxProcess": 15,  // QA 生成最大进程，结合数据库性能和 key 来设置
-    "pgIvfflatProbe": 20  // pg vector 搜索探针。没有设置索引前可忽略，通常 50w 组以上才需要设置。
+    "pgHNSWEfSearch": 100  // pg vector 索引参数，越大精度高但速度慢
   },
   "ChatModels": [
     {
-      "model": "gpt-3.5-turbo",
-      "name": "GPT35-4k",
-      "contextMaxToken": 4000, // 最大token，均按 gpt35 计算
-      "quoteMaxToken": 2000, // 引用内容最大 token
-      "maxTemperature": 1.2, // 最大温度
-      "price": 0,
-      "defaultSystem": ""
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "price": 0, // 除以 100000 后等于1个token的价格
+      "maxContext": 16000, // 最大上下文长度
+      "maxResponse": 4000, // 最大回复长度
+      "quoteMaxToken": 2000, // 最大引用内容长度
+      "maxTemperature": 1.2, // 最大温度值
+      "censor": false, // 是否开启敏感词过滤(商业版)
+      "vision": false, // 支持图片输入
+      "defaultSystemChatPrompt": ""
     },
     {
       "model": "gpt-3.5-turbo-16k",
       "name": "GPT35-16k",
-      "contextMaxToken": 16000,
+      "maxContext": 16000,
+      "maxResponse": 16000,
+      "price": 0,
       "quoteMaxToken": 8000,
       "maxTemperature": 1.2,
-      "price": 0,
-      "defaultSystem": ""
+      "censor": false,
+      "vision": false,
+      "defaultSystemChatPrompt": ""
     },
     {
       "model": "gpt-4",
       "name": "GPT4-8k",
-      "contextMaxToken": 8000,
+      "maxContext": 8000,
+      "maxResponse": 8000,
+      "price": 0,
       "quoteMaxToken": 4000,
       "maxTemperature": 1.2,
+      "censor": false,
+      "vision": false,
+      "defaultSystemChatPrompt": ""
+    },
+    {
+      "model": "gpt-4-vision-preview",
+      "name": "GPT4-Vision",
+      "maxContext": 128000,
+      "maxResponse": 4000,
       "price": 0,
-      "defaultSystem": ""
+      "quoteMaxToken": 100000,
+      "maxTemperature": 1.2,
+      "censor": false,
+      "vision": true,
+      "defaultSystemChatPrompt": ""
+    }
+  ],
+  "QAModels": [
+    {
+      "model": "gpt-3.5-turbo-16k",
+      "name": "GPT35-16k",
+      "maxContext": 16000,
+      "maxResponse": 16000,
+      "price": 0
+    }
+  ],
+  "CQModels": [
+    {
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "maxContext": 16000,
+      "maxResponse": 4000,
+      "price": 0,
+      "functionCall": true,
+      "functionPrompt": ""
+    },
+    {
+      "model": "gpt-4",
+      "name": "GPT4-8k",
+      "maxContext": 8000,
+      "maxResponse": 8000,
+      "price": 0,
+      "functionCall": true,
+      "functionPrompt": ""
+    }
+  ],
+  "ExtractModels": [
+    {
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "maxContext": 16000,
+      "maxResponse": 4000,
+      "price": 0,
+      "functionCall": true,
+      "functionPrompt": ""
+    }
+  ],
+  "QGModels": [
+    {
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "maxContext": 1600,
+      "maxResponse": 4000,
+      "price": 0
     }
   ],
   "VectorModels": [
     {
       "model": "text-embedding-ada-002",
       "name": "Embedding-2",
-      "price": 0,
-      "defaultToken": 500,
+      "price": 0.2,
+      "defaultToken": 700,
       "maxToken": 3000
     }
   ],
-  "QAModel": { // QA 拆分模型
-    "model": "gpt-3.5-turbo-16k",
-    "name": "GPT35-16k",
-    "maxToken": 16000,
+  "AudioSpeechModels": [
+    {
+      "model": "tts-1",
+      "name": "OpenAI TTS1",
+      "price": 0,
+      "baseUrl": "",
+      "key": "",
+      "voices": [
+        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
+        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
+        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
+        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
+        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
+        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
+      ]
+    }
+  ],
+  "WhisperModel": {
+    "model": "whisper-1",
+    "name": "Whisper1",
     "price": 0
-  },
-  "ExtractModel": { // 内容提取模型
-    "model": "gpt-3.5-turbo-16k",
-    "functionCall": true, // 是否使用 functionCall
-    "name": "GPT35-16k",
-    "maxToken": 16000,
-    "price": 0,
-    "prompt": ""
-  },
-  "CQModel": { // Classify Question: 问题分类模型
-    "model": "gpt-3.5-turbo-16k",
-    "functionCall": true,
-    "name": "GPT35-16k",
-    "maxToken": 16000,
-    "price": 0,
-    "prompt": ""
-  },
-  "QGModel": { // Question Generation: 生成下一步指引模型
-    "model": "gpt-3.5-turbo",
-    "name": "GPT35-4k",
-    "maxToken": 4000,
-    "price": 0,
-    "prompt": "",
-    "functionCall": false
   }
 }
 ```

docSite/content/docs/development/intro.md

@@ -54,7 +54,7 @@ git clone git@github.com:<github_username>/FastGPT.git
 
 **环境变量**
 
-复制.env.template 文件，生成一个.env.local 环境变量文件夹，修改.env.local 里内容才是有效的变量。变量说明见 .env.template
+复制.env.template 文件，在同级目录下生成一个.env.local 文件，修改.env.local 里内容才是有效的变量。变量说明见 .env.template
 
 **config 配置文件**
 
@@ -66,7 +66,7 @@ git clone git@github.com:<github_username>/FastGPT.git
 
 - `vectorMaxProcess`: 向量生成最大进程，根据数据库和 key 的并发数来决定，通常单个 120 号，2c4g 服务器设置 10~15。
 - `qaMaxProcess`: QA 生成最大进程
-- `pgIvfflatProbe`: PostgreSQL vector 搜索探针，没有添加 vector 索引时可忽略。
+- `pgHNSWEfSearch`: PostgreSQL vector 索引参数，越大搜索精度越高但是速度越慢，具体可看 pgvector 官方说明。
 
 ### 5. 运行
 
@@ -94,7 +94,16 @@ docker build -t dockername/fastgpt --build-arg name=app .
 
 如果遇到问题，比如合并冲突或不知道如何打开拉取请求，请查看 GitHub 的[拉取请求教程](https://docs.github.com/en/pull-requests/collaborating-with-pull-requests)，了解如何解决合并冲突和其他问题。一旦您的 PR 被合并，您将自豪地被列为[贡献者表](https://github.com/labring/FastGPT/graphs/contributors)中的一员。
 
-## 加入社区
+
+
+## QA
+
+### 本地数据库无法连接
+
+1. 如果你是连接远程的数据库，先检查对应的端口是否开放。
+2. 如果是本地运行的数据库，可尝试`host`改成`localhost`或`127.0.0.1`
+
+### 加入社区
 
 遇到困难了吗？有任何问题吗? 加入微信群与开发者和用户保持沟通。
 

docSite/content/docs/development/openApi.md

@@ -120,7 +120,7 @@ event: answer
 data: [DONE]
 
 event: appStreamResponse
-data: [{"moduleName":"KB Search","price":1.2000000000000002,"model":"Embedding-2","tokens":6,"similarity":0.61,"limit":3},{"moduleName":"AI Chat","price":463.5,"model":"FastAI-4k","tokens":309,"question":"导演是谁","answer":"电影《铃芽之旅》的导演是新海诚。","maxToken":2050,"quoteList":[{"kb_id":"646627f4f7b896cfd8910e38","id":"8099","q":"本作的主人公是谁？","a":"本作的主人公是名叫铃芽的少女。","source":"手动修改"},{"kb_id":"646627f4f7b896cfd8910e38","id":"8686","q":"电影《铃芽之旅》男主角是谁？","a":"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。","source":""},{"kb_id":"646627f4f7b896cfd8910e38","id":"19339","q":"电影《铃芽之旅》的导演是谁？22","a":"电影《铃芽之旅》的导演是新海诚。","source":"手动修改"}],"completeMessages":[{"obj":"System","value":"下面是知识库内容:\n1. [本作的主人公是谁？\n本作的主人公是名叫铃芽的少女。]\n2. [电影《铃芽之旅》男主角是谁？\n电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。]\n3. [电影《铃芽之旅》的导演是谁？22\n电影《铃芽之旅》的导演是新海诚。]\n"},{"obj":"System","value":"1.请记住，你的身份是百度的下一代知识增强语言模型，能够完全根据知识库提供的内容回答问题。\n\n2. 你忘记了关于电影《铃芽之旅》以外的内容。"},{"obj":"System","value":"你仅回答关于电影《玲芽之旅》的问题，其余问题直接回复: 我不清楚。"},{"obj":"Human","value":"导演是谁"},{"obj":"AI","value":"电影《铃芽之旅》的导演是新海诚。"}]}]
+data: [{"moduleName":"KB Search","price":1.2000000000000002,"model":"Embedding-2","tokens":6,"similarity":0.61,"limit":3},{"moduleName":"AI Chat","price":463.5,"model":"FastAI-4k","tokens":309,"question":"导演是谁","answer":"电影《铃芽之旅》的导演是新海诚。","maxToken":2050,"quoteList":[{"dataset_id":"646627f4f7b896cfd8910e38","id":"8099","q":"本作的主人公是谁？","a":"本作的主人公是名叫铃芽的少女。","source":"手动修改"},{"dataset_id":"646627f4f7b896cfd8910e38","id":"8686","q":"电影《铃芽之旅》男主角是谁？","a":"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。","source":""},{"dataset_id":"646627f4f7b896cfd8910e38","id":"19339","q":"电影《铃芽之旅》的导演是谁？22","a":"电影《铃芽之旅》的导演是新海诚。","source":"手动修改"}],"completeMessages":[{"obj":"System","value":"下面是知识库内容:\n1. [本作的主人公是谁？\n本作的主人公是名叫铃芽的少女。]\n2. [电影《铃芽之旅》男主角是谁？\n电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。]\n3. [电影《铃芽之旅》的导演是谁？22\n电影《铃芽之旅》的导演是新海诚。]\n"},{"obj":"System","value":"1.请记住，你的身份是百度的下一代知识增强语言模型，能够完全根据知识库提供的内容回答问题。\n\n2. 你忘记了关于电影《铃芽之旅》以外的内容。"},{"obj":"System","value":"你仅回答关于电影《玲芽之旅》的问题，其余问题直接回复: 我不清楚。"},{"obj":"Human","value":"导演是谁"},{"obj":"AI","value":"电影《铃芽之旅》的导演是新海诚。"}]}]
 
 ```
 {{< /markdownify >}}
@@ -150,21 +150,21 @@ data: [{"moduleName":"KB Search","price":1.2000000000000002,"model":"Embedding-2
             "maxToken": 2050,
             "quoteList": [
                 {
-                    "kb_id": "646627f4f7b896cfd8910e38",
+                    "dataset_id": "646627f4f7b896cfd8910e38",
                     "id": "8099",
                     "q": "本作的主人公是谁？",
                     "a": "本作的主人公是名叫铃芽的少女。",
                     "source": "手动修改"
                 },
                 {
-                    "kb_id": "646627f4f7b896cfd8910e38",
+                    "dataset_id": "646627f4f7b896cfd8910e38",
                     "id": "8686",
                     "q": "电影《铃芽之旅》男主角是谁？",
                     "a": "电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。",
                     "source": ""
                 },
                 {
-                    "kb_id": "646627f4f7b896cfd8910e38",
+                    "dataset_id": "646627f4f7b896cfd8910e38",
                     "id": "19339",
                     "q": "电影《铃芽之旅》的导演是谁？22",
                     "a": "电影《铃芽之旅》的导演是新海诚。",
@@ -225,9 +225,9 @@ data: [{"moduleName":"KB Search","price":1.2000000000000002,"model":"Embedding-2
 此部分 API 需使用全局通用的 API Key。
 {{% /alert %}}
 
-| 如何获取知识库ID（kbId） | 如何获取文件ID（file_id） |
+| 如何获取知识库ID（datasetId） | 如何获取文件ID（file_id） |
 | --------------------- | --------------------- |
-| ![](/imgs/getKbId.png) | ![](/imgs/getfile_id.png) |
+| ![](/imgs/getDatasetId.png) | ![](/imgs/getfile_id.png) |
 
 
 ### 知识库添加数据
@@ -241,7 +241,7 @@ curl --location --request POST 'https://fastgpt.run/api/core/dataset/data/pushDa
 --header 'Authorization: Bearer apikey' \
 --header 'Content-Type: application/json' \
 --data-raw '{
-    "kbId": "64663f451ba1676dbdef0499",
+    "collectionId": "64663f451ba1676dbdef0499",
     "mode": "index",
     "prompt": "qa 拆分引导词，index 模式下可以忽略",
     "billId": "可选。如果有这个值，本次的数据会被聚合到一个订单中，这个值可以重复使用。可以参考 [创建训练订单] 获取该值。",
@@ -268,7 +268,7 @@ curl --location --request POST 'https://fastgpt.run/api/core/dataset/data/pushDa
 
 ```json
 {
-    "kbId": "知识库的ID，可以在知识库详情查看。",
+    "collectionId": "文件的ID，参考上面的第二张图",
     "mode": "index | qa ", //  index 模式: 直接将 q 转成向量存起来，a 直接入库。qa 模式: 只关注 data 里的 q，将 q 丢给大模型，让其根据 prompt 拆分成 qa 问答对。  
     "prompt": "拆分提示词，需严格按照模板，建议不要传入。",
     "data": [
@@ -351,7 +351,7 @@ curl --location --request POST 'https://fastgpt.run/api/core/dataset/searchTest'
 --header 'Authorization: Bearer apiKey' \
 --header 'Content-Type: application/json' \
 --data-raw '{
-    "kbId": "xxxxx",
+    "datasetId": "知识库的ID",
     "text": "导演是谁"
 }'
 ```
@@ -393,7 +393,7 @@ curl --location --request POST 'https://fastgpt.run/api/core/dataset/searchTest'
 **请求示例**
 
 ```bash
-curl --location --request POST 'https://fastgpt.run/api/common/bill/createTrainingBill' \
+curl --location --request POST 'https://fastgpt.run/api/support/wallet/bill/createTrainingBill' \
 --header 'Authorization: Bearer {{apikey}}' \
 --header 'Content-Type: application/json' \
 --data-raw ''
@@ -487,21 +487,21 @@ curl --location --request POST '{{host}}/shareAuth/finish' \
             "maxToken": 2050,
             "quoteList": [
                 {
-                    "kb_id": "646627f4f7b896cfd8910e38",
+                    "dataset_id": "646627f4f7b896cfd8910e38",
                     "id": "8099",
                     "q": "本作的主人公是谁？",
                     "a": "本作的主人公是名叫铃芽的少女。",
                     "source": "手动修改"
                 },
                 {
-                    "kb_id": "646627f4f7b896cfd8910e38",
+                    "dataset_id": "646627f4f7b896cfd8910e38",
                     "id": "8686",
                     "q": "电影《铃芽之旅》男主角是谁？",
                     "a": "电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。",
                     "source": ""
                 },
                 {
-                    "kb_id": "646627f4f7b896cfd8910e38",
+                    "dataset_id": "646627f4f7b896cfd8910e38",
                     "id": "19339",
                     "q": "电影《铃芽之旅》的导演是谁？22",
                     "a": "电影《铃芽之旅》的导演是新海诚。",

docSite/content/docs/installation/docker.md

@@ -9,6 +9,8 @@ weight: 720
 
 ## 准备条件
 
+服务器要求：2C2G 起
+
 ### 1. 准备好代理环境（国外服务器可忽略）
 
 确保可以访问 OpenAI，具体方案可以参考：[代理方案](/docs/installation/proxy/)。或直接在 Sealos 上 [部署 OneAPI](/docs/installation/one-api)，既解决代理问题也能实现多 Key 轮询、接入其他大模型。
@@ -70,9 +72,9 @@ brew install orbstack
 
 依次执行下面命令，创建 FastGPT 文件并拉取`docker-compose.yml`和`config.json`，执行完后目录下会有 2 个文件。
 
-非 Linux 环境，可手动创建目录，并下载这2个文件。
+非 Linux 环境或无法访问外网环境，可手动创建一个目录，并下载下面2个链接的文件: [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml),[config.json](https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json)
 
-**注意: 配置文件中 Mongo 为 5.x，部分服务器不支持，需手动更改其镜像版本为 4.4.24**
+**注意: `docker-compose.yml` 配置文件中 Mongo 为 5.x，部分服务器不支持，需手动更改其镜像版本为 4.4.24**
 
 ```bash
 mkdir fastgpt
@@ -118,7 +120,12 @@ docker-compose up -d
 1. `docker logs fastgpt` 可以查看日志，在启动容器后，第一次请求网页，会进行配置文件读取，可以看看有没有读取成功以及有无错误日志。
 2. `docker exec -it fastgpt sh` 进入 FastGPT 容器，可以通过`ls data`查看目录下是否成功挂载`config.json`文件。可通过`cat data/config.json`查看配置文件。
 
-### 为什么无法连接 oneapi 和 本地模型镜像。
+**可能不生效的原因**
+
+1. 挂载目录不正确
+2. 配置文件不正确，日志中会提示`invalid json`，配置文件需要是标准的 JSON 文件。
+
+### 为什么无法连接`本地模型`镜像。
 
 `docker-compose.yml`中使用了桥接的模式建立了`fastgpt`网络，如想通过0.0.0.0或镜像名访问其它镜像，需将其它镜像也加入到网络中。
 
@@ -132,6 +139,21 @@ docker-compose 端口定义为：`映射端口:运行端口`。
 
 （自行补习 docker 基本知识）
 
+### relation "modeldata" does not exist
+
+PG 数据库没有连接上/初始化失败，可以查看日志。FastGPT 会在每次连接上 PG 时进行表初始化，如果报错会有对应日志。
+
+1. 检查数据库容器是否正常启动
+2. 非 docker 部署的，需要手动安装 pg vector 插件
+3. 查看 fastgpt 日志，有没有相关报错
+
+### Operation `auth_codes.findOne()` buffering timed out after 10000ms
+
+mongo连接失败，检查
+1. mongo 服务有没有起来(有些 cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x，可以dockerhub找个最新的4.x，修改镜像版本，重新运行）
+2. 环境变量（账号密码，注意host和port）
+
+
 ### 错误排查方式
 
 遇到问题先按下面方式排查。

docSite/content/docs/installation/one-api.md

@@ -99,12 +99,12 @@ CHAT_API_KEY=sk-xxxxxx
     {
       "model": "ERNIE-Bot", // 这里的模型需要对应 One API 的模型
       "name": "文心一言", // 对外展示的名称
-      "contextMaxToken": 4000, // 最大长下文 token，无论什么模型都按 GPT35 的计算。GPT 外的模型需要自行大致计算下这个值。可以调用官方接口去比对 Token 的倍率，然后在这里粗略计算。
+      "maxContext": 8000, // 最大长下文 token，无论什么模型都按 GPT35 的计算。GPT 外的模型需要自行大致计算下这个值。可以调用官方接口去比对 Token 的倍率，然后在这里粗略计算。
+      "maxResponse": 4000, // 最大回复 token
       // 例如：文心一言的中英文 token 基本是 1:1，而 GPT 的中文 Token 是 2:1，如果文心一言官方最大 Token 是 4000，那么这里就可以填 8000，保险点就填 7000.
       "quoteMaxToken": 2000, // 引用知识库的最大 Token
       "maxTemperature": 1, // 最大温度
-      "price": 0, // 1个token 价格 => 1.5 / 100000 * 1000 = 0.015元/1k token
-      "defaultSystem": "" // 默认的系统提示词
+      "defaultSystemChatPrompt": "" // 默认的系统提示词
     }
     ...
 ],

docSite/content/docs/installation/upgrading/447.md

@@ -1,5 +1,5 @@
 ---
-title: 'V4.4.7'
+title: 'V4.4.7（需执行升级脚本）'
 description: 'FastGPT V4.4.7 更新（需执行升级脚本）'
 icon: 'upgrade'
 draft: false
@@ -11,7 +11,7 @@ weight: 840
 
 发起 1 个 HTTP 请求（{{rootkey}} 替换成环境变量里的`rootkey`，{{host}}替换成自己域名）
 
-1. https://xxxxx/api/admin/initv445
+1. https://xxxxx/api/admin/initv447
 
 ```bash
 curl --location --request POST 'https://{{host}}/api/admin/initv447' \
@@ -28,4 +28,4 @@ curl --location --request POST 'https://{{host}}/api/admin/initv447' \
 1. 优化了数据库文件 crud。
 2. 兼容链接读取，作为 source。
 3. 区分手动录入和标注，可追数据至某个文件。
-4. 升级 openai sdk。
+4. 升级 openai sdk。

docSite/content/docs/installation/upgrading/45.md

@@ -0,0 +1,93 @@
+---
+title: 'V4.5(需进行较为复杂更新)'
+description: 'FastGPT V4.5 更新'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 839
+---
+
+FastGPT V4.5 引入 PgVector0.5 版本的 HNSW 索引，极大的提高了知识库检索的速度，比起`IVFFlat`索引大致有3~10倍的性能提升，可轻松实现百万数据毫秒级搜索。缺点在于构建索引的速度非常慢，4c16g 500w 组数据使用`并行构建`大约花了 48 小时。具体参数配置可参考 [PgVector官方](https://github.com/pgvector/pgvector)
+
+下面需要对数据库进行一些操作升级：
+
+## PgVector升级：Sealos 部署方案
+
+1. 点击[Sealos桌面](https://cloud.sealos.io)的数据库应用。
+2. 点击【pg】数据库的详情。
+3. 点击右上角的重启，等待重启完成。
+4. 点击左侧的一键链接，等待打开 Terminal。
+5. 依次输入下方 sql 命令
+
+```sql
+-- 升级插件名
+ALTER EXTENSION vector UPDATE;
+-- 插件是否升级成功，成功的话，vector插件版本为 0.5.0，旧版的为 0.4.1
+\dx
+
+-- 下面两个语句会设置 pg 在构建索引时可用的内存大小，需根据自身的数据库规格来动态配置，可配置为 1/4 的内存大小
+alter system set maintenance_work_mem = '2400MB'; 
+select pg_reload_conf();
+
+-- 重构数据库索引和排序
+REINDEX DATABASE postgres;
+
+-- 开始构建索引，该索引构建时间非常久，直接点击右上角的叉，退出 Terminal 即可
+CREATE INDEX CONCURRENTLY vector_index ON modeldata USING hnsw (vector vector_ip_ops) WITH (m = 16, ef_construction = 64);
+-- 可以再次点击一键链接，进入 Terminal，输入下方命令，如果看到 "vector_index" hnsw (vector vector_ip_ops) WITH (m='16', ef_construction='64') 则代表构建完成（注意，后面没有 INVALID）
+\d modeldata
+```
+
+|                       |                       |
+| --------------------- | --------------------- |
+| ![](/imgs/v45-1.png) | ![](/imgs/v45-2.png) |
+| ![](/imgs/v45-3.png) | ![](/imgs/v45-4.png) |
+
+
+
+## PgVector升级：Docker-compose.yml 部署方案
+
+下面的命令是基于给的 docker-compose 模板，如果数据库账号密码更换了，请自行调整。
+
+1. 修改 `docker-compose.yml` 中pg的镜像版本，改成 `ankane/pgvector:v0.5.0` 或 `registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0`
+2. 重启 pg 容器(docker-compose pull && docker-compose up -d)，等待重启完成。
+3. 进入容器: `docker exec -it pg bash`
+4. 连接数据库: `psql 'postgresql://username:password@localhost:5432/postgres'`
+5. 执行下面 sql 命令
+
+```sql
+-- 升级插件名
+ALTER EXTENSION vector UPDATE;
+-- 插件是否升级成功，成功的话，vector插件版本为 0.5.0，旧版的为 0.4.2
+\dx
+
+-- 下面两个语句会设置 pg 在构建索引时可用的内存大小，需根据自身的数据库规格来动态配置，可配置为 1/4 的内存大小
+alter system set maintenance_work_mem = '2400MB'; 
+select pg_reload_conf();
+
+-- 重构数据库索引和排序
+REINDEX DATABASE postgres;
+ALTER DATABASE postgres REFRESH COLLATION VERSION;
+
+-- 开始构建索引，该索引构建时间非常久，直接关掉终端即可，不要使用 ctrl+c 关闭
+CREATE INDEX CONCURRENTLY vector_index ON modeldata USING hnsw (vector vector_ip_ops) WITH (m = 16, ef_construction = 64);
+-- 可以再次连接数据库，输入下方命令。如果看到 "vector_index" hnsw (vector vector_ip_ops) WITH (m='16', ef_construction='64') 则代表构建完成（注意，后面没有 INVALID）
+\d modeldata
+
+
+```
+
+## 版本新功能介绍
+
+### Fast GPT V4.5
+
+1. 新增 - 升级 PgVector 插件，引入 HNSW 索引，极大加快的知识库搜索速度。
+2. 新增 - AI对话模块，增加【返回AI内容】选项，可控制 AI 的内容不直接返回浏览器。
+3. 新增 - 支持问题分类选择模型
+4. 优化 - TextSplitter，采用递归拆解法。
+5. 优化 - 高级编排 UX 性能
+6. 修复 - 分享链接鉴权问题
+
+## 该版本需要修改 `config.json` 文件
+
+最新配置可参考: [V45版本最新 config.json](/docs/development/configuration)

docSite/content/docs/installation/upgrading/451.md

@@ -0,0 +1,35 @@
+---
+title: 'V4.5.1(需进行初始化)'
+description: 'FastGPT V4.5.1 更新'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 838
+---
+
+## 执行初始化 API
+
+发起 1 个 HTTP 请求（{{rootkey}} 替换成环境变量里的`rootkey`，{{host}}替换成自己域名）
+
+1. https://xxxxx/api/admin/initv451
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv451' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+初始化内容：
+1. rename 数据库字段
+2. 初始化 Mongo APP 表中知识库的相关字段
+3. 初始化 PG 和 Mongo 的内容，为每个文件创建一个集合（存储 Mongo 中），并反馈赋值给 PG。
+
+**该初始化接口可能速度很慢，返回超时不用管，注意看日志即可**
+
+## 功能介绍
+
+### Fast GPT V4.5.1
+
+1. 新增知识库文件夹管理
+2. 修复了 openai4.x sdk 无法兼容 oneapi 的智谱和阿里的接口。
+3. 修复部分模块无法触发完成事件

docSite/content/docs/installation/upgrading/452.md

@@ -0,0 +1,15 @@
+---
+title: 'V4.5.2'
+description: 'FastGPT V4.5.2 更新'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 837
+---
+
+## 功能介绍
+
+### Fast GPT V4.5.2
+
+1. 新增 - 模块插件，允许自行组装插件进行模块复用。
+2. 优化 - 知识库引用提示。

docSite/content/docs/installation/upgrading/46.md

@@ -0,0 +1,67 @@
+---
+title: 'V4.6(需要初始化)'
+description: 'FastGPT V4.6 更新'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 836
+---
+
+**V4.6 版本加入了简单的团队功能，可以邀请其他用户进来管理资源。该版本升级后无法执行旧的升级脚本，且无法回退。**
+
+## 1. 更新镜像并变更配置文件
+
+更新镜像至 latest 或者 v4.6 版本。商业版镜像更新至 V0.2.1
+
+最新配置可参考: [V46版本最新 config.json](/docs/development/configuration)，商业镜像配置文件也更新，参考最新的飞书文档。
+
+
+## 2. 执行初始化 API
+
+发起 2 个 HTTP 请求（{{rootkey}} 替换成环境变量里的`rootkey`，{{host}}替换成自己域名）
+
+**该初始化接口可能速度很慢，返回超时不用管，注意看日志即可，需要注意的是，需确保initv46成功后，在执行initv46-2**
+
+1. https://xxxxx/api/admin/initv46
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv46' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+2. https://xxxxx/api/admin/initv46-2
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv46-2' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+初始化内容：
+1. 创建默认团队
+2. 初始化 Mongo 所有资源的团队字段
+3. 初始化 Pg 的字段
+4. 初始化 Mongo Data
+
+
+## V4.6功能介绍
+
+1. 新增 - 团队空间
+2. 新增 - 多路向量（多个向量映射一组数据）
+3. 新增 - tts语音
+4. 新增 - 支持知识库配置文本预处理模型
+5. 线上环境新增 - ReRank向量召回，提高召回精度
+6. 优化 - 知识库导出，可直接触发流下载，无需等待转圈圈
+
+## 4.6缺陷修复
+
+旧的 4.6 版本由于缺少一个字段，导致文件导入时知识库数据无法显示，可执行下面的脚本：
+
+https://xxxxx/api/admin/initv46-fix
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv46-fix' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```

docSite/content/docs/installation/upgrading/461.md

@@ -0,0 +1,16 @@
+---
+title: 'V4.6.1'
+description: 'FastGPT V4.6 .1'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 835
+---
+
+
+## V4.6.1 功能介绍
+
+1. 新增 - GPT4-v 模型支持
+2. 新增 - whisper 语音输入
+3. 优化 - TTS 流传输
+4. 优化 - TTS 缓存

docSite/content/docs/pricing.md

@@ -1,10 +1,10 @@
 ---
-title: '定价'
-description: 'FastGPT 的定价'
+title: '线上版定价'
+description: 'FastGPT 线上版定价'
 icon: 'currency_yen'
 draft: false
 toc: true
-weight: 10
+weight: 11
 ---
 
 ## Tokens 说明
@@ -15,7 +15,7 @@ weight: 10
 
 ## FastGPT 线上计费
 
-目前，FastGPT 线上计费也仅按 Tokens 使用数量为准。以下是详细的计费表（最新定价以线上表格为准，可在点击充值后实时获取）：
+使用: [https://fastgpt.run](https://fastgpt.run) 或  [https://ai.fastgpt.in](https://ai.fastgpt.in) 只需仅按 Tokens 使用数量扣费即可。可在 账号-使用记录 中查看具体使用情况，以下是详细的计费表（最新定价以线上表格为准，可在点击充值后实时获取）：
 
 {{< table "table-hover table-striped-columns" >}}
 | 计费项                 | 价格: 元/ 1K tokens（包含上下文） |
@@ -30,6 +30,10 @@ weight: 10
 | 星火2.0 - 对话         | 0.01                              |
 | chatglm_pro - 对话     | 0.01                              |
 | 通义千问 - 对话         | 0.01                              |
+| 问题分类         | 0.03                             |
+| 内容提取         | 0.03                             |
+| 下一步指引         | 0.015                              |
+
 {{< /table >}}
 
 {{% alert context="warning" %}}

docSite/content/docs/quick-start.md

@@ -0,0 +1,54 @@
+---
+title: '快速上手'
+description: '快速体验 FastGPT 基础功能'
+icon: 'rocket_launch'
+draft: false
+toc: true
+weight: 30
+---
+
+更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1n34y1A7Bo/?spm_id_from=333.337.search-card.all.click&vd_source=903c2b09b7412037c2eddc6a8fb9828b)
+
+## 知识库
+
+开始前，请准备一份测试电子文档，WORD，PDF，TXT，excel，markdown 都可以，比如公司休假制度，不涉密的销售说辞，产品知识等等。
+
+这里使用 FastGPT 中文 README 文件为例。
+
+首先我们需要创建一个知识库。
+
+![](/imgs/create-rep.png)
+
+知识库创建完之后我们需要上传一点内容。
+
+上传内容这里有四种模式：
+- 手动输入：手动输入问答对，是最精准的数据
+- QA 拆分：选择文本文件，让AI自动生成问答对
+- 直接分段：选择文本文件，直接将其按分段进行处理
+- CSV 导入：批量导入问答对
+
+这里，我们选择 QA 拆分，让 AI 自动生成问答，若问答质量不高，可以后期手动修改。
+
+![](/imgs/upload-data.png)
+
+点击上传后我们需要等待数据处理完成，等到我们上传的文件状态为可用。
+
+![](/imgs/upload-data2.png)
+
+## 应用
+
+点击「应用」按钮来新建一个应用，这里有四个模板，我们选择「知识库 + 对话引导」。
+
+![](/imgs/create-app.png)
+
+应用创建后来再应用详情页找到「知识库」模块，把我们刚刚创建的知识库添加进去。
+
+![](/imgs/create-app2.png)
+
+添加完知识库后记得点击「保存并预览」，这样我们的应用就和知识库关联起来了。
+
+![](/imgs/create-app3.png)
+
+然后我们就可以愉快的开始聊天啦。
+
+![](/imgs/create-app4.png)

docSite/content/docs/use-cases/ai_settings.md

@@ -0,0 +1,134 @@
+---
+title: "AI 高级配置说明"
+description: "FastGPT AI 高级配置说明"
+icon: "sign_language"
+draft: false
+toc: true
+weight: 310
+---
+
+在 FastGPT 的 AI 对话模块中，有一个 AI 高级配置，里面包含了 AI 模型的参数配置，本文详细介绍这些配置的含义。
+
+## 返回AI内容
+
+这是一个开关，打开的时候，当 AI 对话模块运行时，会将其输出的内容返回到浏览器（API响应）；如果关闭，AI 输出的内容不会返回到浏览器，但是生成的内容仍可以通过【AI回复】进行输出。你可以将【AI回复】连接到其他模块中。
+
+## 温度
+
+可选范围0-10，约大代表生成的内容约自由扩散，越小代表约严谨。调节能力有限，知识库问答场景通常设置为0。
+
+## 回复上限
+
+控制 AI 回复的最大 Tokens，较小的值可以一定程度上减少 AI 的废话，但也可能导致 AI 回复不完整。
+
+## 引用模板 & 引用提示词
+
+这两个参数与知识库问答场景相关，可以控制知识库相关的提示词。
+
+### AI 对话消息组成
+
+想使用明白这两个变量，首先要了解传递传递给 AI 模型的消息格式。它是一个数组，FastGPT 中这个数组的组成形式为：
+
+```json
+[
+    内置提示词（config.json 配置，一般为空）
+    系统提示词 （用户输入的提示词）
+    历史记录
+    问题（由引用提示词、引用模板和用户问题组成）
+]
+```
+
+{{% alert icon="🍅" context="success" %}}
+Tips: 可以通过点击上下文按键查看完整的上下文组成，便于调试。
+{{% /alert %}}
+
+### 引用模板和提示词设计
+
+引用模板和引用提示词通常是成对出现，引用提示词依赖引用模板。
+
+FastGPT 知识库采用 QA 对(不一定都是问答格式，仅代表两个变量)的格式存储，在转义成字符串时候会根据**引用模板**来进行格式化。知识库包含多个可用变量： q, a, sourceId（数据的ID）, index(第n个数据), source(数据的集合名、文件名)，score(距离得分，0-1) 可以通过 {{q}} {{a}} {{sourceId}} {{index}} {{source}} {{score}} 按需引入。下面一个模板例子：
+
+可以通过 [知识库结构讲解](/docs/use-cases/datasetEngine/) 了解详细的知识库的结构。
+
+#### 引用模板
+
+```
+{instruction:"{{q}}",output:"{{a}}",source:"{{source}}"}
+```
+
+搜索到的知识库，会自动将 q,a,source 替换成对应的内容。每条搜索到的内容，会通过 `\n` 隔开。例如：
+```
+{instruction:"电影《铃芽之旅》的导演是谁？",output:"电影《铃芽之旅》的导演是新海诚。",source:"手动输入"}
+{instruction:"本作的主人公是谁？",output:"本作的主人公是名叫铃芽的少女。",source:""}
+{instruction:"电影《铃芽之旅》男主角是谁？",output:"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。",source:""}
+{instruction:"电影《铃芽之旅》的编剧是谁？22",output:"新海诚是本片的编剧。",source:"手动输入"}
+```
+
+#### 引用提示词
+
+引用模板需要和引用提示词一起使用，提示词中可以写引用模板的格式说明以及对话的要求等。可以使用 {{quote}} 来使用 **引用模板**，使用 {{question}} 来引入问题。例如：
+
+```
+你的背景知识:
+"""
+{{quote}}
+"""
+对话要求：
+1. 背景知识是最新的，其中 instruction 是相关介绍，output 是预期回答或补充。
+2. 使用背景知识回答问题。
+3. 背景知识无法回答问题时，你可以礼貌的的回答用户问题。
+我的问题是:"{{question}}"
+```
+
+转义后则为：
+```
+你的背景知识:
+"""
+{instruction:"电影《铃芽之旅》的导演是谁？",output:"电影《铃芽之旅》的导演是新海诚。",source:"手动输入"}
+{instruction:"本作的主人公是谁？",output:"本作的主人公是名叫铃芽的少女。",source:""}
+{instruction:"电影《铃芽之旅》男主角是谁？",output:"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音}
+"""
+对话要求：
+1. 背景知识是最新的，其中 instruction 是相关介绍，output 是预期回答或补充。
+2. 使用背景知识回答问题。
+3. 背景知识无法回答问题时，你可以礼貌的的回答用户问题。
+我的问题是:"{{question}}"
+```
+
+#### 总结
+
+引用模板规定了搜索出来的内容如何组成一句话，其由 q,a,index,source 多个变量组成。
+
+引用提示词由`引用模板`和`提示词`组成，提示词通常是对引用模板的一个描述，加上对模型的要求。
+
+### 引用模板和提示词设计 示例
+
+#### 通用模板与问答模板对比
+
+我们通过一组`你是谁`的手动数据，对通用模板与问答模板的效果进行对比。此处特意打了个搞笑的答案，通用模板下 GPT35 就变得不那么听话了，而问答模板下 GPT35 依然能够回答正确。这是由于结构化的提示词，在大语言模型中具有更强的引导作用。
+
+{{% alert icon="🍅" context="success" %}}
+Tips: 建议根据不同的场景，每种知识库仅选择1类数据类型，这样有利于充分发挥提示词的作用。
+{{% /alert %}}
+
+| 通用模板配置及效果 | 问答模板配置及效果 |
+| --- | --- |
+| ![](/imgs/datasetprompt1.png) | ![](/imgs/datasetprompt2.png) |
+| ![](/imgs/datasetprompt3.png) | ![](/imgs/datasetprompt5.png) |
+| ![](/imgs/datasetprompt4.png) | ![](/imgs/datasetprompt6.png) |
+
+#### 严格模板
+
+使用非严格模板，我们随便询问一个不在知识库中的内容，模型通常会根据其自身知识进行回答。
+
+| 非严格模板效果 | 选择严格模板 | 严格模板效果 |
+| --- | --- | --- |
+| ![](/imgs/datasetprompt7.png) | ![](/imgs/datasetprompt8.png) |![](/imgs/datasetprompt9.png) |
+
+#### 提示词设计思路
+
+1. 使用序号进行不同要求描述。
+2. 使用首先、然后、最后等词语进行描述。
+3. 列举不同场景的要求时，尽量完整，不要遗漏。例如：背景知识完全可以回答、背景知识可以回答一部分、背景知识与问题无关，3种场景都说明清楚。
+4. 巧用结构化提示，例如在问答模板中，利用了`instruction`和`output`，清楚的告诉模型，`output`是一个预期的答案。
+5. 标点符号正确且完整。

docSite/content/docs/use-cases/datasetEngine.md

@@ -0,0 +1,91 @@
+---
+title: "知识库结构讲解"
+description: "本节会详细介绍 FastGPT 知识库结构设计，理解其 QA 的存储格式和多向量映射，以便更好的构建知识库。这篇介绍主要以使用为主，详细原理不多介绍。"
+icon: "dataset"
+draft: false
+toc: true
+weight: 311
+---
+
+## 理解向量
+
+FastGPT 采用了 RAG 中的 Embedding 方案构建知识库，要使用好 FastGPT 需要简单的理解`Embedding`向量是如何工作的及其特点。
+
+人类的文字、图片、视频等媒介是无法直接被计算机理解的，要想让计算机理解两段文字是否有相似性、相关性，通常需要将它们转成计算机可以理解的语言，向量是其中的一种方式。
+
+向量可以简单理解为一个数字数组，两个向量之间可以通过数学公式得出一个`距离`，距离越小代表两个向量的相似度越大。从而映射到文字、图片、视频等媒介上，可以用来判断两个媒介之间的相似度。向量搜索便是利用了这个原理。
+
+而由于文字是有多种类型，并且拥有成千上万种组合方式，因此在转成向量进行相似度匹配时，很难保障其精确性。在向量方案构建的知识库中，通常使用`topk`召回的方式，也就是查找前`k`个最相似的内容，丢给大模型去做更进一步的`语义判断`、`逻辑推理`和`归纳总结`，从而实现知识库问答。因此，在知识库问答中，向量搜索的环节是最为重要的。
+
+影响向量搜索精度的因素非常多，主要包括：向量模型的质量、数据的质量（长度，完整性，多样性）、检索器的精度（速度与精度之间的取舍）。与数据质量对应的就是检索词的质量。
+
+检索器的精度比较容易解决，向量模型的训练略复杂，因此数据和检索词质量优化成了一个重要的环节。
+
+## FastGPT 中向量的结构设计
+
+FastGPT 采用了 `PostgresSQL` 的 `PG Vector` 插件作为向量检索器，索引为`HNSW`。且`PostgresSQL`仅用于向量检索，`MongoDB`用于其他数据的存取。
+
+在`PostgresSQL`的表中，设置一个 `index` 字段用于存储向量，以及一个`data_id`用于在`MongoDB`中寻找对应的映射值。多个`index`可以对应一组`data_id`，也就是说，一组向量可以对应多组数据。在进行检索时，相同数据会进行合并。
+
+![](/imgs/datasetSetting1.png)
+
+### 多向量的目的和使用方式
+
+在一组向量中，内容的长度和语义的丰富度通常是矛盾的，无法兼得。因此，FastGPT 采用了多向量映射的方式，将一组数据映射到多组向量中，从而保障数据的完整性和语义的丰富度。
+
+你可以为一组较长的文本，添加多组向量，从而在检索时，只要其中一组向量被检索到，该数据也将被召回。
+
+### 提高向量搜索精度的方法
+
+1. 更好分词分段：当一段话的结构和语义是完整的，并且是单一的，精度也会提高。因此，许多系统都会优化分词器，尽可能的保障每组数据的完整性。
+2. 精简`index`的内容，减少向量内容的长度：当`index`的内容更少，更准确时，检索精度自然会提高。但与此同时，会牺牲一定的检索范围，适合答案较为严格的场景。
+3. 丰富`index`的数量，可以为同一个`chunk`内容增加多组`index`。
+4. 优化检索词：在实际使用过程中，用户的问题通常是模糊的或是缺失的，并不一定是完整清晰的问题。因此优化用户的问题（检索词）很大程度上也可以提高精度。
+5. 微调向量模型：由于市面上直接使用的向量模型都是通用型模型，在特定领域的检索精度并不高，因此微调向量模型可以很大程度上提高专业领域的检索效果。
+
+## FastGPT 构建知识库方案
+
+在 FastGPT 中，整个知识库由库、集合和数据 3 部分组成。集合可以简单理解为一个`文件`。一个`库`中可以包含多个`集合`，一个`集合`中可以包含多组`数据`。最小的搜索单位是`库`，也就是说，知识库搜索时，是对整个`库`进行搜索，而集合仅是为了对数据进行分类管理，与搜索效果无关。（起码目前还是）
+
+| 库 | 集合 | 数据 |
+| --- | --- | --- |
+| ![](/imgs/datasetEngine1.png) | ![](/imgs/datasetEngine2.png) | ![](/imgs/datasetEngine3.png) |
+
+### 导入数据方案1 - 直接分段导入
+
+选择文件导入时，可以选择直接分段方案。直接分段会利用`句子分词器`对文本进行一定长度拆分，最终分割中多组的`q`。如果使用了直接分段方案，我们建议在`应用`设置`引用提示词`时，使用`通用模板`即可，无需选择`问答模板`。
+
+| 交互 | 结果 |
+| --- | --- |
+| ![](/imgs/datasetEngine4.png) | ![](/imgs/datasetEngine5.png) |
+
+
+### 导入数据方案2 - QA导入
+
+选择文件导入时，可以选择QA拆分方案。仍然需要使用到`句子分词器`对文本进行拆分，但长度比直接分段大很多。在导入后，会先调用`大模型`对分段进行学习，并给出一些`问题`和`答案`，最终问题和答案会一起被存储到`q`中。注意，新版的 FastGPT 为了提高搜索的范围，不再将问题和答案分别存储到 qa 中。
+
+| 交互 | 结果 |
+| --- | --- |
+| ![](/imgs/datasetEngine6.png) | ![](/imgs/datasetEngine7.png) |
+
+### 导入数据方案3 - 手动录入
+
+在 FastGPT 中，你可以在任何一个`集合`中点击右上角的`插入`手动录入知识点，或者使用`标注`功能手动录入。被搜索的内容为`q`，补充内容(可选)为`a`。
+
+|  |  |  |
+| --- | --- | --- |
+| ![](/imgs/datasetEngine8.png) | ![](/imgs/datasetEngine9.png) | ![](/imgs/datasetEngine10.png) |
+
+### 导入数据方案4 - CSV录入
+
+有些数据较为独特，可能需要单独的进行预处理分割后再导入 FastGPT，此时可以选择 csv 导入，可批量的将处理好的数据导入。
+
+![](/imgs/datasetEngine11.png)
+
+### 导入数据方案5 - API导入
+
+参考[FastGPT OpenAPI使用](/docs/development/openapi/#知识库添加数据)。
+
+## QA的组合与引用提示词构建
+
+参考[引用模板与引用提示词示例](/docs/use-cases/ai_settings/#示例)

docSite/content/docs/use-cases/feishu.md

@@ -11,6 +11,8 @@ weight: 322
 
 [Feishu OpenAI GitHub 地址](https://github.com/ConnectAI-E/Feishu-OpenAI)
 
+[查看视频教程](https://www.bilibili.com/video/BV1Su4y1r7R3/?spm_id_from=333.999.list.card_archive.click)
+
 由于 FastGPT 的 API 接口和 OpenAI 的规范一致，可以无需变更第三方应用即可使用 FastGPT 上编排好的应用。API 使用可参考 [这篇文章](/docs/use-cases/openapi/)。编排示例，可参考 [高级编排介绍](/docs/workflow/intro)
 
 ## 1. 获取 FastGPT 的 OpenAPI 秘钥

docSite/content/docs/use-cases/kb.md

@@ -73,7 +73,7 @@ weight: 340
 ![手动录入知识库结果](/imgs/9.png)
 
 导入结果如上图。可以看到，我们均采用的是问答对的格式，而不是粗略的直接导入。目的就是为了模拟用户问题，进一步的提高向量搜索的匹配效果。可以为同一个问题设置多种问法，效果更佳。
-FastGPT 还提供了 openapi 功能，你可以在本地对特殊格式的文件进行处理后，再上传到 FastGPT，具体可以参考：[FastGPT Api Docs](https://doc.fastgpt.run/docs/development/openapi)
+FastGPT 还提供了 openapi 功能，你可以在本地对特殊格式的文件进行处理后，再上传到 FastGPT，具体可以参考：[FastGPT Api Docs](https://doc.fastgpt.in/docs/development/openapi)
 
 ## 知识库微调和参数调整
 

docSite/content/docs/use-cases/openapi.md

@@ -4,7 +4,7 @@ description: "通过与 OpenAI 兼容的 API 对接第三方应用"
 icon: "model_training"
 draft: false
 toc: true
-weight: 311
+weight: 312
 ---
 
 ## 获取 API 秘钥

docSite/content/docs/use-cases/prompt.md

@@ -1,109 +0,0 @@
----
-title: "提示词 & 引用提示词"
-description: "FastGPT 提示词 & 引用提示词说明"
-icon: "sign_language"
-draft: false
-toc: true
-weight: 310
----
-
-限定词从 V4.4.3 版本后去除，被“引用提示词”和“引用模板”替代。
-
-# AI 对话消息组成
-
-传递给 AI 模型的消息是一个数组，FastGPT 中这个数组的组成形式为：
-
-```json
-[
-    内置提示词（config.json 配置，一般为空）
-    提示词 （用户输入的提示词）
-    历史记录
-    问题（会由输入的问题、引用提示词和引用模板来决定）
-]
-```
-
-{{% alert icon="🍅" context="success" %}}
-Tips: 可以通过点击上下文按键查看完整的
-{{% /alert %}}
-
-# 引用模板和提示词设计
-
-知识库采用 QA 对的格式存储，在转义成字符串时候会根据**引用模板**来进行格式化。知识库包含 3 个变量： q,a 和 source，可以通过 {{q}} {{a}} {{source}} 按需引入。下面一个模板例子：
-
-**引用模板**
-
-```
-{instruction:"{{q}}",output:"{{a}}",source:"{{source}}"}
-```
-
-搜索到的知识库，会自动将 q,a,source 替换成对应的内容。每条搜索到的内容，会通过 `\n` 隔开。例如：
-```
-{instruction:"电影《铃芽之旅》的导演是谁？",output:"电影《铃芽之旅》的导演是新海诚。",source:"手动输入"}
-{instruction:"本作的主人公是谁？",output:"本作的主人公是名叫铃芽的少女。",source:""}
-{instruction:"电影《铃芽之旅》男主角是谁？",output:"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。",source:""}
-{instruction:"电影《铃芽之旅》的编剧是谁？22",output:"新海诚是本片的编剧。",source:"手动输入"}
-```
-
-**引用提示词**
-
-引用模板需要和引用提示词一起使用，提示词中可以写引用模板的格式说明以及对话的要求等。可以使用 {{quote}} 来使用 **引用模板**，使用 {{question}} 来引入问题。例如：
-
-```
-你的背景知识:
-"""
-{{quote}}
-"""
-对话要求：
-1. 背景知识是最新的，其中 instruction 是相关介绍，output 是预期回答或补充。
-2. 使用背景知识回答问题。
-3. 背景知识无法回答问题时，你可以礼貌的的回答用户问题。
-我的问题是:"{{question}}"
-```
-
-
-# 提示词案例
-
-## 仅回复知识库里的内容
-
-**引用提示词**里添加：
-```
-你的背景知识:
-"""
-{{quote}}
-"""
-对话要求：
-1. 回答前，请先判断背景知识是否足够回答问题，如果无法回答，请直接回复：“对不起，我无法回答你的问题~”。
-2. 背景知识是最新的，其中 instruction 是相关介绍，output 是预期回答或补充。
-3. 使用背景知识回答问题。
-我的问题是:"{{question}}"
-```
-
-## 说明引用来源
-
-**引用模板:**
-
-```
-{instruction:"{{q}}",output:"{{a}}",source:"{{source}}"}
-```
-
-**引用提示词：**
-
-```
-你的背景知识:
-"""
-{{quote}}
-"""
-对话要求：
-1. 背景知识是最新的，其中 instruction 是相关介绍，output 是预期回答或补充，source是背景来源。
-2. 使用背景知识回答问题。
-3. 在回答问题后，你需要给出本次回答对应的背景来源，来源展示格式如下：
-
-“
-这是AI作答。本次知识来源：
-1. source1
-2. source2
-......
-”
-
-我的问题是:"{{question}}"
-```

docSite/content/docs/use-cases/wechat.md

@@ -0,0 +1,76 @@
+---
+title: " 接入微信和企业微信 "
+description: "FastGPT 接入微信和企业微信 "
+icon: "chat"
+draft: false
+toc: true
+weight: 322
+---
+
+# FastGPT 三分钟接入微信/企业微信
+私人微信和企业微信接入的方式基本一样，不同的地方会刻意指出。   
+[查看视频教程](https://www.bilibili.com/video/BV1cu411F7FN/?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=903c2b09b7412037c2eddc6a8fb9828b)
+## 创建APIKey
+首先找到我们需要接入的应用，然后点击「外部使用」->「API访问」创建一个APIKey并保存。
+
+![](/imgs/wechat1.png)
+
+## 配置微秘书
+
+打开[微秘书](https://wechat.aibotk.com?r=zWLnZK) 注册登陆后找到菜单栏「基础配置」->「智能配置」，按照下图配置。
+
+![](/imgs/wechat2.png)
+
+继续往下看到 `apikey` 和`服务器根地址`，这里`apikey`填写我们在 FastGPT 应用外部访问中创建的 APIkey，服务器根地址填写官方地址或者私有化部署的地址，这里用官方地址示例，注意要添加`/v1`后缀,填写完毕后保存。
+
+![](/imgs/wechat3.png)
+
+## sealos部署服务
+
+[访问sealos](https://cloud.sealos.io/) 登陆进来之后打开「应用管理」-> 「新建应用」。
+- 应用名：称随便填写
+- 镜像名：私人微信填写 aibotk/wechat-assistant 企业微信填写 aibotk/worker-assistant
+- cpu和内存建议 1c1g
+
+![](/imgs/wechat4.png)
+
+往下翻页找到「高级配置」-> 「编辑环境变量」
+
+![](/imgs/wechat5.png)
+
+这里需要填写四个环境变量：   
+AIBOTK_KEY="微秘书 APIKEY"   
+AIBOTK_SECRET="微秘书 APISECRET"   
+WORK_PRO_TOKEN="你申请的企微 token"   （企业微信需要填写，私人微信不需要）
+WECHATY_PUPPET_SERVICE_AUTHORITY=token-service-discovery-test.juzibot.com（企业微信需要填写，私人微信不需要）  
+
+这里最后两个变量只有部署企业微信才需要，私人微信只需要填写前两个即可。
+
+![](/imgs/wechat6.png)
+
+这里环境变量我们介绍下如何填写：
+
+`AIBOTK_KEY` 和 `AIBOTK_SECRET` 我们需要回到[微秘书](https://wechat.aibotk.com?r=zWLnZK)找到「个人中心」,这里的 APIKEY 对应 AIBOTK_KEY ，APISECRET 对应 `AIBOTK_SECRET`。
+
+![](/imgs/wechat7.png)
+
+`WORK_PRO_TOKEN` [点击这里](https://tss.juzibot.com?aff=aibotk)申请 token 然后填入即可。   
+
+`WECHATY_PUPPET_SERVICE_AUTHORITY`的值复制过去就可以。
+
+填写完毕后点右上角「部署」，等待应用状态变为运行中。  
+
+![](/imgs/wechat8.png)
+
+返回[微秘书](https://wechat.aibotk.com?r=zWLnZK) 找到「首页」，扫码登陆需要接入的微信号。
+
+![](/imgs/wechat9.png)
+
+## 测试
+只需要发送信息，或者拉入群聊@登陆的微信就会回复信息啦。
+![](/imgs/wechat10.png)
+
+
+
+
+

docSite/content/docs/workflow/examples/fixingEvidence.md

@@ -86,7 +86,7 @@ weight: 142
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -210,14 +210,14 @@ weight: 142
         "type": "target",
         "label": "引用内容",
         "description": "对象数组格式，结构：\n [{q:'问题',a:'回答'}]",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": false
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -232,7 +232,7 @@ weight: 142
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "AI回复",
         "description": "将在 stream 回复完毕后触发",
         "valueType": "string",
         "type": "source",

docSite/content/docs/workflow/examples/google_search.md

@@ -132,7 +132,7 @@ export default async function (ctx: FunctionContext) {
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -179,7 +179,7 @@ export default async function (ctx: FunctionContext) {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -410,14 +410,14 @@ export default async function (ctx: FunctionContext) {
         "key": "quoteQA",
         "type": "target",
         "label": "引用内容",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": false
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -432,7 +432,7 @@ export default async function (ctx: FunctionContext) {
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "AI回复",
         "description": "直接响应，无需配置",
         "type": "hidden",
         "targets": []

docSite/content/docs/workflow/examples/lab_appointment.md

@@ -131,7 +131,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -174,7 +174,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -413,7 +413,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -527,7 +527,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
   {
     "moduleId": "zltb5l",
     "name": "知识库搜索",
-    "flowType": "kbSearchNode",
+    "flowType": "datasetSearchNode",
     "showStatus": true,
     "position": {
       "x": 1634.995464753433,
@@ -630,7 +630,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
         "label": "引用内容",
         "description": "始终返回数组，如果希望搜索结果为空时执行额外操作，需要用到上面的两个输入以及目标模块的触发器",
         "type": "source",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "targets": [
           {
             "moduleId": "bjfklc",
@@ -729,14 +729,14 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
         "key": "quoteQA",
         "type": "target",
         "label": "引用内容",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": true
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -751,7 +751,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "模型AI回复回复",
         "description": "将在 stream 回复完毕后触发",
         "valueType": "string",
         "type": "source",
@@ -831,7 +831,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -874,7 +874,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -1006,7 +1006,7 @@ HTTP 模块允许你调用任意 POST 类型的 HTTP 接口，从而实验一些
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {

docSite/content/docs/workflow/examples/op_question.md

@@ -83,7 +83,7 @@ weight: 144
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -97,7 +97,7 @@ weight: 144
   {
     "moduleId": "nkxlso",
     "name": "知识库搜索",
-    "flowType": "kbSearchNode",
+    "flowType": "datasetSearchNode",
     "showStatus": true,
     "position": {
       "x": 1542.6434554710224,
@@ -189,7 +189,7 @@ weight: 144
         "label": "引用内容",
         "description": "始终返回数组，如果希望搜索结果为空时执行额外操作，需要用到上面的两个输入以及目标模块的触发器",
         "type": "source",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "targets": [
           {
             "moduleId": "ol82hp",
@@ -291,14 +291,14 @@ weight: 144
         "type": "target",
         "label": "引用内容",
         "description": "对象数组格式，结构：\n [{q:'问题',a:'回答'}]",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": true
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -313,7 +313,7 @@ weight: 144
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "AI回复",
         "description": "将在 stream 回复完毕后触发",
         "valueType": "string",
         "type": "source",
@@ -389,7 +389,7 @@ weight: 144
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -432,7 +432,7 @@ weight: 144
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {

docSite/content/docs/workflow/examples/versatile_assistant.md

@@ -245,7 +245,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -300,7 +300,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -427,7 +427,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -713,14 +713,14 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
         "type": "custom",
         "label": "引用内容",
         "description": "对象数组格式，结构：\n [{q:'问题',a:'回答'}]",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": false
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -745,7 +745,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "AI回复",
         "description": "将在 stream 回复完毕后触发",
         "valueType": "string",
         "type": "source",
@@ -871,14 +871,14 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
         "type": "custom",
         "label": "引用内容",
         "description": "对象数组格式，结构：\n [{q:'问题',a:'回答'}]",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": false
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -903,7 +903,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "AI回复",
         "description": "将在 stream 回复完毕后触发",
         "valueType": "string",
         "type": "source",
@@ -1085,14 +1085,14 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
         "type": "custom",
         "label": "引用内容",
         "description": "对象数组格式，结构：\n [{q:'问题',a:'回答'}]",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": false
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -1117,7 +1117,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "AI回复",
         "description": "将在 stream 回复完毕后触发",
         "valueType": "string",
         "type": "source",
@@ -1162,7 +1162,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
       {
         "key": "history",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "type": "source",
         "targets": [
           {
@@ -1205,7 +1205,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -1452,14 +1452,14 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
         "type": "custom",
         "label": "引用内容",
         "description": "对象数组格式，结构：\n [{q:'问题',a:'回答'}]",
-        "valueType": "kb_quote",
+        "valueType": "datasetQuote",
         "connected": false
       },
       {
         "key": "history",
         "type": "target",
         "label": "聊天记录",
-        "valueType": "chat_history",
+        "valueType": "chatHistory",
         "connected": true
       },
       {
@@ -1484,7 +1484,7 @@ PS2：配置中的问题分类还包含着“联网搜索”，这个是另一
     "outputs": [
       {
         "key": "answerText",
-        "label": "模型回复",
+        "label": "AI回复",
         "description": "将在 stream 回复完毕后触发",
         "valueType": "string",
         "type": "source",

docSite/content/docs/workflow/intro.md

@@ -9,6 +9,8 @@ weight: 110
 
 FastGPT 从 V4 版本开始采用新的交互方式来构建 AI 应用。使用了 Flow 节点编排的方式来实现复杂工作流，提高可玩性和扩展性。但同时也提高了上手的门槛，有一定开发背景的用户使用起来会比较容易。
 
+[查看视频教程](https://www.bilibili.com/video/BV1aB4y1Z7Hy/?spm_id_from=333.999.list.card_archive.click&vd_source=903c2b09b7412037c2eddc6a8fb9828b)
+
 ![](/imgs/flow-intro1.png)
 
 ## 什么是模块？

docSite/content/docs/workflow/modules/ai_chat.md

@@ -42,17 +42,17 @@ weight: 123
 
 ```ts
 type DataType = {
-  kb_id?: string;
+  dataset_id?: string;
   id?: string;
   q: string;
   a: string;
   source?: string;
 };
-// 如果是外部引入的内容，尽量不要携带 kb_id 和 id
+// 如果是外部引入的内容，尽量不要携带 dataset_id 和 id
 const quoteList: DataType[] = [
-  { kb_id: '11', id: '222', q: '你还', a: '哈哈', source: '' },
-  { kb_id: '11', id: '333', q: '你还', a: '哈哈', source: '' },
-  { kb_id: '11', id: '444', q: '你还', a: '哈哈', source: '' }
+  { dataset_id: '11', id: '222', q: '你还', a: '哈哈', source: '' },
+  { dataset_id: '11', id: '333', q: '你还', a: '哈哈', source: '' },
+  { dataset_id: '11', id: '444', q: '你还', a: '哈哈', source: '' }
 ];
 ```
 

docSite/hugo.toml

@@ -110,8 +110,8 @@ defaultContentLanguage = 'zh-cn'
         listDescTrunc   = 100                                 # Number of characters by which to truncate the list card description
 
     [params.flexsearch] # Parameters for FlexSearch
-        enabled             = true
-        tokenize            = "full"
+        # enabled             = true
+        # tokenize            = "full"
         # optimize            = true
         # cache               = 100
         # minQueryChar        = 3 # default is 0 (disabled)
@@ -119,9 +119,9 @@ defaultContentLanguage = 'zh-cn'
         # searchSectionsIndex = []
 
     [params.docsearch] # Parameters for DocSearch
-        # appID     = "O2QIOCBDAK" # Algolia Application ID
-        # apiKey    = "fdc60eee76a72a35d739b54521498b77" # Algolia Search-Only API (Public) Key
-        # indexName = "prod_lotusdocs.dev" # Index Name to perform search on (or set env variable HUGO_PARAM_DOCSEARCH_indexName)
+        appID     = "5BEWEMH0YA" # Algolia Application ID
+        apiKey    = "14834e919a87217d919d6d881fcacac3" # Algolia Search-Only API (Public) Key
+        indexName = "fastgpt" # Index Name to perform search on (or set env variable HUGO_PARAM_DOCSEARCH_indexName)
 
     [params.analytics] # Parameters for Analytics (Google, Plausible)
         # plausibleURL    = "/docs/s" # (or set via env variable HUGO_PARAM_ANALYTICS_plausibleURL)

docSite/i18n/zh-cn.toml

@@ -19,6 +19,15 @@
 [search_no_results]
     other = "没有结果："
 
+[search_no_recent_searches]
+    other = "没有最近搜索"
+
+[search_try_search]
+    other = "试试搜索"
+
+[search_search_by]
+    other = "搜索提供"
+
 [feedback_yes]
     other = "Yes"
 

docSite/layouts/partials/docs/footer/docsearch.html

@@ -0,0 +1,39 @@
+<script>
+    window.addEventListener('DOMContentLoaded', function() {
+        // DocSearch Config
+        docsearch({
+            container: '#docsearch',
+            appId: '{{ .Site.Params.docsearch.appID }}',
+            apiKey: '{{ .Site.Params.docsearch.apiKey }}',
+            indexName: '{{ .Site.Params.docsearch.indexName }}',
+            placeholder: '{{ i18n "search_title" }}',
+            translations: {
+                button: {
+                    buttonText: '{{ i18n "search_title" }}',
+                    buttonAriaLabel: '{{ i18n "search_title" }}',
+                },
+                modal: {
+                    startScreen: {
+                        noRecentSearchesText: '{{ i18n "search_no_recent_searches" }}',
+                    },
+                    footer: {
+                        selectText: '{{ i18n "search_select" }}',
+                        selectKeyAriaLabel: 'Enter key',
+                        navigateText: '{{ i18n "search_navigate" }}',
+                        navigateUpKeyAriaLabel: 'Arrow up',
+                        navigateDownKeyAriaLabel: 'Arrow down',
+                        closeText: '{{ i18n "search_close" }}',
+                        closeKeyAriaLabel: 'Escape key',
+                        searchByText: '{{ i18n "search_search_by" }}',
+                    },
+                    noResultsScreen: {
+                        noResultsText: '{{ i18n "search_no_results" }}',
+                        suggestedQueryText: '{{ i18n "search_try_search" }}',
+                        reportMissingResultsText: 'Believe this query should return results?',
+                        reportMissingResultsLinkText: 'Let us know.',
+                    },
+                },
+            }
+        });
+    });
+</script>

files/deploy/fastgpt/docker-compose.yml

@@ -2,8 +2,8 @@
 version: '3.3'
 services:
   pg:
-    image: ankane/pgvector:v0.4.2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.4.2 # 阿里云
+    image: ankane/pgvector:v0.5.0 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云
     container_name: pg
     restart: always
     ports: # 生产环境建议不要暴露
@@ -66,8 +66,8 @@ networks:
 # version: '3.3'
 # services:
 #   pg:
-#   image: ankane/pgvector:v0.4.2 # dockerhub
-#   # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.4.2 # 阿里云
+#   image: ankane/pgvector:v0.5.0 # dockerhub
+#   # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云
 #   container_name: pg
 #   restart: always
 #   ports: # 生产环境建议不要暴露

files/models/Baichuan2/openai_api.py

@@ -0,0 +1,233 @@
+# coding=utf-8
+# Implements API for Baichuan2-7B-Chat in OpenAI's format. (https://platform.openai.com/docs/api-reference/chat)
+# Usage: python openai_api.py
+
+import gc
+import time
+import torch
+import uvicorn
+from pydantic import BaseModel, Field, validator
+from fastapi import FastAPI, HTTPException
+from fastapi.middleware.cors import CORSMiddleware
+from contextlib import asynccontextmanager
+from typing import Any, Dict, List, Optional, Union
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from sse_starlette.sse import ServerSentEvent, EventSourceResponse
+from transformers.generation.utils import GenerationConfig
+import random
+import string
+
+
+@asynccontextmanager
+async def lifespan(app: FastAPI): # collects GPU memory
+    yield
+    if torch.cuda.is_available():
+        torch.cuda.empty_cache()
+        torch.cuda.ipc_collect()
+
+
+app = FastAPI(lifespan=lifespan)
+
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+class ModelCard(BaseModel):
+    id: str
+    object: str = "model"
+    created: int = Field(default_factory=lambda: int(time.time()))
+    owned_by: str = "owner"
+    root: Optional[str] = None
+    parent: Optional[str] = None
+    permission: Optional[list] = None
+
+class ModelList(BaseModel):
+    object: str = "list"
+    data: List[str] = []  # Assuming ModelCard is a string type. Replace with the correct type if not.
+
+class ChatMessage(BaseModel):
+    role: str
+    content: str
+
+    @validator('role')
+    def check_role(cls, v):
+        if v not in ["user", "assistant", "system"]:
+            raise ValueError('role must be one of "user", "assistant", "system"')
+        return v
+
+class DeltaMessage(BaseModel):
+    role: Optional[str] = None
+    content: Optional[str] = None
+
+    @validator('role', allow_reuse=True)
+    def check_role(cls, v):
+        if v is not None and v not in ["user", "assistant", "system"]:
+            raise ValueError('role must be one of "user", "assistant", "system"')
+        return v
+
+class ChatCompletionRequest(BaseModel):
+    model: str
+    messages: List[ChatMessage]
+    temperature: Optional[float] = None
+    top_p: Optional[float] = None
+    max_length: Optional[int] = 8192  # max_length should be an integer.
+    stream: Optional[bool] = False
+
+class ChatCompletionResponseChoice(BaseModel):
+    index: int
+    message: ChatMessage
+    finish_reason: str
+
+    @validator('finish_reason')
+    def check_finish_reason(cls, v):
+        if v not in ["stop", "length"]:
+            raise ValueError('finish_reason must be one of "stop" or "length"')
+        return v
+
+class ChatCompletionResponseStreamChoice(BaseModel):
+     index: int
+     delta: DeltaMessage
+     finish_reason: Optional[str]
+
+     @validator('finish_reason', allow_reuse=True)
+     def check_finish_reason(cls, v):
+         if v is not None and v not in ["stop", "length"]:
+             raise ValueError('finish_reason must be one of "stop" or "length"')
+         return v
+
+class ChatCompletionResponse(BaseModel):
+     id:str 
+     object:str 
+     
+     @validator('object')
+     def check_object(cls,v): 
+         if v not in ["chat.completion","chat.completion.chunk"]: 
+             raise ValueError("object must be one of 'chat.completion' or 'chat.completion.chunk'")
+         return v
+     
+     created :Optional[int]=Field(default_factory=lambda:int(time.time()))
+     model:str 
+     choices :List[Union[ChatCompletionResponseChoice,ChatCompletionResponseStreamChoice]]
+
+
+def generate_id():
+    possible_characters = string.ascii_letters + string.digits
+    random_string = ''.join(random.choices(possible_characters, k=29))
+    return 'chatcmpl-' + random_string
+    
+
+@app.get("/v1/models", response_model=ModelList)
+async def list_models():
+    global model_args
+    model_card = ModelCard(id="gpt-3.5-turbo")
+    return ModelList(data=[model_card])
+
+
+@app.post("/v1/chat/completions", response_model=ChatCompletionResponse)
+async def create_chat_completion(request: ChatCompletionRequest):
+    global model, tokenizer
+    if request.messages[-1].role != "user":
+        raise HTTPException(status_code=400, detail="Invalid request")
+    query = request.messages[-1].content
+    prev_messages = request.messages[:-1]
+    if len(prev_messages) > 0 and prev_messages[0].role == "system":
+        query = prev_messages.pop(0).content + query
+    messages = []
+    for message in prev_messages:
+        messages.append({"role": message.role, "content": message.content})
+    
+    messages.append({"role": "user", "content": query})
+    
+    if request.stream:
+        generate = predict(messages, request.model)
+        return EventSourceResponse(generate, media_type="text/event-stream")
+    
+    response = '本接口不支持非stream模式'
+    choice_data = ChatCompletionResponseChoice(
+        index=0,
+        message=ChatMessage(role="assistant", content=response),
+        finish_reason="stop"
+    )
+    id='chatcmpl-7QyqpwdfhqwajicIEznoc6Q47XAyW'
+
+    return ChatCompletionResponse(id=id,model=request.model, choices=[choice_data], object="chat.completion")
+
+
+async def predict(messages: List[List[str]], model_id: str):
+    global model, tokenizer
+    id = generate_id()
+    created = int(time.time())
+    choice_data = ChatCompletionResponseStreamChoice(
+        index=0,
+        delta=DeltaMessage(role="assistant",content=""),
+        finish_reason=None
+    )
+    chunk = ChatCompletionResponse(id=id,object="chat.completion.chunk",created=created,model=model_id, choices=[choice_data])
+    yield "{}".format(chunk.json(exclude_unset=True, ensure_ascii=False))
+
+    current_length = 0
+
+    for new_response in model.chat(tokenizer, messages, stream=True):
+        if len(new_response) == current_length:
+            continue
+
+        new_text = new_response[current_length:]
+        current_length = len(new_response)
+
+        choice_data = ChatCompletionResponseStreamChoice(
+            index=0,
+            delta=DeltaMessage(content=new_text),
+            finish_reason=None
+        )
+        chunk = ChatCompletionResponse(id=id,object="chat.completion.chunk",created=created,model=model_id, choices=[choice_data])
+        yield "{}".format(chunk.json(exclude_unset=True, ensure_ascii=False))
+
+
+    choice_data = ChatCompletionResponseStreamChoice(
+        index=0,
+        delta=DeltaMessage(),
+        finish_reason="stop"
+    )
+    chunk = ChatCompletionResponse(id=id,object="chat.completion.chunk",created=created,model=model_id, choices=[choice_data])
+    yield "{}".format(chunk.json(exclude_unset=True, ensure_ascii=False))
+    yield '[DONE]'
+
+
+def load_models():
+    print("本次加载的大语言模型为: Baichuan-13B-Chat")
+    tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan2-7B-Chat", use_fast=False, trust_remote_code=True)
+    # model = AutoModelForCausalLM.from_pretrained("Baichuan2-13B-Chat", torch_dtype=torch.float32, trust_remote_code=True)
+    model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan2-7B-Chat", torch_dtype=torch.float16, trust_remote_code=True)
+    model = model.cuda() 
+    model.generation_config = GenerationConfig.from_pretrained("baichuan-inc/Baichuan2-7B-Chat") 
+    return tokenizer, model
+
+if __name__ == "__main__":
+    tokenizer, model = load_models()
+    uvicorn.run(app, host='0.0.0.0', port=6006, workers=1)
+
+    while True:
+        try:
+            # 在这里执行您的程序逻辑
+
+            # 检查显存使用情况，如果超过阈值（例如90%），则触发垃圾回收
+            if torch.cuda.is_available():
+                gpu_memory_usage = torch.cuda.memory_allocated() / torch.cuda.max_memory_allocated()
+                if gpu_memory_usage > 0.9:
+                    gc.collect()
+                    torch.cuda.empty_cache()
+        except RuntimeError as e:
+            if "out of memory" in str(e):
+                print("显存不足，正在重启程序...")
+                gc.collect()
+                torch.cuda.empty_cache()
+                time.sleep(5) # 等待一段时间以确保显存已释放
+                tokenizer, model = load_models()
+            else:
+                raise e
+
+    

files/models/Baichuan2/requirements.txt

@@ -0,0 +1,14 @@
+protobuf
+transformers==4.30.2
+cpm_kernels
+torch>=2.0
+gradio
+mdtex2html
+sentencepiece
+accelerate
+sse-starlette
+fastapi==0.99.1
+pydantic==1.10.7
+uvicorn==0.21.1
+xformers
+bitsandbytes

package.json

@@ -4,20 +4,28 @@
   "private": true,
   "scripts": {
     "prepare": "husky install",
-    "format": "prettier --config \"./.prettierrc.js\" --write \"./**/src/**/*.{ts,tsx,scss}\""
+    "format-code": "prettier --config \"./.prettierrc.js\" --write \"./**/src/**/*.{ts,tsx,scss}\"",
+    "format-doc": "zhlint --dir ./docSite *.md --fix"
   },
   "devDependencies": {
+    "@types/multer": "^1.4.10",
     "husky": "^8.0.3",
-    "i18next": "^23.2.11",
+    "i18next": "^22.5.1",
     "lint-staged": "^13.2.1",
-    "next-i18next": "^14.0.0",
+    "next-i18next": "^13.3.0",
     "prettier": "^3.0.3",
-    "react-i18next": "^13.0.2"
+    "react-i18next": "^12.3.1",
+    "zhlint": "^0.7.1"
   },
   "lint-staged": {
-    "./**/**/*.{ts,tsx,scss}": "npm run format"
+    "./**/**/*.{ts,tsx,scss}": "npm run format-code",
+    "./**/**/*.md": "npm run format-doc"
   },
   "engines": {
     "node": ">=18.0.0"
+  },
+  "dependencies": {
+    "multer": "1.4.5-lts.1",
+    "openai": "4.16.1"
   }
 }

packages/common/bill/constants.ts

@@ -1 +0,0 @@
-export const PRICE_SCALE = 100000;

packages/common/package.json

@@ -1,4 +0,0 @@
-{
-  "name": "@fastgpt/common",
-  "version": "1.0.0"
-}

packages/common/tools/file.ts

@@ -1,23 +0,0 @@
-import { strIsLink } from './str';
-
-export const fileImgs = [
-  { suffix: 'pdf', src: '/imgs/files/pdf.svg' },
-  { suffix: 'csv', src: '/imgs/files/csv.svg' },
-  { suffix: '(doc|docs)', src: '/imgs/files/doc.svg' },
-  { suffix: 'txt', src: '/imgs/files/txt.svg' },
-  { suffix: 'md', src: '/imgs/files/markdown.svg' },
-  { suffix: '.', src: '/imgs/files/file.svg' }
-];
-
-export function getFileIcon(name = '') {
-  return fileImgs.find((item) => new RegExp(item.suffix, 'gi').test(name))?.src;
-}
-export function getSpecialFileIcon(name = '') {
-  if (name === 'manual') {
-    return '/imgs/files/manual.svg';
-  } else if (name === 'mark') {
-    return '/imgs/files/mark.svg';
-  } else if (strIsLink(name)) {
-    return '/imgs/files/link.svg';
-  }
-}

packages/common/tools/str.ts

@@ -1,5 +0,0 @@
-export function strIsLink(str?: string) {
-  if (!str) return false;
-  if (/^((http|https)?:\/\/|www\.|\/)[^\s/$.?#].[^\s]*$/i.test(str)) return true;
-  return false;
-}

packages/core/ai/type.d.ts

@@ -1,6 +0,0 @@
-import OpenAI from 'openai';
-export type ChatCompletionRequestMessage = OpenAI.Chat.CreateChatCompletionRequestMessage;
-export type ChatCompletion = OpenAI.Chat.ChatCompletion;
-export type CreateChatCompletionRequest = OpenAI.Chat.ChatCompletionCreateParams;
-
-export type StreamChatType = Stream<OpenAI.Chat.ChatCompletionChunk>;

packages/core/dataset/constant.ts

@@ -1,15 +0,0 @@
-export enum DatasetSpecialIdEnum {
-  manual = 'manual',
-  mark = 'mark'
-}
-export const datasetSpecialIdMap = {
-  [DatasetSpecialIdEnum.manual]: {
-    name: 'kb.Manual Data',
-    sourceName: 'kb.Manual Input'
-  },
-  [DatasetSpecialIdEnum.mark]: {
-    name: 'kb.Mark Data',
-    sourceName: 'kb.Manual Mark'
-  }
-};
-export const datasetSpecialIds: string[] = [DatasetSpecialIdEnum.manual, DatasetSpecialIdEnum.mark];