qwq config (#4009)

* Add image index and pdf parse (#3956)

* feat: think tag parse

* feat: parse think tag test

* feat: pdf parse ux

* feat: doc2x parse

* perf: rewrite training mode setting

* feat: image parse queue

* perf: image index

* feat: image parse process

* feat: add init sh

* fix: ts

* feat: pg vector 0.8.0；perf: app pdf enhance parse (#3962)

* perf: app pdf enhance parse

* feat: pg vector 0.8.0

* update schema default

* model sort and default image

* perf: i18n

* perf: ui tip

* Add markdown format; Update doc (#3969)

* update doc

* markdown

* ai proxy docker compose & doc (#3947)

* feat: prompt call tool support reason;perf: ai proxy doc (#3982)

* update schema

* perf: ai proxy doc

* feat: prompt call tool support reason

* doc

* update init sh

* simple mode tool reason (#3984)

* simple mode tool reason

* model config cannot set empty

* perf: read files code

* perf: mongo gridfs chunks

* perf: doc

* fix: link (#3987)

* pdf parse doc (#3990)

* update action

* doc

* markerv0.2 (#3992)

* markerv0.2

* marker2

* perf: retry to load image；perf: default index check (#4004)

* perf: retry to load image

* perf: default index check

* perf: doc (#4005)

* perf: doc

* doc

* version doc

* README

---------

Co-authored-by: heheer <heheer@sealos.io>
Co-authored-by: YeYuheng <57035043+YYH211@users.noreply.github.com>

.github/workflows/docs-deploy-kubeconfig.yml

@@ -6,8 +6,6 @@ on:
       - 'docSite/**'
     branches:
       - 'main'
-    tags:
-      - 'v*.*.*'
 
 jobs:
   build-fastgpt-docs-images:

.github/workflows/docs-deploy-vercel.yml

@@ -7,8 +7,6 @@ on:
       - 'docSite/**'
     branches:
       - 'main'
-    tags:
-      - 'v*.*.*'
 
 # A workflow run is made up of one or more jobs that can run sequentially or in parallel
 jobs:

.github/workflows/docs-preview.yml

@@ -4,8 +4,6 @@ on:
   pull_request_target:
     paths:
       - 'docSite/**'
-    branches:
-      - 'main'
   workflow_dispatch:
 
 # A workflow run is made up of one or more jobs that can run sequentially or in parallel

.github/workflows/fastgpt-build-image.yml

@@ -26,7 +26,7 @@ jobs:
         with:
           driver-opts: network=host
       - name: Cache Docker layers
-        uses: actions/cache@v2
+        uses: actions/cache@v4
         with:
           path: /tmp/.buildx-cache
           key: ${{ runner.os }}-buildx-${{ github.sha }}
@@ -108,7 +108,7 @@ jobs:
         with:
           driver-opts: network=host
       - name: Cache Docker layers
-        uses: actions/cache@v2
+        uses: actions/cache@v4
         with:
           path: /tmp/.buildx-cache
           key: ${{ runner.os }}-buildx-${{ github.sha }}
@@ -191,7 +191,7 @@ jobs:
         with:
           driver-opts: network=host
       - name: Cache Docker layers
-        uses: actions/cache@v2
+        uses: actions/cache@v4
         with:
           path: /tmp/.buildx-cache
           key: ${{ runner.os }}-buildx-${{ github.sha }}

.github/workflows/fastgpt-preview-image.yml

@@ -68,14 +68,3 @@ jobs:
           SEALOS_TYPE: 'pr_comment'
           SEALOS_FILENAME: 'report.md'
           SEALOS_REPLACE_TAG: 'DEFAULT_REPLACE_DEPLOY'
-
-  helm-check:
-    runs-on: ubuntu-20.04
-    steps:
-      - name: Checkout
-        uses: actions/checkout@v3
-      - name: Helm Check
-        run: |
-          helm dependency update files/helm/fastgpt
-          helm lint files/helm/fastgpt
-          helm package files/helm/fastgpt

.github/workflows/helm-release.yaml

@@ -24,6 +24,6 @@ jobs:
           export APP_VERSION=${{ steps.vars.outputs.tag }}
           export HELM_VERSION=${{ steps.vars.outputs.tag }}
           export HELM_REPO=ghcr.io/${{ github.repository_owner }}
-          helm dependency update files/helm/fastgpt
-          helm package files/helm/fastgpt --version ${HELM_VERSION}-helm --app-version ${APP_VERSION} -d bin
+          helm dependency update deploy/helm/fastgpt
+          helm package deploy/helm/fastgpt --version ${HELM_VERSION}-helm --app-version ${APP_VERSION} -d bin
           helm push bin/fastgpt-${HELM_VERSION}-helm.tgz oci://${HELM_REPO}

.github/workflows/sandbox-build-image.yml

@@ -25,7 +25,7 @@ jobs:
         with:
           driver-opts: network=host
       - name: Cache Docker layers
-        uses: actions/cache@v2
+        uses: actions/cache@v4
         with:
           path: /tmp/.buildx-cache
           key: ${{ runner.os }}-buildx-${{ github.sha }}

.vscode/nextapi.code-snippets

@@ -58,7 +58,7 @@
 		"body": [
 			"import '@/pages/api/__mocks__/base';",
 			"import { root } from '@/pages/api/__mocks__/db/init';",
-			"import { getTestRequest } from '@/test/utils';",
+			"import { getTestRequest } from '@fastgpt/service/test/utils'; ;",
 			"import { AppErrEnum } from '@fastgpt/global/common/error/code/app';",
 			"import handler from './demo';",
 			"",

.vscode/settings.json

@@ -27,7 +27,5 @@
     },
     "markdown.copyFiles.destination": {
         "/docSite/content/**/*": "${documentWorkspaceFolder}/docSite/assets/imgs/"
-    },
-    "markdown.copyFiles.overwriteBehavior": "nameIncrementally",
-    "markdown.copyFiles.transformPath": "const filename = uri.path.split('/').pop(); return `/imgs/${filename}`;"
+    }
 }

README.md

@@ -114,16 +114,6 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
     <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
 </a>
 
-## 🏘️ 社区交流群
-
-扫码加入飞书话题群：
-
-![](https://oss.laf.run/otnvvf-imgs/fastgpt-feishu1.png)
-
-<a href="#readme">
-    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
-</a>
-
 ## 🏘️ 加入我们
 
 我们正在寻找志同道合的小伙伴，加速 FastGPT 的发展。你可以通过 [FastGPT 2025 招聘](https://fael3z0zfze.feishu.cn/wiki/P7FOwEmPziVcaYkvVaacnVX1nvg)了解 FastGPT 的招聘信息。
@@ -133,17 +123,26 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 - [Laf：3 分钟快速接入三方应用](https://github.com/labring/laf)
 - [Sealos：快速部署集群应用](https://github.com/labring/sealos)
 - [One API：多模型管理，支持 Azure、文心一言等](https://github.com/songquanpeng/one-api)
-- [TuShan：5 分钟搭建后台管理系统](https://github.com/msgbyte/tushan)
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
 </a>
 
-
 ## 🌿 第三方生态
 
-- [COW 个人微信/企微机器人](https://doc.tryfastgpt.ai/docs/use-cases/external-integration/onwechat/)
+- [AI Proxy：国内模型聚合服务](https://sealos.run/aiproxy/?k=fastgpt-github/)
 - [SiliconCloud (硅基流动) —— 开源模型在线体验平台](https://cloud.siliconflow.cn/i/TR9Ym0c4)
+- [COW 个人微信/企微机器人](https://doc.tryfastgpt.ai/docs/use-cases/external-integration/onwechat/)
+
+<a href="#readme">
+    <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">
+</a>
+
+## 🏘️ 社区交流群
+
+扫码加入飞书话题群：
+
+![](https://oss.laf.run/otnvvf-imgs/fastgpt-feishu1.png)
 
 <a href="#readme">
     <img src="https://img.shields.io/badge/-返回顶部-7d09f1.svg" alt="#" align="right">

SECURITY.md

@@ -0,0 +1,26 @@
+# 安全策略
+
+## 漏洞报告
+
+如果您发现了 FastGPT 的安全漏洞，请按照以下步骤进行报告：
+
+1. **报告方式**
+   发送邮件至：yujinlong@sealos.io
+   请备注版本以及您的 GitHub 账号
+
+3. **响应时间**
+   - 我们会在 48 小时内确认收到您的报告
+   - 一般在 3 个工作日内给出初步评估结果
+
+4. **漏洞处理流程**
+   - 确认漏洞：我们会验证漏洞的存在性和影响范围
+   - 修复开发：针对已确认的漏洞进行修复
+   - 版本发布：在下一个版本更新中发布安全补丁
+   - 公开披露：在修复完成后，我们会在更新日志中公布相关信息
+
+5. **注意事项**
+   - 在漏洞未修复前，请勿公开披露漏洞详情
+   - 我们欢迎负责任的漏洞披露
+   - 对于重大贡献者，我们会在项目致谢名单中提及
+
+感谢您为 FastGPT 的安全性做出贡献！

deploy/docker/docker-compose-milvus.yml

@@ -114,15 +114,15 @@ services:
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.8.20 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.20 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.8.23-fix # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.23-fix # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.8.20 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.20 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.8.23-fix # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.23-fix # 阿里云
     ports:
       - 3000:3000
     networks:
@@ -133,14 +133,17 @@ services:
       - sandbox
     restart: always
     environment:
-      # 前端访问地址: http://localhost:3000
+      # 前端外部可访问的地址，用于自动补全文件资源路径。例如 https:fastgpt.cn，不能填 localhost。这个值可以不填，不填则发给模型的图片会是一个相对路径，而不是全路径，模型可能伪造Host。
       - FE_DOMAIN=
       # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
       - DEFAULT_ROOT_PSW=1234
-      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
-      - OPENAI_BASE_URL=http://oneapi:3000/v1
-      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
-      - CHAT_API_KEY=sk-fastgpt
+      # AI Proxy 的地址，如果配了该地址，优先使用
+      - AIPROXY_API_ENDPOINT=http://aiproxy:3000
+      # AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
+      - AIPROXY_API_TOKEN=aiproxy
+      # 模型中转地址（如果用了 AI Proxy，下面 2 个就不需要了，旧版 OneAPI 用户，使用下面的变量）
+      # - OPENAI_BASE_URL=http://oneapi:3000/v1
+      # - CHAT_API_KEY=sk-fastgpt
       # 数据库最大连接数
       - DB_MAX_LINK=30
       # 登录凭证密钥
@@ -170,48 +173,52 @@ services:
     volumes:
       - ./config.json:/app/data/config.json
 
-  # oneapi
-  mysql:
-    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
-    # image: mysql:8.0.36
-    container_name: mysql
-    restart: always
-    ports:
-      - 3306:3306
-    networks:
-      - fastgpt
-    command: --default-authentication-plugin=mysql_native_password
-    environment:
-      # 默认root密码，仅首次运行有效
-      MYSQL_ROOT_PASSWORD: oneapimmysql
-      MYSQL_DATABASE: oneapi
-    volumes:
-      - ./mysql:/var/lib/mysql
-  oneapi:
-    container_name: oneapi
-    image: ghcr.io/songquanpeng/one-api:v0.6.7
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
-    ports:
-      - 3001:3000
+  # AI Proxy
+  aiproxy:
+    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
+    container_name: aiproxy
+    restart: unless-stopped
     depends_on:
-      - mysql
+      aiproxy_pg:
+        condition: service_healthy
     networks:
       - fastgpt
-    restart: always
     environment:
-      # mysql 连接参数
-      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
-      # 登录凭证加密密钥
-      - SESSION_SECRET=oneapikey
-      # 内存缓存
-      - MEMORY_CACHE_ENABLED=true
-      # 启动聚合更新，减少数据交互频率
-      - BATCH_UPDATE_ENABLED=true
-      # 聚合更新时长
-      - BATCH_UPDATE_INTERVAL=10
-      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
-      - INITIAL_ROOT_TOKEN=fastgpt
+      # 对应 fastgpt 里的AIPROXY_API_TOKEN
+      - ADMIN_KEY=aiproxy
+      # 错误日志详情保存时间（小时）
+      - LOG_DETAIL_STORAGE_HOURS=1
+      # 数据库连接地址
+      - SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy
+      # 最大重试次数
+      - RetryTimes=3
+      # 不需要计费
+      - BILLING_ENABLED=false
+      # 不需要严格检测模型
+      - DISABLE_MODEL_CONFIG=true
+    healthcheck:
+      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+  aiproxy_pg:
+    image: pgvector/pgvector:0.8.0-pg15 # docker hub
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云
+    restart: unless-stopped
+    container_name: aiproxy_pg
     volumes:
-      - ./oneapi:/data
+      - ./aiproxy_pg:/var/lib/postgresql/data
+    networks:
+      - fastgpt
+    environment:
+      TZ: Asia/Shanghai
+      POSTGRES_USER: postgres
+      POSTGRES_DB: aiproxy
+      POSTGRES_PASSWORD: aiproxy
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      interval: 5s
+      timeout: 5s
+      retries: 10
 networks:
   fastgpt:

deploy/docker/docker-compose-pgvector.yml

@@ -7,12 +7,12 @@ version: '3.3'
 services:
   # db
   pg:
-    image: pgvector/pgvector:0.7.0-pg15 # docker hub
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
+    image: pgvector/pgvector:0.8.0-pg15 # docker hub
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云
     container_name: pg
     restart: always
-    ports: # 生产环境建议不要暴露
-      - 5432:5432
+    # ports: # 生产环境建议不要暴露
+    #   - 5432:5432
     networks:
       - fastgpt
     environment:
@@ -28,8 +28,8 @@ services:
     # image: mongo:4.4.29 # cpu不支持AVX时候使用
     container_name: mongo
     restart: always
-    ports:
-      - 27017:27017
+    # ports:
+    #   - 27017:27017
     networks:
       - fastgpt
     command: mongod --keyFile /data/mongodb.key --replSet rs0
@@ -72,15 +72,15 @@ services:
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.8.20 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.20 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.8.23-fix # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.23-fix # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.8.20 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.20 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.8.23-fix # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.23-fix # 阿里云
     ports:
       - 3000:3000
     networks:
@@ -91,14 +91,17 @@ services:
       - sandbox
     restart: always
     environment:
-      # 前端访问地址: http://localhost:3000
+      # 前端外部可访问的地址，用于自动补全文件资源路径。例如 https:fastgpt.cn，不能填 localhost。这个值可以不填，不填则发给模型的图片会是一个相对路径，而不是全路径，模型可能伪造Host。
       - FE_DOMAIN=
       # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
       - DEFAULT_ROOT_PSW=1234
-      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
-      - OPENAI_BASE_URL=http://oneapi:3000/v1
-      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
-      - CHAT_API_KEY=sk-fastgpt
+      # AI Proxy 的地址，如果配了该地址，优先使用
+      - AIPROXY_API_ENDPOINT=http://aiproxy:3000
+      # AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
+      - AIPROXY_API_TOKEN=aiproxy
+      # 模型中转地址（如果用了 AI Proxy，下面 2 个就不需要了，旧版 OneAPI 用户，使用下面的变量）
+      # - OPENAI_BASE_URL=http://oneapi:3000/v1
+      # - CHAT_API_KEY=sk-fastgpt
       # 数据库最大连接数
       - DB_MAX_LINK=30
       # 登录凭证密钥
@@ -127,48 +130,52 @@ services:
     volumes:
       - ./config.json:/app/data/config.json
 
-  # oneapi
-  mysql:
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
-    image: mysql:8.0.36
-    container_name: mysql
-    restart: always
-    ports:
-      - 3306:3306
-    networks:
-      - fastgpt
-    command: --default-authentication-plugin=mysql_native_password
-    environment:
-      # 默认root密码，仅首次运行有效
-      MYSQL_ROOT_PASSWORD: oneapimmysql
-      MYSQL_DATABASE: oneapi
-    volumes:
-      - ./mysql:/var/lib/mysql
-  oneapi:
-    container_name: oneapi
-    image: ghcr.io/songquanpeng/one-api:v0.6.7
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
-    ports:
-      - 3001:3000
+  # AI Proxy
+  aiproxy:
+    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
+    container_name: aiproxy
+    restart: unless-stopped
     depends_on:
-      - mysql
+      aiproxy_pg:
+        condition: service_healthy
     networks:
       - fastgpt
-    restart: always
     environment:
-      # mysql 连接参数
-      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
-      # 登录凭证加密密钥
-      - SESSION_SECRET=oneapikey
-      # 内存缓存
-      - MEMORY_CACHE_ENABLED=true
-      # 启动聚合更新，减少数据交互频率
-      - BATCH_UPDATE_ENABLED=true
-      # 聚合更新时长
-      - BATCH_UPDATE_INTERVAL=10
-      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
-      - INITIAL_ROOT_TOKEN=fastgpt
+      # 对应 fastgpt 里的AIPROXY_API_TOKEN
+      - ADMIN_KEY=aiproxy
+      # 错误日志详情保存时间（小时）
+      - LOG_DETAIL_STORAGE_HOURS=1
+      # 数据库连接地址
+      - SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy
+      # 最大重试次数
+      - RetryTimes=3
+      # 不需要计费
+      - BILLING_ENABLED=false
+      # 不需要严格检测模型
+      - DISABLE_MODEL_CONFIG=true
+    healthcheck:
+      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+  aiproxy_pg:
+    image: pgvector/pgvector:0.8.0-pg15 # docker hub
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云
+    restart: unless-stopped
+    container_name: aiproxy_pg
     volumes:
-      - ./oneapi:/data
+      - ./aiproxy_pg:/var/lib/postgresql/data
+    networks:
+      - fastgpt
+    environment:
+      TZ: Asia/Shanghai
+      POSTGRES_USER: postgres
+      POSTGRES_DB: aiproxy
+      POSTGRES_PASSWORD: aiproxy
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      interval: 5s
+      timeout: 5s
+      retries: 10
 networks:
   fastgpt:

deploy/docker/docker-compose-zilliz.yml

@@ -53,15 +53,15 @@ services:
         wait $$!
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.8.20 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.20 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.8.23-fix # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.23-fix # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.8.20 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.20 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.8.23-fix # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.23-fix # 阿里云
     ports:
       - 3000:3000
     networks:
@@ -71,14 +71,17 @@ services:
       - sandbox
     restart: always
     environment:
-      # 前端访问地址: http://localhost:3000
+      # 前端外部可访问的地址，用于自动补全文件资源路径。例如 https:fastgpt.cn，不能填 localhost。这个值可以不填，不填则发给模型的图片会是一个相对路径，而不是全路径，模型可能伪造Host。
       - FE_DOMAIN=
       # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
       - DEFAULT_ROOT_PSW=1234
-      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
-      - OPENAI_BASE_URL=http://oneapi:3000/v1
-      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
-      - CHAT_API_KEY=sk-fastgpt
+      # AI Proxy 的地址，如果配了该地址，优先使用
+      - AIPROXY_API_ENDPOINT=http://aiproxy:3000
+      # AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
+      - AIPROXY_API_TOKEN=aiproxy
+      # 模型中转地址（如果用了 AI Proxy，下面 2 个就不需要了，旧版 OneAPI 用户，使用下面的变量）
+      # - OPENAI_BASE_URL=http://oneapi:3000/v1
+      # - CHAT_API_KEY=sk-fastgpt
       # 数据库最大连接数
       - DB_MAX_LINK=30
       # 登录凭证密钥
@@ -108,48 +111,52 @@ services:
     volumes:
       - ./config.json:/app/data/config.json
 
-  # oneapi
-  mysql:
-    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
-    # image: mysql:8.0.36
-    container_name: mysql
-    restart: always
-    ports:
-      - 3306:3306
-    networks:
-      - fastgpt
-    command: --default-authentication-plugin=mysql_native_password
-    environment:
-      # 默认root密码，仅首次运行有效
-      MYSQL_ROOT_PASSWORD: oneapimmysql
-      MYSQL_DATABASE: oneapi
-    volumes:
-      - ./mysql:/var/lib/mysql
-  oneapi:
-    container_name: oneapi
-    image: ghcr.io/songquanpeng/one-api:v0.6.7
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
-    ports:
-      - 3001:3000
+  # AI Proxy
+  aiproxy:
+    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
+    container_name: aiproxy
+    restart: unless-stopped
     depends_on:
-      - mysql
+      aiproxy_pg:
+        condition: service_healthy
     networks:
       - fastgpt
-    restart: always
     environment:
-      # mysql 连接参数
-      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
-      # 登录凭证加密密钥
-      - SESSION_SECRET=oneapikey
-      # 内存缓存
-      - MEMORY_CACHE_ENABLED=true
-      # 启动聚合更新，减少数据交互频率
-      - BATCH_UPDATE_ENABLED=true
-      # 聚合更新时长
-      - BATCH_UPDATE_INTERVAL=10
-      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
-      - INITIAL_ROOT_TOKEN=fastgpt
+      # 对应 fastgpt 里的AIPROXY_API_TOKEN
+      - ADMIN_KEY=aiproxy
+      # 错误日志详情保存时间（小时）
+      - LOG_DETAIL_STORAGE_HOURS=1
+      # 数据库连接地址
+      - SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy
+      # 最大重试次数
+      - RetryTimes=3
+      # 不需要计费
+      - BILLING_ENABLED=false
+      # 不需要严格检测模型
+      - DISABLE_MODEL_CONFIG=true
+    healthcheck:
+      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+  aiproxy_pg:
+    image: pgvector/pgvector:0.8.0-pg15 # docker hub
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云
+    restart: unless-stopped
+    container_name: aiproxy_pg
     volumes:
-      - ./oneapi:/data
+      - ./aiproxy_pg:/var/lib/postgresql/data
+    networks:
+      - fastgpt
+    environment:
+      TZ: Asia/Shanghai
+      POSTGRES_USER: postgres
+      POSTGRES_DB: aiproxy
+      POSTGRES_PASSWORD: aiproxy
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      interval: 5s
+      timeout: 5s
+      retries: 10
 networks:
   fastgpt:

deploy/helm/fastgpt/templates/configmap-config.yaml

@@ -6,6 +6,7 @@ data:
         "openapiPrefix": "fastgpt",
         "vectorMaxProcess": 15,
         "qaMaxProcess": 15,
+        "vlmMaxProcess": 15,
         "pgHNSWEfSearch": 100
       },
       "llmModels": [

docSite/content/zh-cn/docs/development/configuration.md

@@ -13,8 +13,8 @@ weight: 707
 
 下面配置文件示例中包含了系统参数和各个模型配置：
 
-## 4.6.8+ 版本新配置文件示例
-
+## 4.8.20+ 版本新配置文件示例
+> 从4.8.20版本开始，模型在页面中进行配置。
 ```json
 {
   "feConfigs": {
@@ -23,8 +23,54 @@ weight: 707
   "systemEnv": {
     "vectorMaxProcess": 15, // 向量处理线程数量
     "qaMaxProcess": 15, // 问答拆分线程数量
+    "vlmMaxProcess": 15, // 图片理解模型最大处理进程
     "tokenWorkers": 50, // Token 计算线程保持数，会持续占用内存，不能设置太大。
-    "pgHNSWEfSearch": 100 // 向量搜索参数。越大，搜索越精确，但是速度越慢。设置为100，有99%+精度。
+    "pgHNSWEfSearch": 100, // 向量搜索参数。越大，搜索越精确，但是速度越慢。设置为100，有99%+精度。
+    "customPdfParse": { // 4.9.0 新增配置
+      "url": "", // 自定义 PDF 解析服务地址
+      "key": "", // 自定义 PDF 解析服务密钥
+      "doc2xKey": "", // doc2x 服务密钥
+      "price": 0 // PDF 解析服务价格
+    }
   }
 }
-```
+```
+
+## 自定义 PDF 解析配置
+
+自定义 PDF 服务解析的优先级高于 Doc2x 服务，所以如果使用 Doc2x 服务，请勿配置自定义 PDF 服务。
+
+### 使用 Sealos PDF 解析服务
+
+#### 1. 申请 Sealos AI proxy API Key
+
+[点击打开 Sealos Pdf parser 官网](https://cloud.sealos.run/?uid=fnWRt09fZP&openapp=system-aiproxy)，并进行对应 API Key 的申请。
+
+#### 2. 修改 FastGPT 配置文件
+
+`systemEnv.customPdfParse.url`填写成`https://aiproxy.hzh.sealos.run/v1/parse/pdf?model=parse-pdf`  
+`systemEnv.customPdfParse.key`填写成在 Sealos AI proxy 中申请的 API Key。
+
+![](/imgs/deployconfig-aiproxy.png)
+
+### 使用 Doc2x 解析 PDF 文件
+
+`Doc2x`是一个国内提供专业 PDF 解析。
+
+#### 1. 申请 Doc2x 服务
+
+[点击打开 Doc2x 官网](https://doc2x.noedgeai.com?inviteCode=9EACN2)，并进行对应 API Key 的申请。
+
+#### 2. 修改 FastGPT 配置文件
+
+开源版用户在 `config.json` 文件中添加 `systemEnv.customPdfParse.doc2xKey` 配置，并填写上申请到的 API Key。并重启服务。
+
+商业版用户在 Admin 后台根据表单指引填写 Doc2x 服务密钥。
+
+#### 3. 开始使用
+
+在知识库导入数据或应用文件上传配置中，可以勾选`PDF 增强解析`，则在对 PDF 解析时候，会使用 Doc2x 服务进行解析。
+
+### 使用 Marker 解析 PDF 文件
+
+[点击查看 Marker 接入教程](/docs/development/custom-models/marker)

docSite/content/zh-cn/docs/development/custom-models/bge-rerank.md

@@ -31,9 +31,9 @@ weight: 920
 
 3 个模型代码分别为：
 
-1. [https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-base](https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-base)
-2. [https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-large](https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-large)
-3. [https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-v2-m3](https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-v2-m3)
+1. [https://github.com/labring/FastGPT/tree/main/plugins/rerank-bge/bge-reranker-base](https://github.com/labring/FastGPT/tree/main/plugins/rerank-bge/bge-reranker-base)
+2. [https://github.com/labring/FastGPT/tree/main/plugins/rerank-bge/bge-reranker-large](https://github.com/labring/FastGPT/tree/main/plugins/rerank-bge/bge-reranker-large)
+3. [https://github.com/labring/FastGPT/tree/main/plugins/rerank-bge/bge-reranker-v2-m3](https://github.com/labring/FastGPT/tree/main/plugins/rerank-bge/bge-reranker-v2-m3)
 
 ### 3. 安装依赖
 

docSite/content/zh-cn/docs/development/custom-models/marker.md

@@ -11,39 +11,51 @@ weight: 909
 
 PDF 是一个相对复杂的文件格式，在 FastGPT 内置的 pdf 解析器中，依赖的是 pdfjs 库解析，该库基于逻辑解析，无法有效的理解复杂的 pdf 文件。所以我们在解析 pdf 时候，如果遇到图片、表格、公式等非简单文本内容，会发现解析效果不佳。
 
-市面上目前有多种解析 PDF 的方法，比如使用 [Marker](https://github.com/VikParuchuri/marker)，该项目使用了 Surya 模型，基于视觉解析，可以有效提取图片、表格、公式等复杂内容。为了可以让 Marker 快速接入 FastGPT，我们做了一个自定义解析的拓展 Demo。
+市面上目前有多种解析 PDF 的方法，比如使用 [Marker](https://github.com/VikParuchuri/marker)，该项目使用了 Surya 模型，基于视觉解析，可以有效提取图片、表格、公式等复杂内容。
 
-在 FastGPT 4.8.15 版本中，你可以通过增加一个环境变量，来替换掉 FastGPT 系统内置解析器，实现自定义的文档解析服务。该功能只是 Demo 阶段，后期配置模式和交互规则会发生改动。
+在 `FastGPT v4.9.0` 版本中，开源版用户可以在`config.json`文件中添加`systemEnv.customPdfParse`配置，来使用 Marker 解析 PDF 文件。商业版用户直接在 Admin 后台根据表单指引填写即可。需重新拉取 Marker 镜像，接口格式已变动。
 
 ## 使用教程
 
-### 1. 按照 Marker
+### 1. 安装 Marker
 
-参考文档 [Marker 安装教程](https://github.com/labring/FastGPT/tree/main/python/pdf-marker)，安装 Marker 模型。封装的 API 已经适配了 FastGPT 自定义解析服务。
+参考文档 [Marker 安装教程](https://github.com/labring/FastGPT/tree/main/plugins/model/pdf-marker)，安装 Marker 模型。封装的 API 已经适配了 FastGPT 自定义解析服务。
 
 这里介绍快速 Docker 安装的方法：
 
 ```dockerfile
-docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:latest
-docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:latest
+docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2
+docker run --gpus all -itd -p 7231:7232 --name model_pdf_v2 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2
+```
+### 2. 添加 FastGPT 文件配置
+
+```json
+{
+  xxx
+  "systemEnv": {
+    xxx
+    "customPdfParse": {
+      "url": "http://xxxx.com/v2/parse/file", // 自定义 PDF 解析服务地址 marker v0.2
+      "key": "", // 自定义 PDF 解析服务密钥
+      "doc2xKey": "", // doc2x 服务密钥
+      "price": 0 // PDF 解析服务价格
+    }
+  }
+}
 ```
 
-### 2. 添加 FastGPT 环境变量
-
-```
-CUSTOM_READ_FILE_URL=http://xxxx.com/v1/parse/file
-CUSTOM_READ_FILE_EXTENSION=pdf
-```
-
-* CUSTOM_READ_FILE_URL - 自定义解析服务的地址, host改成解析服务的访问地址，path 不能变动。
-* CUSTOM_READ_FILE_EXTENSION - 支持的文件后缀，多个文件类型，可用逗号隔开。
+需要重启服务。
 
 ### 3. 测试效果
 
-通过知识库上传一个 pdf 文件，并确认上传，可以在日志中看到 LOG （LOG_LEVEL需要设置 info 或者 debug）：
+通过知识库上传一个 pdf 文件，并勾选上 `PDF 增强解析`。
+
+![alt text](/imgs/marker2.png)
+
+确认上传后，可以在日志中看到 LOG （LOG_LEVEL需要设置 info 或者 debug）：
 
 ```
-[Info] 2024-12-05 15:04:42 Parsing files from an external service 
+[Info] 2024-12-05 15:04:42 Parsing files from an external service
 [Info] 2024-12-05 15:07:08 Custom file parsing is complete, time: 1316ms 
 ```
 
@@ -51,6 +63,10 @@ CUSTOM_READ_FILE_EXTENSION=pdf
 
 ![alt text](/imgs/image-10.png)
 
+同样的，在应用中，你可以在文件上传配置里，勾选上 `PDF 增强解析`。
+
+![alt text](/imgs/marker3.png)
+
 
 ## 效果展示
 
@@ -63,4 +79,25 @@ CUSTOM_READ_FILE_EXTENSION=pdf
 
 上图是分块后的结果，下图是 pdf 原文。整体图片、公式、表格都可以提取出来，效果还是杠杠的。
 
-不过要注意的是，[Marker](https://github.com/VikParuchuri/marker) 的协议是`GPL-3.0 license`，请在遵守协议的前提下使用。
+不过要注意的是，[Marker](https://github.com/VikParuchuri/marker) 的协议是`GPL-3.0 license`，请在遵守协议的前提下使用。
+
+## 旧版 Marker 使用方法
+
+FastGPT V4.9.0 版本之前，可以用以下方式，试用 Marker 解析服务。
+
+安装和运行 Marker 服务：
+
+```dockerfile
+docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1
+docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1
+```
+
+并修改 FastGPT 环境变量：
+
+```
+CUSTOM_READ_FILE_URL=http://xxxx.com/v1/parse/file
+CUSTOM_READ_FILE_EXTENSION=pdf
+```
+
+* CUSTOM_READ_FILE_URL - 自定义解析服务的地址, host改成解析服务的访问地址，path 不能变动。
+* CUSTOM_READ_FILE_EXTENSION - 支持的文件后缀，多个文件类型，可用逗号隔开。

docSite/content/zh-cn/docs/development/docker.md

@@ -11,7 +11,7 @@ weight: 707
 
 1. 基础的网络知识：端口，防火墙……  
 2. Docker 和 Docker Compose 基础知识  
-3. 大模型相关接口和参数
+3. 大模型相关接口和参数  
 4. RAG 相关知识：向量模型，向量数据库，向量检索
 
 ## 部署架构图
@@ -30,7 +30,7 @@ weight: 707
 
 ### PgVector版本
 
-非常轻量，适合数据量在 5000 万以下。
+非常轻量，适合知识库索引量在 5000 万以下。
 
 {{< table "table-hover table-striped-columns" >}}
 | 环境 | 最低配置（单节点） | 推荐配置 |
@@ -118,7 +118,7 @@ brew install orbstack
 非 Linux 环境或无法访问外网环境，可手动创建一个目录，并下载配置文件和对应版本的`docker-compose.yml`，在这个文件夹中依据下载的配置文件运行docker，若作为本地开发使用推荐`docker-compose-pgvector`版本，并且自行拉取并运行`sandbox`和`fastgpt`，并在docker配置文件中注释掉`sandbox`和`fastgpt`的部分
 
 - [config.json](https://raw.githubusercontent.com/labring/FastGPT/refs/heads/main/projects/app/data/config.json)
-- [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/files/docker) (注意，不同向量库版本的文件不一样)
+- [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/deploy/docker) (注意，不同向量库版本的文件不一样)
 
 {{% alert icon="🤖" context="success" %}}
 
@@ -134,11 +134,11 @@ cd fastgpt
 curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
 
 # pgvector 版本(测试推荐，简单快捷)
-curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
+curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml
 # milvus 版本
-# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
+# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-milvus.yml
 # zilliz 版本
-# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
+# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-zilliz.yml
 ```
 
 ### 2. 修改环境变量
@@ -149,18 +149,14 @@ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/mai
 {{< tab tabName="PgVector版本" >}}
 {{< markdownify >}}
 
-```
-FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://cloud.fastgpt.cn
-```
+无需操作
 
 {{< /markdownify >}}
 {{< /tab >}}
 {{< tab tabName="Milvus版本" >}}
 {{< markdownify >}}
 
-```
-FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://cloud.fastgpt.cn
-```
+无需操作
 
 {{< /markdownify >}}
 {{< /tab >}}
@@ -174,7 +170,6 @@ FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://clo
 {{% alert icon="🤖" context="success" %}}
 
 1. 修改`MILVUS_ADDRESS`和`MILVUS_TOKEN`链接参数，分别对应 `zilliz` 的 `Public Endpoint` 和 `Api key`，记得把自己ip加入白名单。
-2. 修改FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://cloud.fastgpt.cn
 
 {{% /alert %}}
 
@@ -189,32 +184,28 @@ FE_DOMAIN=你的前端你访问地址,例如 http://192.168.0.1:3000;https://clo
 ```bash
 # 启动容器
 docker-compose up -d
-# 等待10s，OneAPI第一次总是要重启几次才能连上Mysql
-sleep 10
-# 重启一次oneapi(由于OneAPI的默认Key有点问题，不重启的话会提示找不到渠道，临时手动重启一次解决，等待作者修复)
-docker restart oneapi
 ```
 
-### 4. 打开 OneAPI 添加模型
+### 4. 访问 FastGPT
 
-可以通过`ip:3001`访问OneAPI，默认账号为`root`密码为`123456`。
-
-在OneApi中添加合适的AI模型渠道。[点击查看相关教程](/docs/development/modelconfig/one-api/)
-
-### 5. 访问 FastGPT
-
-目前可以通过 `ip:3000` 直接访问(注意防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。
+目前可以通过 `ip:3000` 直接访问(注意开放防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。
 
 如果需要域名访问，请自行安装并配置 Nginx。
 
-首次运行，会自动初始化 root 用户，密码为 `1234`（与环境变量中的`DEFAULT_ROOT_PSW`一致），日志里会提示一次`MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;`可忽略。
+首次运行，会自动初始化 root 用户，密码为 `1234`（与环境变量中的`DEFAULT_ROOT_PSW`一致），日志可能会提示一次`MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;`可忽略。
 
-### 6. 配置模型
+### 5. 配置模型
 
-[点击查看模型配置教程](/docs/development/modelConfig/intro/)
+- 首次登录FastGPT后，系统会提示未配置`语言模型`和`索引模型`，并自动跳转模型配置页面。系统必须至少有这两类模型才能正常使用。
+- 如果系统未正常跳转，可以在`账号-模型提供商`页面，进行模型配置。[点击查看相关教程](/docs/development/modelconfig/ai-proxy)
+- 目前已知可能问题：首次进入系统后，整个浏览器 tab 无法响应。此时需要删除该tab，重新打开一次即可。
 
 ## FAQ
 
+### 登录系统后，浏览器无法响应
+
+无法点击任何内容，刷新也无效。此时需要删除该tab，重新打开一次即可。
+
 ### Mongo 副本集自动初始化失败
 
 最新的 docker-compose 示例优化 Mongo 副本集初始化，实现了全自动。目前在 unbuntu20,22 centos7, wsl2, mac, window 均通过测试。仍无法正常启动，大部分是因为 cpu 不支持 AVX 指令集，可以切换 Mongo4.x 版本。

docSite/content/zh-cn/docs/development/faq.md

@@ -9,17 +9,31 @@ images: []
 
 ## 一、错误排查方式
 
-遇到问题先按下面方式排查。
+可以先找找[Issue](https://github.com/labring/FastGPT/issues)，或新提 Issue，私有部署错误，务必提供详细的操作步骤、日志、截图，否则很难排查。
+
+### 获取后端错误
 
 1. `docker ps -a` 查看所有容器运行状态，检查是否全部 running，如有异常，尝试`docker logs 容器名`查看对应日志。
 2. 容器都运行正常的，`docker logs 容器名` 查看报错日志
-3. 带有`requestId`的，都是 OneAPI 提示错误，大部分都是因为模型接口报错。
-4. 无法解决时，可以找找[Issue](https://github.com/labring/FastGPT/issues)，或新提 Issue，私有部署错误，务必提供详细的日志，否则很难排查。
 
+### 前端错误
+
+前端报错时，页面会出现崩溃，并提示检查控制台日志。可以打开浏览器控制台，并查看`console`中的 log 日志。还可以点击对应 log 的超链接，会提示到具体错误文件，可以把这些详细错误信息提供，方便排查。
+
+### OneAPI 错误
+
+带有`requestId`的，都是 OneAPI 提示错误，大部分都是因为模型接口报错。可以参考 [OneAPI 常见错误](/docs/development/faq/#三常见的-oneapi-错误)
 
 ## 二、通用问题
 
+### 前端页面崩溃
+
+1. 90% 情况是模型配置不正确：确保每类模型都至少有一个启用；检查模型中一些`对象`参数是否异常（数组和对象），如果为空，可以尝试给个空数组或空对象。
+2. 少部分是由于浏览器兼容问题，由于项目中包含一些高阶语法，可能低版本浏览器不兼容，可以将具体操作步骤和控制台中错误信息提供 issue。
+3. 关闭浏览器翻译功能，如果浏览器开启了翻译，可能会导致页面崩溃。
+
 ### 通过sealos部署的话，是否没有本地部署的一些限制？
+
 ![](/imgs/faq1.png)
 这是索引模型的长度限制，通过任何方式部署都一样的，但不同索引模型的配置不一样，可以在后台修改参数。
 
@@ -128,9 +142,13 @@ OneAPI 的 API Key 配置错误，需要修改`OPENAI_API_KEY`环境变量，并
 3. ....
 
 
+### Tiktoken 下载失败
+
+由于 OneAPI 会在启动时从网络下载一个 tiktoken 的依赖，如果网络异常，就会导致启动失败。可以参考[OneAPI 离线部署](https://blog.csdn.net/wanh/article/details/139039216)解决。
+
 ## 四、常见模型问题
 
-### 如何检查模型问题
+### 如何检查模型可用性问题
 
 1. 私有部署模型，先确认部署的模型是否正常。
 2. 通过 CURL 请求，直接测试上游模型是否正常运行（云端模型或私有模型均进行测试）
@@ -403,3 +421,7 @@ curl --location --request POST 'https://oneapi.xxxx/v1/chat/completions' \
   "tool_choice": "auto"
 }'
 ```
+
+### 向量检索得分大于 1
+
+由于模型没有归一化导致的。目前仅支持归一化的模型。

docSite/content/zh-cn/docs/development/intro.md

@@ -15,8 +15,8 @@ weight: 705
 
 - [Git](http://git-scm.com/)
 - [Docker](https://www.docker.com/)（构建镜像）
-- [Node.js v18.17 / v20.x](http://nodejs.org)（版本尽量一样，可以使用nvm管理node版本）
-- [pnpm](https://pnpm.io/) 版本 8.6.0 (目前官方的开发环境)
+- [Node.js v20.14.0](http://nodejs.org)（版本尽量一样，可以使用nvm管理node版本）
+- [pnpm](https://pnpm.io/) 推荐版本 9.4.0 (目前官方的开发环境)
 - make命令: 根据不同平台，百度安装 (官方是GNU Make 4.3)
 
 ## 开始本地开发
@@ -70,6 +70,7 @@ Mongo 数据库需要注意，需要注意在连接地址中增加 `directConnec
 
 - `vectorMaxProcess`: 向量生成最大进程，根据数据库和 key 的并发数来决定，通常单个 120 号，2c4g 服务器设置 10~15。
 - `qaMaxProcess`: QA 生成最大进程
+- `vlmMaxProcess`: 图片理解模型最大进程
 - `pgHNSWEfSearch`: PostgreSQL vector 索引参数，越大搜索精度越高但是速度越慢，具体可看 pgvector 官方说明。
 
 ### 5. 运行
@@ -77,8 +78,6 @@ Mongo 数据库需要注意，需要注意在连接地址中增加 `directConnec
 可参考项目根目录下的 `dev.md`，第一次编译运行可能会有点慢，需要点耐心哦
 
 ```bash
-# 给自动化脚本代码执行权限(非 linux 系统, 可以手动执行里面的 postinstall.sh 文件内容)
-chmod -R +x ./scripts/
 # 代码根目录下执行，会安装根 package、projects 和 packages 内所有依赖
 # 如果提示 isolate-vm 安装失败，可以参考：https://github.com/laverdet/isolated-vm?tab=readme-ov-file#requirements
 pnpm i

docSite/content/zh-cn/docs/development/migration/docker_db.md

@@ -7,9 +7,18 @@ draft: false
 images: []
 ---
 
-## Copy文件
+## 1. 停止服务
+
+```bash
+docker-compose down
+```
+
+
+## 2. Copy文件夹
 
 Docker 部署数据库都会通过 volume 挂载本地的目录进入容器，如果要迁移，直接复制这些目录即可。
 
 `PG 数据`: pg/data
-`Mongo 数据`: mongo/data
+`Mongo 数据`: mongo/data
+
+直接把pg 和 mongo目录全部复制走即可。

docSite/content/zh-cn/docs/development/modelConfig/ai-proxy.md

@@ -0,0 +1,129 @@
+---
+title: '通过 AI Proxy 接入模型'
+description: '通过 AI Proxy 接入模型'
+icon: 'api'
+draft: false
+toc: true
+weight: 744
+---
+
+从 `FastGPT 4.8.23` 版本开始，引入 AI Proxy 来进一步方便模型的配置。
+
+AI Proxy 与 One API 类似，也是作为一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
+
+## 部署
+
+### Docker 版本
+
+`docker-compose.yml` 文件已加入了 AI Proxy 配置，可直接使用。[点击查看最新的 yml 配置](https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml)
+
+从旧版升级的用户，可以复制 yml 里，ai proxy 的配置，加入到旧的 yml 文件中。
+
+## 运行原理
+
+AI proxy 核心模块: 
+
+1. 渠道管理：管理各家模型提供商的 API Key 和可用模型列表。
+2. 模型调用：根据请求的模型，选中对应的渠道；根据渠道的 API 格式，构造请求体，发送请求；格式化响应体成标准格式返回。
+3. 调用日志：详细记录模型调用的日志，并在错误时候可以记录其入参和报错信息，方便排查。
+
+运行流程：
+
+![aiproxy12](/imgs/aiproxy1.png)
+
+## 在 FastGPT 中使用
+
+AI proxy 相关功能，可以在`账号-模型提供商`页面找到。
+
+### 1. 创建渠道
+
+在`模型提供商`的配置页面，点击`模型渠道`，进入渠道配置页面
+
+![aiproxy1](/imgs/aiproxy-1.png)
+
+点击右上角的“新增渠道”，即可进入渠道配置页面
+
+![aiproxy2](/imgs/aiproxy-2.png)
+
+以阿里云的模型为例，进行如下配置
+
+![aiproxy3](/imgs/aiproxy-3.png)
+
+1. 渠道名：展示在外部的渠道名称，仅作标识;
+2. 厂商：模型对应的厂商，不同厂商对应不同的默认地址和 API 密钥格式;
+3. 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，[增加自定义模型](/docs/development/modelconfig/intro/#新增自定义模型);
+4. 模型映射：将 FastGPT 请求的模型，映射到具体提供的模型上。例如：
+   
+```json
+{
+    "gpt-4o-test": "gpt-4o",
+}
+```
+
+FatGPT 中的模型为 `gpt-4o-test`，向 AI Proxy 发起请求时也是 `gpt-4o-test`。AI proxy 在向上游发送请求时，实际的`model`为 `gpt-4o`。
+
+5. 代理地址：具体请求的地址，系统给每个主流渠道配置了默认的地址，如果无需改动则不用填。
+6. API 密钥：从模型厂商处获取的 API 凭证。注意部分厂商需要提供多个密钥组合，可以根据提示进行输入。
+
+最后点击“新增”，就能在“模型渠道”下看到刚刚配置的渠道
+
+![aiproxy4](/imgs/aiproxy-4.png)
+
+### 2. 渠道测试
+
+然后可以对渠道进行测试，确保配置的模型有效
+
+![aiproxy5](/imgs/aiproxy-5.png)
+
+点击“模型测试”，可以看到配置的模型列表，点击“开始测试”
+
+![aiproxy6](/imgs/aiproxy-6.png)
+
+等待模型测试完成后，会输出每个模型的测试结果以及请求时长
+
+![aiproxy7](/imgs/aiproxy-7.png)
+
+### 3. 启用模型
+
+最后在`模型配置`中，可以选择启用对应的模型，这样就能在平台中使用了，更多模型配置可以参考[模型配置](/docs/development/modelconfig/intro)
+
+![aiproxy8](/imgs/aiproxy-8.png)
+
+## 其他功能介绍
+
+### 优先级
+
+范围1～100。数值越大，越容易被优先选中。
+
+![aiproxy9](/imgs/aiproxy-9.png)
+
+### 启用/禁用
+
+在渠道右侧的控制菜单中，还可以控制渠道的启用或禁用，被禁用的渠道将无法再提供模型服务
+
+![aiproxy10](/imgs/aiproxy-10.png)
+
+### 调用日志
+
+在 `调用日志` 页面，会展示发送到模型处的请求记录，包括具体的输入输出 tokens、请求时间、请求耗时、请求地址等等。错误的请求，则会详细的入参和错误信息，方便排查，但仅会保留 1 小时(环境变量里可配置)。
+
+![aiproxy11](/imgs/aiproxy-11.png)
+
+## 从 OneAPI 迁移到 AI Proxy
+
+可以从任意终端，发起 1 个 HTTP 请求。其中 `{{host}}` 替换成 AI Proxy 地址，`{{admin_key}}` 替换成 AI Proxy 中 `ADMIN_KEY` 的值。
+
+Body 参数 `dsn` 为 OneAPI 的 mysql 连接串。
+
+```bash
+curl --location --request POST '{{host}}/api/channels/import/oneapi' \
+--header 'Authorization: Bearer {{admin_key}}' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "dsn": "mysql://root:s5mfkwst@tcp(dbconn.sealoshzh.site:33123)/mydb"
+}'
+```
+
+执行成功的情况下会返回 "success": true
+
+脚本目前不是完全准，仅是简单的做数据映射，主要是迁移`代理地址`、`模型`和`API 密钥`，建议迁移后再进行手动检查。

docSite/content/zh-cn/docs/development/modelConfig/intro.md

@@ -13,9 +13,15 @@ weight: 744
 
 ## 配置模型
 
-### 1. 使用 OneAPI 对接模型提供商
+### 1. 对接模型提供商
 
-可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api) 来进行模型聚合，从而可以对接更多模型提供商。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
+#### AI Proxy
+
+从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 [AI Proxy 接入教程](/docs/development/modelconfig/ai-proxy) 来进行模型聚合，从而可以对接更多模型提供商。
+
+#### One API
+
+也可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api)。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
 
 ![alt text](/imgs/image-95.png)
 
@@ -23,27 +29,17 @@ weight: 744
 
 {{% alert icon=" " context="info" %}}
 - [SiliconCloud(硅基流动)](https://cloud.siliconflow.cn/i/TR9Ym0c4): 提供开源模型调用的平台。
-- [Sealos AIProxy](https://hzh.sealos.run/?openapp=system-aiproxy): 提供国内各家模型代理，无需逐一申请 api。
+- [Sealos AIProxy](https://cloud.sealos.run/?uid=fnWRt09fZP&openapp=system-aiproxy): 提供国内各家模型代理，无需逐一申请 api。
 {{% /alert %}}
 
 在 OneAPI 配置好模型后，你就可以打开 FastGPT 页面，启用对应模型了。
 
-### 2. 登录 root 用户
-
-仅 root 用户可以进行模型配置。
-
-### 3. 进入模型配置页面
-
-登录 root 用户后，在`账号-模型提供商-模型配置`中，你可以看到所有内置的模型和自定义模型，以及哪些模型启用了。
-
-![alt text](/image-90.png)
-
-### 4. 配置介绍
+### 2. 配置介绍
 
 {{% alert icon="🤖 " context="success" %}}
 注意：
 1. 目前语音识别模型和重排模型仅会生效一个，所以配置时候，只需要配置一个即可。  
-2. 用于知识库文件处理的语言模型，至少需要开启一个，否则知识库会报错。
+2. 系统至少需要一个语言模型和一个索引模型才能正常使用。
 {{% /alert %}}
 
 #### 核心配置
@@ -467,4 +463,4 @@ OneAPI 的语言识别接口，无法正确的识别其他模型（会始终识
     "charsPointsPrice": 0
   }
 }
-```
+```

docSite/content/zh-cn/docs/development/modelConfig/one-api.md

@@ -20,10 +20,6 @@ FastGPT 目前采用模型分离的部署方案，FastGPT 中只兼容 OpenAI
 
 ## 部署
 
-### Docker 版本
-
-`docker-compose.yml` 文件已加入了 OneAPI 配置，可直接使用。默认暴露在 3001 端口。
-
 ### Sealos 版本
 
 * 北京区: [点击部署 OneAPI](https://hzh.sealos.run/?openapp=system-template%3FtemplateName%3Done-api)

docSite/content/zh-cn/docs/development/modelConfig/siliconCloud.md

@@ -35,7 +35,7 @@ CHAT_API_KEY=sk-xxxxxx
 
 ![alt text](/imgs/image-104.png)
 
-## 5. 体验测试
+## 4. 体验测试
 
 ### 测试对话和图片识别
 

docSite/content/zh-cn/docs/development/openapi/chat.md

@@ -7,6 +7,12 @@ toc: true
 weight: 852
 ---
 
+# 如何获取 AppId
+
+可在应用详情的路径里获取 AppId。
+
+![](/imgs/appid.png)
+
 # 发起对话
 
 {{% alert icon="🤖 " context="success" %}}
@@ -102,8 +108,8 @@ curl --location --request POST 'http://localhost:3000/api/v1/chat/completions' \
 {{% alert context="info" %}}
 - headers.Authorization: Bearer {{apikey}}
 - chatId: string | undefined 。
-  - 为 `undefined` 时（不传入），不使用 FastGpt 提供的上下文功能，完全通过传入的 messages 构建上下文。 不会将你的记录存储到数据库中，你也无法在记录汇总中查阅到。
-  - 为`非空字符串`时，意味着使用 chatId 进行对话，自动从 FastGpt 数据库取历史记录，并使用 messages 数组最后一个内容作为用户问题。请自行确保 chatId 唯一，长度小于250，通常可以是自己系统的对话框ID。
+  - 为 `undefined` 时（不传入），不使用 FastGpt 提供的上下文功能，完全通过传入的 messages 构建上下文。
+  - 为`非空字符串`时，意味着使用 chatId 进行对话，自动从 FastGpt 数据库取历史记录，并使用 messages 数组最后一个内容作为用户问题，其余 message 会被忽略。请自行确保 chatId 唯一，长度小于250，通常可以是自己系统的对话框ID。
 - messages: 结构与 [GPT接口](https://platform.openai.com/docs/api-reference/chat/object) chat模式一致。
 - responseChatItemId: string | undefined 。如果传入，则会将该值作为本次对话的响应消息的 ID，FastGPT 会自动将该 ID 存入数据库。请确保，在当前`chatId`下，`responseChatItemId`是唯一的。
 - detail: 是否返回中间值（模块状态，响应的完整结果等），`stream模式`下会通过`event`进行区分，`非stream模式`结果保存在`responseData`中。
@@ -672,7 +678,7 @@ curl --location --request POST 'http://localhost:3000/api/core/chat/getHistories
     "appId": "appId",
     "offset": 0,
     "pageSize": 20,
-    "source: "api"
+    "source": "api"
 }'
 ```
 

docSite/content/zh-cn/docs/development/openapi/dataset.md

@@ -297,7 +297,9 @@ curl --location --request DELETE 'http://localhost:3000/api/core/dataset/delete?
 | --- | --- | --- |
 | datasetId | 知识库ID | ✅ |
 | parentId： | 父级ID，不填则默认为根目录 |  |
-| trainingType | 训练模式。chunk: 按文本长度进行分割;qa: QA拆分;auto: 增强训练 | ✅ |
+| trainingType | 数据处理方式。chunk: 按文本长度进行分割;qa: 问答对提取 | ✅ |
+| autoIndexes | 是否自动生成索引(仅商业版支持) |  |
+| imageIndex | 是否自动生成图片索引(仅商业版支持) |  |
 | chunkSize | 预估块大小 |  |
 | chunkSplitter | 自定义最高优先分割符号 |  |
 | qaPrompt | qa拆分提示词 |  |
@@ -735,7 +737,7 @@ data 为集合的 ID。
 
 **4.8.19+**
 ```bash
-curl --location --request POST 'http://localhost:3000/api/core/dataset/collection/listv2' \
+curl --location --request POST 'http://localhost:3000/api/core/dataset/collection/listV2' \
 --header 'Authorization: Bearer {{authorization}}' \
 --header 'Content-Type: application/json' \
 --data-raw '{
@@ -1061,10 +1063,12 @@ curl --location --request DELETE 'http://localhost:3000/api/core/dataset/collect
 
 | 字段 | 类型 | 说明 | 必填 |
 | --- | --- | --- | --- |
-| defaultIndex | Boolean | 是否为默认索引 | ✅ |
-| dataId | String | 关联的向量ID | ✅ |
+| type | String | 可选索引类型：default-默认索引; custom-自定义索引; summary-总结索引; question-问题索引; image-图片索引 | |
+| dataId | String | 关联的向量ID，变更数据时候传入该 ID，会进行差量更新，而不是全量更新 |  |
 | text | String | 文本内容 | ✅ |
 
+`type` 不填则默认为 `custom` 索引，还会基于 q/a 组成一个默认索引。如果传入了默认索引，则不会额外创建。
+
 ### 为集合批量添加添加数据
 
 注意，每次最多推送 200 组数据。
@@ -1079,7 +1083,7 @@ curl --location --request POST 'https://api.fastgpt.in/api/core/dataset/data/pus
 --header 'Content-Type: application/json' \
 --data-raw '{
     "collectionId": "64663f451ba1676dbdef0499",
-    "trainingMode": "chunk",
+    "trainingType": "chunk",
     "prompt": "可选。qa 拆分引导词，chunk 模式下忽略",
     "billId": "可选。如果有这个值，本次的数据会被聚合到一个订单中，这个值可以重复使用。可以参考 [创建训练订单] 获取该值。",
     "data": [
@@ -1296,8 +1300,7 @@ curl --location --request GET 'http://localhost:3000/api/core/dataset/data/detai
         "chunkIndex": 0,
         "indexes": [
             {
-                "defaultIndex": true,
-                "type": "chunk",
+                "type": "default",
                 "dataId": "3720083",
                 "text": "N o . 2 0 2 2 1 2中 国 信 息 通 信 研 究 院京东探索研究院2022年 9月人工智能生成内容（AIGC）白皮书(2022 年)版权声明本白皮书版权属于中国信息通信研究院和京东探索研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院和京东探索研究院”。违反上述声明者，编者将追究其相关法律责任。前 言习近平总书记曾指出，“数字技术正以新理念、新业态、新模式全面融入人类经济、政治、文化、社会、生态文明建设各领域和全过程”。在当前数字世界和物理世界加速融合的大背景下，人工智能生成内容（Artificial Intelligence Generated Content，简称 AIGC）正在悄然引导着一场深刻的变革，重塑甚至颠覆数字内容的生产方式和消费模式，将极大地丰富人们的数字生活，是未来全面迈向数字文明新时代不可或缺的支撑力量。",
                 "_id": "65abd4b29d1448617cba61dc"
@@ -1333,12 +1336,18 @@ curl --location --request PUT 'http://localhost:3000/api/core/dataset/data/updat
     "a":"sss",
     "indexes":[
         {
-            "dataId": "xxx",
-            "defaultIndex":false,
-            "text":"自定义索引1"
+            "dataId": "xxxx",
+            "type": "default",
+            "text": "默认索引"
         },
         {
-            "text":"修改后的自定义索引2。（会删除原来的自定义索引2，并插入新的自定义索引2）"
+            "dataId": "xxx",
+            "type": "custom",
+            "text": "旧的自定义索引1"
+        },
+        {
+            "type":"custom",
+            "text":"新增的自定义索引"
         }
     ]
 }'

docSite/content/zh-cn/docs/development/openapi/intro.md

@@ -1,6 +1,6 @@
 ---
-title: 'Api Key 使用与鉴权'
-description: 'FastGPT Api Key 使用与鉴权'
+title: 'OpenAPI 介绍'
+description: 'FastGPT OpenAPI 介绍'
 icon: 'key'
 draft: false
 toc: true
@@ -27,6 +27,7 @@ FastGPT 的 API Key **有 2 类**，一类是全局通用的 key (无法直接
 | --------------------- | --------------------- |
 | ![](/imgs/fastgpt-api2.jpg) | ![](/imgs/fastgpt-api1.jpg) |
 
+
 ## 基本配置
 
 OpenAPI 中，所有的接口都通过 Header.Authorization 进行鉴权。

docSite/content/zh-cn/docs/development/openapi/share.md

@@ -11,7 +11,7 @@ weight: 860
 
 在 FastGPT V4.6.4 中，我们修改了分享链接的数据读取方式，为每个用户生成一个 localId，用于标识用户，从云端拉取对话记录。但是这种方式仅能保障用户在同一设备同一浏览器中使用，如果切换设备或者清空浏览器缓存则会丢失这些记录。这种方式存在一定的风险，因此我们仅允许用户拉取近`30天`的`20条`记录。
 
-分享链接身份鉴权设计的目的在于，将 FastGPT 的对话框快速、安全的接入到你现有的系统中，仅需 2 个接口即可实现。
+分享链接身份鉴权设计的目的在于，将 FastGPT 的对话框快速、安全的接入到你现有的系统中，仅需 2 个接口即可实现。该功能目前只在商业版中提供。
 
 ## 使用说明
 

docSite/content/zh-cn/docs/development/sealos.md

@@ -60,6 +60,10 @@ FastGPT 使用了 one-api 项目来管理模型池，其可以兼容 OpenAI 、A
 
 ### 3. 配置模型
 
+### 4. 配置模型
+
+务必先配置至少一组模型，否则系统无法正常使用。
+
 [点击查看模型配置教程](/docs/development/modelConfig/intro/)
 
 ## 收费

docSite/content/zh-cn/docs/development/upgrading/4818.md

@@ -1,5 +1,5 @@
 ---
-title: 'V4.8.18'
+title: 'V4.8.18(包含升级脚本)'
 description: 'FastGPT V4.8.18 更新说明'
 icon: 'upgrade'
 draft: false

docSite/content/zh-cn/docs/development/upgrading/482.md

@@ -20,7 +20,7 @@ SANDBOX_URL=内网地址
 
 ## Docker 部署
 
-可以拉取最新 [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/files/docker/docker-compose.yml) 文件参考
+可以拉取最新 [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/deploy/docker/docker-compose.yml) 文件参考
 
 1. 新增一个容器 `sandbox`
 2. fastgpt 和 fastgpt-pro(商业版) 容器新增环境变量: `SANDBOX_URL`

docSite/content/zh-cn/docs/development/upgrading/4820.md

@@ -17,8 +17,8 @@ weight: 804
 
 ### 3. 更新镜像：
 
-- 更新 fastgpt 镜像 tag: v4.8.20
-- 更新 fastgpt-pro 商业版镜像 tag: v4.8.20
+- 更新 fastgpt 镜像 tag: v4.8.20-fix2
+- 更新 fastgpt-pro 商业版镜像 tag: v4.8.20-fix2
 - Sandbox 镜像无需更新
 
 ### 4. 运行升级脚本
@@ -35,7 +35,7 @@ curl --location --request POST 'https://{{host}}/api/admin/initv4820' \
 
 ## 完整更新内容
 
-1. 新增 - 可视化模型参数配置。预设超过 100 个模型配置。同时支持所有类型模型的一键测试。（预计下个版本会完全支持在页面上配置渠道）。
+1. 新增 - 可视化模型参数配置，取代原配置文件配置模型。预设超过 100 个模型配置。同时支持所有类型模型的一键测试。（预计下个版本会完全支持在页面上配置渠道）。
 2. 新增 - DeepSeek resoner 模型支持输出思考过程。
 3. 新增 - 使用记录导出和仪表盘。
 4. 新增 - markdown 语法扩展，支持音视频（代码块 audio 和 video）。

docSite/content/zh-cn/docs/development/upgrading/4821.md

@@ -0,0 +1,39 @@
+---
+title: 'V4.8.21'
+description: 'FastGPT V4.8.21 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 803
+---
+
+## 更新指南
+
+### 1. 做好数据库备份
+
+### 2. 更新镜像：
+
+- 更新 fastgpt 镜像 tag: v4.8.21-fix
+- 更新 fastgpt-pro 商业版镜像 tag: v4.8.21-fix
+- Sandbox 镜像无需更新
+
+## 完整更新内容
+
+1. 新增 - 弃用/已删除的插件提示。
+2. 新增 - 对话日志按来源分类、标题检索、导出功能。
+3. 新增 - 全局变量支持拖拽排序。
+4. 新增 - LLM 模型支持 top_p, response_format, json_schema 参数。
+5. 新增 - Doubao1.5 模型预设。阿里 embedding3 预设。
+6. 新增 - 向量模型支持归一化配置，以便适配未归一化的向量模型，例如 Doubao 的 embedding 模型。
+6. 新增 - AI 对话节点，支持输出思考过程结果，可用于其他节点引用。
+7. 优化 - 网站嵌入式聊天窗口，增加窗口位置适配。
+8. 优化 - 模型未配置时错误提示。
+9. 优化 - 适配非 Stream 模式思考输出。
+10. 优化 - 增加 TTS voice 未配置时的空指针保护。
+11. 优化 - Markdown 链接解析分割规则，改成严格匹配模式，牺牲兼容多种情况，减少误解析。
+12. 优化 - 减少未登录用户的数据获取范围，提高系统隐私性。
+13. 修复 - 简易模式，切换到其他非视觉模型时候，会强制关闭图片识别。
+14. 修复 - o1,o3 模型，在测试时候字段映射未生效导致报错。
+15. 修复 - 公众号对话空指针异常。
+16. 修复 - 多个音频/视频文件展示异常。
+17. 修复 - 分享链接鉴权报错后无限循环。

docSite/content/zh-cn/docs/development/upgrading/4822.md

@@ -0,0 +1,61 @@
+---
+title: 'V4.8.22(包含升级脚本)'
+description: 'FastGPT V4.8.22 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 802
+---
+
+## 🌟更新指南
+
+### 1. 做好数据库备份
+
+### 2. 更新镜像：
+
+- 更新 fastgpt 镜像 tag: v4.8.22
+- 更新 fastgpt-pro 商业版镜像 tag: v4.8.22
+- Sandbox 镜像无需更新
+
+### 3. 运行升级脚本
+
+仅商业版，并提供 Saas 服务的用户需要运行该升级脚本。
+
+从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 域名**。
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv4822' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+会迁移联系方式到对应用户表中。
+
+## 🚀 新增内容
+
+1. AI 对话节点解析 `<think></think>` 标签内容作为思考链，便于各类模型进行思考链输出。需主动开启模型输出思考。
+2. 对话 API 优化，无论是否传递 chatId，都会保存对话日志。未传递 chatId，则随机生成一个 chatId 来进行存储。
+3. ppio 模型提供商
+
+## ⚙️ 优化
+
+1. 模型未配置时提示，减少冲突提示。
+2. 使用记录代码。
+3. 内容提取节点，字段描述过长时换行。同时修改其输出名用 key，而不是 description。
+4. 团队管理交互。
+5. 对话接口，非流响应，增加报错字段。
+
+## 🐛 修复
+
+1. 思考内容未进入到输出 Tokens.
+2. 思考链流输出时，有时与正文顺序偏差。
+3. API 调用工作流，如果传递的图片不支持 Head 检测时，图片会被过滤。已增加该类错误检测，避免被错误过滤。
+4. 模板市场部分模板错误。
+5. 免登录窗口无法正常判断语言识别是否开启。
+6. 对话日志导出，未兼容 sub path。
+7. 切换团队时未刷新成员列表
+8. list 接口在联查 member 时，存在空指针可能性。 
+9. 工作流基础节点无法升级。
+10. 向量检索结果未去重。
+11. 用户选择节点无法正常连线。
+12. 对话记录保存时，source 未正常记录。

docSite/content/zh-cn/docs/development/upgrading/4823.md

@@ -0,0 +1,54 @@
+---
+title: 'V4.8.23'
+description: 'FastGPT V4.8.23 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 802
+---
+
+## 更新指南
+
+### 1. 做好数据库备份
+
+### 2. 更新镜像：
+
+- 更新 fastgpt 镜像 tag: v4.8.23-fix
+- 更新 fastgpt-pro 商业版镜像 tag: v4.8.23-fix
+- Sandbox 镜像无需更新
+
+### 3. 运行升级脚本
+
+从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 域名**。
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv4823' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+脚本会清理一些知识库脏数据，主要是多余的全文索引。
+
+## 🚀 新增内容
+
+1. 增加默认“知识库文本理解模型”配置
+2. AI proxy V1版，可替换 OneAPI使用，同时提供完整模型调用日志，便于排查问题。
+3. 增加工单入口支持。
+
+## ⚙️ 优化
+
+1. 模型配置表单，增加必填项校验。
+2. 集合列表数据统计方式，提高大数据量统计性能。
+3. 优化数学公式，转义 Latex 格式成 Markdown 格式。
+4. 解析文档图片，图片太大时，自动忽略。
+5. 时间选择器，当天开始时间自动设0，结束设置设 23:59:59，避免 UI 与实际逻辑偏差。
+6. 升级 mongoose 库版本依赖。
+
+## 🐛 修复
+
+1. 标签过滤时，子文件夹未成功过滤。
+2. 暂时移除 md 阅读优化，避免链接分割错误。
+3. 离开团队时，未刷新成员列表。
+4. PPTX 编码错误，导致解析失败。
+5. 删除知识库单条数据时，全文索引未跟随删除。
+6. 修复 Mongo Dataset text 索引在查询数据时未生效。

docSite/content/zh-cn/docs/development/upgrading/483.md

@@ -15,7 +15,7 @@ weight: 821
 
 ## V4.8.3 更新说明
 
-1. 新增 - 支持 Milvus 数据库， 可参考最新的 [docker-compose-milvus.yml](https://github.com/labring/FastGPT/blob/main/files/docker/docker-compose-milvus.yml).
+1. 新增 - 支持 Milvus 数据库， 可参考最新的 [docker-compose-milvus.yml](https://github.com/labring/FastGPT/blob/main/deploy/docker/docker-compose-milvus.yml).
 2. 新增 - 给 chat 接口 empty answer 增加 log，便于排查模型问题。
 3. 新增 - ifelse判断器，字符串支持正则。
 4. 新增 - 代码运行支持 console.log 输出调试。

docSite/content/zh-cn/docs/development/upgrading/490.md

@@ -0,0 +1,189 @@
+---
+title: 'V4.9.0(进行中)'
+description: 'FastGPT V4.9.0 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 801
+---
+
+
+## 更新指南
+
+### 1. 做好数据库备份
+
+### 2. 更新镜像
+
+- 更新 FastGPT 镜像 tag: v4.9.0-alpha
+- 更新 FastGPT 商业版镜像 tag: v4.9.0-alpha
+- Sandbox 镜像，可以不更新
+
+### 3. 替换 OneAPI（可选）
+
+如果需要使用 AI Proxy 替换 OneAPI 的用户可执行该步骤。
+
+#### 1. 修改 yml 文件
+
+参考[最新的 yml](https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml) 文件。里面已移除 OneAPI 并添加了 AIProxy配置。包含一个服务和一个 PgSQL 数据库。将 `aiproxy` 的配置`追加`到 OneAPI 的配置后面（先不要删除 OneAPI，有一个初始化会自动同步 OneAPI 的配置）
+
+{{% details title="AI Proxy Yml 配置" closed="true" %}}
+
+```
+  # AI Proxy
+  aiproxy:
+    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
+    container_name: aiproxy
+    restart: unless-stopped
+    depends_on:
+      aiproxy_pg:
+        condition: service_healthy
+    networks:
+      - fastgpt
+    environment:
+      # 对应 fastgpt 里的AIPROXY_API_TOKEN
+      - ADMIN_KEY=aiproxy
+      # 错误日志详情保存时间（小时）
+      - LOG_DETAIL_STORAGE_HOURS=1
+      # 数据库连接地址
+      - SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy
+      # 最大重试次数
+      - RetryTimes=3
+      # 不需要计费
+      - BILLING_ENABLED=false
+      # 不需要严格检测模型
+      - DISABLE_MODEL_CONFIG=true
+    healthcheck:
+      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+  aiproxy_pg:
+    image: pgvector/pgvector:0.8.0-pg15 # docker hub
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云
+    restart: unless-stopped
+    container_name: aiproxy_pg
+    volumes:
+      - ./aiproxy_pg:/var/lib/postgresql/data
+    networks:
+      - fastgpt
+    environment:
+      TZ: Asia/Shanghai
+      POSTGRES_USER: postgres
+      POSTGRES_DB: aiproxy
+      POSTGRES_PASSWORD: aiproxy
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+```
+
+{{% /details %}}
+
+#### 2. 增加 FastGPT 环境变量：
+
+修改 yml 文件中，fastgpt 容器的环境变量：
+
+```
+# AI Proxy 的地址，如果配了该地址，优先使用
+- AIPROXY_API_ENDPOINT=http://aiproxy:3000
+# AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
+- AIPROXY_API_TOKEN=aiproxy
+```
+
+#### 3. 重载服务
+
+`docker-compose down` 停止服务，然后 `docker-compose up -d` 启动服务，此时会追加 `aiproxy` 服务，并修改 FastGPT 的配置。
+
+#### 4. 执行OneAPI迁移AI proxy脚本
+
+- 可联网方案:
+
+```bash
+# 进入 aiproxy 容器
+docker exec -it aiproxy sh
+# 安装 curl
+apk add curl
+# 执行脚本
+curl --location --request POST 'http://localhost:3000/api/channels/import/oneapi' \
+--header 'Authorization: Bearer aiproxy' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "dsn": "mysql://root:oneapimmysql@tcp(mysql:3306)/oneapi"
+}'
+# 返回 {"data":[],"success":true} 代表成功
+```
+
+- 无法联网时，可打开`aiproxy`的外网暴露端口，然后在本地执行脚本。
+
+aiProxy 暴露端口：3003:3000，修改后重新 `docker-compose up -d` 启动服务。
+
+```bash
+# 在终端执行脚本
+curl --location --request POST 'http://localhost:3003/api/channels/import/oneapi' \
+--header 'Authorization: Bearer aiproxy' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "dsn": "mysql://root:oneapimmysql@tcp(mysql:3306)/oneapi"
+}'
+# 返回 {"data":[],"success":true} 代表成功
+```
+
+- 如果不熟悉 docker 操作，建议不要走脚本迁移，直接删除 OneAPI 所有内容，然后手动重新添加渠道。
+
+#### 5. 进入 FastGPT 检查`AI Proxy` 服务是否正常启动。
+
+登录 root 账号后，在`账号-模型提供商`页面，可以看到多出了`模型渠道`和`调用日志`两个选项，打开模型渠道，可以看到之前 OneAPI 的渠道，说明迁移完成，此时可以手动再检查下渠道是否正常。
+
+#### 6. 删除 OneAPI 服务
+
+```bash
+# 停止服务，或者针对性停止 OneAPI 和其 Mysql
+docker-compose down
+# yml 文件中删除 OneAPI 和其 Mysql 依赖
+# 重启服务
+docker-compose up -d
+```
+
+### 4. 运行 FastGPT 升级脚本
+
+从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 域名**。
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv490' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+**脚本功能**
+
+1. 升级 PG Vector 插件版本
+2. 全量更新知识库集合字段。
+3. 全量更新知识库数据中，index 的 type 类型。（时间较长，最后可能提示 timeout，可忽略，数据库不崩都会一直增量执行）
+
+## 兼容 & 弃用
+
+1. 弃用 - 之前私有化部署的自定义文件解析方案，请同步更新到最新的配置方案。[点击查看 PDF 增强解析配置](/docs/development/configuration/#使用-doc2x-解析-pdf-文件)
+2. 弃用 - 弃用旧版本地文件上传 API：/api/core/dataset/collection/create/file（以前仅商业版可用的 API，该接口已放切换成：/api/core/dataset/collection/create/localFile）
+3. 停止维护，即将弃用 - 外部文件库相关 API，可通过 API 文件库替代。
+4. API更新 - 上传文件至知识库、创建连接集合、API 文件库、推送分块数据等带有 `trainingType` 字段的接口，`trainingType`字段未来仅支持`chunk`和`QA`两种模式。增强索引模式将设置单独字段：`autoIndexes`，目前仍有适配旧版`trainingType=auto`代码，但请尽快变更成新接口类型。具体可见：[知识库 OpenAPI 文档](/docs/development/openapi/dataset.md)
+
+## 🚀 新增内容
+
+1. PDF增强解析交互添加到页面上。同时内嵌 Doc2x 服务，可直接使用 Doc2x 服务解析 PDF 文件。
+2. 图片自动标注，同时修改知识库文件上传部分数据逻辑和交互。
+3. pg vector 插件升级 0.8.0 版本，引入迭代搜索，减少部分数据无法被检索的情况。
+4. 新增 qwen-qwq 系列模型配置。
+
+## ⚙️ 优化
+
+1. 知识库数据不再限制索引数量，可无限自定义。同时可自动更新输入文本的索引，不影响自定义索引。
+2. Markdown 解析，增加链接后中文标点符号检测，增加空格。
+3. Prompt 模式工具调用，支持思考模型。同时优化其格式检测，减少空输出的概率。
+4. Mongo 文件读取流合并，减少计算量。同时优化存储 chunks，极大提高大文件读取速度。50M PDF 读取时间提高 3 倍。
+5. HTTP Body 适配，增加对字符串对象的适配。
+
+## 🐛 修复
+
+1. 增加网页抓取安全链接校验。
+2. 批量运行时，全局变量未进一步传递到下一次运行中，导致最终变量更新错误。

docSite/content/zh-cn/docs/guide/course/quick-start.md

@@ -7,11 +7,11 @@ toc: true
 weight: 102
 ---
 
-更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1sH4y1T7s9)
+更多使用技巧，[查看视频教程](https://www.bilibili.com/video/BV1sH4y1T7s9)
 
 ## 知识库
 
-开始前，请准备一份测试电子文档，WORD，PDF，TXT，excel，markdown 都可以，比如公司休假制度，不涉密的销售说辞，产品知识等等。
+开始前，请准备一份测试电子文档，WORD、PDF、TXT、excel、markdown 都可以，比如公司休假制度、不涉密的销售说辞、产品知识等等。
 
 这里使用 FastGPT 中文 README 文件为例。
 
@@ -31,7 +31,7 @@ weight: 102
 
 ![](/imgs/upload-data.png)
 
-点击上传后我们需要等待数据处理完成，等到我们上传的文件状态为可用。
+点击上传后我们需要等待数据处理完成，直到我们上传的文件状态为可用。
 
 ![](/imgs/upload-data2.png)
 

docSite/content/zh-cn/docs/guide/workbench/workflow/dataset_search.md

@@ -7,7 +7,7 @@ toc: true
 weight: 234
 ---
 
-知识库搜索具体参数说明，以及内部逻辑请移步：[FastGPT知识库搜索方案](/docs/course/data_search/)
+知识库搜索具体参数说明，以及内部逻辑请移步：[FastGPT知识库搜索方案](/docs/guide/knowledge_base/rag/)
 
 ## 特点
 
@@ -27,7 +27,7 @@ weight: 234
 
 ### 输入 - 搜索参数
 
-[点击查看参数介绍](/docs/course/data_search/#搜索参数)
+[点击查看参数介绍](/docs/guide/knowledge_base/dataset_engine/#搜索参数)
 
 ### 输出 - 引用内容
 

docSite/content/zh-cn/docs/use-cases/external-integration/openapi.md

@@ -20,7 +20,7 @@ weight: 502
 ![](/imgs/fastgpt-api1.jpg)
 
 {{% alert icon="🍅" context="success" %}}
-Tips: 安全起见，你可以设置一个额度或者过期时间，放置 key 被滥用。
+Tips: 安全起见，你可以设置一个额度或者过期时间，防止 key 被滥用。
 {{% /alert %}}
 
 

package.json

@@ -7,7 +7,7 @@
     "format-code": "prettier --config \"./.prettierrc.js\" --write \"./**/src/**/*.{ts,tsx,scss}\"",
     "format-doc": "zhlint --dir ./docSite *.md --fix",
     "gen:theme-typings": "chakra-cli tokens packages/web/styles/theme.ts --out node_modules/.pnpm/node_modules/@chakra-ui/styled-system/dist/theming.types.d.ts",
-    "postinstall": "sh ./scripts/postinstall.sh",
+    "postinstall": "pnpm gen:theme-typings",
     "initIcon": "node ./scripts/icon/init.js",
     "previewIcon": "node ./scripts/icon/index.js",
     "api:gen": "tsc ./scripts/openapi/index.ts && node ./scripts/openapi/index.js && npx @redocly/cli build-docs ./scripts/openapi/openapi.json -o ./projects/app/public/openapi/index.html",

packages/README.md

@@ -0,0 +1,3 @@
+# 目录说明
+
+该目录为 FastGPT 的依赖包，多端复用。

packages/global/common/error/code/dataset.ts

@@ -4,6 +4,7 @@ import { ErrType } from '../errorCode';
 /* dataset: 501000 */
 export enum DatasetErrEnum {
   unExist = 'unExistDataset',
+  unExistCollection = 'unExistCollection',
   unAuthDataset = 'unAuthDataset',
   unCreateCollection = 'unCreateCollection',
   unAuthDatasetCollection = 'unAuthDatasetCollection',
@@ -28,6 +29,10 @@ const datasetErr = [
     statusText: DatasetErrEnum.unExist,
     message: 'core.dataset.error.unExistDataset'
   },
+  {
+    statusText: DatasetErrEnum.unExistCollection,
+    message: i18nT('common:error_collection_not_exist')
+  },
   {
     statusText: DatasetErrEnum.unAuthDataset,
     message: 'core.dataset.error.unAuthDataset'

packages/global/common/file/constants.ts

@@ -16,8 +16,8 @@ export const bucketNameMap = {
   }
 };
 
-export const ReadFileBaseUrl = `${process.env.FE_DOMAIN || ''}${process.env.NEXT_PUBLIC_BASE_URL || ''}/api/common/file/read`;
+export const ReadFileBaseUrl = `${process.env.FILE_DOMAIN || process.env.FE_DOMAIN || ''}${process.env.NEXT_PUBLIC_BASE_URL || ''}/api/common/file/read`;
 
 export const documentFileType = '.txt, .docx, .csv, .xlsx, .pdf, .md, .html, .pptx';
 export const imageFileType =
-  '.jpg, .jpeg, .png, .gif, .bmp, .webp, .svg, .tiff, .tif, .ico, .heic, .heif, .avif';
+  '.jpg, .jpeg, .png, .gif, .bmp, .webp, .svg, .tiff, .tif, .ico, .heic, .heif, .avif, .raw, .cr2, .nef, .arw, .dng, .psd, .ai, .eps, .emf, .wmf, .jfif, .exif, .pgm, .ppm, .pbm, .jp2, .j2k, .jpf, .jpx, .jpm, .mj2, .xbm, .pcx';

packages/global/common/file/tools.ts

@@ -1,5 +1,5 @@
 import { detect } from 'jschardet';
-import { documentFileType, imageFileType } from './constants';
+import { documentFileType } from './constants';
 import { ChatFileTypeEnum } from '../../core/chat/constants';
 import { UserChatItemValueItemType } from '../../core/chat/type';
 import * as fs from 'fs';
@@ -25,6 +25,7 @@ export const detectFileEncodingByPath = async (path: string) => {
   const fd = await fs.promises.open(path, 'r');
   try {
     // Read file head
+    // @ts-ignore
     const { bytesRead } = await fd.read(buffer, 0, MAX_BYTES, 0);
     const actualBuffer = buffer.slice(0, bytesRead);
 
@@ -37,40 +38,49 @@ export const detectFileEncodingByPath = async (path: string) => {
 // Url => user upload file type
 export const parseUrlToFileType = (url: string): UserChatItemValueItemType['file'] | undefined => {
   if (typeof url !== 'string') return;
-  const parseUrl = new URL(url, 'https://locaohost:3000');
 
-  const filename = (() => {
-    // Check base64 image
-    if (url.startsWith('data:image/')) {
-      const mime = url.split(',')[0].split(':')[1].split(';')[0];
-      return `image.${mime.split('/')[1]}`;
-    }
-    // Old version file url: https://xxx.com/file/read?filename=xxx.pdf
-    const filenameQuery = parseUrl.searchParams.get('filename');
-    if (filenameQuery) return filenameQuery;
+  // Handle base64 image
+  if (url.startsWith('data:')) {
+    const matches = url.match(/^data:([^;]+);base64,/);
+    if (!matches) return;
 
-    // Common file： https://xxx.com/xxx.pdf?xxxx=xxx
-    const pathname = parseUrl.pathname;
-    if (pathname) return pathname.split('/').pop();
-  })();
+    const mimeType = matches[1].toLowerCase();
+    if (!mimeType.startsWith('image/')) return;
 
-  if (!filename) return;
-
-  const extension = filename.split('.').pop()?.toLowerCase() || '';
-
-  if (!extension) return;
-
-  if (documentFileType.includes(extension)) {
+    const extension = mimeType.split('/')[1];
     return {
-      type: ChatFileTypeEnum.file,
-      name: filename,
+      type: ChatFileTypeEnum.image,
+      name: `image.${extension}`,
       url
     };
   }
-  if (imageFileType.includes(extension)) {
+
+  try {
+    const parseUrl = new URL(url, 'https://localhost:3000');
+
+    // Get filename from URL
+    const filename = parseUrl.searchParams.get('filename') || parseUrl.pathname.split('/').pop();
+    const extension = filename?.split('.').pop()?.toLowerCase() || '';
+
+    // If it's a document type, return as file, otherwise treat as image
+    if (extension && documentFileType.includes(extension)) {
+      return {
+        type: ChatFileTypeEnum.file,
+        name: filename || 'null',
+        url
+      };
+    }
+
+    // Default to image type for non-document files
     return {
       type: ChatFileTypeEnum.image,
-      name: filename,
+      name: filename || 'null.png',
+      url
+    };
+  } catch (error) {
+    return {
+      type: ChatFileTypeEnum.image,
+      name: 'invalid.png',
       url
     };
   }

packages/global/common/fn/utils.ts

@@ -1,31 +0,0 @@
-export const retryRun = <T>(fn: () => T, retry = 2): T => {
-  try {
-    return fn();
-  } catch (error) {
-    if (retry > 0) {
-      return retryRun(fn, retry - 1);
-    }
-    throw error;
-  }
-};
-
-export const batchRun = async <T>(arr: T[], fn: (arr: T) => any, batchSize = 10) => {
-  const batchArr = new Array(batchSize).fill(null);
-  const result: any[] = [];
-
-  const batchFn = async () => {
-    const data = arr.shift();
-    if (data) {
-      result.push(await fn(data));
-      return batchFn();
-    }
-  };
-
-  await Promise.all(
-    batchArr.map(async () => {
-      await batchFn();
-    })
-  );
-
-  return result;
-};

packages/global/common/string/markdown.ts

@@ -1,4 +1,4 @@
-import { batchRun } from '../fn/utils';
+import { batchRun } from '../system/utils';
 import { getNanoid, simpleText } from './tools';
 import type { ImageType } from '../../../service/worker/readFile/type';
 
@@ -37,6 +37,80 @@ export const simpleMarkdownText = (rawText: string) => {
   return rawText.trim();
 };
 
+export const htmlTable2Md = (content: string): string => {
+  return content.replace(/<table>[\s\S]*?<\/table>/g, (htmlTable) => {
+    try {
+      // Clean up whitespace and newlines
+      const cleanHtml = htmlTable.replace(/\n\s*/g, '');
+      const rows = cleanHtml.match(/<tr>(.*?)<\/tr>/g);
+      if (!rows) return htmlTable;
+
+      // Parse table data
+      let tableData: string[][] = [];
+      let maxColumns = 0;
+
+      // Try to convert to markdown table
+      rows.forEach((row, rowIndex) => {
+        if (!tableData[rowIndex]) {
+          tableData[rowIndex] = [];
+        }
+        let colIndex = 0;
+        const cells = row.match(/<td.*?>(.*?)<\/td>/g) || [];
+
+        cells.forEach((cell) => {
+          while (tableData[rowIndex][colIndex]) {
+            colIndex++;
+          }
+          const colspan = parseInt(cell.match(/colspan="(\d+)"/)?.[1] || '1');
+          const rowspan = parseInt(cell.match(/rowspan="(\d+)"/)?.[1] || '1');
+          const content = cell.replace(/<td.*?>|<\/td>/g, '').trim();
+
+          for (let i = 0; i < rowspan; i++) {
+            for (let j = 0; j < colspan; j++) {
+              if (!tableData[rowIndex + i]) {
+                tableData[rowIndex + i] = [];
+              }
+              tableData[rowIndex + i][colIndex + j] = i === 0 && j === 0 ? content : '^^';
+            }
+          }
+          colIndex += colspan;
+          maxColumns = Math.max(maxColumns, colIndex);
+        });
+
+        for (let i = 0; i < maxColumns; i++) {
+          if (!tableData[rowIndex][i]) {
+            tableData[rowIndex][i] = ' ';
+          }
+        }
+      });
+      const chunks: string[] = [];
+
+      const headerCells = tableData[0]
+        .slice(0, maxColumns)
+        .map((cell) => (cell === '^^' ? ' ' : cell || ' '));
+      const headerRow = '| ' + headerCells.join(' | ') + ' |';
+      chunks.push(headerRow);
+
+      const separator = '| ' + Array(headerCells.length).fill('---').join(' | ') + ' |';
+      chunks.push(separator);
+
+      tableData.slice(1).forEach((row) => {
+        const paddedRow = row
+          .slice(0, maxColumns)
+          .map((cell) => (cell === '^^' ? ' ' : cell || ' '));
+        while (paddedRow.length < maxColumns) {
+          paddedRow.push(' ');
+        }
+        chunks.push('| ' + paddedRow.join(' | ') + ' |');
+      });
+
+      return chunks.join('\n');
+    } catch (error) {
+      return htmlTable;
+    }
+  });
+};
+
 /**
  * format markdown
  * 1. upload base64
@@ -94,7 +168,7 @@ export const markdownProcess = async ({
   return simpleMarkdownText(imageProcess);
 };
 
-export const matchMdImgTextAndUpload = (text: string) => {
+export const matchMdImg = (text: string) => {
   const base64Regex = /!\[([^\]]*)\]\((data:image\/[^;]+;base64[^)]+)\)/g;
   const imageList: ImageType[] = [];
 

packages/global/common/string/time.ts

@@ -7,12 +7,14 @@ import { i18nT } from '../../../web/i18n/utils';
 dayjs.extend(utc);
 dayjs.extend(timezone);
 
-export const formatTime2YMDHMW = (time?: Date) => dayjs(time).format('YYYY-MM-DD HH:mm:ss dddd');
-export const formatTime2YMDHMS = (time?: Date) =>
+export const formatTime2YMDHMW = (time?: Date | number) =>
+  dayjs(time).format('YYYY-MM-DD HH:mm:ss dddd');
+export const formatTime2YMDHMS = (time?: Date | number) =>
   time ? dayjs(time).format('YYYY-MM-DD HH:mm:ss') : '';
-export const formatTime2YMDHM = (time?: Date) =>
+export const formatTime2YMDHM = (time?: Date | number) =>
   time ? dayjs(time).format('YYYY-MM-DD HH:mm') : '';
-export const formatTime2YMD = (time?: Date) => (time ? dayjs(time).format('YYYY-MM-DD') : '');
+export const formatTime2YMD = (time?: Date | number) =>
+  time ? dayjs(time).format('YYYY-MM-DD') : '';
 export const formatTime2HM = (time: Date = new Date()) => dayjs(time).format('HH:mm');
 
 /**

packages/global/common/string/tools.ts

@@ -26,7 +26,7 @@ export const simpleText = (text = '') => {
 };
 
 export const valToStr = (val: any) => {
-  if (val === undefined) return 'undefined';
+  if (val === undefined) return '';
   if (val === null) return 'null';
 
   if (typeof val === 'object') return JSON.stringify(val);

packages/global/common/system/types/index.d.ts

@@ -41,11 +41,16 @@ export type FastGPTConfigFileType = {
 };
 
 export type FastGPTFeConfigsType = {
+  show_workorder?: boolean;
   show_emptyChat?: boolean;
+  isPlus?: boolean;
   register_method?: ['email' | 'phone' | 'sync'];
   login_method?: ['email' | 'phone']; // Attention: login method is diffrent with oauth
   find_password_method?: ['email' | 'phone'];
   bind_notification_method?: ['email' | 'phone'];
+  googleClientVerKey?: string;
+
+  show_emptyChat?: boolean;
   show_appStore?: boolean;
   show_git?: boolean;
   show_pay?: boolean;
@@ -53,17 +58,22 @@ export type FastGPTFeConfigsType = {
   show_promotion?: boolean;
   show_team_chat?: boolean;
   show_compliance_copywriting?: boolean;
+  show_aiproxy?: boolean;
   concatMd?: string;
 
+  concatMd?: string;
   docUrl?: string;
   openAPIDocUrl?: string;
   systemPluginCourseUrl?: string;
   appTemplateCourse?: string;
+  customApiDomain?: string;
+  customSharePageDomain?: string;
 
   systemTitle?: string;
   systemDescription?: string;
-  googleClientVerKey?: string;
-  isPlus?: boolean;
+  scripts?: { [key: string]: string }[];
+  favicon?: string;
+
   sso?: {
     icon?: string;
     title?: string;
@@ -89,13 +99,14 @@ export type FastGPTFeConfigsType = {
     exportDatasetLimitMinutes?: number;
     websiteSyncLimitMinuted?: number;
   };
-  scripts?: { [key: string]: string }[];
-  favicon?: string;
-  customApiDomain?: string;
-  customSharePageDomain?: string;
 
   uploadFileMaxAmount?: number;
   uploadFileMaxSize?: number;
+
+  // Compute by systemEnv.customPdfParse
+  showCustomPdfParse?: boolean;
+  customPdfParsePrice?: number;
+
   lafEnv?: string;
   navbarItems?: NavbarItemType[];
   externalProviderWorkflowVariables?: ExternalProviderWorkflowVarType[];
@@ -105,9 +116,18 @@ export type SystemEnvType = {
   openapiPrefix?: string;
   vectorMaxProcess: number;
   qaMaxProcess: number;
+  vlmMaxProcess: number;
   pgHNSWEfSearch: number;
   tokenWorkers: number; // token count max worker
 
   oneapiUrl?: string;
   chatApiKey?: string;
+
+  customPdfParse?: {
+    url?: string;
+    key?: string;
+
+    doc2xKey?: string;
+    price?: number; // n points/1 page
+  };
 };

packages/global/common/system/utils.ts

@@ -16,3 +16,24 @@ export const retryFn = async <T>(fn: () => Promise<T>, retryTimes = 3): Promise<
     return Promise.reject(error);
   }
 };
+
+export const batchRun = async <T>(arr: T[], fn: (arr: T) => any, batchSize = 10) => {
+  const batchArr = new Array(batchSize).fill(null);
+  const result: any[] = [];
+
+  const batchFn = async () => {
+    const data = arr.shift();
+    if (data) {
+      result.push(await fn(data));
+      return batchFn();
+    }
+  };
+
+  await Promise.all(
+    batchArr.map(async () => {
+      await batchFn();
+    })
+  );
+
+  return result;
+};

packages/global/core/ai/model.d.ts

@@ -17,6 +17,8 @@ type BaseModelItemType = {
   isActive?: boolean;
   isCustom?: boolean;
   isDefault?: boolean;
+  isDefaultDatasetTextModel?: boolean;
+  isDefaultDatasetImageModel?: boolean;
 
   // If has requestUrl, it will request the model directly
   requestUrl?: string;
@@ -26,11 +28,16 @@ type BaseModelItemType = {
 export type LLMModelItemType = PriceType &
   BaseModelItemType & {
     type: ModelTypeEnum.llm;
+    // Model params
     maxContext: number;
     maxResponse: number;
     quoteMaxToken: number;
     maxTemperature?: number;
 
+    showTopP?: boolean;
+    responseFormatList?: string[];
+    showStopSign?: boolean;
+
     censor?: boolean;
     vision?: boolean;
     reasoning?: boolean;
@@ -59,6 +66,7 @@ export type EmbeddingModelItemType = PriceType &
     maxToken: number; // model max token
     weight: number; // training weight
     hidden?: boolean; // Disallow creation
+    normalization?: boolean; // normalization processing
     defaultConfig?: Record<string, any>; // post request config
     dbConfig?: Record<string, any>; // Custom parameters for storage
     queryConfig?: Record<string, any>; // Custom parameters for query

packages/global/core/ai/model.ts

@@ -22,7 +22,7 @@ export const defaultQAModels: LLMModelItemType[] = [
     maxTemperature: 1.2,
     charsPointsPrice: 0,
     censor: false,
-    vision: false,
+    vision: true,
     datasetProcess: true,
     toolChoice: true,
     functionCall: false,
@@ -59,8 +59,18 @@ export const defaultSTTModels: STTModelType[] = [
 export const getModelFromList = (
   modelList: { provider: ModelProviderIdType; name: string; model: string }[],
   model: string
-) => {
+):
+  | {
+      avatar: string;
+      provider: ModelProviderIdType;
+      name: string;
+      model: string;
+    }
+  | undefined => {
   const modelData = modelList.find((item) => item.model === model) ?? modelList[0];
+  if (!modelData) {
+    return;
+  }
   const provider = getModelProvider(modelData.provider);
   return {
     ...modelData,

packages/global/core/ai/provider.ts

@@ -22,6 +22,7 @@ export type ModelProviderIdType =
   | 'StepFun'
   | 'Yi'
   | 'Siliconflow'
+  | 'PPIO'
   | 'Ollama'
   | 'BAAI'
   | 'FishAudio'
@@ -71,11 +72,6 @@ export const ModelProviderList: ModelProviderType[] = [
     name: 'Groq',
     avatar: 'model/groq'
   },
-  {
-    id: 'AliCloud',
-    name: i18nT('common:model_alicloud'),
-    avatar: 'model/alicloud'
-  },
   {
     id: 'Qwen',
     name: i18nT('common:model_qwen'),
@@ -86,6 +82,11 @@ export const ModelProviderList: ModelProviderType[] = [
     name: i18nT('common:model_doubao'),
     avatar: 'model/doubao'
   },
+  {
+    id: 'DeepSeek',
+    name: 'DeepSeek',
+    avatar: 'model/deepseek'
+  },
   {
     id: 'ChatGLM',
     name: i18nT('common:model_chatglm'),
@@ -96,11 +97,6 @@ export const ModelProviderList: ModelProviderType[] = [
     name: i18nT('common:model_ernie'),
     avatar: 'model/ernie'
   },
-  {
-    id: 'DeepSeek',
-    name: 'DeepSeek',
-    avatar: 'model/deepseek'
-  },
   {
     id: 'Moonshot',
     name: i18nT('common:model_moonshot'),
@@ -162,11 +158,21 @@ export const ModelProviderList: ModelProviderType[] = [
     name: i18nT('common:model_moka'),
     avatar: 'model/moka'
   },
+  {
+    id: 'AliCloud',
+    name: i18nT('common:model_alicloud'),
+    avatar: 'model/alicloud'
+  },
   {
     id: 'Siliconflow',
     name: i18nT('common:model_siliconflow'),
     avatar: 'model/siliconflow'
   },
+  {
+    id: 'PPIO',
+    name: i18nT('common:model_ppio'),
+    avatar: 'model/ppio'
+  },
   {
     id: 'Other',
     name: i18nT('common:model_other'),

packages/global/core/ai/type.d.ts

@@ -1,14 +1,12 @@
 import openai from 'openai';
 import type {
   ChatCompletionMessageToolCall,
-  ChatCompletionChunk,
   ChatCompletionMessageParam as SdkChatCompletionMessageParam,
   ChatCompletionToolMessageParam,
   ChatCompletionContentPart as SdkChatCompletionContentPart,
   ChatCompletionUserMessageParam as SdkChatCompletionUserMessageParam,
   ChatCompletionToolMessageParam as SdkChatCompletionToolMessageParam,
-  ChatCompletionAssistantMessageParam as SdkChatCompletionAssistantMessageParam,
-  ChatCompletionContentPartText
+  ChatCompletionAssistantMessageParam as SdkChatCompletionAssistantMessageParam
 } from 'openai/resources';
 import { ChatMessageTypeEnum } from './constants';
 import { WorkflowInteractiveResponseType } from '../workflow/template/system/interactive/type';
@@ -48,6 +46,7 @@ export type ChatCompletionMessageParam = (
   | CustomChatCompletionToolMessageParam
   | CustomChatCompletionAssistantMessageParam
 ) & {
+  reasoning_text?: string;
   dataId?: string;
   hideInUI?: boolean;
 };
@@ -71,7 +70,8 @@ export type ChatCompletionMessageFunctionCall =
   };
 
 // Stream response
-export type StreamChatType = Stream<ChatCompletionChunk>;
+export type StreamChatType = Stream<openai.Chat.Completions.ChatCompletionChunk>;
+export type UnStreamChatType = openai.Chat.Completions.ChatCompletion;
 
 export default openai;
 export * from 'openai';

packages/global/core/app/type.d.ts

@@ -74,13 +74,17 @@ export type AppDetailType = AppSchema & {
 export type AppSimpleEditFormType = {
   // templateId: string;
   aiSettings: {
-    model: string;
-    systemPrompt?: string | undefined;
-    temperature?: number;
-    maxToken?: number;
-    isResponseAnswerText: boolean;
+    [NodeInputKeyEnum.aiModel]: string;
+    [NodeInputKeyEnum.aiSystemPrompt]?: string | undefined;
+    [NodeInputKeyEnum.aiChatTemperature]?: number;
+    [NodeInputKeyEnum.aiChatMaxToken]?: number;
+    [NodeInputKeyEnum.aiChatIsResponseText]: boolean;
     maxHistories: number;
-    [NodeInputKeyEnum.aiChatReasoning]?: boolean;
+    [NodeInputKeyEnum.aiChatReasoning]?: boolean; // Is open reasoning mode
+    [NodeInputKeyEnum.aiChatTopP]?: number;
+    [NodeInputKeyEnum.aiChatStopSign]?: string;
+    [NodeInputKeyEnum.aiChatResponseFormat]?: string;
+    [NodeInputKeyEnum.aiChatJsonSchema]?: string;
   };
   dataset: {
     datasets: SelectedDatasetType;
@@ -119,6 +123,10 @@ export type SettingAIDataType = {
   maxHistories?: number;
   [NodeInputKeyEnum.aiChatVision]?: boolean; // Is open vision mode
   [NodeInputKeyEnum.aiChatReasoning]?: boolean; // Is open reasoning mode
+  [NodeInputKeyEnum.aiChatTopP]?: number;
+  [NodeInputKeyEnum.aiChatStopSign]?: string;
+  [NodeInputKeyEnum.aiChatResponseFormat]?: string;
+  [NodeInputKeyEnum.aiChatJsonSchema]?: string;
 };
 
 // variable
@@ -180,6 +188,7 @@ export type AppAutoExecuteConfigType = {
 // File
 export type AppFileSelectConfigType = {
   canSelectFile: boolean;
+  customPdfParse?: boolean;
   canSelectImg: boolean;
   maxFiles: number;
 };

packages/global/core/app/utils.ts

@@ -7,6 +7,8 @@ import { StoreNodeItemType } from '../workflow/type/node';
 import { DatasetSearchModeEnum } from '../dataset/constants';
 import { WorkflowTemplateBasicType } from '../workflow/type';
 import { AppTypeEnum } from './constants';
+import { AppErrEnum } from '../../common/error/code/app';
+import { PluginErrEnum } from '../../common/error/code/plugin';
 
 export const getDefaultAppForm = (): AppSimpleEditFormType => {
   return {
@@ -117,7 +119,8 @@ export const appWorkflow2Form = ({
         version: node.version,
         inputs: node.inputs,
         outputs: node.outputs,
-        templateType: FlowNodeTemplateTypeEnum.other
+        templateType: FlowNodeTemplateTypeEnum.other,
+        pluginData: node.pluginData
       });
     } else if (node.flowNodeType === FlowNodeTypeEnum.systemConfig) {
       defaultAppForm.chatConfig = getAppChatConfig({
@@ -147,3 +150,18 @@ export const getAppType = (config?: WorkflowTemplateBasicType | AppSimpleEditFor
   }
   return '';
 };
+
+export const checkAppUnExistError = (error?: string) => {
+  const unExistError: Array<string> = [
+    AppErrEnum.unAuthApp,
+    AppErrEnum.unExist,
+    PluginErrEnum.unAuth,
+    PluginErrEnum.unExist
+  ];
+
+  if (!!error && unExistError.includes(error)) {
+    return error;
+  } else {
+    return undefined;
+  }
+};

packages/global/core/chat/adapt.ts

@@ -1,8 +1,11 @@
 import type {
+  AIChatItemValueItemType,
   ChatItemType,
   ChatItemValueItemType,
   RuntimeUserPromptType,
-  UserChatItemType
+  SystemChatItemValueItemType,
+  UserChatItemType,
+  UserChatItemValueItemType
 } from '../../core/chat/type.d';
 import { ChatFileTypeEnum, ChatItemValueTypeEnum, ChatRoleEnum } from '../../core/chat/constants';
 import type {
@@ -46,7 +49,16 @@ export const chats2GPTMessages = ({
 
   messages.forEach((item) => {
     const dataId = reserveId ? item.dataId : undefined;
-    if (item.obj === ChatRoleEnum.Human) {
+    if (item.obj === ChatRoleEnum.System) {
+      const content = item.value?.[0]?.text?.content;
+      if (content) {
+        results.push({
+          dataId,
+          role: ChatCompletionRequestMessageRoleEnum.System,
+          content
+        });
+      }
+    } else if (item.obj === ChatRoleEnum.Human) {
       const value = item.value
         .map((item) => {
           if (item.type === ChatItemValueTypeEnum.text) {
@@ -80,15 +92,6 @@ export const chats2GPTMessages = ({
         role: ChatCompletionRequestMessageRoleEnum.User,
         content: simpleUserContentPart(value)
       });
-    } else if (item.obj === ChatRoleEnum.System) {
-      const content = item.value?.[0]?.text?.content;
-      if (content) {
-        results.push({
-          dataId,
-          role: ChatCompletionRequestMessageRoleEnum.System,
-          content
-        });
-      }
     } else {
       const aiResults: ChatCompletionMessageParam[] = [];
 
@@ -174,137 +177,24 @@ export const GPTMessages2Chats = (
 ): ChatItemType[] => {
   const chatMessages = messages
     .map((item) => {
-      const value: ChatItemType['value'] = [];
       const obj = GPT2Chat[item.role];
 
-      if (
-        obj === ChatRoleEnum.System &&
-        item.role === ChatCompletionRequestMessageRoleEnum.System
-      ) {
-        if (Array.isArray(item.content)) {
-          item.content.forEach((item) => [
-            value.push({
-              type: ChatItemValueTypeEnum.text,
-              text: {
-                content: item.text
-              }
-            })
-          ]);
-        } else {
-          value.push({
-            type: ChatItemValueTypeEnum.text,
-            text: {
-              content: item.content
-            }
-          });
-        }
-      } else if (
-        obj === ChatRoleEnum.Human &&
-        item.role === ChatCompletionRequestMessageRoleEnum.User
-      ) {
-        if (typeof item.content === 'string') {
-          value.push({
-            type: ChatItemValueTypeEnum.text,
-            text: {
-              content: item.content
-            }
-          });
-        } else if (Array.isArray(item.content)) {
-          item.content.forEach((item) => {
-            if (item.type === 'text') {
+      const value = (() => {
+        if (
+          obj === ChatRoleEnum.System &&
+          item.role === ChatCompletionRequestMessageRoleEnum.System
+        ) {
+          const value: SystemChatItemValueItemType[] = [];
+
+          if (Array.isArray(item.content)) {
+            item.content.forEach((item) => [
               value.push({
                 type: ChatItemValueTypeEnum.text,
                 text: {
                   content: item.text
                 }
-              });
-            } else if (item.type === 'image_url') {
-              value.push({
-                //@ts-ignore
-                type: ChatItemValueTypeEnum.file,
-                file: {
-                  type: ChatFileTypeEnum.image,
-                  name: '',
-                  url: item.image_url.url
-                }
-              });
-            } else if (item.type === 'file_url') {
-              value.push({
-                // @ts-ignore
-                type: ChatItemValueTypeEnum.file,
-                file: {
-                  type: ChatFileTypeEnum.file,
-                  name: item.name,
-                  url: item.url
-                }
-              });
-            }
-          });
-        }
-      } else if (
-        obj === ChatRoleEnum.AI &&
-        item.role === ChatCompletionRequestMessageRoleEnum.Assistant
-      ) {
-        if (item.tool_calls && reserveTool) {
-          // save tool calls
-          const toolCalls = item.tool_calls as ChatCompletionMessageToolCall[];
-          value.push({
-            //@ts-ignore
-            type: ChatItemValueTypeEnum.tool,
-            tools: toolCalls.map((tool) => {
-              let toolResponse =
-                messages.find(
-                  (msg) =>
-                    msg.role === ChatCompletionRequestMessageRoleEnum.Tool &&
-                    msg.tool_call_id === tool.id
-                )?.content || '';
-              toolResponse =
-                typeof toolResponse === 'string' ? toolResponse : JSON.stringify(toolResponse);
-
-              return {
-                id: tool.id,
-                toolName: tool.toolName || '',
-                toolAvatar: tool.toolAvatar || '',
-                functionName: tool.function.name,
-                params: tool.function.arguments,
-                response: toolResponse as string
-              };
-            })
-          });
-        } else if (item.function_call && reserveTool) {
-          const functionCall = item.function_call as ChatCompletionMessageFunctionCall;
-          const functionResponse = messages.find(
-            (msg) =>
-              msg.role === ChatCompletionRequestMessageRoleEnum.Function &&
-              msg.name === item.function_call?.name
-          ) as ChatCompletionFunctionMessageParam;
-
-          if (functionResponse) {
-            value.push({
-              //@ts-ignore
-              type: ChatItemValueTypeEnum.tool,
-              tools: [
-                {
-                  id: functionCall.id || '',
-                  toolName: functionCall.toolName || '',
-                  toolAvatar: functionCall.toolAvatar || '',
-                  functionName: functionCall.name,
-                  params: functionCall.arguments,
-                  response: functionResponse.content || ''
-                }
-              ]
-            });
-          }
-        } else if (item.interactive) {
-          value.push({
-            //@ts-ignore
-            type: ChatItemValueTypeEnum.interactive,
-            interactive: item.interactive
-          });
-        } else if (typeof item.content === 'string') {
-          const lastValue = value[value.length - 1];
-          if (lastValue && lastValue.type === ChatItemValueTypeEnum.text && lastValue.text) {
-            lastValue.text.content += item.content;
+              })
+            ]);
           } else {
             value.push({
               type: ChatItemValueTypeEnum.text,
@@ -313,8 +203,145 @@ export const GPTMessages2Chats = (
               }
             });
           }
+          return value;
+        } else if (
+          obj === ChatRoleEnum.Human &&
+          item.role === ChatCompletionRequestMessageRoleEnum.User
+        ) {
+          const value: UserChatItemValueItemType[] = [];
+
+          if (typeof item.content === 'string') {
+            value.push({
+              type: ChatItemValueTypeEnum.text,
+              text: {
+                content: item.content
+              }
+            });
+          } else if (Array.isArray(item.content)) {
+            item.content.forEach((item) => {
+              if (item.type === 'text') {
+                value.push({
+                  type: ChatItemValueTypeEnum.text,
+                  text: {
+                    content: item.text
+                  }
+                });
+              } else if (item.type === 'image_url') {
+                value.push({
+                  //@ts-ignore
+                  type: ChatItemValueTypeEnum.file,
+                  file: {
+                    type: ChatFileTypeEnum.image,
+                    name: '',
+                    url: item.image_url.url
+                  }
+                });
+              } else if (item.type === 'file_url') {
+                value.push({
+                  // @ts-ignore
+                  type: ChatItemValueTypeEnum.file,
+                  file: {
+                    type: ChatFileTypeEnum.file,
+                    name: item.name,
+                    url: item.url
+                  }
+                });
+              }
+            });
+          }
+          return value;
+        } else if (
+          obj === ChatRoleEnum.AI &&
+          item.role === ChatCompletionRequestMessageRoleEnum.Assistant
+        ) {
+          const value: AIChatItemValueItemType[] = [];
+
+          if (typeof item.reasoning_text === 'string') {
+            value.push({
+              type: ChatItemValueTypeEnum.reasoning,
+              reasoning: {
+                content: item.reasoning_text
+              }
+            });
+          }
+          if (item.tool_calls && reserveTool) {
+            // save tool calls
+            const toolCalls = item.tool_calls as ChatCompletionMessageToolCall[];
+            value.push({
+              //@ts-ignore
+              type: ChatItemValueTypeEnum.tool,
+              tools: toolCalls.map((tool) => {
+                let toolResponse =
+                  messages.find(
+                    (msg) =>
+                      msg.role === ChatCompletionRequestMessageRoleEnum.Tool &&
+                      msg.tool_call_id === tool.id
+                  )?.content || '';
+                toolResponse =
+                  typeof toolResponse === 'string' ? toolResponse : JSON.stringify(toolResponse);
+
+                return {
+                  id: tool.id,
+                  toolName: tool.toolName || '',
+                  toolAvatar: tool.toolAvatar || '',
+                  functionName: tool.function.name,
+                  params: tool.function.arguments,
+                  response: toolResponse as string
+                };
+              })
+            });
+          }
+          if (item.function_call && reserveTool) {
+            const functionCall = item.function_call as ChatCompletionMessageFunctionCall;
+            const functionResponse = messages.find(
+              (msg) =>
+                msg.role === ChatCompletionRequestMessageRoleEnum.Function &&
+                msg.name === item.function_call?.name
+            ) as ChatCompletionFunctionMessageParam;
+
+            if (functionResponse) {
+              value.push({
+                //@ts-ignore
+                type: ChatItemValueTypeEnum.tool,
+                tools: [
+                  {
+                    id: functionCall.id || '',
+                    toolName: functionCall.toolName || '',
+                    toolAvatar: functionCall.toolAvatar || '',
+                    functionName: functionCall.name,
+                    params: functionCall.arguments,
+                    response: functionResponse.content || ''
+                  }
+                ]
+              });
+            }
+          }
+          if (item.interactive) {
+            value.push({
+              //@ts-ignore
+              type: ChatItemValueTypeEnum.interactive,
+              interactive: item.interactive
+            });
+          }
+          if (typeof item.content === 'string') {
+            const lastValue = value[value.length - 1];
+            if (lastValue && lastValue.type === ChatItemValueTypeEnum.text && lastValue.text) {
+              lastValue.text.content += item.content;
+            } else {
+              value.push({
+                type: ChatItemValueTypeEnum.text,
+                text: {
+                  content: item.content
+                }
+              });
+            }
+          }
+
+          return value;
         }
-      }
+
+        return [];
+      })();
 
       return {
         dataId: item.dataId,
@@ -349,7 +376,7 @@ export const chatValue2RuntimePrompt = (value: ChatItemValueItemType[]): Runtime
   };
   value.forEach((item) => {
     if (item.type === 'file' && item.file) {
-      prompt.files?.push(item.file);
+      prompt.files.push(item.file);
     } else if (item.text) {
       prompt.text += item.text.content;
     }

packages/global/core/chat/type.d.ts

@@ -77,6 +77,7 @@ export type AIChatItemValueItemType = {
     | ChatItemValueTypeEnum.reasoning
     | ChatItemValueTypeEnum.tool
     | ChatItemValueTypeEnum.interactive;
+
   text?: {
     content: string;
   };

packages/global/core/dataset/api.d.ts

@@ -1,5 +1,5 @@
 import { DatasetDataIndexItemType, DatasetSchemaType } from './type';
-import { TrainingModeEnum, DatasetCollectionTypeEnum } from './constants';
+import { DatasetCollectionTypeEnum, DatasetCollectionDataProcessModeEnum } from './constants';
 import type { LLMModelItemType } from '../ai/model.d';
 import { ParentIdType } from 'common/parentFolder/type';
 
@@ -10,9 +10,11 @@ export type DatasetUpdateBody = {
   name?: string;
   avatar?: string;
   intro?: string;
-  agentModel?: LLMModelItemType;
   status?: DatasetSchemaType['status'];
 
+  agentModel?: string;
+  vlmModel?: string;
+
   websiteConfig?: DatasetSchemaType['websiteConfig'];
   externalReadUrl?: DatasetSchemaType['externalReadUrl'];
   defaultPermission?: DatasetSchemaType['defaultPermission'];
@@ -27,7 +29,10 @@ export type DatasetUpdateBody = {
 /* ================= collection ===================== */
 export type DatasetCollectionChunkMetadataType = {
   parentId?: string;
-  trainingType?: TrainingModeEnum;
+  customPdfParse?: boolean;
+  trainingType?: DatasetCollectionDataProcessModeEnum;
+  imageIndex?: boolean;
+  autoIndexes?: boolean;
   chunkSize?: number;
   chunkSplitter?: string;
   qaPrompt?: string;
@@ -131,9 +136,15 @@ export type PostWebsiteSyncParams = {
 export type PushDatasetDataProps = {
   collectionId: string;
   data: PushDatasetDataChunkProps[];
-  trainingMode: TrainingModeEnum;
+  trainingType?: DatasetCollectionDataProcessModeEnum;
+  autoIndexes?: boolean;
+  imageIndex?: boolean;
   prompt?: string;
+
   billId?: string;
+
+  // Abandon
+  trainingMode?: DatasetCollectionDataProcessModeEnum;
 };
 export type PushDatasetDataResponse = {
   insertLen: number;

packages/global/core/dataset/collection/utils.ts

@@ -1,4 +1,4 @@
-import { DatasetCollectionTypeEnum, TrainingModeEnum, TrainingTypeMap } from '../constants';
+import { DatasetCollectionTypeEnum } from '../constants';
 import { DatasetCollectionSchemaType } from '../type';
 
 export const getCollectionSourceData = (collection?: DatasetCollectionSchemaType) => {
@@ -16,9 +16,3 @@ export const getCollectionSourceData = (collection?: DatasetCollectionSchemaType
 export const checkCollectionIsFolder = (type: DatasetCollectionTypeEnum) => {
   return type === DatasetCollectionTypeEnum.folder || type === DatasetCollectionTypeEnum.virtual;
 };
-
-export const getTrainingTypeLabel = (type?: TrainingModeEnum) => {
-  if (!type) return '';
-  if (!TrainingTypeMap[type]) return '';
-  return TrainingTypeMap[type].label;
-};

packages/global/core/dataset/constants.ts

@@ -109,6 +109,26 @@ export const DatasetCollectionSyncResultMap = {
   }
 };
 
+export enum DatasetCollectionDataProcessModeEnum {
+  chunk = 'chunk',
+  qa = 'qa',
+  auto = 'auto' // abandon
+}
+export const DatasetCollectionDataProcessModeMap = {
+  [DatasetCollectionDataProcessModeEnum.chunk]: {
+    label: i18nT('common:core.dataset.training.Chunk mode'),
+    tooltip: i18nT('common:core.dataset.import.Chunk Split Tip')
+  },
+  [DatasetCollectionDataProcessModeEnum.qa]: {
+    label: i18nT('common:core.dataset.training.QA mode'),
+    tooltip: i18nT('common:core.dataset.import.QA Import Tip')
+  },
+  [DatasetCollectionDataProcessModeEnum.auto]: {
+    label: i18nT('common:core.dataset.training.Auto mode'),
+    tooltip: i18nT('common:core.dataset.training.Auto mode Tip')
+  }
+};
+
 /* ------------ data -------------- */
 
 /* ------------ training -------------- */
@@ -124,28 +144,11 @@ export enum ImportDataSourceEnum {
 
 export enum TrainingModeEnum {
   chunk = 'chunk',
+  qa = 'qa',
   auto = 'auto',
-  qa = 'qa'
+  image = 'image'
 }
 
-export const TrainingTypeMap = {
-  [TrainingModeEnum.chunk]: {
-    label: i18nT('common:core.dataset.training.Chunk mode'),
-    tooltip: i18nT('common:core.dataset.import.Chunk Split Tip'),
-    openSource: true
-  },
-  [TrainingModeEnum.auto]: {
-    label: i18nT('common:core.dataset.training.Auto mode'),
-    tooltip: i18nT('common:core.dataset.training.Auto mode Tip'),
-    openSource: false
-  },
-  [TrainingModeEnum.qa]: {
-    label: i18nT('common:core.dataset.training.QA mode'),
-    tooltip: i18nT('common:core.dataset.import.QA Import Tip'),
-    openSource: true
-  }
-};
-
 /* ------------ search -------------- */
 export enum DatasetSearchModeEnum {
   embedding = 'embedding',