Add unit tests for dataset training utilities including MongoDB watch and training queue functionality.

* add node find (#4902)

* add node find

* plugin header

* fix

* fix

* remove

* type

* add searched status

* optimize

* perf: search nodes

---------

Co-authored-by: heheer <heheer@sealos.io>

.eslintignore

@@ -0,0 +1,25 @@
+# 构建输出目录
+dist/
+build/
+.next/
+out/
+
+# 依赖目录
+node_modules/
+
+# 缓存和生成文件
+coverage/
+.coverage/
+.nyc_output/
+*.log
+
+# 其他不需要检查的文件
+*.min.js
+*.config.js
+vitest.config.mts
+
+# 特定目录
+bin/
+scripts/
+deploy/
+docSite/

.eslintrc.json

@@ -0,0 +1,17 @@
+{
+  "root": true,
+  "parser": "@typescript-eslint/parser",
+  "plugins": ["@typescript-eslint"],
+  "extends": ["next/core-web-vitals"],
+  "rules": {
+    "react-hooks/rules-of-hooks": 0,
+    "@typescript-eslint/consistent-type-imports": [
+      "error",
+      {
+        "prefer": "type-imports",
+        "disallowTypeAnnotations": false
+      }
+    ]
+  },
+  "ignorePatterns": ["node_modules/", "dist/", "build/", "coverage/"]
+}

.vscode/i18n-ally-custom-framework.yml

@@ -16,9 +16,6 @@ usageMatchRegex:
   # the `{key}` will be placed by a proper keypath matching regex,
   # you can ignore it and use your own matching rules as well
   - "[^\\w\\d]t\\(['\"`]({key})['\"`]"
-  - "[^\\w\\d]commonT\\(['\"`]({key})['\"`]"
-  - "[^\\w\\d]fileT\\(['\"`]({key})['\"`]"
-  - "[^\\w\\d]workflowT\\(['\"`]({key})['\"`]"
   - "[^\\w\\d]i18nT\\(['\"`]({key})['\"`]"
 
 # A RegEx to set a custom scope range. This scope will be used as a prefix when detecting keys

.vscode/settings.json

@@ -21,7 +21,7 @@
     "i18n-ally.namespace": true,
     "i18n-ally.pathMatcher": "{locale}/{namespaces}.json",
     "i18n-ally.extract.targetPickingStrategy": "most-similar-by-key",
-    "i18n-ally.translate.engines": ["google"],
+    "i18n-ally.translate.engines": ["deepl","google"],
     "[typescript]": {
         "editor.defaultFormatter": "esbenp.prettier-vscode"
     },

deploy/docker/docker-compose-milvus.yml

@@ -120,21 +120,27 @@ services:
     restart: always
     command: |
       redis-server --requirepass mypassword --loglevel warning --maxclients 10000 --appendonly yes --save 60 10 --maxmemory 4gb --maxmemory-policy noeviction
+    healthcheck:
+      test: ['CMD', 'redis-cli', '-a', 'mypassword', 'ping']
+      interval: 10s
+      timeout: 3s
+      retries: 3
+      start_period: 30s
     volumes:
       - ./redis/data:/data
 
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -144,8 +150,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

deploy/docker/docker-compose-oceanbase/docker-compose.yml

@@ -7,8 +7,8 @@ version: '3.3'
 services:
   # vector db
   ob:
-    image: oceanbase/oceanbase-ce # docker hub
-    # image: quay.io/oceanbase/oceanbase-ce:4.3.5.1-101000042025031818 # 镜像
+    image: oceanbase/oceanbase-ce:4.3.5-lts # docker hub
+    # image: quay.io/oceanbase/oceanbase-ce:4.3.5-lts # 镜像
     container_name: ob
     restart: always
     # ports: # 生产环境建议不要暴露
@@ -23,7 +23,7 @@ services:
       - OB_TENANT_NAME=tenantname
       - OB_TENANT_PASSWORD=tenantpassword
       # MODE分为MINI和NORMAL， 后者会最大程度使用主机资源
-      - MODE=NORMAL
+      - MODE=MINI
       - OB_SERVER_IP=127.0.0.1
       # 更多环境变量配置见oceanbase官方文档： https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000002013494
     volumes:
@@ -35,7 +35,7 @@ services:
       test:
         [
           'CMD-SHELL',
-          'obclient -h$OB_SERVER_IP -P2881 -uroot@$OB_TENANT_NAME -p$OB_TENANT_PASSWORD -e "SELECT 1;"'
+          'obclient -h$${OB_SERVER_IP} -P2881 -uroot@$${OB_TENANT_NAME} -p$${OB_TENANT_PASSWORD} -e "SELECT 1;"'
         ]
       interval: 30s
       timeout: 10s
@@ -99,19 +99,25 @@ services:
       redis-server --requirepass mypassword --loglevel warning --maxclients 10000 --appendonly yes --save 60 10 --maxmemory 4gb --maxmemory-policy noeviction
     volumes:
       - ./redis/data:/data
+    healthcheck:
+      test: ['CMD', 'redis-cli', '-a', 'mypassword', 'ping']
+      interval: 10s
+      timeout: 3s
+      retries: 3
+      start_period: 30s
 
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -121,8 +127,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

deploy/docker/docker-compose-pgvector.yml

@@ -22,6 +22,11 @@ services:
       - POSTGRES_DB=postgres
     volumes:
       - ./pg/data:/var/lib/postgresql/data
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'postgres']
+      interval: 5s
+      timeout: 5s
+      retries: 10
   mongo:
     image: mongo:5.0.18 # dockerhub
     # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
@@ -79,21 +84,27 @@ services:
     restart: always
     command: |
       redis-server --requirepass mypassword --loglevel warning --maxclients 10000 --appendonly yes --save 60 10 --maxmemory 4gb --maxmemory-policy noeviction
+    healthcheck:
+      test: ['CMD', 'redis-cli', '-a', 'mypassword', 'ping']
+      interval: 10s
+      timeout: 3s
+      retries: 3
+      start_period: 30s
     volumes:
       - ./redis/data:/data
 
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -103,8 +114,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

deploy/docker/docker-compose-zilliz.yml

@@ -61,20 +61,26 @@ services:
     restart: always
     command: |
       redis-server --requirepass mypassword --loglevel warning --maxclients 10000 --appendonly yes --save 60 10 --maxmemory 4gb --maxmemory-policy noeviction
+    healthcheck:
+      test: ['CMD', 'redis-cli', '-a', 'mypassword', 'ping']
+      interval: 10s
+      timeout: 3s
+      retries: 3
+      start_period: 30s
     volumes:
       - ./redis/data:/data
 
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -84,8 +90,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.6 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.6 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

docSite/content/zh-cn/docs/development/openapi/chat.md

@@ -959,10 +959,16 @@ curl --location --request POST 'http://localhost:3000/api/core/chat/getHistories
 {{< markdownify >}}
 
 {{% alert icon=" " context="success" %}}
+目前仅能获取到当前 API key 的创建者的对话。
+
 - appId - 应用 Id
 - offset - 偏移量，即从第几条数据开始取
 - pageSize - 记录数量
 - source - 对话源。source=api，表示获取通过 API 创建的对话（不会获取到页面上的对话记录）
+- startCreateTime - 开始创建时间（可选）
+- endCreateTime - 结束创建时间（可选）
+- startUpdateTime - 开始更新时间（可选）
+- endUpdateTime - 结束更新时间（可选）
 {{% /alert %}}
 
 {{< /markdownify >}}

docSite/content/zh-cn/docs/development/openapi/dataset.md

@@ -296,6 +296,7 @@ curl --location --request DELETE 'http://localhost:3000/api/core/dataset/delete?
 | datasetId | 知识库ID | ✅ |
 | parentId： | 父级ID，不填则默认为根目录 |  |
 | trainingType | 数据处理方式。chunk: 按文本长度进行分割;qa: 问答对提取 | ✅ |
+| customPdfParse | PDF增强解析。true: 开启PDF增强解析;不填则默认为false |  |
 | autoIndexes | 是否自动生成索引(仅商业版支持) |  |
 | imageIndex | 是否自动生成图片索引(仅商业版支持) |  |
 | chunkSettingMode | 分块参数模式。auto: 系统默认参数; custom: 手动指定参数 |  |

docSite/content/zh-cn/docs/development/upgrading/4910.md

@@ -0,0 +1,50 @@
+---
+title: 'V4.9.10'
+description: 'FastGPT V4.9.10 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 790
+---
+
+## 升级指南
+
+重要提示：本次更新会重新构建全文索引，构建期间，全文检索结果会为空，4c16g 700 万组全文索引大致消耗 25 分钟。如需无缝升级，需自行做表同步工程。
+
+### 1. 做好数据备份
+
+### 2. 更新镜像 tag
+
+- 更新 FastGPT 镜像 tag: v4.9.10-fix2
+- 更新 FastGPT 商业版镜像 tag: v4.9.10-fix2
+- mcp_server 无需更新
+- Sandbox 无需更新
+- AIProxy 无需更新
+
+## 🚀 新增内容
+
+1. 支持 PG 设置`systemEnv.hnswMaxScanTuples`参数，提高迭代搜索的数据总量。
+2. 知识库预处理参数增加 “分块条件”，可控制某些情况下不进行分块处理。
+3. 知识库预处理参数增加 “段落优先” 模式，可控制最大段落深度。原“长度优先”模式，不再内嵌段落优先逻辑。
+4. 工作流调整为单向接入和接出，支持快速的添加下一步节点。
+5. 开放飞书和语雀知识库到开源版。
+6. gemini 和 claude 最新模型预设。
+
+## ⚙️ 优化
+
+1. LLM stream调用，默认超时调大。
+2. 部分确认交互优化。
+3. 纠正原先知识库的“表格数据集”名称，改成“备份导入”。同时支持知识库索引的导出和导入。
+4. 工作流知识库引用上限，如果工作流中没有相关 AI 节点，则交互模式改成纯手动输入，并且上限为 1000万。
+5. 语音输入，移动端判断逻辑，准确判断是否为手机，而不是小屏。
+6. 优化上下文截取算法，至少保证留下一组 Human 信息。
+
+## 🐛 修复
+
+1. 全文检索多知识库时排序得分排序不正确。
+2. 流响应捕获 finish_reason 可能不正确。
+3. 工具调用模式，未保存思考输出。
+4. 知识库 indexSize 参数未生效。
+5. 工作流嵌套 2 层后，获取预览引用、上下文不正确。
+6. xlsx 转成 Markdown 时候，前面会多出一个空格。
+7. 读取 Markdown 文件时，Base64 图片未进行额外抓换保存。

docSite/content/zh-cn/docs/development/upgrading/4911.md

@@ -0,0 +1,25 @@
+---
+title: 'V4.9.11(进行中)'
+description: 'FastGPT V4.9.11 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 789
+---
+
+
+## 🚀 新增内容
+
+1. 工作流中增加节点搜索功能。
+2. 工作流中，子流程版本控制，可选择“保持最新版本”，无需手动更新。
+
+## ⚙️ 优化
+
+1. 原文缓存改用 gridfs 存储，提高上限。
+
+## 🐛 修复
+
+1. 工作流中，管理员声明的全局系统工具，无法进行版本管理。
+2. 工具调用节点前，有交互节点时，上下文异常。
+3. 修复备份导入，小于 1000 字时，无法分块问题。
+4. 自定义 PDF 解析，无法保存 base64 图片。

docSite/content/zh-cn/docs/development/upgrading/497.md

@@ -1,5 +1,5 @@
 ---
-title: 'V4.9.7(进行中)'
+title: 'V4.9.7'
 description: 'FastGPT V4.9.7 更新说明'
 icon: 'upgrade'
 draft: false
@@ -7,16 +7,31 @@ toc: true
 weight: 793
 ---
 
+## 升级指南
+
+### 1. 做好数据备份
+
+### 2. 更新镜像 tag
+
+- 更新 FastGPT 镜像 tag: v4.9.7-fix2
+- 更新 FastGPT 商业版镜像 tag: v4.9.7
+- mcp_server 无需更新
+- Sandbox 无需更新
+- 更新 AIProxy 镜像 tag: v0.1.8
+
 ## 🚀 新增内容
 
-1. MCP 工具支持 HTTP Streamable 协议。
-2. MCP server 支持编辑工具名，适配部分客户端不支持中文名问题。
-3. 工作流右键可自动对齐节点。
-4. 支持生产环境自定义`config.json`路径。
-5. API 调用，支持传递一个特殊 chatId(`NO_RECORD_HISTORIES`)，使得系统不会进行历史记录存储。
-6. 支持 Rerank 模型按量计费。
-7. 套餐兑换码功能
-8. 支付宝支付
+1. 知识库回答时，回答段落末尾增加引用。
+2. MCP 工具支持 HTTP Streamable 协议。
+3. MCP server 支持编辑工具名，适配部分客户端不支持中文名问题。
+4. 工作流右键可自动对齐节点。
+5. 支持生产环境自定义`config.json`路径。
+6. API 调用，支持传递一个特殊 chatId(`NO_RECORD_HISTORIES`)，使得系统不会进行历史记录存储。
+7. 支持 Rerank 模型按量计费。
+8. 套餐兑换码功能。
+9. 支付宝支付。
+10. 短链数据埋点。
+11. 新增 Jina AI 模型系统配置。
 
 ## ⚙️ 优化
 
@@ -24,6 +39,8 @@ weight: 793
 2. 调整 PG vector 查询语句，强制使用向量索引。
 3. 对话时间统计，准确返回工作流整体运行时间。
 4. 从 ai_proxy 获取音频解析时长。
+5. AI 模型 Token 值均优先采用 API usage，确保 tokens 值准确，若为空，则再采用 GPT3.5 的估算方式。
+6. 优化对话日志 list 接口，适配单个对话框，大量对话的场景。
 
 ## 🐛 修复
 
@@ -37,4 +54,6 @@ weight: 793
 8. 调试知识库检索模块，提示无权操作知识库。
 9. 文本内容提取节点，默认值赋值逻辑。
 10. 分享链接中，会强制返回嵌套应用中的引用内容。
+11. 知识库集合元数据过滤时，不同知识库的同名标签使用 $and 筛选无法获取结果。
+12. 修复应用列表，权限配置可能出现 index 刷新问题。
 

docSite/content/zh-cn/docs/development/upgrading/498.md

@@ -0,0 +1,49 @@
+---
+title: 'V4.9.8'
+description: 'FastGPT V4.9.8 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 792
+---
+
+## 升级指南
+
+### 1. 做好数据备份
+
+### 2. 更新镜像 tag
+
+- 更新 FastGPT 镜像 tag: v4.9.8
+- 更新 FastGPT 商业版镜像 tag: v4.9.8
+- mcp_server 无需更新
+- Sandbox 无需更新
+- AIProxy 无需更新
+
+## 🚀 新增内容
+
+1. 支持 Toolcalls 并行执行。
+2. 将所有内置任务，从非 stream 模式调整成 stream 模式，避免部分模型不支持非 stream 模式。如需覆盖，则可以在模型`额外 Body`参数中，强制指定`stream=false`。
+3. qwen3 模型预设
+4. 语雀知识库支持设置根目录。
+5. 可配置密码过期时间，过期后下次登录会强制要求修改密码。
+6. 密码登录增加 preLogin 临时密钥校验。
+7. 支持 Admin 后台配置发布渠道和第三方知识库的显示隐藏。
+
+## ⚙️ 优化
+
+1. Chat log list 优化，避免大数据时超出内存限制。
+2. 预加载 token 计算 worker，避免主任务中并发创建导致线程阻塞。
+3. 工作流节点版本控制交互优化。
+4. 网络获取以及 html2md 优化，支持视频和音频标签的转换。
+
+## 🐛 修复
+
+1. 应用列表/知识库列表，删除行权限展示问题。
+2. 打开知识库搜索参数后，重排选项自动被打开。
+3. LLM json_schema 模式 API 请求格式错误。 
+4. 重新训练时，图片过期索引未成功清除，导致图片会丢失。
+5. 重新训练权限问题。
+6. 文档链接地址。
+7. Claude 工具调用，由于 index 为空，导致工具调用失败。
+8. 嵌套工作流，工具调用下包含交互节点时，流程异常。
+

docSite/content/zh-cn/docs/development/upgrading/499.md

@@ -0,0 +1,43 @@
+---
+title: 'V4.9.9'
+description: 'FastGPT V4.9.9 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 791
+---
+
+## 升级指南
+
+### 1. 做好数据备份
+
+### 2. 商业版用户替换新 License
+
+商业版用户可以联系 FastGPT 团队支持同学，获取 License 替换方案。替换后，可以直接升级系统，管理后台会提示输入新 License。
+
+### 3. 更新镜像 tag
+
+- 更新 FastGPT 镜像 tag: v4.9.9
+- 更新 FastGPT 商业版镜像 tag: v4.9.9
+- mcp_server 无需更新
+- Sandbox 无需更新
+- AIProxy 无需更新
+
+## 🚀 新增内容
+
+1. 切换 SessionId 来替代 JWT 实现登录鉴权，可控制最大登录客户端数量。
+2. 新的商业版 License 管理模式。
+3. 公众号调用，显示记录 chat 对话错误，方便排查。
+4. API 知识库支持 BasePath 选择，需增加 API 接口，具体可见[API 知识库介绍](/docs/guide/knowledge_base/api_dataset/#4-获取文件详细信息用于获取文件信息)
+
+## ⚙️ 优化
+
+1. 优化工具调用，新工具的判断逻辑。
+2. 调整 Cite 引用提示词。
+
+## 🐛 修复
+
+1. 无法正常获取应用历史保存/发布记录。
+2. 成员创建 MCP 工具权限问题。
+3. 来源引用展示，存在 ID 传递错误，导致提示无权操作该文件。
+4. 回答标注前端数据报错。

docSite/content/zh-cn/docs/guide/knowledge_base/api_dataset.md

@@ -43,7 +43,7 @@ type ResponseType = {
 // 文件列表中，单项的文件类型
 type FileListItem = {
   id: string;
-  parentId: string | null;
+  parentId: string  //也可能为 null 或者 undefined 类型;
   name: string;
   type: 'file' | 'folder';
   updateTime: Date;
@@ -59,7 +59,7 @@ type FileListItem = {
 {{< markdownify >}}
 
 {{% alert icon=" " context="success" %}}
-- parentId - 父级 id，可选，或者 null。
+- parentId - 父级 id，可选，或者 null | undefined。
 - searchKey - 检索词，可选
 {{% /alert %}}
 
@@ -68,7 +68,7 @@ curl --location --request POST '{{baseURL}}/v1/file/list' \
 --header 'Authorization: Bearer {{authorization}}' \
 --header 'Content-Type: application/json' \
 --data-raw '{
-    "parentId": null,
+    "parentId": "",
     "searchKey": ""
 }'
 ```
@@ -185,3 +185,40 @@ curl --location --request GET '{{baseURL}}/v1/file/read?id=xx' \
 {{< /tabs >}}
 
 
+### 4. 获取文件详细信息（用于获取文件信息）
+
+{{< tabs tabTotal="2" >}}
+{{< tab tabName="请求示例" >}}
+{{< markdownify >}}
+
+id 为文件的 id。
+
+```bash
+curl --location --request GET '{{baseURL}}/v1/file/detail?id=xx' \
+--header 'Authorization: Bearer {{authorization}}'
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="响应示例" >}}
+{{< markdownify >}}
+
+```json
+{
+    "code": 200,
+    "success": true,
+    "message": "",
+    "data": {
+        "id": "docs",
+        "parentId": "",
+        "name": "docs"
+    }
+}
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+{{< /tabs >}}
+
+

docSite/content/zh-cn/docs/shopping_cart/intro.md

@@ -28,7 +28,6 @@ FastGPT 商业版是基于 FastGPT 开源版的增强版本，增加了一些独
 | 应用发布安全配置 | ❌ | ✅ | ✅ |
 | 内容审核 | ❌ | ✅ | ✅ |
 | web站点同步 | ❌ | ✅ | ✅ |
-| 主流文档库接入（目前支持：语雀、飞书） | ❌ | ✅ | ✅ |
 | 增强训练模式 | ❌ | ✅ | ✅ |
 | 第三方应用快速接入（飞书、公众号） | ❌ | ✅ | ✅ |
 | 管理后台 | ❌ | ✅ | 不需要 |

docSite/content/zh-cn/docs/use-cases/app-cases/lab_appointment.md

@@ -563,7 +563,7 @@ HTTP模块中，需要设置 3 个工具参数：
             "hidden"
           ],
           "label": "",
-          "value": 1500,
+          "value": 5000,
           "valueType": "number"
         },
         {

docSite/content/zh-cn/docs/use-cases/external-integration/dingtalk.md

@@ -55,3 +55,10 @@ weight: 505
 应用发布后，即可在钉钉企业中使用机器人功能，可对机器人私聊。或者在群组添加机器人后`@机器人`，触发对话。
 
 ![图片8](/imgs/dingtalk-bot-8.png)
+
+
+## FAQ
+
+### 如何新开一个聊天记录
+
+如果你想重置你的聊天记录，可以给机器人发送 `Reset` 消息（注意大小写），机器人会新开一个聊天记录。

docSite/content/zh-cn/docs/use-cases/external-integration/feishu.md

@@ -94,4 +94,13 @@ Verification Token 默认生成的这个 Token 用于校验来源。但我们使
 1. 检查飞书机器人回调地址、权限等是否正确。
 2. 查看 FastGPT 对话日志，是否有对应的提问记录
 3. 如果有记录，飞书没回应，则是没给机器人开权限。
-4. 如果没记录，则可能是应用运行报错了，可以先试试最简单的机器人。（飞书机器人无法输入全局变量、文件、图片内容）
+4. 如果没记录，则可能是应用运行报错了，可以先试试最简单的机器人。（飞书机器人无法输入全局变量、文件、图片内容）
+
+### 如何新开一个聊天记录
+
+飞书机器人的聊天记录 chatId 包含几种来源：
+1. 私聊聊天框
+2. 飞书话题群中单个话题
+3. 群组聊天中，由群 id+个人id 组成。
+
+如果你想重置你的聊天记录，可以给机器人发送 `Reset` 消息（注意大小写），机器人会新开一个聊天记录。

docSite/content/zh-cn/docs/use-cases/external-integration/official_account.md

@@ -95,6 +95,10 @@ weight: 506
 121.196.228.45
 121.43.126.202
 120.26.144.37
+47.98.196.113
+47.97.204.90
+118.31.41.236
+118.178.185.61
 ```
 
 ## 4. 获取AES Key，选择加密方式
@@ -122,3 +126,16 @@ weight: 506
 ## 7. 开始使用
 
 现在用户向公众号发消息，消息则会被转发到 FastGPT，通过公众号返回对话结果。
+
+## FAQ
+
+### 公众号没响应
+
+检查应用对话日志，如果有对话日志，但是微信公众号无响应，则是白名单 IP未成功。
+添加白名单IP 后，通常需要等待几分钟微信更新。可以在对话日志中，找点错误日志。
+
+![](/imgs/official_account_faq.png)
+
+### 如何新开一个聊天记录
+
+如果你想重置你的聊天记录，可以给机器人发送 `Reset` 消息（注意大小写），机器人会新开一个聊天记录。

env.d.ts

@@ -4,7 +4,6 @@ declare global {
       LOG_DEPTH: string;
       DEFAULT_ROOT_PSW: string;
       DB_MAX_LINK: string;
-      TOKEN_KEY: string;
       FILE_TOKEN_KEY: string;
       ROOT_KEY: string;
       OPENAI_BASE_URL: string;
@@ -35,6 +34,9 @@ declare global {
       ALLOWED_ORIGINS?: string;
       SHOW_COUPON?: string;
       CONFIG_JSON_PATH?: string;
+      PASSWORD_LOGIN_LOCK_SECONDS?: string;
+      PASSWORD_EXPIRED_MONTH?: string;
+      MAX_LOGIN_SESSION?: string;
     }
   }
 }

package.json

@@ -13,12 +13,18 @@
     "previewIcon": "node ./scripts/icon/index.js",
     "api:gen": "tsc ./scripts/openapi/index.ts && node ./scripts/openapi/index.js && npx @redocly/cli build-docs ./scripts/openapi/openapi.json -o ./projects/app/public/openapi/index.html",
     "create:i18n": "node ./scripts/i18n/index.js",
+    "lint": "eslint \"**/*.{ts,tsx}\" --ignore-path .eslintignore",
+    "lint:fix": "eslint \"**/*.{ts,tsx}\" --fix --ignore-path .eslintignore",
     "test": "vitest run",
     "test:workflow": "vitest run workflow"
   },
   "devDependencies": {
     "@chakra-ui/cli": "^2.4.1",
+    "@typescript-eslint/eslint-plugin": "^6.21.0",
+    "@typescript-eslint/parser": "^6.21.0",
     "@vitest/coverage-v8": "^3.0.9",
+    "eslint": "^8.57.0",
+    "eslint-config-next": "^14.1.0",
     "husky": "^8.0.3",
     "i18next": "23.16.8",
     "lint-staged": "^13.3.0",
@@ -31,7 +37,10 @@
     "zhlint": "^0.7.4"
   },
   "lint-staged": {
-    "./**/**/*.{ts,tsx,scss}": "npm run format-code",
+    "./**/**/*.{ts,tsx,scss}": [
+      "npm run format-code",
+      "npm run lint:fix"
+    ],
     "./docSite/**/**/*.md": "npm run format-doc && npm run gen:llms"
   },
   "resolutions": {

packages/global/common/error/code/app.ts

@@ -1,4 +1,4 @@
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* dataset: 502000 */
 export enum AppErrEnum {

packages/global/common/error/code/chat.ts

@@ -1,4 +1,4 @@
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* dataset: 504000 */
 export enum ChatErrEnum {

packages/global/common/error/code/common.ts

@@ -1,5 +1,5 @@
 import { i18nT } from '../../../../web/i18n/utils';
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 
 /* dataset: 507000 */
 const startCode = 507000;

packages/global/common/error/code/dataset.ts

@@ -1,5 +1,5 @@
 import { i18nT } from '../../../../web/i18n/utils';
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 
 /* dataset: 501000 */
 export enum DatasetErrEnum {
@@ -27,7 +27,7 @@ const datasetErr = [
   },
   {
     statusText: DatasetErrEnum.unExist,
-    message: 'core.dataset.error.unExistDataset'
+    message: i18nT('common:core.dataset.error.unExistDataset')
   },
   {
     statusText: DatasetErrEnum.unExistCollection,

packages/global/common/error/code/openapi.ts

@@ -1,4 +1,4 @@
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* dataset: 506000 */
 export enum OpenApiErrEnum {

packages/global/common/error/code/outLink.ts

@@ -1,4 +1,4 @@
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* dataset: 505000 */
 export enum OutLinkErrEnum {

packages/global/common/error/code/plugin.ts

@@ -1,4 +1,4 @@
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* dataset: 508000 */
 export enum PluginErrEnum {

packages/global/common/error/code/system.ts

@@ -1,14 +1,29 @@
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* dataset: 509000 */
 export enum SystemErrEnum {
-  communityVersionNumLimit = 'communityVersionNumLimit'
+  communityVersionNumLimit = 'communityVersionNumLimit',
+  licenseAppAmountLimit = 'licenseAppAmountLimit',
+  licenseDatasetAmountLimit = 'licenseDatasetAmountLimit',
+  licenseUserAmountLimit = 'licenseUserAmountLimit'
 }
 
 const systemErr = [
   {
     statusText: SystemErrEnum.communityVersionNumLimit,
     message: i18nT('common:code_error.system_error.community_version_num_limit')
+  },
+  {
+    statusText: SystemErrEnum.licenseAppAmountLimit,
+    message: i18nT('common:code_error.system_error.license_app_amount_limit')
+  },
+  {
+    statusText: SystemErrEnum.licenseDatasetAmountLimit,
+    message: i18nT('common:code_error.system_error.license_dataset_amount_limit')
+  },
+  {
+    statusText: SystemErrEnum.licenseUserAmountLimit,
+    message: i18nT('common:code_error.system_error.license_user_amount_limit')
   }
 ];
 

packages/global/common/error/code/user.ts

@@ -1,4 +1,4 @@
-import { ErrType } from '../errorCode';
+import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* team: 503000 */
 export enum UserErrEnum {

packages/global/common/file/api.d.ts

@@ -1,4 +1,4 @@
-import { OutLinkChatAuthProps } from '../../support/permission/chat.d';
+import type { OutLinkChatAuthProps } from '../../support/permission/chat.d';
 
 export type preUploadImgProps = OutLinkChatAuthProps & {
   // expiredTime?: Date;

packages/global/common/file/tools.ts

@@ -1,7 +1,7 @@
 import { detect } from 'jschardet';
 import { documentFileType } from './constants';
 import { ChatFileTypeEnum } from '../../core/chat/constants';
-import { UserChatItemValueItemType } from '../../core/chat/type';
+import { type UserChatItemValueItemType } from '../../core/chat/type';
 import * as fs from 'fs';
 
 export const formatFileSize = (bytes: number): string => {

packages/global/common/file/type.d.ts

@@ -1,4 +1,4 @@
-import { BucketNameEnum } from './constants';
+import type { BucketNameEnum } from './constants';
 
 export type FileTokenQuery = {
   bucketName: `${BucketNameEnum}`;

packages/global/common/middle/tracks/type.d.ts

@@ -1,4 +1,4 @@
-import { TrackEnum } from './constants';
+import type { TrackEnum } from './constants';
 import { OAuthEnum } from '../../../support/user/constant';
 import { AppTypeEnum } from '../../../core/app/constants';
 

packages/global/common/parentFolder/utils.ts

@@ -1,4 +1,4 @@
-import { ParentIdType } from './type';
+import { type ParentIdType } from './type';
 
 export const parseParentIdInMongo = (parentId: ParentIdType) => {
   if (parentId === undefined) return {};

packages/global/common/string/password.ts

@@ -0,0 +1,18 @@
+export const checkPasswordRule = (password: string) => {
+  const patterns = [
+    /\d/, // Contains digits
+    /[a-z]/, // Contains lowercase letters
+    /[A-Z]/, // Contains uppercase letters
+    /[!@#$%^&*()_+=-]/ // Contains special characters
+  ];
+  const validChars = /^[\dA-Za-z!@#$%^&*()_+=-]{8,100}$/;
+
+  // Check length and valid characters
+  if (!validChars.test(password)) return false;
+
+  // Count how many patterns are satisfied
+  const matchCount = patterns.filter((pattern) => pattern.test(password)).length;
+
+  // Must satisfy at least 2 patterns
+  return matchCount >= 2;
+};

packages/global/common/string/textSplitter.ts

@@ -7,6 +7,10 @@ export const CUSTOM_SPLIT_SIGN = '-----CUSTOM_SPLIT_SIGN-----';
 type SplitProps = {
   text: string;
   chunkSize: number;
+
+  paragraphChunkDeep?: number; // Paragraph deep
+  paragraphChunkMinSize?: number; // Paragraph min size, if too small, it will merge
+
   maxSize?: number;
   overlapRatio?: number;
   customReg?: string[];
@@ -108,6 +112,8 @@ const commonSplit = (props: SplitProps): SplitResponse => {
   let {
     text = '',
     chunkSize,
+    paragraphChunkDeep = 5,
+    paragraphChunkMinSize = 100,
     maxSize = defaultMaxChunkSize,
     overlapRatio = 0.15,
     customReg = []
@@ -123,7 +129,7 @@ const commonSplit = (props: SplitProps): SplitResponse => {
   text = text.replace(/(```[\s\S]*?```|~~~[\s\S]*?~~~)/g, function (match) {
     return match.replace(/\n/g, codeBlockMarker);
   });
-  // 2. 表格处理 - 单独提取表格出来，进行表头合并
+  // 2. Markdown 表格处理 - 单独提取表格出来，进行表头合并
   const tableReg =
     /(\n\|(?:(?:[^\n|]+\|){1,})\n\|(?:[:\-\s]+\|){1,}\n(?:\|(?:[^\n|]+\|)*\n?)*)(?:\n|$)/g;
   const tableDataList = text.match(tableReg);
@@ -143,25 +149,40 @@ const commonSplit = (props: SplitProps): SplitResponse => {
   text = text.replace(/(\r?\n|\r){3,}/g, '\n\n\n');
 
   // The larger maxLen is, the next sentence is less likely to trigger splitting
-  const markdownIndex = 4;
-  const forbidOverlapIndex = 8;
+  const customRegLen = customReg.length;
+  const markdownIndex = paragraphChunkDeep - 1;
+  const forbidOverlapIndex = customRegLen + markdownIndex + 4;
+
+  const markdownHeaderRules = ((deep?: number): { reg: RegExp; maxLen: number }[] => {
+    if (!deep || deep === 0) return [];
+
+    const maxDeep = Math.min(deep, 8); // Maximum 8 levels
+    const rules: { reg: RegExp; maxLen: number }[] = [];
+
+    for (let i = 1; i <= maxDeep; i++) {
+      const hashSymbols = '#'.repeat(i);
+      rules.push({
+        reg: new RegExp(`^(${hashSymbols}\\s[^\\n]+\\n)`, 'gm'),
+        maxLen: chunkSize
+      });
+    }
+
+    return rules;
+  })(paragraphChunkDeep);
 
   const stepReges: { reg: RegExp | string; maxLen: number }[] = [
     ...customReg.map((text) => ({
       reg: text.replaceAll('\\n', '\n'),
       maxLen: chunkSize
     })),
-    { reg: /^(#\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(##\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(###\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(####\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(#####\s[^\n]+\n)/gm, maxLen: chunkSize },
+    ...markdownHeaderRules,
 
     { reg: /([\n](```[\s\S]*?```|~~~[\s\S]*?~~~))/g, maxLen: maxSize }, // code block
+    // HTML Table tag 尽可能保障完整
     {
       reg: /(\n\|(?:(?:[^\n|]+\|){1,})\n\|(?:[:\-\s]+\|){1,}\n(?:\|(?:[^\n|]+\|)*\n)*)/g,
-      maxLen: Math.min(chunkSize * 1.5, maxSize)
-    }, // Table 尽可能保证完整性
+      maxLen: chunkSize
+    }, // Markdown Table 尽可能保证完整性
     { reg: /(\n{2,})/g, maxLen: chunkSize },
     { reg: /([\n])/g, maxLen: chunkSize },
     // ------ There's no overlap on the top
@@ -172,12 +193,10 @@ const commonSplit = (props: SplitProps): SplitResponse => {
     { reg: /([，]|,\s)/g, maxLen: chunkSize }
   ];
 
-  const customRegLen = customReg.length;
   const checkIsCustomStep = (step: number) => step < customRegLen;
   const checkIsMarkdownSplit = (step: number) =>
     step >= customRegLen && step <= markdownIndex + customRegLen;
-
-  const checkForbidOverlap = (step: number) => step <= forbidOverlapIndex + customRegLen;
+  const checkForbidOverlap = (step: number) => step <= forbidOverlapIndex;
 
   // if use markdown title split, Separate record title
   const getSplitTexts = ({ text, step }: { text: string; step: number }) => {
@@ -301,6 +320,7 @@ const commonSplit = (props: SplitProps): SplitResponse => {
     const splitTexts = getSplitTexts({ text, step });
 
     const chunks: string[] = [];
+
     for (let i = 0; i < splitTexts.length; i++) {
       const item = splitTexts[i];
 
@@ -443,7 +463,6 @@ const commonSplit = (props: SplitProps): SplitResponse => {
  */
 export const splitText2Chunks = (props: SplitProps): SplitResponse => {
   let { text = '' } = props;
-  const start = Date.now();
   const splitWithCustomSign = text.split(CUSTOM_SPLIT_SIGN);
 
   const splitResult = splitWithCustomSign.map((item) => {

packages/global/common/system/config/constants.ts

@@ -1,7 +1,8 @@
 export enum SystemConfigsTypeEnum {
   fastgpt = 'fastgpt',
   fastgptPro = 'fastgptPro',
-  systemMsgModal = 'systemMsgModal'
+  systemMsgModal = 'systemMsgModal',
+  license = 'license'
 }
 
 export const SystemConfigsTypeMap = {
@@ -13,5 +14,8 @@ export const SystemConfigsTypeMap = {
   },
   [SystemConfigsTypeEnum.systemMsgModal]: {
     label: 'systemMsgModal'
+  },
+  [SystemConfigsTypeEnum.license]: {
+    label: 'license'
   }
 };

packages/global/common/system/config/type.d.ts

@@ -1,8 +1,8 @@
-import { SystemConfigsTypeEnum } from "./constants";
+import type { SystemConfigsTypeEnum } from './constants';
 
 export type SystemConfigsType = {
   _id: string;
   type: `${SystemConfigsTypeEnum}`;
   value: Record<string, any>;
   createTime: Date;
-};
+};

packages/global/common/system/types/index.d.ts

@@ -1,4 +1,5 @@
-import { StandSubPlanLevelMapType, SubPlanType } from '../../../support/wallet/sub/type';
+import type { SubPlanType } from '../../../support/wallet/sub/type';
+import { StandSubPlanLevelMapType } from '../../../support/wallet/sub/type';
 import type {
   ChatModelItemType,
   FunctionModelItemType,
@@ -63,6 +64,15 @@ export type FastGPTFeConfigsType = {
   show_coupon?: boolean;
   concatMd?: string;
 
+  show_dataset_feishu?: boolean;
+  show_dataset_yuque?: boolean;
+  show_publish_feishu?: boolean;
+  show_publish_dingtalk?: boolean;
+  show_publish_offiaccount?: boolean;
+
+  show_dataset_enhance?: boolean;
+  show_batch_eval?: boolean;
+
   concatMd?: string;
   docUrl?: string;
   openAPIDocUrl?: string;
@@ -120,9 +130,11 @@ export type SystemEnvType = {
   vectorMaxProcess: number;
   qaMaxProcess: number;
   vlmMaxProcess: number;
-  hnswEfSearch: number;
   tokenWorkers: number; // token count max worker
 
+  hnswEfSearch: number;
+  hnswMaxScanTuples: number;
+
   oneapiUrl?: string;
   chatApiKey?: string;
 
@@ -135,3 +147,21 @@ export type customPdfParseType = {
   doc2xKey?: string;
   price?: number;
 };
+
+export type LicenseDataType = {
+  startTime: string;
+  expiredTime: string;
+  company: string;
+  description?: string; // 描述
+  hosts?: string[]; // 管理端有效域名
+  maxUsers?: number; // 最大用户数，不填默认不上限
+  maxApps?: number; // 最大应用数，不填默认不上限
+  maxDatasets?: number; // 最大数据集数，不填默认不上限
+  functions: {
+    sso: boolean;
+    pay: boolean;
+    customTemplates: boolean;
+    datasetEnhance: boolean;
+    batchEval: boolean;
+  };
+};

packages/global/core/ai/constants.ts

@@ -1,4 +1,13 @@
 import { i18nT } from '../../../web/i18n/utils';
+import type { CompletionUsage } from './type';
+
+export const getLLMDefaultUsage = (): CompletionUsage => {
+  return {
+    prompt_tokens: 0,
+    completion_tokens: 0,
+    total_tokens: 0
+  };
+};
 
 export enum ChatCompletionRequestMessageRoleEnum {
   'System' = 'system',

packages/global/core/ai/model.d.ts

@@ -1,4 +1,4 @@
-import { ModelTypeEnum } from './model';
+import type { ModelTypeEnum } from './model';
 import type { ModelProviderIdType } from './provider';
 
 type PriceType = {

packages/global/core/ai/model.ts

@@ -1,6 +1,6 @@
 import { i18nT } from '../../../web/i18n/utils';
 import type { LLMModelItemType, STTModelType, EmbeddingModelItemType } from './model.d';
-import { getModelProvider, ModelProviderIdType } from './provider';
+import { getModelProvider, type ModelProviderIdType } from './provider';
 
 export enum ModelTypeEnum {
   llm = 'llm',

packages/global/core/ai/prompt/AIChat.ts

@@ -1,21 +1,257 @@
-import { PromptTemplateItem } from '../type.d';
+import { type PromptTemplateItem } from '../type.d';
 import { i18nT } from '../../../../web/i18n/utils';
 import { getPromptByVersion } from './utils';
 
+export const Prompt_userQuotePromptList: PromptTemplateItem[] = [
+  {
+    title: i18nT('app:template.standard_template'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+<Cites>
+{{quote}}
+</Cites>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  },
+  {
+    title: i18nT('app:template.qa_template'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+<QA>
+{{quote}}
+</QA>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  },
+  {
+    title: i18nT('app:template.standard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <Cites></Cites> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <Cites></Cites> 中的内容一致。
+
+<Cites>
+{{quote}}
+</Cites>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  },
+  {
+    title: i18nT('app:template.hard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <QA></QA> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <QA></QA> 中的内容一致。
+
+<QA>
+{{quote}}
+</QA>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  }
+];
+
+export const Prompt_systemQuotePromptList: PromptTemplateItem[] = [
+  {
+    title: i18nT('app:template.standard_template'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+<Cites>
+{{quote}}
+</Cites>`
+    }
+  },
+  {
+    title: i18nT('app:template.qa_template'),
+    desc: '',
+    value: {
+      ['4.9.8']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+<QA>
+{{quote}}
+</QA>`
+    }
+  },
+  {
+    title: i18nT('app:template.standard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <Cites></Cites> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <Cites></Cites> 中的内容一致。
+
+<Cites>
+{{quote}}
+</Cites>`
+    }
+  },
+  {
+    title: i18nT('app:template.hard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <QA></QA> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <QA></QA> 中的内容一致。
+
+<QA>
+{{quote}}
+</QA>`
+    }
+  }
+];
+
 export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
   {
     title: i18nT('app:template.standard_template'),
     desc: i18nT('app:template.standard_template_des'),
     value: {
       ['4.9.7']: `{
-  "sourceIndex": "{{sourceIndex}}",
   "id": "{{id}}",
   "sourceName": "{{source}}",
-  "content": "{{q}}\n{{a}}"
-}
-`,
-      ['4.9.2']: `{
-  "sourceName": "{{source}}",
   "updateTime": "{{updateTime}}",
   "content": "{{q}}\n{{a}}"
 }
@@ -26,7 +262,7 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
     title: i18nT('app:template.qa_template'),
     desc: i18nT('app:template.qa_template_des'),
     value: {
-      ['4.9.2']: `<Question>
+      ['4.9.7']: `<Question>
 {{q}}
 </Question>
 <Answer>
@@ -39,14 +275,8 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
     desc: i18nT('app:template.standard_strict_des'),
     value: {
       ['4.9.7']: `{
-  "sourceIndex": "{{sourceIndex}}",
   "id": "{{id}}",
   "sourceName": "{{source}}",
-  "content": "{{q}}\n{{a}}"
-}
-`,
-      ['4.9.2']: `{
-  "sourceName": "{{source}}",
   "updateTime": "{{updateTime}}",
   "content": "{{q}}\n{{a}}"
 }
@@ -57,7 +287,7 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
     title: i18nT('app:template.hard_strict'),
     desc: i18nT('app:template.hard_strict_des'),
     value: {
-      ['4.9.2']: `<Question>
+      ['4.9.7']: `<Question>
 {{q}}
 </Question>
 <Answer>
@@ -66,263 +296,12 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
     }
   }
 ];
-
 export const getQuoteTemplate = (version?: string) => {
   const defaultTemplate = Prompt_QuoteTemplateList[0].value;
 
   return getPromptByVersion(version, defaultTemplate);
 };
 
-export const Prompt_userQuotePromptList: PromptTemplateItem[] = [
-  {
-    title: i18nT('app:template.standard_template'),
-    desc: '',
-    value: {
-      ['4.9.7']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](QUOTE{{sourceIndex}}) 格式来引用<Reference></Reference>中的知识，其中 QUOTE 是固定常量, id 和 sourceIndex 分别为引文中的值。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](QUOTE1)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。`,
-      ['4.9.2']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-
-问题:"""{{question}}"""`
-    }
-  },
-  {
-    title: i18nT('app:template.qa_template'),
-    desc: '',
-    value: {
-      ['4.9.2']: `使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-回答要求：
-- 选择其中一个或多个问答对进行回答。
-- 回答的内容应尽可能与 <答案></答案> 中的内容一致。
-- 如果没有相关的问答对，你需要澄清。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。
-
-问题:"""{{question}}"""`
-    }
-  },
-  {
-    title: i18nT('app:template.standard_strict'),
-    desc: '',
-    value: {
-      ['4.9.7']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](QUOTE{{sourceIndex}}) 格式来引用<Reference></Reference>中的知识，其中 QUOTE 是固定常量, id 和 sourceIndex 分别为引文中的值。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](QUOTE1)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。
-
-问题:"""{{question}}"""`,
-      ['4.9.2']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-
-问题:"""{{question}}"""`
-    }
-  },
-  {
-    title: i18nT('app:template.hard_strict'),
-    desc: '',
-    value: {
-      ['4.9.2']: `忘记你已有的知识，仅使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-思考流程：
-1. 判断问题是否与 <QA></QA> 标记中的内容有关。
-2. 如果无关，你直接拒绝回答本次问题。
-3. 判断是否有相近或相同的问题。
-4. 如果有相同的问题，直接输出对应答案。
-5. 如果只有相近的问题，请把相近的问题和答案一起输出。
-
-回答要求：
-- 如果没有相关的问答对，你需要澄清。
-- 回答的内容应尽可能与 <QA></QA> 标记中的内容一致。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-
-问题:"""{{question}}"""`
-    }
-  }
-];
-
-export const Prompt_systemQuotePromptList: PromptTemplateItem[] = [
-  {
-    title: i18nT('app:template.standard_template'),
-    desc: '',
-    value: {
-      ['4.9.7']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](QUOTE{{sourceIndex}}) 格式来引用<Reference></Reference>中的知识，其中 QUOTE 是固定常量, id 和 sourceIndex 分别为引文中的值。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](QUOTE1)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。`,
-      ['4.9.2']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。`
-    }
-  },
-  {
-    title: i18nT('app:template.qa_template'),
-    desc: '',
-    value: {
-      ['4.9.2']: `使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-回答要求：
-- 选择其中一个或多个问答对进行回答。
-- 回答的内容应尽可能与 <答案></答案> 中的内容一致。
-- 如果没有相关的问答对，你需要澄清。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。`
-    }
-  },
-  {
-    title: i18nT('app:template.standard_strict'),
-    desc: '',
-    value: {
-      ['4.9.7']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](QUOTE{{sourceIndex}}) 格式来引用<Reference></Reference>中的知识，其中 QUOTE 是固定常量, id 和 sourceIndex 分别为引文中的值。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](QUOTE1)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。
-
-问题:"""{{question}}"""`,
-      ['4.9.2']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。`
-    }
-  },
-  {
-    title: i18nT('app:template.hard_strict'),
-    desc: '',
-    value: {
-      ['4.9.2']: `忘记你已有的知识，仅使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-思考流程：
-1. 判断问题是否与 <QA></QA> 标记中的内容有关。
-2. 如果无关，你直接拒绝回答本次问题。
-3. 判断是否有相近或相同的问题。
-4. 如果有相同的问题，直接输出对应答案。
-5. 如果只有相近的问题，请把相近的问题和答案一起输出。
-
-回答要求：
-- 如果没有相关的问答对，你需要澄清。
-- 回答的内容应尽可能与 <QA></QA> 标记中的内容一致。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。`
-    }
-  }
-];
-
 export const getQuotePrompt = (version?: string, role: 'user' | 'system' = 'user') => {
   const quotePromptTemplates =
     role === 'user' ? Prompt_userQuotePromptList : Prompt_systemQuotePromptList;
@@ -333,9 +312,9 @@ export const getQuotePrompt = (version?: string, role: 'user' | 'system' = 'user
 };
 
 // Document quote prompt
-export const getDocumentQuotePrompt = (version: string) => {
+export const getDocumentQuotePrompt = (version?: string) => {
   const promptMap = {
-    ['4.9.2']: `将 <FilesContent></FilesContent> 中的内容作为本次对话的参考:
+    ['4.9.7']: `将 <FilesContent></FilesContent> 中的内容作为本次对话的参考:
 <FilesContent>
 {{quote}}
 </FilesContent>

packages/global/core/ai/prompt/agent.ts

@@ -60,7 +60,7 @@ export const getExtractJsonToolPrompt = (version?: string) => {
 """
 - {{description}}
 - 不是每个参数都是必须生成的，如果没有合适的参数值，不要生成该参数，或返回空字符串。
-- 需要结合前面的对话内容，一起生成合适的参数。
+- 需要结合历史记录，一起生成合适的参数。
 """
 
 本次输入内容: """{{content}}"""

packages/global/core/ai/prompt/dataset.ts

@@ -0,0 +1,19 @@
+export const getDatasetSearchToolResponsePrompt = () => {
+  return `## Role
+你是一个知识库回答助手，可以 "cites" 中的内容作为本次对话的参考。为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 **[id](CITE)** 格式来引用 "cites" 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 cites 中！
+
+## 通用规则
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 "cites" 获取的知识。
+- 保持答案与 "cites" 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。`;
+};

packages/global/core/ai/prompt/utils.ts

@@ -1,4 +1,5 @@
 export const getPromptByVersion = (version?: string, promptMap: Record<string, string> = {}) => {
+  // 版本号大的在前面
   const versions = Object.keys(promptMap).sort((a, b) => {
     const [majorA, minorA, patchA] = a.split('.').map(Number);
     const [majorB, minorB, patchB] = b.split('.').map(Number);
@@ -15,5 +16,5 @@ export const getPromptByVersion = (version?: string, promptMap: Record<string, s
   if (version in promptMap) {
     return promptMap[version];
   }
-  return promptMap[versions[versions.length - 1]];
+  return promptMap[versions[0]];
 };

packages/global/core/ai/provider.ts

@@ -8,6 +8,7 @@ export type ModelProviderIdType =
   | 'MistralAI'
   | 'Groq'
   | 'Grok'
+  | 'Jina'
   | 'AliCloud'
   | 'Qwen'
   | 'Doubao'
@@ -72,6 +73,11 @@ export const ModelProviderList: ModelProviderType[] = [
     name: 'Groq',
     avatar: 'model/groq'
   },
+  {
+    id: 'Jina',
+    name: 'Jina',
+    avatar: 'model/jina'
+  },
   {
     id: 'Qwen',
     name: i18nT('common:model_qwen'),

packages/global/core/ai/type.d.ts

@@ -9,7 +9,8 @@ import type {
   ChatCompletionAssistantMessageParam as SdkChatCompletionAssistantMessageParam
 } from 'openai/resources';
 import { ChatMessageTypeEnum } from './constants';
-import { WorkflowInteractiveResponseType } from '../workflow/template/system/interactive/type';
+import type { WorkflowInteractiveResponseType } from '../workflow/template/system/interactive/type';
+import type { Stream } from 'openai/streaming';
 export * from 'openai/resources';
 
 // Extension of ChatCompletionMessageParam, Add file url type
@@ -59,6 +60,7 @@ export type ChatCompletionAssistantToolParam = {
   tool_calls: ChatCompletionMessageToolCall[];
 };
 export type ChatCompletionMessageToolCall = ChatCompletionMessageToolCall & {
+  index?: number;
   toolName?: string;
   toolAvatar?: string;
 };
@@ -84,6 +86,7 @@ export type CompletionFinishReason =
 
 export default openai;
 export * from 'openai';
+export type { Stream };
 
 // Other
 export type PromptTemplateItem = {

packages/global/core/app/constants.ts

@@ -1,9 +1,9 @@
 import {
-  AppTTSConfigType,
-  AppFileSelectConfigType,
-  AppWhisperConfigType,
-  AppAutoExecuteConfigType,
-  AppQGConfigType
+  type AppTTSConfigType,
+  type AppFileSelectConfigType,
+  type AppWhisperConfigType,
+  type AppAutoExecuteConfigType,
+  type AppQGConfigType
 } from './type';
 
 export enum AppTypeEnum {
@@ -60,5 +60,3 @@ export enum AppTemplateTypeEnum {
   // special type
   contribute = 'contribute'
 }
-
-export const defaultDatasetMaxTokens = 16000;

packages/global/core/app/controller.d.ts

@@ -1,6 +1,6 @@
-import { ParentIdType } from 'common/parentFolder/type';
-import { AppSchema } from './type';
-import { AppTypeEnum } from './constants';
+import type { ParentIdType } from 'common/parentFolder/type';
+import type { AppSchema } from './type';
+import type { AppTypeEnum } from './constants';
 
 export type CreateAppProps = {
   parentId?: ParentIdType;

packages/global/core/app/httpPlugin/utils.ts

@@ -1,19 +1,19 @@
 import { getNanoid } from '../../../common/string/tools';
-import { OpenApiJsonSchema } from './type';
+import { type OpenApiJsonSchema } from './type';
 import yaml from 'js-yaml';
-import { OpenAPIV3 } from 'openapi-types';
-import { FlowNodeInputItemType, FlowNodeOutputItemType } from '../../workflow/type/io';
+import type { OpenAPIV3 } from 'openapi-types';
+import { type FlowNodeInputItemType, type FlowNodeOutputItemType } from '../../workflow/type/io';
 import { FlowNodeInputTypeEnum, FlowNodeOutputTypeEnum } from '../../workflow/node/constant';
 import { WorkflowIOValueTypeEnum } from '../../workflow/constants';
 import { PluginInputModule } from '../../workflow/template/system/pluginInput';
 import { PluginOutputModule } from '../../workflow/template/system/pluginOutput';
 import { HttpNode468 } from '../../workflow/template/system/http468';
-import { HttpParamAndHeaderItemType } from '../../workflow/api';
-import { StoreNodeItemType } from '../../workflow/type/node';
+import { type HttpParamAndHeaderItemType } from '../../workflow/api';
+import { type StoreNodeItemType } from '../../workflow/type/node';
 import { HttpImgUrl } from '../../../common/file/image/constants';
 import SwaggerParser from '@apidevtools/swagger-parser';
 import { getHandleId } from '../../workflow/utils';
-import { CreateHttpPluginChildrenPros } from '../controller';
+import { type CreateHttpPluginChildrenPros } from '../controller';
 import { AppTypeEnum } from '../constants';
 import type { StoreEdgeItemType } from '../../workflow/type/edge';
 

packages/global/core/app/mcpTools/utils.ts

@@ -5,9 +5,9 @@ import {
   FlowNodeTypeEnum
 } from '../../workflow/node/constant';
 import { nanoid } from 'nanoid';
-import { ToolType } from '../type';
+import { type McpToolConfigType } from '../type';
 import { i18nT } from '../../../../web/i18n/utils';
-import { RuntimeNodeItemType } from '../../workflow/runtime/type';
+import { type RuntimeNodeItemType } from '../../workflow/runtime/type';
 
 export const getMCPToolSetRuntimeNode = ({
   url,
@@ -16,7 +16,7 @@ export const getMCPToolSetRuntimeNode = ({
   avatar
 }: {
   url: string;
-  toolList: ToolType[];
+  toolList: McpToolConfigType[];
   name?: string;
   avatar?: string;
 }): RuntimeNodeItemType => {
@@ -45,7 +45,7 @@ export const getMCPToolRuntimeNode = ({
   url,
   avatar = 'core/app/type/mcpToolsFill'
 }: {
-  tool: ToolType;
+  tool: McpToolConfigType;
   url: string;
   avatar?: string;
 }): RuntimeNodeItemType => {
@@ -65,7 +65,7 @@ export const getMCPToolRuntimeNode = ({
       ...Object.entries(tool.inputSchema?.properties || {}).map(([key, value]) => ({
         key,
         label: key,
-        valueType: value.type as WorkflowIOValueTypeEnum,
+        valueType: value.type as WorkflowIOValueTypeEnum, // TODO: 这里需要做一个映射
         description: value.description,
         toolDescription: value.description || key,
         required: tool.inputSchema?.required?.includes(key) || false,

packages/global/core/app/plugin/utils.ts

@@ -1,5 +1,5 @@
-import { StoreNodeItemType } from '../../workflow/type/node';
-import { FlowNodeInputItemType } from '../../workflow/type/io';
+import { type StoreNodeItemType } from '../../workflow/type/node';
+import { type FlowNodeInputItemType } from '../../workflow/type/io';
 import { FlowNodeTypeEnum } from '../../workflow/node/constant';
 
 export const getPluginInputsFromStoreNodes = (nodes: StoreNodeItemType[]) => {

packages/global/core/app/type.d.ts

@@ -1,30 +1,20 @@
 import type { FlowNodeTemplateType, StoreNodeItemType } from '../workflow/type/node';
-import { AppTypeEnum } from './constants';
+import type { AppTypeEnum } from './constants';
 import { PermissionTypeEnum } from '../../support/permission/constant';
-import {
+import type {
   NodeInputKeyEnum,
   VariableInputEnum,
   WorkflowIOValueTypeEnum
 } from '../workflow/constants';
-import { SelectedDatasetType } from '../workflow/api';
-import { DatasetSearchModeEnum } from '../dataset/constants';
+import type { SelectedDatasetType } from '../workflow/api';
+import type { DatasetSearchModeEnum } from '../dataset/constants';
 import { TeamTagSchema as TeamTagsSchemaType } from '@fastgpt/global/support/user/team/type.d';
-import { StoreEdgeItemType } from '../workflow/type/edge';
-import { AppPermission } from '../../support/permission/app/controller';
-import { ParentIdType } from '../../common/parentFolder/type';
+import type { StoreEdgeItemType } from '../workflow/type/edge';
+import type { AppPermission } from '../../support/permission/app/controller';
+import type { ParentIdType } from '../../common/parentFolder/type';
 import { FlowNodeInputTypeEnum } from '../../core/workflow/node/constant';
-import { WorkflowTemplateBasicType } from '@fastgpt/global/core/workflow/type';
-import { SourceMemberType } from '../../support/user/type';
-
-export type ToolType = {
-  name: string;
-  description: string;
-  inputSchema: {
-    type: string;
-    properties?: Record<string, { type: string; description?: string }>;
-    required?: string[];
-  };
-};
+import type { WorkflowTemplateBasicType } from '@fastgpt/global/core/workflow/type';
+import type { SourceMemberType } from '../../support/user/type';
 
 export type AppSchema = {
   _id: string;
@@ -117,6 +107,16 @@ export type AppSimpleEditFormType = {
   chatConfig: AppChatConfigType;
 };
 
+export type McpToolConfigType = {
+  name: string;
+  description: string;
+  inputSchema: {
+    type: string;
+    properties?: Record<string, { type: string; description?: string }>;
+    required?: string[];
+  };
+};
+
 /* app chat config type */
 export type AppChatConfigType = {
   welcomeText?: string;

packages/global/core/app/utils.ts

@@ -3,12 +3,15 @@ import { FlowNodeTypeEnum } from '../workflow/node/constant';
 import { NodeInputKeyEnum, FlowNodeTemplateTypeEnum } from '../workflow/constants';
 import type { FlowNodeInputItemType } from '../workflow/type/io.d';
 import { getAppChatConfig } from '../workflow/utils';
-import { StoreNodeItemType } from '../workflow/type/node';
+import { type StoreNodeItemType } from '../workflow/type/node';
 import { DatasetSearchModeEnum } from '../dataset/constants';
-import { WorkflowTemplateBasicType } from '../workflow/type';
+import { type WorkflowTemplateBasicType } from '../workflow/type';
 import { AppTypeEnum } from './constants';
 import { AppErrEnum } from '../../common/error/code/app';
 import { PluginErrEnum } from '../../common/error/code/plugin';
+import { i18nT } from '../../../web/i18n/utils';
+import appErrList from '../../common/error/code/app';
+import pluginErrList from '../../common/error/code/plugin';
 
 export const getDefaultAppForm = (): AppSimpleEditFormType => {
   return {
@@ -189,17 +192,10 @@ export const getAppType = (config?: WorkflowTemplateBasicType | AppSimpleEditFor
   return '';
 };
 
-export const checkAppUnExistError = (error?: string) => {
-  const unExistError: Array<string> = [
-    AppErrEnum.unAuthApp,
-    AppErrEnum.unExist,
-    PluginErrEnum.unAuth,
-    PluginErrEnum.unExist
-  ];
+export const formatToolError = (error?: any) => {
+  if (!error || typeof error !== 'string') return;
 
-  if (!!error && unExistError.includes(error)) {
-    return error;
-  } else {
-    return undefined;
-  }
+  const errorText = appErrList[error]?.message || pluginErrList[error]?.message;
+
+  return errorText || error;
 };

packages/global/core/app/version.d.ts

@@ -1,7 +1,8 @@
 import { TeamMemberStatusEnum } from 'support/user/team/constant';
 import { StoreEdgeItemType } from '../workflow/type/edge';
-import { AppChatConfigType, AppSchema } from './type';
-import { SourceMemberType } from 'support/user/type';
+import type { AppSchema } from './type';
+import { AppChatConfigType } from './type';
+import type { SourceMemberType } from 'support/user/type';
 
 export type AppVersionSchemaType = {
   _id: string;

packages/global/core/chat/api.d.ts

@@ -1,4 +1,4 @@
-import { OutLinkChatAuthProps } from '../../support/permission/chat';
+import type { OutLinkChatAuthProps } from '../../support/permission/chat';
 
 export type UpdateChatFeedbackProps = OutLinkChatAuthProps & {
   appId: string;

packages/global/core/chat/type.d.ts

@@ -1,22 +1,23 @@
 import { ClassifyQuestionAgentItemType } from '../workflow/template/system/classifyQuestion/type';
-import { SearchDataResponseItemType } from '../dataset/type';
-import {
+import type { SearchDataResponseItemType } from '../dataset/type';
+import type {
   ChatFileTypeEnum,
   ChatItemValueTypeEnum,
   ChatRoleEnum,
   ChatSourceEnum,
   ChatStatusEnum
 } from './constants';
-import { FlowNodeTypeEnum } from '../workflow/node/constant';
-import { NodeOutputKeyEnum } from '../workflow/constants';
-import { DispatchNodeResponseKeyEnum } from '../workflow/runtime/constants';
-import { AppChatConfigType, AppSchema, VariableItemType } from '../app/type';
+import type { FlowNodeTypeEnum } from '../workflow/node/constant';
+import type { NodeOutputKeyEnum } from '../workflow/constants';
+import type { DispatchNodeResponseKeyEnum } from '../workflow/runtime/constants';
+import type { AppSchema, VariableItemType } from '../app/type';
+import { AppChatConfigType } from '../app/type';
 import type { AppSchema as AppType } from '@fastgpt/global/core/app/type.d';
 import { DatasetSearchModeEnum } from '../dataset/constants';
-import { DispatchNodeResponseType } from '../workflow/runtime/type.d';
-import { ChatBoxInputType } from '../../../../projects/app/src/components/core/chat/ChatContainer/ChatBox/type';
-import { WorkflowInteractiveResponseType } from '../workflow/template/system/interactive/type';
-import { FlowNodeInputItemType } from '../workflow/type/io';
+import type { DispatchNodeResponseType } from '../workflow/runtime/type.d';
+import type { ChatBoxInputType } from '../../../../projects/app/src/components/core/chat/ChatContainer/ChatBox/type';
+import type { WorkflowInteractiveResponseType } from '../workflow/template/system/interactive/type';
+import type { FlowNodeInputItemType } from '../workflow/type/io';
 
 export type ChatSchema = {
   _id: string;
@@ -25,6 +26,7 @@ export type ChatSchema = {
   teamId: string;
   tmbId: string;
   appId: string;
+  createTime: Date;
   updateTime: Date;
   title: string;
   customTitle: string;
@@ -111,6 +113,7 @@ export type ChatItemSchema = (UserChatItemType | SystemChatItemType | AIChatItem
   appId: string;
   time: Date;
   durationSeconds?: number;
+  errorMsg?: string;
 };
 
 export type AdminFbkType = {
@@ -142,6 +145,7 @@ export type ChatSiteItemType = (UserChatItemType | SystemChatItemType | AIChatIt
   responseData?: ChatHistoryItemResType[];
   time?: Date;
   durationSeconds?: number;
+  errorMsg?: string;
 } & ChatBoxInputType &
   ResponseTagItemType;
 

packages/global/core/chat/utils.ts

@@ -1,9 +1,15 @@
-import { DispatchNodeResponseType } from '../workflow/runtime/type';
+import { type DispatchNodeResponseType } from '../workflow/runtime/type';
 import { FlowNodeTypeEnum } from '../workflow/node/constant';
 import { ChatItemValueTypeEnum, ChatRoleEnum, ChatSourceEnum } from './constants';
-import { ChatHistoryItemResType, ChatItemType, UserChatItemValueItemType } from './type.d';
+import {
+  type AIChatItemValueItemType,
+  type ChatHistoryItemResType,
+  type ChatItemType,
+  type UserChatItemValueItemType
+} from './type.d';
 import { sliceStrStartEnd } from '../../common/string/tools';
 import { PublishChannelEnum } from '../../support/outLink/constant';
+import { removeDatasetCiteText } from '../../../service/core/ai/utils';
 
 // Concat 2 -> 1, and sort by role
 export const concatHistories = (histories1: ChatItemType[], histories2: ChatItemType[]) => {
@@ -77,6 +83,7 @@ export const getHistoryPreview = (
   });
 };
 
+// Filter workflow public response
 export const filterPublicNodeResponseData = ({
   flowResponses = [],
   responseDetail = false
@@ -112,6 +119,40 @@ export const filterPublicNodeResponseData = ({
     });
 };
 
+// Remove dataset cite in ai response
+export const removeAIResponseCite = <T extends AIChatItemValueItemType[] | string>(
+  value: T,
+  retainCite: boolean
+): T => {
+  if (retainCite) return value;
+
+  if (typeof value === 'string') {
+    return removeDatasetCiteText(value, false) as T;
+  }
+
+  return value.map<AIChatItemValueItemType>((item) => {
+    if (item.text?.content) {
+      return {
+        ...item,
+        text: {
+          ...item.text,
+          content: removeDatasetCiteText(item.text.content, false)
+        }
+      };
+    }
+    if (item.reasoning?.content) {
+      return {
+        ...item,
+        reasoning: {
+          ...item.reasoning,
+          content: removeDatasetCiteText(item.reasoning.content, false)
+        }
+      };
+    }
+    return item;
+  }) as T;
+};
+
 export const removeEmptyUserInput = (input?: UserChatItemValueItemType[]) => {
   return (
     input?.filter((item) => {
@@ -185,7 +226,6 @@ export const mergeChatResponseData = (
           runningTime: +((lastResponse.runningTime || 0) + (curr.runningTime || 0)).toFixed(2),
           totalPoints: (lastResponse.totalPoints || 0) + (curr.totalPoints || 0),
           childTotalPoints: (lastResponse.childTotalPoints || 0) + (curr.childTotalPoints || 0),
-          toolCallTokens: (lastResponse.toolCallTokens || 0) + (curr.toolCallTokens || 0),
           toolDetail: [...(lastResponse.toolDetail || []), ...(curr.toolDetail || [])],
           loopDetail: [...(lastResponse.loopDetail || []), ...(curr.loopDetail || [])],
           pluginDetail: [...(lastResponse.pluginDetail || []), ...(curr.pluginDetail || [])]

packages/global/core/dataset/api.d.ts

@@ -1,12 +1,14 @@
-import { DatasetDataIndexItemType, DatasetSchemaType } from './type';
-import {
+import type { ChunkSettingsType, DatasetDataIndexItemType, DatasetSchemaType } from './type';
+import type {
   DatasetCollectionTypeEnum,
   DatasetCollectionDataProcessModeEnum,
   ChunkSettingModeEnum,
-  DataChunkSplitModeEnum
+  DataChunkSplitModeEnum,
+  ChunkTriggerConfigTypeEnum,
+  ParagraphChunkAIModeEnum
 } from './constants';
 import type { LLMModelItemType } from '../ai/model.d';
-import { ParentIdType } from 'common/parentFolder/type';
+import type { ParentIdType } from 'common/parentFolder/type';
 
 /* ================= dataset ===================== */
 export type DatasetUpdateBody = {
@@ -32,26 +34,16 @@ export type DatasetUpdateBody = {
 };
 
 /* ================= collection ===================== */
-export type DatasetCollectionChunkMetadataType = {
+// Input + store params
+type DatasetCollectionStoreDataType = ChunkSettingsType & {
   parentId?: string;
-  customPdfParse?: boolean;
-  trainingType?: DatasetCollectionDataProcessModeEnum;
-  imageIndex?: boolean;
-  autoIndexes?: boolean;
-
-  chunkSettingMode?: ChunkSettingModeEnum;
-  chunkSplitMode?: DataChunkSplitModeEnum;
-
-  chunkSize?: number;
-  indexSize?: number;
-
-  chunkSplitter?: string;
-  qaPrompt?: string;
   metadata?: Record<string, any>;
+
+  customPdfParse?: boolean;
 };
 
 // create collection params
-export type CreateDatasetCollectionParams = DatasetCollectionChunkMetadataType & {
+export type CreateDatasetCollectionParams = DatasetCollectionStoreDataType & {
   datasetId: string;
   name: string;
   type: DatasetCollectionTypeEnum;
@@ -72,7 +64,7 @@ export type CreateDatasetCollectionParams = DatasetCollectionChunkMetadataType &
   nextSyncTime?: Date;
 };
 
-export type ApiCreateDatasetCollectionParams = DatasetCollectionChunkMetadataType & {
+export type ApiCreateDatasetCollectionParams = DatasetCollectionStoreDataType & {
   datasetId: string;
   tags?: string[];
 };
@@ -90,7 +82,7 @@ export type ApiDatasetCreateDatasetCollectionParams = ApiCreateDatasetCollection
 export type FileIdCreateDatasetCollectionParams = ApiCreateDatasetCollectionParams & {
   fileId: string;
 };
-export type reTrainingDatasetFileCollectionParams = DatasetCollectionChunkMetadataType & {
+export type reTrainingDatasetFileCollectionParams = DatasetCollectionStoreDataType & {
   datasetId: string;
   collectionId: string;
 };
@@ -147,6 +139,7 @@ export type PushDatasetDataProps = {
   collectionId: string;
   data: PushDatasetDataChunkProps[];
   trainingType?: DatasetCollectionDataProcessModeEnum;
+  indexSize?: number;
   autoIndexes?: boolean;
   imageIndex?: boolean;
   prompt?: string;

packages/global/core/dataset/apiDataset.d.ts

@@ -1,8 +1,9 @@
 import { RequireOnlyOne } from '../../common/type/utils';
+import type { ParentIdType } from '../../common/parentFolder/type.d';
 
 export type APIFileItem = {
   id: string;
-  parentId: string | null;
+  parentId: ParentIdType;
   name: string;
   type: 'file' | 'folder';
   updateTime: Date;
@@ -10,10 +11,24 @@ export type APIFileItem = {
   hasChild?: boolean;
 };
 
+// Api dataset config
 export type APIFileServer = {
   baseUrl: string;
-  authorization: string;
+  authorization?: string;
+  basePath?: string;
 };
+export type FeishuServer = {
+  appId: string;
+  appSecret?: string;
+  folderToken: string;
+};
+export type YuqueServer = {
+  userId: string;
+  token?: string;
+  basePath?: string;
+};
+
+// Api dataset api
 
 export type APIFileListResponse = APIFileItem[];
 
@@ -26,13 +41,8 @@ export type APIFileReadResponse = {
   url: string;
 };
 
-export type FeishuServer = {
-  appId: string;
-  appSecret: string;
-  folderToken: string;
-};
-
-export type YuqueServer = {
-  userId: string;
-  token: string;
+export type ApiDatasetDetailResponse = {
+  id: string;
+  name: string;
+  parentId: ParentIdType;
 };

packages/global/core/dataset/collaborator.d.ts

@@ -1,6 +1,6 @@
-import { UpdateClbPermissionProps } from '../../support/permission/collaborator';
+import type { UpdateClbPermissionProps } from '../../support/permission/collaborator';
 import { PermissionValueType } from '../../support/permission/type';
-import { RequireOnlyOne } from '../../common/type/utils';
+import type { RequireOnlyOne } from '../../common/type/utils';
 
 export type UpdateDatasetCollaboratorBody = UpdateClbPermissionProps & {
   datasetId: string;

packages/global/core/dataset/collection/utils.ts

@@ -1,5 +1,5 @@
 import { DatasetCollectionTypeEnum } from '../constants';
-import { DatasetCollectionSchemaType } from '../type';
+import { type DatasetCollectionSchemaType } from '../type';
 
 export const getCollectionSourceData = (collection?: DatasetCollectionSchemaType) => {
   return {

packages/global/core/dataset/constants.ts

@@ -19,32 +19,32 @@ export const DatasetTypeMap = {
   [DatasetTypeEnum.dataset]: {
     icon: 'core/dataset/commonDatasetOutline',
     label: i18nT('dataset:common_dataset'),
-    collectionLabel: i18nT('common:common.File')
+    collectionLabel: i18nT('common:File')
   },
   [DatasetTypeEnum.websiteDataset]: {
     icon: 'core/dataset/websiteDatasetOutline',
     label: i18nT('dataset:website_dataset'),
-    collectionLabel: i18nT('common:common.Website')
+    collectionLabel: i18nT('common:Website')
   },
   [DatasetTypeEnum.externalFile]: {
     icon: 'core/dataset/externalDatasetOutline',
     label: i18nT('dataset:external_file'),
-    collectionLabel: i18nT('common:common.File')
+    collectionLabel: i18nT('common:File')
   },
   [DatasetTypeEnum.apiDataset]: {
     icon: 'core/dataset/externalDatasetOutline',
     label: i18nT('dataset:api_file'),
-    collectionLabel: i18nT('common:common.File')
+    collectionLabel: i18nT('common:File')
   },
   [DatasetTypeEnum.feishu]: {
     icon: 'core/dataset/feishuDatasetOutline',
     label: i18nT('dataset:feishu_dataset'),
-    collectionLabel: i18nT('common:common.File')
+    collectionLabel: i18nT('common:File')
   },
   [DatasetTypeEnum.yuque]: {
     icon: 'core/dataset/yuqueDatasetOutline',
     label: i18nT('dataset:yuque_dataset'),
-    collectionLabel: i18nT('common:common.File')
+    collectionLabel: i18nT('common:File')
   }
 };
 
@@ -120,6 +120,8 @@ export const DatasetCollectionSyncResultMap = {
 export enum DatasetCollectionDataProcessModeEnum {
   chunk = 'chunk',
   qa = 'qa',
+  backup = 'backup',
+
   auto = 'auto' // abandon
 }
 export const DatasetCollectionDataProcessModeMap = {
@@ -131,21 +133,35 @@ export const DatasetCollectionDataProcessModeMap = {
     label: i18nT('common:core.dataset.training.QA mode'),
     tooltip: i18nT('common:core.dataset.import.QA Import Tip')
   },
+  [DatasetCollectionDataProcessModeEnum.backup]: {
+    label: i18nT('dataset:backup_mode'),
+    tooltip: i18nT('dataset:backup_mode')
+  },
   [DatasetCollectionDataProcessModeEnum.auto]: {
     label: i18nT('common:core.dataset.training.Auto mode'),
     tooltip: i18nT('common:core.dataset.training.Auto mode Tip')
   }
 };
 
+export enum ChunkTriggerConfigTypeEnum {
+  minSize = 'minSize',
+  forceChunk = 'forceChunk',
+  maxSize = 'maxSize'
+}
 export enum ChunkSettingModeEnum {
   auto = 'auto',
   custom = 'custom'
 }
 
 export enum DataChunkSplitModeEnum {
+  paragraph = 'paragraph',
   size = 'size',
   char = 'char'
 }
+export enum ParagraphChunkAIModeEnum {
+  auto = 'auto',
+  force = 'force'
+}
 
 /* ------------ data -------------- */
 
@@ -154,7 +170,6 @@ export enum ImportDataSourceEnum {
   fileLocal = 'fileLocal',
   fileLink = 'fileLink',
   fileCustom = 'fileCustom',
-  csvTable = 'csvTable',
   externalFile = 'externalFile',
   apiDataset = 'apiDataset',
   reTraining = 'reTraining'

packages/global/core/dataset/data/constants.ts

@@ -32,7 +32,7 @@ export const DatasetDataIndexMap: Record<
     color: 'red'
   },
   [DatasetDataIndexTypeEnum.image]: {
-    label: i18nT('common:data_index_image'),
+    label: i18nT('dataset:data_index_image'),
     color: 'purple'
   }
 };

packages/global/core/dataset/search/utils.ts

@@ -1,5 +1,5 @@
 import { SearchScoreTypeEnum } from '../constants';
-import { SearchDataResponseItemType } from '../type';
+import { type SearchDataResponseItemType } from '../type';
 
 /* dataset search result concat */
 export const datasetSearchResultConcat = (

packages/global/core/dataset/training/type.d.ts

@@ -1,5 +1,5 @@
-import { PushDatasetDataChunkProps } from '../api';
-import { TrainingModeEnum } from '../constants';
+import type { PushDatasetDataChunkProps } from '../api';
+import type { TrainingModeEnum } from '../constants';
 
 export type PushDataToTrainingQueueProps = {
   teamId: string;

packages/global/core/dataset/training/utils.ts

@@ -1,4 +1,4 @@
-import { EmbeddingModelItemType, LLMModelItemType } from '../../../core/ai/model.d';
+import { type EmbeddingModelItemType, type LLMModelItemType } from '../../../core/ai/model.d';
 import {
   ChunkSettingModeEnum,
   DataChunkSplitModeEnum,
@@ -8,7 +8,7 @@ import {
 export const minChunkSize = 64; // min index and chunk size
 
 // Chunk size
-export const chunkAutoChunkSize = 1500;
+export const chunkAutoChunkSize = 1000;
 export const getMaxChunkSize = (model: LLMModelItemType) => {
   return Math.max(model.maxContext - model.maxResponse, 2000);
 };
@@ -118,9 +118,8 @@ export const computeChunkSize = (params: {
     return getLLMMaxChunkSize(params.llmModel);
   }
 
-  return Math.min(params.chunkSize || chunkAutoChunkSize, getLLMMaxChunkSize(params.llmModel));
+  return Math.min(params.chunkSize ?? chunkAutoChunkSize, getLLMMaxChunkSize(params.llmModel));
 };
-
 export const computeChunkSplitter = (params: {
   chunkSettingMode?: ChunkSettingModeEnum;
   chunkSplitMode?: DataChunkSplitModeEnum;
@@ -129,8 +128,21 @@ export const computeChunkSplitter = (params: {
   if (params.chunkSettingMode === ChunkSettingModeEnum.auto) {
     return undefined;
   }
-  if (params.chunkSplitMode === DataChunkSplitModeEnum.size) {
+  if (params.chunkSplitMode !== DataChunkSplitModeEnum.char) {
     return undefined;
   }
   return params.chunkSplitter;
 };
+export const computeParagraphChunkDeep = (params: {
+  chunkSettingMode?: ChunkSettingModeEnum;
+  chunkSplitMode?: DataChunkSplitModeEnum;
+  paragraphChunkDeep?: number;
+}) => {
+  if (params.chunkSettingMode === ChunkSettingModeEnum.auto) {
+    return 5;
+  }
+  if (params.chunkSplitMode === DataChunkSplitModeEnum.paragraph) {
+    return params.paragraphChunkDeep;
+  }
+  return 0;
+};

packages/global/core/dataset/type.d.ts

@@ -1,33 +1,49 @@
 import type { LLMModelItemType, EmbeddingModelItemType } from '../../core/ai/model.d';
 import { PermissionTypeEnum } from '../../support/permission/constant';
 import { PushDatasetDataChunkProps } from './api';
-import {
+import type {
   DataChunkSplitModeEnum,
   DatasetCollectionDataProcessModeEnum,
   DatasetCollectionTypeEnum,
   DatasetStatusEnum,
   DatasetTypeEnum,
   SearchScoreTypeEnum,
-  TrainingModeEnum
+  TrainingModeEnum,
+  ChunkSettingModeEnum,
+  ChunkTriggerConfigTypeEnum
 } from './constants';
-import { DatasetPermission } from '../../support/permission/dataset/controller';
-import { Permission } from '../../support/permission/controller';
-import { APIFileServer, FeishuServer, YuqueServer } from './apiDataset';
-import { SourceMemberType } from 'support/user/type';
-import { DatasetDataIndexTypeEnum } from './data/constants';
-import { ChunkSettingModeEnum } from './constants';
+import type { DatasetPermission } from '../../support/permission/dataset/controller';
+import type { APIFileServer, FeishuServer, YuqueServer } from './apiDataset';
+import type { SourceMemberType } from 'support/user/type';
+import type { DatasetDataIndexTypeEnum } from './data/constants';
 
 export type ChunkSettingsType = {
-  trainingType: DatasetCollectionDataProcessModeEnum;
-  autoIndexes?: boolean;
+  trainingType?: DatasetCollectionDataProcessModeEnum;
+
+  // Chunk trigger
+  chunkTriggerType?: ChunkTriggerConfigTypeEnum;
+  chunkTriggerMinSize?: number; // maxSize from agent model, not store
+
+  // Data enhance
+  dataEnhanceCollectionName?: boolean; // Auto add collection name to data
+
+  // Index enhance
   imageIndex?: boolean;
+  autoIndexes?: boolean;
 
-  chunkSettingMode?: ChunkSettingModeEnum;
+  // Chunk setting
+  chunkSettingMode?: ChunkSettingModeEnum; // 系统参数/自定义参数
   chunkSplitMode?: DataChunkSplitModeEnum;
-
-  chunkSize?: number;
+  // Paragraph split
+  paragraphChunkAIMode?: ParagraphChunkAIModeEnum;
+  paragraphChunkDeep?: number; // Paragraph deep
+  paragraphChunkMinSize?: number; // Paragraph min size, if too small, it will merge
+  // Size split
+  chunkSize?: number; // chunk/qa chunk size, Paragraph max chunk size.
+  // Char split
+  chunkSplitter?: string; // chunk/qa chunk splitter
   indexSize?: number;
-  chunkSplitter?: string;
+
   qaPrompt?: string;
 };
 
@@ -66,7 +82,7 @@ export type DatasetSchemaType = {
   defaultPermission?: number;
 };
 
-export type DatasetCollectionSchemaType = {
+export type DatasetCollectionSchemaType = ChunkSettingsType & {
   _id: string;
   teamId: string;
   tmbId: string;
@@ -101,18 +117,7 @@ export type DatasetCollectionSchemaType = {
 
   // Parse settings
   customPdfParse?: boolean;
-  // Chunk settings
-  autoIndexes?: boolean;
-  imageIndex?: boolean;
   trainingType: DatasetCollectionDataProcessModeEnum;
-
-  chunkSettingMode?: ChunkSettingModeEnum;
-  chunkSplitMode?: DataChunkSplitModeEnum;
-
-  chunkSize?: number;
-  indexSize?: number;
-  chunkSplitter?: string;
-  qaPrompt?: string;
 };
 
 export type DatasetCollectionTagsSchemaType = {
@@ -175,6 +180,7 @@ export type DatasetTrainingSchemaType = {
   q: string;
   a: string;
   chunkIndex: number;
+  indexSize?: number;
   weight: number;
   indexes: Omit<DatasetDataIndexItemType, 'dataId'>[];
   retryCount: number;

packages/global/core/plugin/controller.d.ts

@@ -1,6 +1,6 @@
-import { StoreEdgeItemType } from 'core/workflow/type/edge';
+import type { StoreEdgeItemType } from 'core/workflow/type/edge';
 import type { StoreNodeItemType } from '../workflow/type/node';
-import { PluginTypeEnum } from './constants';
+import type { PluginTypeEnum } from './constants';
 import { HttpAuthMethodType } from '../app/httpPlugin/type';
 
 export type CreateOnePluginParams = {

packages/global/core/plugin/type.d.ts

@@ -1,9 +1,9 @@
-import { StoreEdgeItemType } from 'core/workflow/type/edge';
+import type { StoreEdgeItemType } from 'core/workflow/type/edge';
 import { ModuleTemplateTypeEnum } from '../workflow/constants';
 import type { StoreNodeItemType } from '../workflow/type/node';
-import { PluginSourceEnum, PluginTypeEnum } from './constants';
+import type { PluginSourceEnum, PluginTypeEnum } from './constants';
 import { MethodType } from './controller';
-import { FlowNodeTemplateType } from '../workflow/type/node';
+import type { FlowNodeTemplateType } from '../workflow/type/node';
 
 export type PluginItemSchema = {
   _id: string;

packages/global/core/workflow/api.d.ts

@@ -1,4 +1,4 @@
-import { EmbeddingModelItemType } from '../ai/model.d';
+import type { EmbeddingModelItemType } from '../ai/model.d';
 import { NodeInputKeyEnum } from './constants';
 
 export type SelectedDatasetType = {

packages/global/core/workflow/node/constant.ts

@@ -218,7 +218,6 @@ export const FlowValueTypeMap: Record<
 };
 
 export const EDGE_TYPE = 'default';
-export const defaultNodeVersion = '481';
 
 export const chatHistoryValueDesc = `{
   obj: System | Human | AI;
@@ -236,3 +235,10 @@ export const datasetQuoteValueDesc = `{
 export const datasetSelectValueDesc = `{
   datasetId: string;
 }[]`;
+
+export const AppNodeFlowNodeTypeMap: Record<any, boolean> = {
+  [FlowNodeTypeEnum.pluginModule]: true,
+  [FlowNodeTypeEnum.appModule]: true,
+  [FlowNodeTypeEnum.tool]: true,
+  [FlowNodeTypeEnum.toolSet]: true
+};

packages/global/core/workflow/node/io/utils.ts

@@ -1,4 +1,4 @@
-import { FlowNodeInputItemType } from '../../type/io';
+import { type FlowNodeInputItemType } from '../../type/io';
 
 export const getInputComponentProps = (input: FlowNodeInputItemType) => {
   return {

packages/global/core/workflow/runtime/type.d.ts

@@ -1,30 +1,32 @@
-import { ChatNodeUsageType } from '../../../support/wallet/bill/type';
-import {
+import type { ChatNodeUsageType } from '../../../support/wallet/bill/type';
+import type {
   ChatItemType,
   UserChatItemValueItemType,
   ToolRunResponseItemType,
-  NodeOutputItemType,
   AIChatItemValueItemType
 } from '../../chat/type';
-import { FlowNodeInputItemType, FlowNodeOutputItemType } from '../type/io.d';
-import { StoreNodeItemType } from '../type/node';
-import { DispatchNodeResponseKeyEnum } from './constants';
-import { StoreEdgeItemType } from '../type/edge';
-import { NodeInputKeyEnum } from '../constants';
-import { ClassifyQuestionAgentItemType } from '../template/system/classifyQuestion/type';
-import { NextApiResponse } from 'next';
+import { NodeOutputItemType } from '../../chat/type';
+import type { FlowNodeInputItemType, FlowNodeOutputItemType } from '../type/io.d';
+import type { NodeToolConfigType, StoreNodeItemType } from '../type/node';
+import type { DispatchNodeResponseKeyEnum } from './constants';
+import type { StoreEdgeItemType } from '../type/edge';
+import type { NodeInputKeyEnum } from '../constants';
+import type { ClassifyQuestionAgentItemType } from '../template/system/classifyQuestion/type';
+import type { NextApiResponse } from 'next';
 import { UserModelSchema } from '../../../support/user/type';
-import { AppDetailType, AppSchema } from '../../app/type';
-import { RuntimeNodeItemType } from '../runtime/type';
-import { RuntimeEdgeItemType } from './edge';
-import { ReadFileNodeResponse } from '../template/system/readFiles/type';
+import type { AppSchema } from '../../app/type';
+import { AppDetailType } from '../../app/type';
+import type { RuntimeNodeItemType } from '../runtime/type';
+import type { RuntimeEdgeItemType } from './edge';
+import type { ReadFileNodeResponse } from '../template/system/readFiles/type';
 import { UserSelectOptionType } from '../template/system/userSelect/type';
-import { WorkflowResponseType } from '../../../../service/core/workflow/dispatch/type';
-import { AiChatQuoteRoleType } from '../template/system/aiChat/type';
-import { LafAccountType, OpenaiAccountType } from '../../../support/user/team/type';
-import { CompletionFinishReason } from '../../ai/type';
-import { WorkflowInteractiveResponseType } from '../template/system/interactive/type';
-import { SearchDataResponseItemType } from '../../dataset/type';
+import type { WorkflowResponseType } from '../../../../service/core/workflow/dispatch/type';
+import type { AiChatQuoteRoleType } from '../template/system/aiChat/type';
+import type { OpenaiAccountType } from '../../../support/user/team/type';
+import { LafAccountType } from '../../../support/user/team/type';
+import type { CompletionFinishReason } from '../../ai/type';
+import type { WorkflowInteractiveResponseType } from '../template/system/interactive/type';
+import type { SearchDataResponseItemType } from '../../dataset/type';
 export type ExternalProviderType = {
   openaiAccount?: OpenaiAccountType;
   externalWorkflowVariables?: Record<string, string>;
@@ -58,6 +60,7 @@ export type ChatDispatchProps = {
   chatConfig: AppSchema['chatConfig'];
   lastInteractive?: WorkflowInteractiveResponseType; // last interactive response
   stream: boolean;
+  retainDatasetCite?: boolean;
   maxRunTimes: number;
   isToolCall?: boolean;
   workflowStreamResponse?: WorkflowResponseType;
@@ -98,7 +101,10 @@ export type RuntimeNodeItemType = {
   outputs: FlowNodeOutputItemType[];
 
   pluginId?: string; // workflow id / plugin id
-  version: string;
+  version?: string;
+
+  // tool
+  toolConfig?: NodeToolConfigType;
 };
 
 export type RuntimeEdgeItemType = StoreEdgeItemType & {
@@ -111,7 +117,7 @@ export type DispatchNodeResponseType = {
   runningTime?: number;
   query?: string;
   textOutput?: string;
-  error?: Record<string, any>;
+  error?: Record<string, any> | string;
   customInputs?: Record<string, any>;
   customOutputs?: Record<string, any>;
   nodeInputs?: Record<string, any>;
@@ -186,7 +192,6 @@ export type DispatchNodeResponseType = {
   ifElseResult?: string;
 
   // tool
-  toolCallTokens?: number;
   toolCallInputTokens?: number;
   toolCallOutputTokens?: number;
   toolDetail?: ChatHistoryItemResType[];

packages/global/core/workflow/runtime/utils.ts

@@ -1,19 +1,19 @@
 import { ChatCompletionRequestMessageRoleEnum } from '../../ai/constants';
 import { NodeInputKeyEnum, NodeOutputKeyEnum, WorkflowIOValueTypeEnum } from '../constants';
 import { FlowNodeTypeEnum } from '../node/constant';
-import { StoreNodeItemType } from '../type/node';
-import { StoreEdgeItemType } from '../type/edge';
-import { RuntimeEdgeItemType, RuntimeNodeItemType } from './type';
+import { type StoreNodeItemType } from '../type/node';
+import { type StoreEdgeItemType } from '../type/edge';
+import { type RuntimeEdgeItemType, type RuntimeNodeItemType } from './type';
 import { VARIABLE_NODE_ID } from '../constants';
 import { isValidReferenceValueFormat } from '../utils';
-import { FlowNodeOutputItemType, ReferenceValueType } from '../type/io';
-import { ChatItemType, NodeOutputItemType } from '../../../core/chat/type';
+import { type FlowNodeOutputItemType, type ReferenceValueType } from '../type/io';
+import { type ChatItemType, type NodeOutputItemType } from '../../../core/chat/type';
 import { ChatItemValueTypeEnum, ChatRoleEnum } from '../../../core/chat/constants';
 import { replaceVariable, valToStr } from '../../../common/string/tools';
 import json5 from 'json5';
 import {
-  InteractiveNodeResponseType,
-  WorkflowInteractiveResponseType
+  type InteractiveNodeResponseType,
+  type WorkflowInteractiveResponseType
 } from '../template/system/interactive/type';
 
 export const extractDeepestInteractive = (

packages/global/core/workflow/template/input.ts

@@ -2,7 +2,7 @@ import { NodeInputKeyEnum } from '../constants';
 import { FlowNodeInputTypeEnum } from '../node/constant';
 import { WorkflowIOValueTypeEnum } from '../constants';
 import { chatNodeSystemPromptTip, systemPromptTip } from './tip';
-import { FlowNodeInputItemType } from '../type/io';
+import { type FlowNodeInputItemType } from '../type/io';
 import { i18nT } from '../../../../web/i18n/utils';
 
 export const Input_Template_History: FlowNodeInputItemType = {

packages/global/core/workflow/template/system/abandoned/runApp/index.ts

@@ -4,7 +4,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../../node/constant';
-import { FlowNodeTemplateType } from '../../../../type/node';
+import { type FlowNodeTemplateType } from '../../../../type/node';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -25,7 +25,6 @@ export const RunAppModule: FlowNodeTemplateType = {
   name: i18nT('workflow:application_call'),
   intro: i18nT('workflow:select_another_application_to_call'),
   showStatus: true,
-  version: '481',
   isTool: true,
   inputs: [
     {

packages/global/core/workflow/template/system/aiChat/index.ts

@@ -4,7 +4,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../node/constant';
-import { FlowNodeTemplateType } from '../../../type/node';
+import { type FlowNodeTemplateType } from '../../../type/node';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -19,7 +19,6 @@ import {
   Input_Template_UserChatInput,
   Input_Template_File_Link
 } from '../../input';
-import { chatNodeSystemPromptTip, systemPromptTip } from '../../tip';
 import { getHandleConfig } from '../../utils';
 import { i18nT } from '../../../../../../web/i18n/utils';
 
@@ -54,7 +53,7 @@ export const AiChatModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:template.ai_chat_intro'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/ai_chat/',
+  courseUrl: '/docs/guide/dashboard/workflow/ai_chat/',
   version: '4.9.7',
   inputs: [
     Input_Template_SettingAiModel,
@@ -121,12 +120,7 @@ export const AiChatModule: FlowNodeTemplateType = {
       valueType: WorkflowIOValueTypeEnum.string
     },
     // settings modal ---
-    {
-      ...Input_Template_System_Prompt,
-      label: i18nT('common:core.ai.Prompt'),
-      description: systemPromptTip,
-      placeholder: chatNodeSystemPromptTip
-    },
+    Input_Template_System_Prompt,
     Input_Template_History,
     Input_Template_Dataset_Quote,
     Input_Template_File_Link,

packages/global/core/workflow/template/system/assignedAnswer.ts

@@ -1,5 +1,5 @@
 import { FlowNodeInputTypeEnum, FlowNodeTypeEnum } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node.d';
+import { type FlowNodeTemplateType } from '../../type/node.d';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -17,8 +17,7 @@ export const AssignedAnswerModule: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/reply',
   name: i18nT('workflow:assigned_reply'),
   intro: i18nT('workflow:intro_assigned_reply'),
-  courseUrl: '/docs/guide/workbench/workflow/reply/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/reply/',
   isTool: true,
   inputs: [
     {

packages/global/core/workflow/template/system/classifyQuestion/index.ts

@@ -3,7 +3,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../node/constant';
-import { FlowNodeTemplateType } from '../../../type/node';
+import { type FlowNodeTemplateType } from '../../../type/node';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -31,7 +31,7 @@ export const ClassifyQuestionModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_question_classification'),
   showStatus: true,
   version: '4.9.2',
-  courseUrl: '/docs/guide/workbench/workflow/question_classify/',
+  courseUrl: '/docs/guide/dashboard/workflow/question_classify/',
   inputs: [
     {
       ...Input_Template_SelectAIModel,

packages/global/core/workflow/template/system/comment.ts

@@ -1,5 +1,5 @@
 import { FlowNodeTypeEnum } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node.d';
+import { type FlowNodeTemplateType } from '../../type/node.d';
 import {
   FlowNodeTemplateTypeEnum,
   NodeInputKeyEnum,

packages/global/core/workflow/template/system/contextExtract/index.ts

@@ -3,7 +3,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../node/constant';
-import { FlowNodeTemplateType } from '../../../type/node';
+import { type FlowNodeTemplateType } from '../../../type/node';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -26,7 +26,7 @@ export const ContextExtractModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_text_content_extraction'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/content_extract/',
+  courseUrl: '/docs/guide/dashboard/workflow/content_extract/',
   version: '4.9.2',
   inputs: [
     {

packages/global/core/workflow/template/system/contextExtract/type.d.ts

@@ -1,4 +1,4 @@
-import { WorkflowIOValueTypeEnum } from '../../../constants';
+import type { WorkflowIOValueTypeEnum } from '../../../constants';
 
 export type ContextExtractAgentItemType = {
   valueType:

packages/global/core/workflow/template/system/customFeedback.ts

@@ -1,5 +1,5 @@
 import { FlowNodeInputTypeEnum, FlowNodeTypeEnum } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node.d';
+import { type FlowNodeTemplateType } from '../../type/node.d';
 import {
   WorkflowIOValueTypeEnum,
   FlowNodeTemplateTypeEnum,
@@ -17,8 +17,7 @@ export const CustomFeedbackNode: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/customFeedback',
   name: i18nT('workflow:custom_feedback'),
   intro: i18nT('workflow:intro_custom_feedback'),
-  courseUrl: '/docs/guide/workbench/workflow/custom_feedback/',
-  version: '486',
+  courseUrl: '/docs/guide/dashboard/workflow/custom_feedback/',
   inputs: [
     {
       key: NodeInputKeyEnum.textareaInput,

packages/global/core/workflow/template/system/datasetConcat.ts

@@ -4,7 +4,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node';
+import { type FlowNodeTemplateType } from '../../type/node';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -13,7 +13,7 @@ import {
 } from '../../constants';
 import { getNanoid } from '../../../../common/string/tools';
 import { getHandleConfig } from '../utils';
-import { FlowNodeInputItemType } from '../../type/io.d';
+import { type FlowNodeInputItemType } from '../../type/io.d';
 import { i18nT } from '../../../../../web/i18n/utils';
 
 export const getOneQuoteInputTemplate = ({
@@ -42,8 +42,7 @@ export const DatasetConcatModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_knowledge_base_search_merge'),
 
   showStatus: false,
-  version: '486',
-  courseUrl: '/docs/guide/workbench/workflow/knowledge_base_search_merge/',
+  courseUrl: '/docs/guide/dashboard/workflow/knowledge_base_search_merge/',
   inputs: [
     {
       key: NodeInputKeyEnum.datasetMaxTokens,

packages/global/core/workflow/template/system/datasetSearch.ts

@@ -5,7 +5,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node';
+import { type FlowNodeTemplateType } from '../../type/node';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -30,7 +30,7 @@ export const DatasetSearchModule: FlowNodeTemplateType = {
   intro: Dataset_SEARCH_DESC,
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/dataset_search/',
+  courseUrl: '/docs/guide/dashboard/workflow/dataset_search/',
   version: '4.9.2',
   inputs: [
     {
@@ -54,7 +54,7 @@ export const DatasetSearchModule: FlowNodeTemplateType = {
       key: NodeInputKeyEnum.datasetMaxTokens,
       renderTypeList: [FlowNodeInputTypeEnum.hidden],
       label: '',
-      value: 1500,
+      value: 5000,
       valueType: WorkflowIOValueTypeEnum.number
     },
     {

packages/global/core/workflow/template/system/emptyNode.ts

@@ -1,5 +1,5 @@
 import { FlowNodeTypeEnum } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node';
+import { type FlowNodeTemplateType } from '../../type/node';
 import { FlowNodeTemplateTypeEnum } from '../../constants';
 import { getHandleConfig } from '../utils';
 

packages/global/core/workflow/template/system/http468.ts

@@ -3,7 +3,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node.d';
+import { type FlowNodeTemplateType } from '../../type/node.d';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -27,8 +27,7 @@ export const HttpNode468: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_http_request'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/http/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/http/',
   inputs: [
     {
       ...Input_Template_DynamicInput,

packages/global/core/workflow/template/system/ifElse/index.ts

@@ -10,7 +10,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../node/constant';
-import { FlowNodeTemplateType } from '../../../type/node';
+import { type FlowNodeTemplateType } from '../../../type/node';
 import { getHandleConfig } from '../../utils';
 
 export const IfElseNode: FlowNodeTemplateType = {
@@ -23,8 +23,7 @@ export const IfElseNode: FlowNodeTemplateType = {
   name: i18nT('workflow:condition_checker'),
   intro: i18nT('workflow:execute_different_branches_based_on_conditions'),
   showStatus: true,
-  courseUrl: '/docs/guide/workbench/workflow/tfswitch/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/tfswitch/',
   inputs: [
     {
       key: NodeInputKeyEnum.ifElseList,

packages/global/core/workflow/template/system/ifElse/type.d.ts

@@ -1,5 +1,5 @@
-import { ReferenceItemValueType } from '../../../type/io';
-import { VariableConditionEnum } from './constant';
+import type { ReferenceItemValueType } from '../../../type/io';
+import type { VariableConditionEnum } from './constant';
 
 export type IfElseConditionType = 'AND' | 'OR';
 export type ConditionListItemType = {

packages/global/core/workflow/template/system/interactive/formInput.ts

@@ -10,7 +10,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../node/constant';
-import { FlowNodeTemplateType } from '../../../type/node';
+import { type FlowNodeTemplateType } from '../../../type/node';
 import { getHandleConfig } from '../../utils';
 
 export const FormInputNode: FlowNodeTemplateType = {
@@ -23,7 +23,6 @@ export const FormInputNode: FlowNodeTemplateType = {
   name: i18nT('app:workflow.form_input'),
   intro: i18nT(`app:workflow.form_input_tip`),
   isTool: true,
-  version: '4811',
   inputs: [
     {
       key: NodeInputKeyEnum.description,

packages/global/core/workflow/template/system/interactive/type.d.ts

@@ -1,7 +1,7 @@
 import type { NodeOutputItemType } from '../../../../chat/type';
 import type { FlowNodeOutputItemType } from '../../../type/io';
-import { FlowNodeInputTypeEnum } from 'core/workflow/node/constant';
-import { WorkflowIOValueTypeEnum } from 'core/workflow/constants';
+import type { FlowNodeInputTypeEnum } from 'core/workflow/node/constant';
+import type { WorkflowIOValueTypeEnum } from 'core/workflow/constants';
 import type { ChatCompletionMessageParam } from '../../../../ai/type';
 
 type InteractiveBasicType = {

packages/global/core/workflow/template/system/interactive/userSelect.ts

@@ -10,7 +10,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../node/constant';
-import { FlowNodeTemplateType } from '../../../type/node.d';
+import { type FlowNodeTemplateType } from '../../../type/node.d';
 import { getHandleConfig } from '../../utils';
 
 export const UserSelectNode: FlowNodeTemplateType = {
@@ -24,8 +24,7 @@ export const UserSelectNode: FlowNodeTemplateType = {
   name: i18nT('app:workflow.user_select'),
   intro: i18nT(`app:workflow.user_select_tip`),
   isTool: true,
-  version: '489',
-  courseUrl: '/docs/guide/workbench/workflow/user-selection/',
+  courseUrl: '/docs/guide/dashboard/workflow/user-selection/',
   inputs: [
     {
       key: NodeInputKeyEnum.description,

packages/global/core/workflow/template/system/laf.ts

@@ -3,7 +3,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node.d';
+import { type FlowNodeTemplateType } from '../../type/node.d';
 import {
   WorkflowIOValueTypeEnum,
   NodeInputKeyEnum,
@@ -32,8 +32,7 @@ export const LafModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_laf_function_call'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/laf/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/laf/',
   inputs: [
     {
       ...Input_Template_DynamicInput,

packages/global/core/workflow/template/system/loop/loop.ts

@@ -3,7 +3,7 @@ import {
   FlowNodeOutputTypeEnum,
   FlowNodeTypeEnum
 } from '../../../node/constant';
-import { FlowNodeTemplateType } from '../../../type/node';
+import { type FlowNodeTemplateType } from '../../../type/node';
 import {
   FlowNodeTemplateTypeEnum,
   NodeInputKeyEnum,
@@ -29,8 +29,7 @@ export const LoopNode: FlowNodeTemplateType = {
   name: i18nT('workflow:loop'),
   intro: i18nT('workflow:intro_loop'),
   showStatus: true,
-  version: '4811',
-  courseUrl: '/docs/guide/workbench/workflow/loop/',
+  courseUrl: '/docs/guide/dashboard/workflow/loop/',
   inputs: [
     {
       key: NodeInputKeyEnum.loopInputArray,