4.8.19-feature (#3636)

* feat: sync org from wecom, pref: member list pagination (#3549)

* feat: sync org

* chore: fe

* chore: loading

* chore: type

* pref: team member list change to pagination. Edit a sort of list apis.

* feat: member update avatar

* chore: user avatar move to tmb

* chore: init scripts move user avatar

* chore: sourceMember

* fix: list api sourceMember

* fix: member sync

* fix: pagination

* chore: adjust code

* chore: move changeOwner to pro

* chore: init v4819 script

* chore: adjust code

* chore: UserBox

* perf: scroll page code

* perf: list data

* docs:更新用户答疑 (#3576)

* docs: add custom uid docs (#3572)

* fix: pagination bug (#3577)

* 4.8.19 test (#3584)

* faet: dataset search filter

* fix: scroll page

* fix: collection list api old version (#3591)

* fix: collection list api format

* fix: type error of addSourceMemeber

* fix: scroll fetch (#3592)

* fix: yuque dataset file folder can enter (#3593)

* perf: load members；perf: yuque load；fix: workflow llm params cannot close (#3594)

* chat openapi doc

* feat: dataset openapi doc

* perf: load members

* perf: member load code

* perf: yuque load

* fix: workflow llm params cannot close

* fix: api dataset reference tag preview (#3600)

* perf: doc

* feat: chat page config

* fix: http parse (#3634)

* update doc

* fix: http parse

* fix code run node reset template (#3633)

Co-authored-by: Archer <545436317@qq.com>

* docs:faq (#3627)

* docs:faq

* docsFix

* perf: sleep plugin

* fix: selector

---------

Co-authored-by: Finley Ge <32237950+FinleyGe@users.noreply.github.com>
Co-authored-by: Jiangween <145003935+Jiangween@users.noreply.github.com>
Co-authored-by: heheer <heheer@sealos.io>

.github/workflows/fastgpt-image.yml

@@ -173,3 +173,86 @@ jobs:
           -t ${Docker_Hub_Tag} \
           -t ${Docker_Hub_Latest} \
           .
+  build-fastgpt-images-sub-route-gchat:
+    runs-on: ubuntu-20.04
+    steps:
+      # install env
+      - name: Checkout
+        uses: actions/checkout@v3
+        with:
+          fetch-depth: 1
+      - name: Install Dependencies
+        run: |
+          sudo apt update && sudo apt install -y nodejs npm
+      - name: Set up QEMU (optional)
+        uses: docker/setup-qemu-action@v2
+      - name: Set up Docker Buildx
+        uses: docker/setup-buildx-action@v2
+        with:
+          driver-opts: network=host
+      - name: Cache Docker layers
+        uses: actions/cache@v2
+        with:
+          path: /tmp/.buildx-cache
+          key: ${{ runner.os }}-buildx-${{ github.sha }}
+          restore-keys: |
+            ${{ runner.os }}-buildx-
+
+      # login docker
+      - name: Login to GitHub Container Registry
+        uses: docker/login-action@v2
+        with:
+          registry: ghcr.io
+          username: ${{ github.repository_owner }}
+          password: ${{ secrets.GH_PAT }}
+      - name: Login to Ali Hub
+        uses: docker/login-action@v2
+        with:
+          registry: registry.cn-hangzhou.aliyuncs.com
+          username: ${{ secrets.ALI_HUB_USERNAME }}
+          password: ${{ secrets.ALI_HUB_PASSWORD }}
+      - name: Login to Docker Hub
+        uses: docker/login-action@v2
+        with:
+          username: ${{ secrets.DOCKER_HUB_NAME }}
+          password: ${{ secrets.DOCKER_HUB_PASSWORD }}
+
+      # Set tag
+      - name: Set image name and tag
+        run: |
+          if [[ "${{ github.ref_name }}" == "main" ]]; then
+            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+          else
+            echo "Git_Tag=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route-gchat:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Git_Latest=ghcr.io/${{ github.repository_owner }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+            echo "Ali_Tag=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route-gchat:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Ali_Latest=${{ secrets.ALI_IMAGE_NAME }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+            echo "Docker_Hub_Tag=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route-gchat:${{ github.ref_name }}" >> $GITHUB_ENV
+            echo "Docker_Hub_Latest=${{ secrets.DOCKER_IMAGE_NAME }}/fastgpt-sub-route-gchat:latest" >> $GITHUB_ENV
+          fi
+
+      - name: Build and publish image for main branch or tag push event
+        env:
+          DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
+        run: |
+          docker buildx build \
+          -f projects/app/Dockerfile \
+          --platform linux/amd64,linux/arm64 \
+          --build-arg base_url=/gchat \
+          --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
+          --label "org.opencontainers.image.description=fastgpt-sub-route-gchat image" \
+          --push \
+          --cache-from=type=local,src=/tmp/.buildx-cache \
+          --cache-to=type=local,dest=/tmp/.buildx-cache \
+          -t ${Git_Tag} \
+          -t ${Git_Latest} \
+          -t ${Ali_Tag} \
+          -t ${Ali_Latest} \
+          -t ${Docker_Hub_Tag} \
+          -t ${Docker_Hub_Latest} \
+          .

.github/workflows/preview-fastgpt-image.yml

@@ -36,7 +36,7 @@ jobs:
           password: ${{ secrets.GH_PAT }}
       - name: Set DOCKER_REPO_TAGGED based on branch or tag
         run: |
-          echo "DOCKER_REPO_TAGGED=ghcr.io/${{ github.repository_owner }}/fastgpt-pr:${{ github.event.pull_request.number }}" >> $GITHUB_ENV
+          echo "DOCKER_REPO_TAGGED=ghcr.io/${{ github.repository_owner }}/fastgpt-pr:${{ github.event.pull_request.head.sha }}" >> $GITHUB_ENV
       - name: Build image for PR
         env:
           DOCKER_REPO_TAGGED: ${{ env.DOCKER_REPO_TAGGED }}
@@ -44,13 +44,30 @@ jobs:
           docker buildx build \
           -f projects/app/Dockerfile \
           --label "org.opencontainers.image.source=https://github.com/${{ github.repository_owner }}/FastGPT" \
-          --label "org.opencontainers.image.description=fastgpt-pr imae" \
+          --label "org.opencontainers.image.description=fastgpt-pr image" \
           --label "org.opencontainers.image.licenses=Apache" \
           --push \
           --cache-from=type=local,src=/tmp/.buildx-cache \
           --cache-to=type=local,dest=/tmp/.buildx-cache \
           -t ${DOCKER_REPO_TAGGED} \
           .
+      # Add write md step after build
+      - name: Write md
+        run: |
+          echo "# 🤖 Generated by deploy action" > report.md
+          echo "📦 Preview Image: \`${DOCKER_REPO_TAGGED}\`" >> report.md
+          cat report.md
+
+      - name: Gh Rebot for Sealos
+        uses: labring/gh-rebot@v0.0.6
+        if: ${{ (github.event_name == 'pull_request_target') }}
+        with:
+          version: v0.0.6
+        env:
+          GH_TOKEN: '${{ secrets.GH_PAT }}'
+          SEALOS_TYPE: 'pr_comment'
+          SEALOS_FILENAME: 'report.md'
+          SEALOS_REPLACE_TAG: 'DEFAULT_REPLACE_DEPLOY'
 
   helm-check:
     runs-on: ubuntu-20.04

README.md

@@ -215,4 +215,4 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b
 1. 允许作为后台服务直接商用，但不允许提供 SaaS 服务。
 2. 未经商业授权，任何形式的商用服务均需保留相关版权信息。
 3. 完整请查看 [FastGPT Open Source License](./LICENSE)
-4. 联系方式：Dennis@sealos.io，[点击查看商业版定价策略](https://doc.tryfastgpt.ai/docs/commercial)
+4. 联系方式：Dennis@sealos.io，[点击查看商业版定价策略](https://doc.tryfastgpt.ai/docs/shopping_cart/intro/)

dev.md

@@ -1,6 +1,6 @@
 ## Premise
 
-Since FastGPT is managed in the same way as monorepo, it is recommended to install 'make' first during development.
+Since FastGPT is managed in the same way as monorepo, it is recommended to install ‘make’ first during development.
 
 monorepo Project Name:
 

docSite/content/zh-cn/docs/agreement/open-source.md

@@ -7,7 +7,7 @@ toc: true
 weight: 1210
 ---
 
-FastGPT 项目在 Apache License 2.0 许可下开源，同时包含以下附加条件：
+FastGPT 项目在 Apache License 2.0 许可下开源，但包含以下附加条件：
 
 + FastGPT 允许被用于商业化，例如作为其他应用的“后端即服务”使用，或者作为应用开发平台提供给企业。然而，当满足以下条件时，必须联系作者获得商业许可：
    

docSite/content/zh-cn/docs/development/configuration.md

@@ -9,9 +9,9 @@ weight: 707
 
 由于环境变量不利于配置复杂的内容，新版 FastGPT 采用了 ConfigMap 的形式挂载配置文件，你可以在 `projects/app/data/config.json` 看到默认的配置文件。可以参考 [docker-compose 快速部署](/docs/development/docker/) 来挂载配置文件。
 
-**开发环境下**，你需要将示例配置文件 `config.json` 复制成 `config.local.json` 文件才会生效。
+**开发环境下**，你需要将示例配置文件 `config.json` 复制成 `config.local.json` 文件才会生效。  
 
-这个配置文件中包含了系统参数和各个模型配置：
+下面配置文件示例中包含了系统参数和各个模型配置：
 
 ## 4.6.8+ 版本新配置文件示例
 
@@ -168,6 +168,7 @@ weight: 707
   "reRankModels": [],
   "audioSpeechModels": [
     {
+      "provider": "OpenAI",
       "model": "tts-1",
       "name": "OpenAI TTS1",
       "charsPointsPrice": 0,
@@ -182,6 +183,7 @@ weight: 707
     }
   ],
   "whisperModel": {
+    "provider": "OpenAI",
     "model": "whisper-1",
     "name": "Whisper1",
     "charsPointsPrice": 0
@@ -201,7 +203,9 @@ weight: 707
 - OpenAI
 - Claude
 - Gemini
+- Meta
 - MistralAI
+- AliCloud - 阿里云
 - Qwen - 通义千问
 - Doubao - 豆包
 - ChatGLM - 智谱
@@ -213,7 +217,10 @@ weight: 707
 - Baichuan - 百川
 - Yi - 零一万物
 - Ernie - 文心一言
+- StepFun - 阶跃星辰
 - Ollama
+- BAAI - 智源研究院
+- FishAudio
 - Other - 其他
 
 

docSite/content/zh-cn/docs/development/docker.md

@@ -23,19 +23,19 @@ weight: 707
 
 ### PgVector版本
 
-体验测试首选
+非常轻量，适合数据量在 5000 万以下。
 
 {{< table "table-hover table-striped-columns" >}}
 | 环境 | 最低配置（单节点） | 推荐配置 |
 | ---- | ---- | ---- |
-| 测试 | 2c2g  | 2c4g |
+| 测试（可以把计算进程设置少一些） | 2c4g  | 2c8g |
 | 100w 组向量 | 4c8g 50GB | 4c16g 50GB |
 | 500w 组向量 | 8c32g 200GB | 16c64g 200GB |
 {{< /table >}}
 
 ### Milvus版本
 
-生产部署首选，对于千万级以上向量性能更优秀。
+对于亿级以上向量性能更优秀。
 
 [点击查看 Milvus 官方推荐配置](https://milvus.io/docs/prerequisite-docker.md)
 

docSite/content/zh-cn/docs/development/faq.md

@@ -19,6 +19,57 @@ images: []
 
 ## 二、通用问题
 
+### 通过sealos部署的话，是否没有本地部署的一些限制？
+![](/imgs/faq1.png)
+这是索引模型的长度限制，通过任何方式部署都一样的，但不同索引模型的配置不一样，可以在后台修改参数。
+
+### sealos怎么挂载 小程序配置文件
+
+新增配置文件：/app/projects/app/public/xxxx.txt
+如图
+![](/imgs/faq2.png)
+
+### 数据库3306端口被占用了，启动服务失败
+![](/imgs/faq3.png)
+
+mysql 只有 oneAPI 用到，外面一般不需要调用，所以可以
+- 把 3306:3306 的映射去掉/或者直接改一个映射。
+
+```yaml
+# 在 docker-compose.yaml 文件内
+# ...
+ mysql:
+  image: mysql:8.0.36
+     ports:
+       - 3306:3306 # 这个端口被占用了！
+       # - 3307:3306 # 直接改一个。。和外面的不冲突
+       # *empty* 或者直接删了，反正外面用不到
+ oneapi:
+  container_name: oneapi
+  image: ghcr.io/songquanpeng/one-api:latest
+  environment:
+    - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 这不用改，容器内外网络是隔离的
+```
+- 另一种做法是可以直接连现有的 mysql， 要改 oneAPI 的环境变量。
+```yaml
+# 在 docker-compose.yaml 文件内
+# ...
+# mysql: # 要连外面的，这个玩意用不到了
+#  image: mysql:8.0.36
+#     ports:
+#       - 3306:3306 # 这个端口被占用了！
+oneapi:
+  container_name: oneapi
+  image: ghcr.io/songquanpeng/one-api:latest
+  environment:
+    - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 改成外面的链接字符串
+```
+
+
+### 本地部署的限制
+
+具体内容参考https://fael3z0zfze.feishu.cn/wiki/OFpAw8XzAi36Guk8dfucrCKUnjg。
+
 ### 能否纯本地运行
 
 可以。需要准备好向量模型和LLM模型。
@@ -41,31 +92,6 @@ images: []
 1. 问题补全需要经过一轮AI生成。
 2. 会进行3~5轮的查询，如果数据库性能不足，会有明显影响。
 
-### 对话接口报错或返回为空(core.chat.Chat API is error or undefined)
-
-1. 检查 AI 的 key 问题：通过 curl 请求看是否正常。务必用 stream=true 模式。并且 maxToken 等相关参数尽量一致。
-2. 如果是国内模型，可能是命中风控了。
-3. 查看模型请求日志，检查出入参数是否异常。
-
-```sh
-# curl 例子。
-curl --location --request POST 'https://xxx.cn/v1/chat/completions' \
---header 'Authorization: Bearer sk-xxxx' \
---header 'Content-Type: application/json' \
---data-raw '{
-  "model": "gpt-3.5-turbo",
-  "stream": true,
-  "temperature": 1,
-  "max_tokens": 3000,
-  "messages": [
-    {
-      "role": "user",
-      "content": "你是谁"
-    }
-  ]
-}'
-```
-
 ### 页面中可以正常回复，API 报错
 
 页面中是用 stream=true 模式，所以API也需要设置 stream=true 来进行测试。部分模型接口（国产居多）非 Stream 的兼容有点垃圾。
@@ -111,6 +137,13 @@ FastGPT 模型配置文件中的 model 必须与 OneAPI 渠道中的模型对应
 
 如果OneAPI中，没有配置对应的模型，`config.json`中也不要配置，否则容易报错。
 
+### 点击模型测试失败
+
+OneAPI 只会测试渠道的第一个模型，并且只会测试对话模型，向量模型无法自动测试，需要手动发起请求进行测试。[查看测试模型命令示例](/docs/development/faq/#如何检查模型问题)
+### get request url failed: Post "https://xxx dial tcp: xxxx
+
+OneAPI 与模型网络不通，需要检查网络配置。
+
 ### Incorrect API key provided: sk-xxxx.You can find your api Key at xxx
 
 OneAPI 的 API Key 配置错误，需要修改`OPENAI_API_KEY`环境变量，并重启容器（先 docker-compose down 然后再 docker-compose up -d 运行一次）。
@@ -126,6 +159,112 @@ OneAPI 的 API Key 配置错误，需要修改`OPENAI_API_KEY`环境变量，并
 
 ## 四、常见模型问题
 
+### 如何检查模型问题
+
+1. 私有部署模型，先确认部署的模型是否正常。
+2. 通过 CURL 请求，直接测试上游模型是否正常运行（云端模型或私有模型均进行测试）
+3. 通过 CURL 请求，请求 OneAPI 去测试模型是否正常。
+4. 在 FastGPT 中使用该模型进行测试。
+
+下面是几个测试 CURL 示例：
+
+{{< tabs tabTotal="5" >}}
+{{< tab tabName="LLM模型" >}}
+{{< markdownify >}}
+
+```bash
+curl https://api.openai.com/v1/chat/completions \
+  -H "Content-Type: application/json" \
+  -H "Authorization: Bearer $OPENAI_API_KEY" \
+  -d '{
+    "model": "gpt-4o",
+    "messages": [
+      {
+        "role": "system",
+        "content": "You are a helpful assistant."
+      },
+      {
+        "role": "user",
+        "content": "Hello!"
+      }
+    ]
+  }'
+
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="Embedding模型" >}}
+{{< markdownify >}}
+
+```bash
+curl https://api.openai.com/v1/embeddings \
+  -H "Authorization: Bearer $OPENAI_API_KEY" \
+  -H "Content-Type: application/json" \
+  -d '{
+    "input": "The food was delicious and the waiter...",
+    "model": "text-embedding-ada-002",
+    "encoding_format": "float"
+  }'
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="Rerank 模型" >}}
+{{< markdownify >}}
+
+```bash
+curl --location --request POST 'https://xxxx.com/api/v1/rerank' \
+--header 'Authorization: Bearer {{ACCESS_TOKEN}}' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "bge-rerank-m3",
+  "query": "导演是谁",
+  "documents": [
+    "你是谁？\n我是电影《铃芽之旅》助手"
+  ]
+}'
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="TTS 模型" >}}
+{{< markdownify >}}
+
+```bash
+curl https://api.openai.com/v1/audio/speech \
+  -H "Authorization: Bearer $OPENAI_API_KEY" \
+  -H "Content-Type: application/json" \
+  -d '{
+    "model": "tts-1",
+    "input": "The quick brown fox jumped over the lazy dog.",
+    "voice": "alloy"
+  }' \
+  --output speech.mp3
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="Whisper 模型" >}}
+{{< markdownify >}}
+
+```bash
+curl https://api.openai.com/v1/audio/transcriptions \
+  -H "Authorization: Bearer $OPENAI_API_KEY" \
+  -H "Content-Type: multipart/form-data" \
+  -F file="@/path/to/file/audio.mp3" \
+  -F model="whisper-1"
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< /tabs >}}
+
 ### 报错 - 模型响应为空/模型报错
 
 该错误是由于 stream 模式下，oneapi 直接结束了流请求，并且未返回任何内容导致。
@@ -165,7 +304,7 @@ curl --location --request POST 'https://api.openai.com/v1/chat/completions' \
 
 需要模型提供商和 oneapi 同时支持工具调用才可使用，测试方法如下：
 
-1. 通过 `curl` 向 `oneapi` 发起第一轮 stream 模式的 tool 测试。
+##### 1. 通过 `curl` 向 `oneapi` 发起第一轮 stream 模式的 tool 测试。
 
 ```bash
 curl --location --request POST 'https://oneapi.xxx/v1/chat/completions' \
@@ -200,7 +339,7 @@ curl --location --request POST 'https://oneapi.xxx/v1/chat/completions' \
 }'
 ```
 
-2. 检查响应参数
+##### 2. 检查响应参数
 
 如果能正常调用工具，会返回对应 `tool_calls` 参数。
 
@@ -238,7 +377,7 @@ curl --location --request POST 'https://oneapi.xxx/v1/chat/completions' \
 }
 ```
 
-3. 通过 `curl` 向 `oneapi` 发起第二轮 stream 模式的 tool 测试。
+##### 3. 通过 `curl` 向 `oneapi` 发起第二轮 stream 模式的 tool 测试。
 
 第二轮请求是把工具结果发送给模型。发起后会得到模型回答的结果。
 

docSite/content/zh-cn/docs/development/intro.md

@@ -148,7 +148,7 @@ FastGPT 在`pnpm i`后会执行`postinstall`脚本，用于自动生成`ChakraUI
 
 ## 加入社区
 
-遇到困难了吗？有任何问题吗? 加入微信群与开发者和用户保持沟通。
+遇到困难了吗？有任何问题吗? 加入飞书群与开发者和用户保持沟通。
 
 <img width="400px" src="https://oss.laf.run/otnvvf-imgs/fastgpt-feishu1.png" class="medium-zoom-image" />
 

docSite/content/zh-cn/docs/development/openapi/auth.md

@@ -55,4 +55,28 @@ curl --location --request POST 'https://api.fastgpt.in/api/v1/chat/completions'
         }
     ]
 }'
-```
+```
+
+## 自定义用户 ID
+
+`v4.8.13`后支持传入自定义的用户 ID, 并且存入历史记录中。
+
+```sh
+curl --location --request POST 'https://api.fastgpt.in/api/v1/chat/completions' \
+--header 'Authorization: Bearer fastgpt-xxxxxx' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "chatId": "111",
+    "stream": false,
+    "detail": false,
+    "messages": [
+        {
+            "content": "导演是谁",
+            "role": "user"
+        }
+    ],
+    "customUid": "xxxxxx"
+}'
+```
+
+在历史记录中，该条记录的使用者会显示为 `xxxxxx`。

docSite/content/zh-cn/docs/development/openapi/chat.md

@@ -686,7 +686,7 @@ curl --location --request POST 'http://localhost:3000/api/core/chat/getHistories
 - appId - 应用 Id
 - offset - 偏移量，即从第几条数据开始取
 - pageSize - 记录数量
-- source - 对话源
+- source - 对话源。source=api，表示获取通过 API 创建的对话（不会获取到页面上的对话记录）
 {{% /alert %}}
 
 {{< /markdownify >}}

docSite/content/zh-cn/docs/development/openapi/dataset.md

@@ -733,6 +733,21 @@ data 为集合的 ID。
 {{< tab tabName="请求示例" >}}
 {{< markdownify >}}
 
+**4.8.19+**
+```bash
+curl --location --request POST 'http://localhost:3000/api/core/dataset/collection/listv2' \
+--header 'Authorization: Bearer {{authorization}}' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "offset":0,
+    "pageSize": 10,
+    "datasetId":"6593e137231a2be9c5603ba7",
+    "parentId": null,
+    "searchText":""
+}'
+```
+
+**4.8.19-(不再维护)**
 ```bash
 curl --location --request POST 'http://localhost:3000/api/core/dataset/collection/list' \
 --header 'Authorization: Bearer {{authorization}}' \
@@ -753,7 +768,7 @@ curl --location --request POST 'http://localhost:3000/api/core/dataset/collectio
 {{< markdownify >}}
 
 {{% alert icon=" " context="success" %}}
-- pageNum: 页码（选填）
+- offset: 偏移量
 - pageSize: 每页数量，最大30（选填）
 - datasetId: 知识库的ID(必填)
 - parentId: 父级Id（选填）
@@ -773,9 +788,7 @@ curl --location --request POST 'http://localhost:3000/api/core/dataset/collectio
     "statusText": "",
     "message": "",
     "data": {
-        "pageNum": 1,
-        "pageSize": 10,
-        "data": [
+        "list": [
             {
                 "_id": "6593e137231a2be9c5603ba9",
                 "parentId": null,
@@ -1175,7 +1188,7 @@ curl --location --request POST 'http://localhost:3000/api/core/dataset/data/v2/l
 }'
 ```
 
-**4.6.7+**
+**4.6.7-(即将弃用)**
 
 ```bash
 curl --location --request POST 'http://localhost:3000/api/core/dataset/data/list' \
@@ -1197,8 +1210,7 @@ curl --location --request POST 'http://localhost:3000/api/core/dataset/data/list
 
 {{% alert icon=" " context="success" %}}
 
-- pageNum: 偏移量（选填）
-- pageNum: 页码（选填）
+- offset: 偏移量（选填）
 - pageSize: 每页数量，最大30（选填）
 - collectionId: 集合的ID（必填）
 - searchText: 模糊搜索词（选填）
@@ -1218,9 +1230,7 @@ curl --location --request POST 'http://localhost:3000/api/core/dataset/data/list
     "statusText": "",
     "message": "",
     "data": {
-        "pageNum": 1,
-        "pageSize": 10,
-        "data": [
+        "list": [
             {
                 "_id": "65abd4b29d1448617cba61db",
                 "datasetId": "65abc9bd9d1448617cba5e6c",

docSite/content/zh-cn/docs/development/upgrading/4817.md

@@ -1,5 +1,5 @@
 ---
-title: 'V4.8.17(进行中)'
+title: 'V4.8.17(包含升级脚本)'
 description: 'FastGPT V4.8.17 更新说明'
 icon: 'upgrade'
 draft: false
@@ -11,8 +11,8 @@ weight: 807
 
 ### 1. 更新镜像：
 
-- 更新 fastgpt 镜像 tag: v4.8.17-alpha
-- 更新 fastgpt-pro 商业版镜像 tag: v4.8.17-alpha
+- 更新 fastgpt 镜像 tag: v4.8.17-fix-title
+- 更新 fastgpt-pro 商业版镜像 tag: v4.8.17
 - Sandbox 镜像无需更新
 
 
@@ -49,4 +49,4 @@ curl --location --request POST 'https://{{host}}/api/admin/initv4817' \
 12. 修复 - 文件返回接口缺少 Content-Length 头，导致通过非同源文件上传时，阿里 vision 模型无法识别图片。
 13. 修复 - 去除判断器两端字符串隐藏换行符，避免判断器失效。
 14. 修复 - 变量更新节点，手动输入更新内容时候，非字符串类型数据类型无法自动转化。
-15. 修复 - 豆包模型无法工具调用。
+15. 修复 - 豆包模型无法工具调用。

docSite/content/zh-cn/docs/development/upgrading/4818.md

@@ -0,0 +1,47 @@
+---
+title: 'V4.8.18'
+description: 'FastGPT V4.8.18 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 806
+---
+
+## 更新指南
+
+### 1. 更新镜像：
+
+- 更新 fastgpt 镜像 tag: v4.8.18-fix
+- 更新 fastgpt-pro 商业版镜像 tag: v4.8.18-fix
+- Sandbox 镜像无需更新
+
+### 2. 运行升级脚本
+
+从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 域名**。
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv4818' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+会迁移全文检索表，时间较长，迁移期间全文检索会失效，日志中会打印已经迁移的数据长度。
+
+
+## 完整更新内容
+
+1. 新增 - 支持通过 JSON 配置直接创建应用。
+2. 新增 - 支持通过 CURL 脚本快速创建 HTTP 插件。
+3. 新增 - 商业版支持部门架构权限模式。
+4. 新增 - 支持配置自定跨域安全策略，默认全开。
+5. 新增 - 补充私有部署，模型问题排查文档。
+6. 优化 - HTTP Body 增加特殊处理，解决字符串变量带换行时无法解析问题。
+7. 优化 - 分享链接随机生成用户头像。
+8. 优化 - 图片上传安全校验。并增加头像图片唯一存储，确保不会累计存储。
+9. 优化 - Mongo 全文索引表分离。
+10. 优化 - 知识库检索查询语句合并，同时减少查库数量。
+11. 优化 - 文件编码检测，减少 CSV 文件乱码概率。
+12. 优化 - 异步读取文件内容，减少进程阻塞。
+13. 优化 - 文件阅读，HTML 直接下载，不允许在线阅读。
+14. 修复 - HTML 文件上传，base64 图片无法自动转图片链接。
+15. 修复 - 插件计费错误。

docSite/content/zh-cn/docs/development/upgrading/4819.md

@@ -0,0 +1,22 @@
+---
+title: 'V4.8.19(进行中)'
+description: 'FastGPT V4.8.19 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 806
+---
+
+
+## 完整更新内容
+
+1. 新增 - 工作流知识库检索支持按知识库权限进行过滤。
+2. 新增 - 飞书/语雀知识库查看原文。
+3. 新增 - 流程等待插件，可以等待 n 毫秒后继续执行流程。
+4. 优化 - 成员列表分页加载。
+5. 优化 - 统一分页加载代码。
+6. 优化 - 对话页面加载时，可配置是否为独立页面。
+7. 修复 - 语雀文件库导入时，嵌套文件内容无法展开的问题。
+8. 修复 - 工作流编排中，LLM 参数无法关闭问题。
+9. 修复 - 工作流编排中，代码运行节点还原模板问题。
+10. 修复 - HTTP 接口适配对象字符串解析。

docSite/content/zh-cn/docs/faq/app.md

@@ -7,10 +7,76 @@ toc: true
 weight: 908
 ---
 
-## 工作流中多轮对话场景中如何使连续问题被问题分类节点正确的归类
+## 多轮对话中如何使连续问题被问题分类节点正确的归类
 
 问题分类节点具有获取上下文信息的能力，当处理两个关联性较大的问题时，模型的判断准确性往往依赖于这两个问题之间的联系和模型的能力。例如，当用户先问“我该如何使用这个功能？”接着又询问“这个功能有什么限制？”时，模型借助上下文信息，就能够更精准地理解并响应。
 
 但是，当连续问题之间的关联性较小，模型判断的准确度可能会受到限制。在这种情况下，我们可以引入全局变量的概念来记录分类结果。在后续的问题分类阶段，首先检查全局变量是否存有分类结果。如果有，那么直接沿用该结果；若没有，则让模型自行判断。
 
-建议：构建批量运行脚本进行测试，评估问题分类的准确性。
+建议：构建批量运行脚本进行测试，评估问题分类的准确性。
+
+## 定时执行的时机问题
+
+系统编排配置中的定时执行，如果用户打开分享的连接，停留在那个页面，定时执行触发问题：
+
+定时执行会在应用发布后生效，会在后台生效。
+
+## V4.8.18-FIX2中提到“ 1. 修复 HTTP 节点， {{}} 格式引用变量兼容问题。建议尽快替换 / 模式取变量， {{}} 语法已弃用。”替换{{}}引用格式是仅仅只有在http节点，还是所有节点的都会有影响？
+
+只有 http 节点用到这个语法。
+
+## 工作流类型的应用在运行预览可以正常提问返回，但是发布免登录窗口之后有问题。
+
+一般是没正确发布，在工作流右上角点击【保存并发布】。
+
+## 如何解决猜你想问使用中文回答显示
+
+注意需要更新到V4.8.17及以上，把猜你想问的提示词改成中文。
+![](/imgs/quizApp2.png)
+
+## AI对话回答要求中的Markdown语法取消
+
+修改知识库默认提示词, 默认用的是标准模板提示词，会要求按 Markdown 输出，可以去除该要求：
+
+| | |
+| --- | --- |
+| ![](/imgs/image-83.png) | ![](/imgs/image-84.png) |
+
+## 应用在不同来源效果不一致
+
+Q: 应用在调试和正式发布后，效果不一致；在 API 调用时，效果不一致。
+
+A: 通常是由于上下文不一致导致，可以在对话日志中，找到对应的记录，并查看运行详情来进行比对。
+
+| | | |
+| --- | --- | --- |
+| ![](/imgs/image-85.png) | ![](/imgs/image-86.png) | ![](/imgs/image-87.png) |
+在针对知识库的回答要求里有, 要给它配置提示词，不然他就是默认的，默认的里面就有该语法。
+
+## 工作流操作：一个工作流，以一个问题分类节点开始，根据不同的分类导入到不同的分支，访问相应的知识库和AI对话，AI对话返回内容后，怎么样不进入问题分类节点，而是将问题到知识库搜索，然后把历史记录一起作为背景再次AI查询。
+
+做个判断器，如果是初次开始对话也就是历史记录为0，就走问题分类；不为零直接走知识库和ai。
+
+## 实时对话，设置 fastgpt 定时，比如每隔 3000MS 去拿一次 webhook发送过来的消息到AI页面
+
+定时执行没有这么高频率的去拿信息的，想要实现在企微里面的实时对话的机器人，
+目前通过低代码的工作流构建应该是不行的，只能自己写代码，然后去调用 FastGPT 的 APIKey 回复。企业微信似乎没有提供「自动监听」群聊消息的接口（或是通过 at 机器人这种触发消息推送）。应该只能发消息给应用，接收这个 https://developer.work.weixin.qq.com/document/path/90238 文档中的消息推送实现实时对话。或者是定时去拿群聊消息，通过这个文档所示的接口https://developer.work.weixin.qq.com/document/path/98914，然后用这个接口 https://developer.work.weixin.qq.com/document/path/90248 去推送消息。
+
+## 工作流连接数据库
+
+工作流提供该连接数据库功能，用这个数据库连接的 plugin 可以实现 text2SQL，但是相对危险，不建议做写入等操作。
+
+![](/imgs/quizApp1.png)
+
+## 关于循环体，协助理解循环体的循环条件和终止条件、循环的方式，循环体内参数调用后、在循环体内属于是局部作用域的参数还是全局作用域的参数
+
+可理解为 for 函数，传一个数组，每个数据都执行一次。
+
+## 公式无法正常显示
+
+添加相关提示词，引导模型按 Markdown 输出公式
+
+```bash
+Latex inline: \(x^2\) 
+Latex block: $$e=mc^2$$
+```

docSite/content/zh-cn/docs/faq/dataset.md

@@ -14,4 +14,70 @@ weight: 910
 ## 知识库配置里的文件处理模型是什么？与索引模型有什么区别？
 
 * **文件处理模型**：用于数据处理的【增强处理】和【问答拆分】。在【增强处理】中，生成相关问题和摘要，在【问答拆分】中执行问答对生成。
-* **索引模型**：用于向量化，即通过对文本数据进行处理和组织，构建出一个能够快速查询的数据结构。
+* **索引模型**：用于向量化，即通过对文本数据进行处理和组织，构建出一个能够快速查询的数据结构。
+
+## 知识库支持Excel类文件的导入
+
+xlsx等都可以上传的，不止支持CSV。
+
+## 知识库tokens的计算方式
+
+统一按gpt3.5标准。
+
+## 误删除重排模型后，重排模型怎么加入到fastgpt
+
+![](/imgs/dataset3.png)
+
+config.json文件里面配置后就可以勾选重排模型
+
+## 线上平台上创建了应用和知识库，到期之后如果短期内不续费，数据是否会被清理。
+
+免费版是三十天不登录后清空知识库，应用不会动。其他付费套餐到期后自动切免费版。
+![](/imgs/dataset4.png)
+
+## 基于知识库的查询，但是问题相关的答案过多。ai回答到一半就不继续回答。
+
+FastGPT回复长度计算公式:
+
+最大回复=min(配置的最大回复（内置的限制），最大上下文（输入和输出的总和）-历史记录)
+
+18K模型->输入与输出的和
+
+输出增多->输入减小
+
+所以可以：
+
+1. 检查配置的最大回复（回复上限）
+2. 减小输入来增大输出，即减小历史记录，在工作流其实也就是“聊天记录”
+
+配置的最大回复：
+
+![](/imgs/dataset1.png)
+
+![](/imgs/dataset2.png)
+
+另外私有化部署的时候，后台配模型参数，可以在配置最大上文时，预留一些空间，比如 128000 的模型，可以只配置 120000, 剩余的空间后续会被安排给输出
+
+
+## 受到模型上下文的限制，有时候达不到聊天记录的轮次，连续对话字数过多就会报上下文不够的错误。
+
+FastGPT回复长度计算公式:
+
+最大回复=min(配置的最大回复（内置的限制），最大上下文（输入和输出的总和）-历史记录)
+
+18K模型->输入与输出的和
+
+输出增多->输入减小
+
+所以可以：
+
+1. 检查配置的最大回复（回复上限）
+2. 减小输入来增大输出，即减小历史记录，在工作流其实也就是“聊天记录”
+
+配置的最大回复：
+
+![](/imgs/dataset1.png)
+
+![](/imgs/dataset2.png)
+
+另外，私有化部署的时候，后台配模型参数，可以在配置最大上文时，预留一些空间，比如 128000 的模型，可以只配置 120000, 剩余的空间后续会被安排给输出。

docSite/content/zh-cn/docs/faq/other.md

@@ -8,4 +8,14 @@ weight: 918
 
 ## oneapi 官网是哪个
 
-只有开源的 README，没官网，GitHub: https://github.com/songquanpeng/one-api
+只有开源的 README，没官网，GitHub: https://github.com/songquanpeng/one-api
+
+## 想做多用户和多chat key
+
+![](/imgs/other1.png)
+![](/imgs/other2.png)
+
+多用户问题：只能采取二开或者商业版
+
+多chat key问题：1. 私有化部署情况下，oneapi解决。2. Saas或者商业版中，可以为每个团队设置单独的key。
+![](/imgs/other3.png)

docSite/content/zh-cn/docs/guide/knowledge_base/lark_dataset.md

@@ -22,10 +22,11 @@ FastGPT v4.8.16 版本开始，商业版用户支持飞书知识库导入，用
 
 ## 2. 配置应用权限
 
-创建应用后，进入应用可以配置相关权限，这里需要增加两个权限：
+创建应用后，进入应用可以配置相关权限，这里需要增加**3个权限**：
 
 1. 获取云空间文件夹下的云文档清单
 2. 查看新版文档
+3. 查看、评论、编辑和管理云空间中所有文件
 
 ![alt text](/imgs/image-41.png)
 

docSite/content/zh-cn/docs/guide/plugins/searxng_plugin_guide.md

@@ -160,6 +160,18 @@ default_doi_resolver: 'oadoi.org'
 }
 ```
 
+* 搜索结果为空时会返回友好提示：
+
+```Bash
+{
+  "result": "[]",
+  "error": {
+    "message": "No search results",
+    "code": 500
+  }
+}
+```
+
 * 失败时通过 Promise.reject 可能返回错误信息：
 
 ```Bash

docSite/content/zh-cn/docs/guide/workbench/workflow/loop.md

@@ -1,6 +1,6 @@
 ---
-title: "循环执行"
-description: "FastGPT 循环运行节点介绍和使用"
+title: "批量运行"
+description: "FastGPT 批量运行节点介绍和使用"
 icon: "input"
 draft: false
 toc: true
@@ -9,15 +9,15 @@ weight: 260
 
 ## 节点概述
 
-【**循环运行**】节点是 FastGPT V4.8.11 版本新增的一个重要功能模块。它允许工作流对数组类型的输入数据进行迭代处理，每次处理数组中的一个元素，并自动执行后续节点，直到完成整个数组的处理。
+【**批量运行**】节点是 FastGPT V4.8.11 版本新增的一个重要功能模块。它允许工作流对数组类型的输入数据进行迭代处理，每次处理数组中的一个元素，并自动执行后续节点，直到完成整个数组的处理。
 
 这个节点的设计灵感来自编程语言中的循环结构，但以可视化的方式呈现。
 
-![循环运行节点](/imgs/fastgpt-loop-node.png)
+![批量运行节点](/imgs/fastgpt-loop-node.png)
 
 > 在程序中，节点可以理解为一个个 Function 或者接口。可以理解为它就是一个**步骤**。将多个节点一个个拼接起来，即可一步步的去实现最终的 AI 输出。
 
-【**循环运行**】节点本质上也是一个 Function，它的主要职责是自动化地重复执行特定的工作流程。
+【**批量运行**】节点本质上也是一个 Function，它的主要职责是自动化地重复执行特定的工作流程。
 
 ## 核心特性
 
@@ -41,9 +41,9 @@ weight: 260
 
 ## 应用场景
 
-【**循环运行**】节点的主要作用是通过自动化的方式扩展工作流的处理能力，使 FastGPT 能够更好地处理批量任务和复杂的数据处理流程。特别是在处理大规模数据或需要多轮迭代的场景下，循环运行节点能显著提升工作流的效率和自动化程度。
+【**批量运行**】节点的主要作用是通过自动化的方式扩展工作流的处理能力，使 FastGPT 能够更好地处理批量任务和复杂的数据处理流程。特别是在处理大规模数据或需要多轮迭代的场景下，批量运行节点能显著提升工作流的效率和自动化程度。
 
-【**循环运行**】节点特别适合以下场景：
+【**批量运行**】节点特别适合以下场景：
 
 1. **批量数据处理**
    - 批量翻译文本
@@ -64,7 +64,7 @@ weight: 260
 
 ### 输入参数设置
 
-【**循环运行**】节点需要配置两个核心输入参数：
+【**批量运行**】节点需要配置两个核心输入参数：
 
 1. **数组 (必填)**：接收一个数组类型的输入，可以是：
    - 字符串数组 (`Array<string>`)
@@ -95,7 +95,7 @@ weight: 260
 
 ### 批量处理数组
 
-假设我们有一个包含多个文本的数组，需要对每个文本进行 AI 处理。这是循环运行节点最基础也最常见的应用场景。
+假设我们有一个包含多个文本的数组，需要对每个文本进行 AI 处理。这是批量运行节点最基础也最常见的应用场景。
 
 #### 实现步骤
 
@@ -114,9 +114,9 @@ weight: 260
    return { textArray: texts };
    ```
 
-2. 配置循环运行节点
+2. 配置批量运行节点
 
-   ![配置循环运行节点](/imgs/fastgpt-loop-node-example-2.png)
+   ![配置批量运行节点](/imgs/fastgpt-loop-node-example-2.png)
 
    - 数组输入：选择上一步代码运行节点的输出变量 `textArray`。
    - 循环体内添加一个【AI 对话】节点，用于处理每个文本。这里我们输入的 prompt 为：`请将这段文本翻译成英文`。
@@ -128,7 +128,7 @@ weight: 260
 ![运行流程](/imgs/fastgpt-loop-node-example-3.png)
 
 1. 【代码运行】节点执行，生成测试数组
-2. 【循环运行】节点接收数组，开始遍历
+2. 【批量运行】节点接收数组，开始遍历
 3. 对每个数组元素：
    - 【AI 对话】节点处理当前元素
    - 【指定回复】节点输出翻译后的文本
@@ -144,7 +144,7 @@ weight: 260
 - 需要维护上下文的连贯性
 - 翻译质量需要多轮优化
 
-【**循环运行**】节点可以很好地解决这些问题。
+【**批量运行**】节点可以很好地解决这些问题。
 
 #### 实现步骤
 
@@ -281,9 +281,9 @@ weight: 260
 
    这里我们用到了 [Jina AI 开源的一个强大的正则表达式](https://x.com/JinaAI_/status/1823756993108304135)，它能利用所有可能的边界线索和启发式方法来精确切分文本。
 
-2. 配置循环运行节点
+2. 配置批量运行节点
 
-   ![配置循环运行节点](/imgs/fastgpt-loop-node-example-5.png)
+   ![配置批量运行节点](/imgs/fastgpt-loop-node-example-5.png)
 
    - 数组输入：选择上一步代码运行节点的输出变量 `chunks`。
    - 循环体内添加一个【代码运行】节点，对源文本进行格式化。

docSite/content/zh-cn/docs/intro.md

@@ -54,7 +54,7 @@ FastGPT 对外的 API 接口对齐了 OpenAI 官方接口，可以直接接入
 
 1. **项目开源**
 
-   FastGPT 遵循附加条件 Apache License 2.0 开源协议，你可以 [Fork](https://github.com/labring/FastGPT/fork) 之后进行二次开发和发布。FastGPT 社区版将保留核心功能，商业版仅在社区版基础上使用 API 的形式进行扩展，不影响学习使用。
+   FastGPT 遵循**附加条件 Apache License 2.0 开源协议**，你可以 [Fork](https://github.com/labring/FastGPT/fork) 之后进行二次开发和发布。FastGPT 社区版将保留核心功能，商业版仅在社区版基础上使用 API 的形式进行扩展，不影响学习使用。
 
 2. **独特的 QA 结构**
 

docSite/content/zh-cn/docs/shopping_cart/intro.md

@@ -53,8 +53,9 @@ FastGPT 商业版软件根据不同的部署方式，分为 3 类收费模式。
 {{< table "table-hover table-striped-columns" >}}
 | 部署方式 | 特有服务 | 上线时长 | 标品价格 |
 | ---- | ---- | ---- | ---- |
-| Sealos全托管 |  1. 有效期内免费升级。<br>2. 免运维服务&数据库。 |  半天  | 6000元起/月（3个月起）<br>或<br>60000元起/年  |
-| 自有服务器部署 |  1. 6个版本免费升级支持。 | 14天内 |  具体价格可[联系咨询](https://fael3z0zfze.feishu.cn/share/base/form/shrcnRxj3utrzjywsom96Px4sud) |
+| Sealos全托管 |  1. 有效期内免费升级。<br>2. 免运维服务&数据库。 |  半天  | 10000元起/月（3个月起）<br>或<br>120000元起/年<br>8C32G 资源，额外资源另外收费。  |
+| Sealos全托管（多节点） |  1. 有效期内免费升级。<br>2. 免运维服务&数据库。 |  半天  | 22000元起/月（3个月起）<br>或<br>264000元起/年<br>32C128G 资源，额外资源另外收费。  |
+| 自有服务器部署 |  1. 6个版本免费升级支持。 | 14天内 | 具体价格和优惠可[联系咨询](https://fael3z0zfze.feishu.cn/share/base/form/shrcnRxj3utrzjywsom96Px4sud) |
 {{< /table >}}
 
 {{% alert icon="🤖 " context="success" %}}

docSite/content/zh-cn/docs/shopping_cart/saas.md

@@ -5,8 +5,9 @@ icon: 'currency_yen'
 draft: false
 toc: true
 weight: 1102
-type: redirect
-target: https://cloud.tryfastgpt.ai/price
 ---
 
-线上版价格请查看：[https://cloud.tryfastgpt.ai/price](https://cloud.tryfastgpt.ai/price)
+线上版价格按套餐订阅模式，具体价格和计费请查看（请正确选择版本，账号不互通）：
+
+- [海外版](https://cloud.tryfastgpt.ai/price)
+- [国内版](https://cloud.fastgpt.cn/price)

docSite/content/zh-cn/docs/use-cases/app-cases/multi_turn_translation_bot.md

@@ -212,7 +212,7 @@ export default async function (ctx: FunctionContext): Promise<IResponse>{
 
 ![](/imgs/translate13.png)
 
-## 循环执行
+## 批量运行
 
 长文反思翻译比较关键的一个部分，就是对多个文本块进行循环反思翻译
 

docSite/content/zh-cn/docs/use-cases/app-cases/submit_application_template.md

@@ -32,11 +32,11 @@ weight: 602
 
 1. ### 创建应用模板
 
-应用模板配置以及相关资源，都会在 **projects/app/public/appMarketTemplates** 目录下。
+应用模板配置以及相关资源，都会在 **packages/templates/src** 目录下。
 
 ![](/imgs/template_submission2.png)
 
-1. 在 **projects/app/public/appMarketTemplates** 目录下，创建一个文件夹，名称为模板对应的 id。
+1. 在**packages/templates/src** 目录下，创建一个文件夹，名称为模板对应的 id。
 2. 在刚刚创建的文件夹中，再创建一个 **template.json** 文件，复制粘贴并填写如下配置：
 
 ```JSON
@@ -83,4 +83,4 @@ weight: 602
 
 - 写清楚模板的介绍和功能
 - 配上模板运行的效果图
-- 模板参数填写说明，需要在 PR 中写清楚。例如，有些模板需要去某个提供商申请 key，需要附上对应的地址和教程，后续我们会加入到文档中。
+- 模板参数填写说明，需要在 PR 中写清楚。例如，有些模板需要去某个提供商申请 key，需要附上对应的地址和教程，后续我们会加入到文档中。

docSite/content/zh-cn/docs/use-cases/app-cases/translate-subtitle-using-gpt.md

@@ -91,9 +91,9 @@ weight: 604
 
 这个过程不仅提高了效率，还最大限度地减少了人为错误的可能性。
 
-## 循环执行
+## 批量运行
 
-为了处理整个长字幕文件，我们需要一个循环执行机制。这是通过一个简单但有效的判断模块实现的：
+为了处理整个长字幕文件，我们需要一个批量运行机制。这是通过一个简单但有效的判断模块实现的：
 
 1. 检查当前翻译的文本块是否为最后一个。
 2. 如果不是，则将工作流重定向到格式化原文本块节点。

files/docker/docker-compose-milvus.yml

@@ -114,15 +114,15 @@ services:
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.8.16 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.16 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.8.17 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.17 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.8.16 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.16 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.8.17 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.17 # 阿里云
     ports:
       - 3000:3000
     networks:
@@ -159,6 +159,14 @@ services:
       # 日志等级: debug, info, warn, error
       - LOG_LEVEL=info
       - STORE_LOG_LEVEL=warn
+      # 工作流最大运行次数
+      - WORKFLOW_MAX_RUN_TIMES=1000
+      # 批量执行节点，最大输入长度
+      - WORKFLOW_MAX_LOOP_TIMES=100
+      # 自定义跨域，不配置时，默认都允许跨域（多个域名通过逗号分割）
+      - ALLOWED_ORIGINS=
+      # 是否开启IP限制，默认不开启
+      - USE_IP_LIMIT=false
     volumes:
       - ./config.json:/app/data/config.json
 

files/docker/docker-compose-pgvector.yml

@@ -72,15 +72,15 @@ services:
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.8.16 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.16 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.8.17 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.17 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.8.16 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.16 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.8.17 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.17 # 阿里云
     ports:
       - 3000:3000
     networks:
@@ -116,6 +116,14 @@ services:
       # 日志等级: debug, info, warn, error
       - LOG_LEVEL=info
       - STORE_LOG_LEVEL=warn
+      # 工作流最大运行次数
+      - WORKFLOW_MAX_RUN_TIMES=1000
+      # 批量执行节点，最大输入长度
+      - WORKFLOW_MAX_LOOP_TIMES=100
+      # 自定义跨域，不配置时，默认都允许跨域（多个域名通过逗号分割）
+      - ALLOWED_ORIGINS=
+      # 是否开启IP限制，默认不开启
+      - USE_IP_LIMIT=false
     volumes:
       - ./config.json:/app/data/config.json
 

files/docker/docker-compose-zilliz.yml

@@ -53,15 +53,15 @@ services:
         wait $$!
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.8.16 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.16 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.8.17 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.17 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.8.16 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.16 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.8.17 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.17 # 阿里云
     ports:
       - 3000:3000
     networks:
@@ -97,6 +97,14 @@ services:
       # 日志等级: debug, info, warn, error
       - LOG_LEVEL=info
       - STORE_LOG_LEVEL=warn
+      # 工作流最大运行次数
+      - WORKFLOW_MAX_RUN_TIMES=1000
+      # 批量执行节点，最大输入长度
+      - WORKFLOW_MAX_LOOP_TIMES=100
+      # 自定义跨域，不配置时，默认都允许跨域（多个域名通过逗号分割）
+      - ALLOWED_ORIGINS=
+      # 是否开启IP限制，默认不开启
+      - USE_IP_LIMIT=false
     volumes:
       - ./config.json:/app/data/config.json
 

packages/global/common/error/code/common.ts

@@ -1,14 +1,20 @@
+import { i18nT } from '../../../../web/i18n/utils';
 import { ErrType } from '../errorCode';
 
 /* dataset: 507000 */
 const startCode = 507000;
 export enum CommonErrEnum {
+  invalidParams = 'invalidParams',
   fileNotFound = 'fileNotFound',
   unAuthFile = 'unAuthFile',
   missingParams = 'missingParams',
   inheritPermissionError = 'inheritPermissionError'
 }
 const datasetErr = [
+  {
+    statusText: CommonErrEnum.fileNotFound,
+    message: i18nT('common:error.invalid_params')
+  },
   {
     statusText: CommonErrEnum.fileNotFound,
     message: 'error.fileNotFound'

packages/global/common/error/code/team.ts

@@ -1,9 +1,11 @@
-import { ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
+import type { ErrType } from '../errorCode';
 /* team: 500000 */
 export enum TeamErrEnum {
+  notUser = 'notUser',
   teamOverSize = 'teamOverSize',
   unAuthTeam = 'unAuthTeam',
+  teamMemberOverSize = 'teamMemberOverSize',
   aiPointsNotEnough = 'aiPointsNotEnough',
   datasetSizeNotEnough = 'datasetSizeNotEnough',
   datasetAmountNotEnough = 'datasetAmountNotEnough',
@@ -14,11 +16,22 @@ export enum TeamErrEnum {
   groupNameEmpty = 'groupNameEmpty',
   groupNameDuplicate = 'groupNameDuplicate',
   groupNotExist = 'groupNotExist',
+  orgMemberNotExist = 'orgMemberNotExist',
+  orgMemberDuplicated = 'orgMemberDuplicated',
+  orgNotExist = 'orgNotExist',
+  orgParentNotExist = 'orgParentNotExist',
+  cannotMoveToSubPath = 'cannotMoveToSubPath',
+  cannotModifyRootOrg = 'cannotModifyRootOrg',
+  cannotDeleteNonEmptyOrg = 'cannotDeleteNonEmptyOrg',
   cannotDeleteDefaultGroup = 'cannotDeleteDefaultGroup',
   userNotActive = 'userNotActive'
 }
 
 const teamErr = [
+  {
+    statusText: TeamErrEnum.notUser,
+    message: i18nT('common:code_error.team_error.not_user')
+  },
   {
     statusText: TeamErrEnum.teamOverSize,
     message: i18nT('common:code_error.team_error.over_size')
@@ -71,6 +84,34 @@ const teamErr = [
   {
     statusText: TeamErrEnum.userNotActive,
     message: i18nT('common:code_error.team_error.user_not_active')
+  },
+  {
+    statusText: TeamErrEnum.orgMemberNotExist,
+    message: i18nT('common:code_error.team_error.org_member_not_exist')
+  },
+  {
+    statusText: TeamErrEnum.orgMemberDuplicated,
+    message: i18nT('common:code_error.team_error.org_member_duplicated')
+  },
+  {
+    statusText: TeamErrEnum.orgNotExist,
+    message: i18nT('common:code_error.team_error.org_not_exist')
+  },
+  {
+    statusText: TeamErrEnum.orgParentNotExist,
+    message: i18nT('common:code_error.team_error.org_parent_not_exist')
+  },
+  {
+    statusText: TeamErrEnum.cannotMoveToSubPath,
+    message: i18nT('common:code_error.team_error.cannot_move_to_sub_path')
+  },
+  {
+    statusText: TeamErrEnum.cannotModifyRootOrg,
+    message: i18nT('common:code_error.team_error.cannot_modify_root_org')
+  },
+  {
+    statusText: TeamErrEnum.cannotDeleteNonEmptyOrg,
+    message: i18nT('common:code_error.team_error.cannot_delete_non_empty_org')
   }
 ];
 

packages/global/common/error/code/user.ts

@@ -2,25 +2,16 @@ import { ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* team: 503000 */
 export enum UserErrEnum {
-  unAuthUser = 'unAuthUser',
   unAuthRole = 'unAuthRole',
-  binVisitor = 'binVisitor',
+  account_psw_error = 'account_psw_error',
   balanceNotEnough = 'balanceNotEnough',
   unAuthSso = 'unAuthSso'
 }
 const errList = [
   {
-    statusText: UserErrEnum.unAuthUser,
-    message: i18nT('common:code_error.user_error.un_auth_user')
+    statusText: UserErrEnum.account_psw_error,
+    message: i18nT('common:code_error.account_error')
   },
-  {
-    statusText: UserErrEnum.binVisitor,
-    message: i18nT('common:code_error.user_error.bin_visitor')
-  }, // 身份校验未通过
-  {
-    statusText: UserErrEnum.binVisitor,
-    message: i18nT('common:code_error.user_error.bin_visitor_guest')
-  }, // 游客身份
   {
     statusText: UserErrEnum.balanceNotEnough,
     message: i18nT('common:code_error.user_error.balance_not_enough')

packages/global/common/error/utils.ts

@@ -5,6 +5,6 @@ export const getErrText = (err: any, def = ''): any => {
     typeof err === 'string'
       ? err
       : err?.response?.data?.message || err?.response?.message || err?.message || def;
-  msg && console.log('error =>', msg);
+  // msg && console.log('error =>', msg);
   return replaceSensitiveText(msg);
 };

packages/global/common/file/api.d.ts

@@ -1,10 +1,7 @@
-import { MongoImageTypeEnum } from './image/constants';
 import { OutLinkChatAuthProps } from '../../support/permission/chat.d';
 
 export type preUploadImgProps = OutLinkChatAuthProps & {
-  type: `${MongoImageTypeEnum}`;
-
-  expiredTime?: Date;
+  // expiredTime?: Date;
   metadata?: Record<string, any>;
 };
 export type UploadImgProps = preUploadImgProps & {

packages/global/common/file/image/constants.ts

@@ -1,61 +1,5 @@
 export const imageBaseUrl = '/api/system/img/';
 
-export enum MongoImageTypeEnum {
-  systemAvatar = 'systemAvatar',
-  appAvatar = 'appAvatar',
-  pluginAvatar = 'pluginAvatar',
-  datasetAvatar = 'datasetAvatar',
-  userAvatar = 'userAvatar',
-  teamAvatar = 'teamAvatar',
-  groupAvatar = 'groupAvatar',
-
-  chatImage = 'chatImage',
-  collectionImage = 'collectionImage'
-}
-export const mongoImageTypeMap = {
-  [MongoImageTypeEnum.systemAvatar]: {
-    label: 'appAvatar',
-    unique: true
-  },
-  [MongoImageTypeEnum.appAvatar]: {
-    label: 'appAvatar',
-    unique: true
-  },
-  [MongoImageTypeEnum.pluginAvatar]: {
-    label: 'pluginAvatar',
-    unique: true
-  },
-  [MongoImageTypeEnum.datasetAvatar]: {
-    label: 'datasetAvatar',
-    unique: true
-  },
-  [MongoImageTypeEnum.userAvatar]: {
-    label: 'userAvatar',
-    unique: true
-  },
-  [MongoImageTypeEnum.teamAvatar]: {
-    label: 'teamAvatar',
-    unique: true
-  },
-  [MongoImageTypeEnum.groupAvatar]: {
-    label: 'groupAvatar',
-    unique: true
-  },
-
-  [MongoImageTypeEnum.chatImage]: {
-    label: 'chatImage',
-    unique: false
-  },
-  [MongoImageTypeEnum.collectionImage]: {
-    label: 'collectionImage',
-    unique: false
-  }
-};
-
-export const uniqueImageTypeList = Object.entries(mongoImageTypeMap)
-  .filter(([key, value]) => value.unique)
-  .map(([key]) => key as `${MongoImageTypeEnum}`);
-
 export const FolderIcon = 'file/fill/folder';
 export const FolderImgUrl = '/imgs/files/folder.svg';
 export const HttpPluginImgUrl = '/imgs/app/httpPluginFill.svg';

packages/global/common/file/image/type.d.ts

@@ -1,12 +1,8 @@
-import { MongoImageTypeEnum } from './constants';
-
 export type MongoImageSchemaType = {
   _id: string;
   teamId: string;
   binary: Buffer;
-  createTime: Date;
   expiredTime?: Date;
-  type: `${MongoImageTypeEnum}`;
 
   metadata?: {
     mime?: string; // image mime type.

packages/global/common/file/tools.ts

@@ -2,6 +2,7 @@ import { detect } from 'jschardet';
 import { documentFileType, imageFileType } from './constants';
 import { ChatFileTypeEnum } from '../../core/chat/constants';
 import { UserChatItemValueItemType } from '../../core/chat/type';
+import * as fs from 'fs';
 
 export const formatFileSize = (bytes: number): string => {
   if (bytes === 0) return '0 B';
@@ -16,6 +17,22 @@ export const formatFileSize = (bytes: number): string => {
 export const detectFileEncoding = (buffer: Buffer) => {
   return detect(buffer.slice(0, 200))?.encoding?.toLocaleLowerCase();
 };
+export const detectFileEncodingByPath = async (path: string) => {
+  // Get 64KB file head
+  const MAX_BYTES = 64 * 1024;
+  const buffer = Buffer.alloc(MAX_BYTES);
+
+  const fd = await fs.promises.open(path, 'r');
+  try {
+    // Read file head
+    const { bytesRead } = await fd.read(buffer, 0, MAX_BYTES, 0);
+    const actualBuffer = buffer.slice(0, bytesRead);
+
+    return detect(actualBuffer)?.encoding?.toLocaleLowerCase();
+  } finally {
+    await fd.close();
+  }
+};
 
 // Url => user upload file type
 export const parseUrlToFileType = (url: string): UserChatItemValueItemType['file'] | undefined => {

packages/global/common/string/http.ts

@@ -0,0 +1,44 @@
+import parse from '@bany/curl-to-json';
+
+type RequestMethod = 'get' | 'post' | 'put' | 'delete' | 'patch';
+const methodMap: { [K in RequestMethod]: string } = {
+  get: 'GET',
+  post: 'POST',
+  put: 'PUT',
+  delete: 'DELETE',
+  patch: 'PATCH'
+};
+
+export const parseCurl = (curlContent: string) => {
+  const parsed = parse(curlContent);
+
+  if (!parsed.url) {
+    throw new Error('url not found');
+  }
+
+  const newParams = Object.keys(parsed.params || {}).map((key) => ({
+    key,
+    value: parsed.params?.[key],
+    type: 'string'
+  }));
+  const newHeaders = Object.keys(parsed.header || {}).map((key) => ({
+    key,
+    value: parsed.header?.[key],
+    type: 'string'
+  }));
+  const newBody = JSON.stringify(parsed.data, null, 2);
+  const bodyArray = Object.keys(parsed.data || {}).map((key) => ({
+    key,
+    value: parsed.data?.[key],
+    type: 'string'
+  }));
+
+  return {
+    url: parsed.url,
+    method: methodMap[parsed.method?.toLowerCase() as RequestMethod] || 'GET',
+    params: newParams,
+    headers: newHeaders,
+    body: newBody,
+    bodyArray
+  };
+};

packages/global/common/string/tools.ts

@@ -25,17 +25,22 @@ export const simpleText = (text = '') => {
   return text;
 };
 
-/* 
-  replace {{variable}} to value
-*/
+export const valToStr = (val: any) => {
+  if (val === undefined) return 'undefined';
+  if (val === null) return 'null';
+
+  if (typeof val === 'object') return JSON.stringify(val);
+  return String(val);
+};
+
+// replace {{variable}} to value
 export function replaceVariable(text: any, obj: Record<string, string | number>) {
   if (typeof text !== 'string') return text;
 
   for (const key in obj) {
     const val = obj[key];
-    const formatVal = typeof val === 'object' ? JSON.stringify(val) : String(val);
-
-    text = text.replace(new RegExp(`{{(${key})}}`, 'g'), formatVal);
+    const formatVal = valToStr(val);
+    text = text.replace(new RegExp(`{{(${key})}}`, 'g'), () => formatVal);
   }
   return text || '';
 }

packages/global/common/system/constants.ts

@@ -1,6 +1,9 @@
 export const HUMAN_ICON = `/icon/human.svg`;
 export const LOGO_ICON = `/icon/logo.svg`;
 export const HUGGING_FACE_ICON = `/imgs/model/huggingface.svg`;
+
 export const DEFAULT_TEAM_AVATAR = `/imgs/avatar/defaultTeamAvatar.svg`;
+export const DEFAULT_ORG_AVATAR = '/imgs/avatar/defaultOrgAvatar.svg';
+export const DEFAULT_USER_AVATAR = '/imgs/avatar/BlueAvatar.svg';
 
 export const isProduction = process.env.NODE_ENV === 'production';

packages/global/common/system/types/index.d.ts

@@ -40,7 +40,7 @@ export type FastGPTConfigFileType = {
 
 export type FastGPTFeConfigsType = {
   show_emptyChat?: boolean;
-  register_method?: ['email' | 'phone'];
+  register_method?: ['email' | 'phone' | 'sync'];
   login_method?: ['email' | 'phone']; // Attention: login method is diffrent with oauth
   find_password_method?: ['email' | 'phone'];
   bind_notification_method?: ['email' | 'phone'];
@@ -73,6 +73,10 @@ export type FastGPTFeConfigsType = {
     google?: string;
     wechat?: string;
     dingtalk?: string;
+    wecom?: {
+      corpid?: string;
+      agentid?: string;
+    };
     microsoft?: {
       clientId?: string;
       tenantId?: string;

packages/global/core/ai/model.d.ts

@@ -53,6 +53,7 @@ export type VectorModelItemType = PriceType & {
 };
 
 export type ReRankModelItemType = PriceType & {
+  provider: ModelProviderIdType;
   model: string;
   name: string;
   requestUrl: string;

packages/global/core/ai/provider.ts

@@ -4,20 +4,25 @@ export type ModelProviderIdType =
   | 'OpenAI'
   | 'Claude'
   | 'Gemini'
+  | 'Meta'
   | 'MistralAI'
   | 'Groq'
+  | 'AliCloud'
   | 'Qwen'
   | 'Doubao'
   | 'ChatGLM'
   | 'DeepSeek'
+  | 'Ernie'
   | 'Moonshot'
   | 'MiniMax'
   | 'SparkDesk'
   | 'Hunyuan'
   | 'Baichuan'
+  | 'StepFun'
   | 'Yi'
-  | 'Ernie'
   | 'Ollama'
+  | 'BAAI'
+  | 'FishAudio'
   | 'Other';
 
 export type ModelProviderType = {
@@ -42,6 +47,11 @@ export const ModelProviderList: ModelProviderType[] = [
     name: 'Gemini',
     avatar: 'model/gemini'
   },
+  {
+    id: 'Meta',
+    name: 'Meta',
+    avatar: 'model/meta'
+  },
   {
     id: 'MistralAI',
     name: 'MistralAI',
@@ -52,6 +62,11 @@ export const ModelProviderList: ModelProviderType[] = [
     name: 'Groq',
     avatar: 'model/groq'
   },
+  {
+    id: 'AliCloud',
+    name: i18nT('common:model_alicloud'),
+    avatar: 'model/alicloud'
+  },
   {
     id: 'Qwen',
     name: i18nT('common:model_qwen'),
@@ -67,6 +82,11 @@ export const ModelProviderList: ModelProviderType[] = [
     name: i18nT('common:model_chatglm'),
     avatar: 'model/chatglm'
   },
+  {
+    id: 'Ernie',
+    name: i18nT('common:model_ernie'),
+    avatar: 'model/ernie'
+  },
   {
     id: 'DeepSeek',
     name: 'DeepSeek',
@@ -97,21 +117,32 @@ export const ModelProviderList: ModelProviderType[] = [
     name: i18nT('common:model_baichuan'),
     avatar: 'model/baichuan'
   },
+  {
+    id: 'StepFun',
+    name: i18nT('common:model_stepfun'),
+    avatar: 'model/stepfun'
+  },
   {
     id: 'Yi',
     name: i18nT('common:model_yi'),
     avatar: 'model/yi'
   },
-  {
-    id: 'Ernie',
-    name: i18nT('common:model_ernie'),
-    avatar: 'model/ernie'
-  },
+
   {
     id: 'Ollama',
     name: 'Ollama',
     avatar: 'model/ollama'
   },
+  {
+    id: 'BAAI',
+    name: i18nT('common:model_baai'),
+    avatar: 'model/BAAI'
+  },
+  {
+    id: 'FishAudio',
+    name: 'FishAudio',
+    avatar: 'model/fishaudio'
+  },
   {
     id: 'Other',
     name: i18nT('common:model_other'),

packages/global/core/app/collaborator.d.ts

@@ -1,6 +1,6 @@
-import { RequireOnlyOne } from '../../common/type/utils';
+import type { RequireOnlyOne } from '../../common/type/utils';
 import {
-  UpdateClbPermissionProps,
+  type UpdateClbPermissionProps,
   UpdatePermissionBody
 } from '../../support/permission/collaborator';
 import { PermissionValueType } from '../../support/permission/type';
@@ -14,4 +14,5 @@ export type AppCollaboratorDeleteParams = {
 } & RequireOnlyOne<{
   tmbId: string;
   groupId: string;
+  orgId: string;
 }>;

packages/global/core/app/constants.ts

@@ -33,7 +33,7 @@ export const defaultWhisperConfig: AppWhisperConfigType = {
 export const defaultQGConfig: AppQGConfigType = {
   open: false,
   model: 'gpt-4o-mini',
-  customPrompt: PROMPT_QUESTION_GUIDE
+  customPrompt: ''
 };
 
 export const defaultChatInputGuideConfig = {

packages/global/core/app/type.d.ts

@@ -12,8 +12,9 @@ import { TeamTagSchema as TeamTagsSchemaType } from '@fastgpt/global/support/use
 import { StoreEdgeItemType } from '../workflow/type/edge';
 import { AppPermission } from '../../support/permission/app/controller';
 import { ParentIdType } from '../../common/parentFolder/type';
-import { FlowNodeInputTypeEnum } from 'core/workflow/node/constant';
+import { FlowNodeInputTypeEnum } from '../../core/workflow/node/constant';
 import { WorkflowTemplateBasicType } from '@fastgpt/global/core/workflow/type';
+import { SourceMemberType } from '../../support/user/type';
 
 export type AppSchema = {
   _id: string;
@@ -63,6 +64,7 @@ export type AppListItemType = {
   permission: AppPermission;
   inheritPermission?: boolean;
   private?: boolean;
+  sourceMember: SourceMemberType;
 };
 
 export type AppDetailType = AppSchema & {

packages/global/core/app/utils.ts

@@ -5,6 +5,8 @@ import type { FlowNodeInputItemType } from '../workflow/type/io.d';
 import { getAppChatConfig } from '../workflow/utils';
 import { StoreNodeItemType } from '../workflow/type/node';
 import { DatasetSearchModeEnum } from '../dataset/constants';
+import { WorkflowTemplateBasicType } from '../workflow/type';
+import { AppTypeEnum } from './constants';
 
 export const getDefaultAppForm = (): AppSimpleEditFormType => {
   return {
@@ -127,3 +129,20 @@ export const appWorkflow2Form = ({
 
   return defaultAppForm;
 };
+
+export const getAppType = (config?: WorkflowTemplateBasicType | AppSimpleEditFormType) => {
+  if (!config) return '';
+
+  if ('aiSettings' in config) {
+    return AppTypeEnum.simple;
+  }
+
+  if (!('nodes' in config)) return '';
+  if (config.nodes.some((node) => node.flowNodeType === 'workflowStart')) {
+    return AppTypeEnum.workflow;
+  }
+  if (config.nodes.some((node) => node.flowNodeType === 'pluginInput')) {
+    return AppTypeEnum.plugin;
+  }
+  return '';
+};

packages/global/core/app/version.d.ts

@@ -1,5 +1,7 @@
+import { TeamMemberStatusEnum } from 'support/user/team/constant';
 import { StoreEdgeItemType } from '../workflow/type/edge';
 import { AppChatConfigType, AppSchema } from './type';
+import { SourceMemberType } from 'support/user/type';
 
 export type AppVersionSchemaType = {
   _id: string;
@@ -20,4 +22,5 @@ export type VersionListItemType = {
   time: Date;
   isPublish: boolean | undefined;
   tmbId: string;
+  sourceMember: SourceMemberType;
 };

packages/global/core/dataset/apiDataset.d.ts

@@ -5,6 +5,7 @@ export type APIFileItem = {
   type: 'file' | 'folder';
   updateTime: Date;
   createTime: Date;
+  hasChild?: boolean;
 };
 
 export type APIFileServer = {

packages/global/core/dataset/collaborator.d.ts

@@ -11,4 +11,5 @@ export type DatasetCollaboratorDeleteParams = {
 } & RequireOnlyOne<{
   tmbId: string;
   groupId: string;
+  orgId: string;
 }>;

packages/global/core/dataset/type.d.ts

@@ -11,6 +11,7 @@ import {
 import { DatasetPermission } from '../../support/permission/dataset/controller';
 import { Permission } from '../../support/permission/controller';
 import { APIFileServer, FeishuServer, YuqueServer } from './apiDataset';
+import { SourceMemberType } from 'support/user/type';
 
 export type DatasetSchemaType = {
   _id: string;
@@ -112,6 +113,15 @@ export type DatasetDataSchemaType = {
   rebuilding?: boolean;
 };
 
+export type DatasetDataTextSchemaType = {
+  _id: string;
+  teamId: string;
+  datasetId: string;
+  collectionId: string;
+  dataId: string;
+  fullTextToken: string;
+};
+
 export type DatasetTrainingSchemaType = {
   _id: string;
   userId: string;
@@ -156,6 +166,7 @@ export type DatasetListItemType = {
   vectorModel: VectorModelItemType;
   inheritPermission: boolean;
   private?: boolean;
+  sourceMember?: SourceMemberType;
 };
 
 export type DatasetItemType = Omit<DatasetSchemaType, 'vectorModel' | 'agentModel'> & {

packages/global/core/dataset/utils.ts

@@ -34,7 +34,7 @@ export function getSourceNameIcon({
     }
   } catch (error) {}
 
-  return 'file/fill/manual';
+  return 'file/fill/file';
 }
 
 /* get dataset data default index */

packages/global/core/workflow/constants.ts

@@ -152,6 +152,7 @@ export enum NodeInputKeyEnum {
   datasetSearchExtensionModel = 'datasetSearchExtensionModel',
   datasetSearchExtensionBg = 'datasetSearchExtensionBg',
   collectionFilterMatch = 'collectionFilterMatch',
+  authTmbId = 'authTmbId',
 
   // concat dataset
   datasetQuoteList = 'system_datasetQuoteList',

packages/global/core/workflow/runtime/type.d.ts

@@ -41,6 +41,10 @@ export type ChatDispatchProps = {
     teamId: string;
     tmbId: string; // App tmbId
   };
+  runningUserInfo: {
+    teamId: string;
+    tmbId: string;
+  };
   uid: string; // Who run this workflow
 
   chatId?: string;

packages/global/core/workflow/runtime/utils.ts

@@ -9,7 +9,7 @@ import { isValidReferenceValueFormat } from '../utils';
 import { FlowNodeOutputItemType, ReferenceValueType } from '../type/io';
 import { ChatItemType, NodeOutputItemType } from '../../../core/chat/type';
 import { ChatItemValueTypeEnum, ChatRoleEnum } from '../../../core/chat/constants';
-import { replaceVariable } from '../../../common/string/tools';
+import { replaceVariable, valToStr } from '../../../common/string/tools';
 
 export const getMaxHistoryLimitFromNodes = (nodes: StoreNodeItemType[]): number => {
   let limit = 10;
@@ -339,15 +339,12 @@ export function replaceEditorVariable({
       const output = node.outputs.find((output) => output.id === id);
       if (output) return formatVariableValByType(output.value, output.valueType);
 
+      // Use the node's input as the variable value(Example: HTTP data will reference its own dynamic input)
       const input = node.inputs.find((input) => input.key === id);
       if (input) return getReferenceVariableValue({ value: input.value, nodes, variables });
     })();
 
-    const formatVal = (() => {
-      if (variableVal === undefined) return 'undefined';
-      if (variableVal === null) return 'null';
-      return typeof variableVal === 'object' ? JSON.stringify(variableVal) : String(variableVal);
-    })();
+    const formatVal = valToStr(variableVal);
 
     const regex = new RegExp(`\\{\\{\\$(${nodeId}\\.${id})\\$\\}\\}`, 'g');
     text = text.replace(regex, () => formatVal);

packages/global/core/workflow/template/system/datasetSearch.ts

@@ -89,6 +89,13 @@ export const DatasetSearchModule: FlowNodeTemplateType = {
       valueType: WorkflowIOValueTypeEnum.string,
       value: ''
     },
+    {
+      key: NodeInputKeyEnum.authTmbId,
+      renderTypeList: [FlowNodeInputTypeEnum.hidden],
+      label: '',
+      valueType: WorkflowIOValueTypeEnum.boolean,
+      value: false
+    },
     {
       ...Input_Template_UserChatInput,
       toolDescription: i18nT('workflow:content_to_search')

packages/global/core/workflow/type/io.d.ts

@@ -49,9 +49,10 @@ export type FlowNodeInputItemType = InputComponentPropsType & {
   debugLabel?: string;
   description?: string; // field desc
   required?: boolean;
-  toolDescription?: string; // If this field is not empty, it is entered as a tool
   enum?: string;
 
+  toolDescription?: string; // If this field is not empty, it is entered as a tool
+
   // render components params
   canEdit?: boolean; // dynamic inputs
   isPro?: boolean; // Pro version field

packages/global/core/workflow/type/node.d.ts

@@ -89,6 +89,7 @@ export type NodeTemplateListItemType = {
   hasTokenFee?: boolean; // 是否配置积分
   instructions?: string; // 使用说明
   courseUrl?: string; // 教程链接
+  sourceMember?: SourceMember;
 };
 
 export type NodeTemplateListType = {

packages/global/package.json

@@ -13,7 +13,9 @@
     "next": "14.2.5",
     "openai": "4.61.0",
     "openapi-types": "^12.1.3",
-    "timezones-list": "^3.0.2"
+    "json5": "^2.2.3",
+    "timezones-list": "^3.0.2",
+    "@bany/curl-to-json": "^1.2.8"
   },
   "devDependencies": {
     "@types/js-yaml": "^4.0.9",

packages/global/support/permission/collaborator.d.ts

@@ -10,22 +10,18 @@ export type CollaboratorItemType = {
 } & RequireOnlyOne<{
   tmbId: string;
   groupId: string;
+  orgId: string;
 }>;
 
 export type UpdateClbPermissionProps = {
   members?: string[];
   groups?: string[];
+  orgs?: string[];
   permission: PermissionValueType;
 };
 
-export type DeleteClbPermissionProps = RequireOnlyOne<{
-  tmbId: string;
-  groupId: string;
-}>;
-
-export type UpdatePermissionBody = {
-  permission: PermissionValueType;
-} & RequireOnlyOne<{
-  memberId: string;
-  groupId: string;
+export type DeletePermissionQuery = RequireOnlyOne<{
+  tmbId?: string;
+  groupId?: string;
+  orgId?: string;
 }>;

packages/global/support/permission/type.d.ts

@@ -1,8 +1,9 @@
 import { UserModelSchema } from '../user/type';
 import { RequireOnlyOne } from '../../common/type/utils';
 import { TeamMemberSchema } from '../user/team/type';
-import { AuthUserTypeEnum, PermissionKeyEnum, PerResourceTypeEnum } from './constant';
 import { MemberGroupSchemaType } from './memberGroup/type';
+import type { TeamMemberWithUserSchema } from '../user/team/type';
+import { AuthUserTypeEnum, type PermissionKeyEnum, type PerResourceTypeEnum } from './constant';
 
 // PermissionValueType, the type of permission's value is a number, which is a bit field actually.
 // It is spired by the permission system in Linux.
@@ -29,6 +30,7 @@ export type ResourcePermissionType = {
 } & RequireOnlyOne<{
   tmbId: string;
   groupId: string;
+  orgId: string;
 }>;
 
 export type ResourcePerWithTmbWithUser = Omit<ResourcePermissionType, 'tmbId'> & {

packages/global/support/user/constant.ts

@@ -17,5 +17,6 @@ export enum OAuthEnum {
   wechat = 'wechat',
   microsoft = 'microsoft',
   dingtalk = 'dingtalk',
+  wecom = 'wecom',
   sso = 'sso'
 }

packages/global/support/user/login/constants.ts

@@ -0,0 +1,3 @@
+export function checkIsWecomTerminal() {
+  return /wxwork/i.test(navigator.userAgent);
+}

packages/global/support/user/team/controller.d.ts

@@ -12,6 +12,7 @@ export type CreateTeamProps = {
   avatar?: string;
   defaultTeam?: boolean;
   memberName?: string;
+  memberAvatar?: string;
 };
 export type UpdateTeamProps = Omit<ThirdPartyAccountType, 'externalWorkflowVariable'> & {
   name?: string;

packages/global/support/user/team/org/api.d.ts

@@ -0,0 +1,32 @@
+export type postCreateOrgData = {
+  name: string;
+  parentId: string;
+  description?: string;
+  avatar?: string;
+};
+
+export type putUpdateOrgMembersData = {
+  orgId: string;
+  members: {
+    tmbId: string;
+    // role: `${OrgMemberRole}`;
+  }[];
+};
+
+export type putUpdateOrgData = {
+  orgId: string;
+  name?: string;
+  avatar?: string;
+  description?: string;
+};
+
+export type putMoveOrgType = {
+  orgId: string;
+  targetOrgId: string;
+};
+
+// type putChnageOrgOwnerData = {
+//   orgId: string;
+//   tmbId: string;
+//   toAdmin?: boolean;
+// };

packages/global/support/user/team/org/constant.ts

@@ -0,0 +1,10 @@
+import { OrgSchemaType } from './type';
+
+export const OrgCollectionName = 'team_orgs';
+export const OrgMemberCollectionName = 'team_org_members';
+
+export const getOrgChildrenPath = (org: OrgSchemaType) => `${org.path}/${org.pathId}`;
+
+export enum SyncOrgSourceEnum {
+  wecom = 'wecom'
+}

packages/global/support/user/team/org/type.d.ts

@@ -0,0 +1,26 @@
+import type { TeamPermission } from 'support/permission/user/controller';
+import { ResourcePermissionType } from '../type';
+
+type OrgSchemaType = {
+  _id: string;
+  teamId: string;
+  pathId: string;
+  path: string;
+  name: string;
+  avatar?: string;
+  description?: string;
+  updateTime: Date;
+};
+
+type OrgMemberSchemaType = {
+  _id: string;
+  teamId: string;
+  orgId: string;
+  tmbId: string;
+};
+
+type OrgType = Omit<OrgSchemaType, 'avatar'> & {
+  avatar: string;
+  permission: TeamPermission;
+  members: OrgMemberSchemaType[];
+};

packages/global/support/user/team/type.d.ts

@@ -44,6 +44,7 @@ export type TeamMemberSchema = {
   name: string;
   role: `${TeamMemberRoleEnum}`;
   status: `${TeamMemberStatusEnum}`;
+  avatar: string;
   defaultTeam: boolean;
 };
 
@@ -55,10 +56,11 @@ export type TeamMemberWithTeamAndUserSchema = TeamMemberSchema & {
 export type TeamTmbItemType = {
   userId: string;
   teamId: string;
+  teamAvatar?: string;
   teamName: string;
   memberName: string;
   avatar: string;
-  balance: number;
+  balance?: number;
   tmbId: string;
   teamDomain: string;
   defaultTeam: boolean;

packages/global/support/user/type.d.ts

@@ -1,12 +1,12 @@
 import { TeamPermission } from '../permission/user/controller';
 import { UserStatusEnum } from './constant';
+import { TeamMemberStatusEnum } from './team/constant';
 import { TeamTmbItemType } from './team/type';
 
 export type UserModelSchema = {
   _id: string;
   username: string;
   password: string;
-  avatar: string;
   promotionRate: number;
   inviterId?: string;
   openaiKey: string;
@@ -22,7 +22,7 @@ export type UserModelSchema = {
 export type UserType = {
   _id: string;
   username: string;
-  avatar: string;
+  avatar: string; // it should be team member's avatar after 4.8.18
   timezone: string;
   promotionRate: UserModelSchema['promotionRate'];
   team: TeamTmbItemType;
@@ -30,3 +30,9 @@ export type UserType = {
   notificationAccount?: string;
   permission: TeamPermission;
 };
+
+export type SourceMemberType = {
+  name: string;
+  avatar: string;
+  status: `${TeamMemberStatusEnum}`;
+};

packages/global/support/user/utils.ts

@@ -0,0 +1,16 @@
+export const getRandomUserAvatar = () => {
+  const defaultAvatars = [
+    '/imgs/avatar/RoyalBlueAvatar.svg',
+    '/imgs/avatar/PurpleAvatar.svg',
+    '/imgs/avatar/AdoraAvatar.svg',
+    '/imgs/avatar/OrangeAvatar.svg',
+    '/imgs/avatar/RedAvatar.svg',
+    '/imgs/avatar/GrayModernAvatar.svg',
+    '/imgs/avatar/TealAvatar.svg',
+    '/imgs/avatar/GreenAvatar.svg',
+    '/imgs/avatar/BrightBlueAvatar.svg',
+    '/imgs/avatar/BlueAvatar.svg'
+  ];
+
+  return defaultAvatars[Math.floor(Math.random() * defaultAvatars.length)];
+};

packages/plugins/register.ts

@@ -12,7 +12,8 @@ const staticPluginList = [
   'DingTalkWebhook',
   'WeWorkWebhook',
   'google',
-  'bing'
+  'bing',
+  'delay'
 ];
 // Run in worker thread (Have npm packages)
 const packagePluginList = [
@@ -35,24 +36,26 @@ export const list = [...staticPluginList, ...packagePluginList];
 
 /* Get plugins */
 export const getCommunityPlugins = () => {
-  return list.map<SystemPluginTemplateItemType>((name) => {
-    const config = require(`./src/${name}/template.json`);
+  return Promise.all(
+    list.map<Promise<SystemPluginTemplateItemType>>(async (name) => {
+      const config = (await import(`./src/${name}/template.json`))?.default;
 
-    const isFolder = list.find((item) => item.startsWith(`${name}/`));
+      const isFolder = list.find((item) => item.startsWith(`${name}/`));
 
-    const parentIdList = name.split('/').slice(0, -1);
-    const parentId =
-      parentIdList.length > 0 ? `${PluginSourceEnum.community}-${parentIdList.join('/')}` : null;
+      const parentIdList = name.split('/').slice(0, -1);
+      const parentId =
+        parentIdList.length > 0 ? `${PluginSourceEnum.community}-${parentIdList.join('/')}` : null;
 
-    return {
-      ...config,
-      id: `${PluginSourceEnum.community}-${name}`,
-      isFolder,
-      parentId,
-      isActive: true,
-      isOfficial: true
-    };
-  });
+      return {
+        ...config,
+        id: `${PluginSourceEnum.community}-${name}`,
+        isFolder,
+        parentId,
+        isActive: true,
+        isOfficial: true
+      };
+    })
+  );
 };
 
 export const getSystemPluginTemplates = () => {

packages/plugins/src/delay/index.ts

@@ -0,0 +1,18 @@
+import { delay } from '@fastgpt/global/common/system/utils';
+
+type Props = {
+  ms: number;
+};
+type Response = Promise<Number>;
+
+const main = async ({ ms }: Props): Response => {
+  if (typeof ms !== 'number' || ms <= 0 || ms > 300000) {
+    return ms;
+  }
+
+  await delay(ms);
+
+  return ms;
+};
+
+export default main;

packages/plugins/src/delay/template.json

@@ -0,0 +1,318 @@
+{
+  "author": "collin",
+  "version": "4817",
+  "name": "流程等待",
+  "avatar": "core/workflow/template/sleep",
+  "intro": "让工作流等待指定时间后运行",
+  "showStatus": true,
+  "weight": 1,
+
+  "isTool": true,
+  "templateType": "tools",
+
+  "workflow": {
+    "nodes": [
+      {
+        "nodeId": "pluginInput",
+        "name": "workflow:template.plugin_start",
+        "intro": "workflow:intro_plugin_input",
+        "avatar": "core/workflow/template/workflowStart",
+        "flowNodeType": "pluginInput",
+        "showStatus": false,
+        "position": {
+          "x": 627.6352390819724,
+          "y": -165.05298493910118
+        },
+        "version": "481",
+        "inputs": [
+          {
+            "renderTypeList": ["numberInput", "reference"],
+            "selectedTypeIndex": 0,
+            "valueType": "number",
+            "canEdit": true,
+            "key": "延迟时长",
+            "label": "延迟时长",
+            "description": "需要暂停的时间，单位毫秒",
+            "defaultValue": 1000,
+            "list": [
+              {
+                "label": "",
+                "value": ""
+              }
+            ],
+            "maxFiles": 5,
+            "canSelectFile": true,
+            "canSelectImg": true,
+            "required": true,
+            "toolDescription": "需要暂停的时间，单位毫秒",
+            "max": 300000,
+            "min": 1
+          }
+        ],
+        "outputs": [
+          {
+            "id": "ms",
+            "valueType": "number",
+            "key": "延迟时长",
+            "label": "延迟时长",
+            "type": "hidden"
+          }
+        ]
+      },
+      {
+        "nodeId": "pluginOutput",
+        "name": "common:core.module.template.self_output",
+        "intro": "workflow:intro_custom_plugin_output",
+        "avatar": "core/workflow/template/pluginOutput",
+        "flowNodeType": "pluginOutput",
+        "showStatus": false,
+        "position": {
+          "x": 1921.839722563351,
+          "y": -160.05298493910115
+        },
+        "version": "481",
+        "inputs": [
+          {
+            "renderTypeList": ["reference"],
+            "valueType": "any",
+            "canEdit": true,
+            "key": "result",
+            "label": "result",
+            "isToolOutput": true,
+            "description": "",
+            "required": true,
+            "value": ["zCJC6zw7c14i", "httpRawResponse"]
+          }
+        ],
+        "outputs": []
+      },
+      {
+        "nodeId": "pluginConfig",
+        "name": "common:core.module.template.system_config",
+        "intro": "",
+        "avatar": "core/workflow/template/systemConfig",
+        "flowNodeType": "pluginConfig",
+        "position": {
+          "x": 184.66337662472682,
+          "y": -216.05298493910115
+        },
+        "version": "4811",
+        "inputs": [],
+        "outputs": []
+      },
+      {
+        "nodeId": "zCJC6zw7c14i",
+        "name": "HTTP 请求",
+        "intro": "可以发出一个 HTTP 请求，实现更为复杂的操作（联网搜索、数据库查询等）",
+        "avatar": "core/workflow/template/httpRequest",
+        "flowNodeType": "httpRequest468",
+        "showStatus": true,
+        "position": {
+          "x": 1154.4041630064592,
+          "y": -455.0529849391012
+        },
+        "version": "481",
+        "inputs": [
+          {
+            "key": "system_addInputParam",
+            "renderTypeList": ["addInputParam"],
+            "valueType": "dynamic",
+            "label": "",
+            "required": false,
+            "description": "common:core.module.input.description.HTTP Dynamic Input",
+            "customInputConfig": {
+              "selectValueTypeList": [
+                "string",
+                "number",
+                "boolean",
+                "object",
+                "arrayString",
+                "arrayNumber",
+                "arrayBoolean",
+                "arrayObject",
+                "arrayAny",
+                "any",
+                "chatHistory",
+                "datasetQuote",
+                "dynamic",
+                "selectApp",
+                "selectDataset"
+              ],
+              "showDescription": false,
+              "showDefaultValue": true
+            },
+            "valueDesc": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpMethod",
+            "renderTypeList": ["custom"],
+            "valueType": "string",
+            "label": "",
+            "value": "POST",
+            "required": true,
+            "valueDesc": "",
+            "description": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpTimeout",
+            "renderTypeList": ["custom"],
+            "valueType": "number",
+            "label": "",
+            "value": 30,
+            "min": 5,
+            "max": 600,
+            "required": true,
+            "valueDesc": "",
+            "description": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpReqUrl",
+            "renderTypeList": ["hidden"],
+            "valueType": "string",
+            "label": "",
+            "description": "common:core.module.input.description.Http Request Url",
+            "placeholder": "https://api.ai.com/getInventory",
+            "required": false,
+            "value": "delay",
+            "valueDesc": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpHeader",
+            "renderTypeList": ["custom"],
+            "valueType": "any",
+            "value": [],
+            "label": "",
+            "description": "common:core.module.input.description.Http Request Header",
+            "placeholder": "common:core.module.input.description.Http Request Header",
+            "required": false,
+            "valueDesc": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpParams",
+            "renderTypeList": ["hidden"],
+            "valueType": "any",
+            "value": [],
+            "label": "",
+            "required": false,
+            "valueDesc": "",
+            "description": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpJsonBody",
+            "renderTypeList": ["hidden"],
+            "valueType": "any",
+            "value": "{\n\"ms\": {{$pluginInput.ms$}}\n}",
+            "label": "",
+            "required": false,
+            "valueDesc": "",
+            "description": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpFormBody",
+            "renderTypeList": ["hidden"],
+            "valueType": "any",
+            "value": [],
+            "label": "",
+            "required": false,
+            "valueDesc": "",
+            "description": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          },
+          {
+            "key": "system_httpContentType",
+            "renderTypeList": ["hidden"],
+            "valueType": "string",
+            "value": "json",
+            "label": "",
+            "required": false,
+            "valueDesc": "",
+            "description": "",
+            "debugLabel": "",
+            "toolDescription": ""
+          }
+        ],
+        "outputs": [
+          {
+            "id": "error",
+            "key": "error",
+            "label": "workflow:request_error",
+            "description": "HTTP请求错误信息，成功时返回空",
+            "valueType": "object",
+            "type": "static"
+          },
+          {
+            "id": "httpRawResponse",
+            "key": "httpRawResponse",
+            "required": true,
+            "label": "workflow:raw_response",
+            "description": "HTTP请求的原始响应。只能接受字符串或JSON类型响应数据。",
+            "valueType": "any",
+            "type": "static"
+          },
+          {
+            "id": "system_addOutputParam",
+            "key": "system_addOutputParam",
+            "type": "dynamic",
+            "valueType": "dynamic",
+            "label": "输出字段提取",
+            "customFieldConfig": {
+              "selectValueTypeList": [
+                "string",
+                "number",
+                "boolean",
+                "object",
+                "arrayString",
+                "arrayNumber",
+                "arrayBoolean",
+                "arrayObject",
+                "arrayAny",
+                "any",
+                "chatHistory",
+                "datasetQuote",
+                "dynamic",
+                "selectApp",
+                "selectDataset"
+              ],
+              "showDescription": false,
+              "showDefaultValue": false
+            },
+            "description": "可以通过 JSONPath 语法来提取响应值中的指定字段",
+            "valueDesc": ""
+          }
+        ]
+      }
+    ],
+    "edges": [
+      {
+        "source": "pluginInput",
+        "target": "zCJC6zw7c14i",
+        "sourceHandle": "pluginInput-source-right",
+        "targetHandle": "zCJC6zw7c14i-target-left"
+      },
+      {
+        "source": "zCJC6zw7c14i",
+        "target": "pluginOutput",
+        "sourceHandle": "zCJC6zw7c14i-source-right",
+        "targetHandle": "pluginOutput-target-left"
+      }
+    ],
+    "chatConfig": {
+      "welcomeText": ""
+    }
+  }
+}

packages/plugins/src/drawing/baseChart/index.ts

@@ -4,8 +4,8 @@ import { SystemPluginSpecialResponse } from '../../../type.d';
 
 type Props = {
   title: string;
-  xAxis: string;
-  yAxis: string;
+  xAxis: string[];
+  yAxis: string[];
   chartType: string;
 };
 
@@ -27,7 +27,12 @@ type Option = {
   series: SeriesData[]; // 使用定义的类型
 };
 
-const generateChart = async (title: string, xAxis: string, yAxis: string, chartType: string) => {
+const generateChart = async (
+  title: string,
+  xAxis: string[],
+  yAxis: string[],
+  chartType: string
+) => {
   // @ts-ignore  无法使用dom，如使用jsdom会出现生成图片无法正常展示，有高手可以帮忙解决
   const chart = echarts.init(undefined, undefined, {
     renderer: 'svg', // 必须使用 SVG 模式
@@ -36,21 +41,11 @@ const generateChart = async (title: string, xAxis: string, yAxis: string, chartT
     height: 300
   });
 
-  let parsedXAxis: string[] = [];
-  let parsedYAxis: number[] = [];
-  try {
-    parsedXAxis = json5.parse(xAxis);
-    parsedYAxis = json5.parse(yAxis);
-  } catch (error: any) {
-    console.error('解析数据时出错:', error);
-    return Promise.reject('Data error');
-  }
-
   const option: Option = {
     backgroundColor: '#f5f5f5',
     title: { text: title },
     tooltip: {},
-    xAxis: { data: parsedXAxis },
+    xAxis: { data: xAxis },
     yAxis: {},
     series: [] // 初始化为空数组
   };
@@ -58,18 +53,18 @@ const generateChart = async (title: string, xAxis: string, yAxis: string, chartT
   // 根据 chartType 生成不同的图表
   switch (chartType) {
     case '柱状图':
-      option.series.push({ name: 'Sample', type: 'bar', data: parsedYAxis });
+      option.series.push({ name: 'Sample', type: 'bar', data: yAxis.map(Number) });
       break;
     case '折线图':
-      option.series.push({ name: 'Sample', type: 'line', data: parsedYAxis });
+      option.series.push({ name: 'Sample', type: 'line', data: yAxis.map(Number) });
       break;
     case '饼图':
       option.series.push({
         name: 'Sample',
         type: 'pie',
-        data: parsedYAxis.map((value, index) => ({
-          value,
-          name: parsedXAxis[index] // 使用 xAxis 作为饼图的名称
+        data: yAxis.map((value, index) => ({
+          value: Number(value),
+          name: xAxis[index] // 使用 xAxis 作为饼图的名称
         }))
       });
       break;

packages/plugins/src/drawing/baseChart/template.json

@@ -1,6 +1,6 @@
 {
   "author": "silencezhang",
-  "version": "4812",
+  "version": "4817",
   "name": "基础图表",
   "avatar": "core/workflow/template/baseChart",
   "intro": "根据数据生成图表，可根据chartType生成柱状图，折线图，饼图",
@@ -68,7 +68,7 @@
             "canEdit": true,
             "key": "yAxis",
             "label": "yAxis",
-            "description": "y轴数据，例如：['1', '2', '3']",
+            "description": "y轴数据，例如：[1,2,3]",
             "defaultValue": "",
             "list": [
               {
@@ -77,7 +77,7 @@
               }
             ],
             "required": true,
-            "toolDescription": "y轴数据，例如：['1', '2', '3']"
+            "toolDescription": "y轴数据，例如：[1,2,3]"
           },
           {
             "renderTypeList": ["select", "reference"],
@@ -145,8 +145,8 @@
         "flowNodeType": "pluginOutput",
         "showStatus": false,
         "position": {
-          "x": 2122.252754006148,
-          "y": -63.5218674613718
+          "x": 2128.8138851197145,
+          "y": -63.52186746137181
         },
         "version": "481",
         "inputs": [
@@ -154,10 +154,12 @@
             "renderTypeList": ["reference"],
             "valueType": "string",
             "canEdit": true,
-            "key": "相对路径URL",
-            "label": "相对路径URL",
+            "key": "图表 url",
+            "label": "图表 url",
             "description": "可用使用markdown格式展示图片，如：![图片](url)",
-            "value": ["ws0DFKJnCPhk", "bzaYjKyQFOw2"]
+            "value": ["ws0DFKJnCPhk", "bzaYjKyQFOw2"],
+            "isToolOutput": true,
+            "required": true
           }
         ],
         "outputs": []
@@ -170,8 +172,8 @@
         "flowNodeType": "httpRequest468",
         "showStatus": true,
         "position": {
-          "x": 1216.5166647574395,
-          "y": -206.30162946606856
+          "x": 1264.2009472531117,
+          "y": -455.0773486762623
         },
         "version": "481",
         "inputs": [
@@ -275,7 +277,7 @@
             "key": "system_httpJsonBody",
             "renderTypeList": ["hidden"],
             "valueType": "any",
-            "value": "{\r\n  \"title\": \"{{title-plugin}}\",\r\n  \"xAxis\": \"{{xAxis-plugin}}\",\r\n  \"yAxis\": \"{{yAxis-plugin}}\",\r\n  \"chartType\": \"{{chartType-plugin}}\"\r\n}",
+            "value": "{\r\n  \"title\": \"{{$pluginInput.title$}}\",\r\n  \"xAxis\": {{$pluginInput.xAxis$}},\r\n  \"yAxis\": {{$pluginInput.yAxis$}},\r\n  \"chartType\": \"{{$pluginInput.chartType$}}\"\r\n}",
             "label": "",
             "required": false,
             "valueDesc": "",
@@ -306,126 +308,6 @@
             "description": "",
             "debugLabel": "",
             "toolDescription": ""
-          },
-          {
-            "renderTypeList": ["reference"],
-            "valueType": "string",
-            "canEdit": true,
-            "key": "title-plugin",
-            "label": "title-plugin",
-            "customInputConfig": {
-              "selectValueTypeList": [
-                "string",
-                "number",
-                "boolean",
-                "object",
-                "arrayString",
-                "arrayNumber",
-                "arrayBoolean",
-                "arrayObject",
-                "arrayAny",
-                "any",
-                "chatHistory",
-                "datasetQuote",
-                "dynamic",
-                "selectApp",
-                "selectDataset"
-              ],
-              "showDescription": false,
-              "showDefaultValue": true
-            },
-            "required": true,
-            "value": ["pluginInput", "title"]
-          },
-          {
-            "renderTypeList": ["reference"],
-            "valueType": "string",
-            "canEdit": true,
-            "key": "xAxis-plugin",
-            "label": "xAxis-plugin",
-            "customInputConfig": {
-              "selectValueTypeList": [
-                "string",
-                "number",
-                "boolean",
-                "object",
-                "arrayString",
-                "arrayNumber",
-                "arrayBoolean",
-                "arrayObject",
-                "arrayAny",
-                "any",
-                "chatHistory",
-                "datasetQuote",
-                "dynamic",
-                "selectApp",
-                "selectDataset"
-              ],
-              "showDescription": false,
-              "showDefaultValue": true
-            },
-            "required": true,
-            "value": ["pluginInput", "xAxis"]
-          },
-          {
-            "renderTypeList": ["reference"],
-            "valueType": "string",
-            "canEdit": true,
-            "key": "yAxis-plugin",
-            "label": "yAxis-plugin",
-            "customInputConfig": {
-              "selectValueTypeList": [
-                "string",
-                "number",
-                "boolean",
-                "object",
-                "arrayString",
-                "arrayNumber",
-                "arrayBoolean",
-                "arrayObject",
-                "arrayAny",
-                "any",
-                "chatHistory",
-                "datasetQuote",
-                "dynamic",
-                "selectApp",
-                "selectDataset"
-              ],
-              "showDescription": false,
-              "showDefaultValue": true
-            },
-            "required": true,
-            "value": ["pluginInput", "yAxis"]
-          },
-          {
-            "renderTypeList": ["reference"],
-            "valueType": "string",
-            "canEdit": true,
-            "key": "chartType-plugin",
-            "label": "chartType-plugin",
-            "customInputConfig": {
-              "selectValueTypeList": [
-                "string",
-                "number",
-                "boolean",
-                "object",
-                "arrayString",
-                "arrayNumber",
-                "arrayBoolean",
-                "arrayObject",
-                "arrayAny",
-                "any",
-                "chatHistory",
-                "datasetQuote",
-                "dynamic",
-                "selectApp",
-                "selectDataset"
-              ],
-              "showDescription": false,
-              "showDefaultValue": true
-            },
-            "required": true,
-            "value": ["pluginInput", "chartType"]
           }
         ],
         "outputs": [

packages/plugins/src/searchXNG/index.ts

@@ -48,6 +48,16 @@ const main = async (props: Props, retry = 3): Response => {
       });
     });
 
+    if (results.length === 0) {
+      return {
+        result: JSON.stringify([]),
+        error: {
+          message: 'No search results',
+          code: 500
+        }
+      };
+    }
+
     return {
       result: JSON.stringify(results.slice(0, 10))
     };

packages/service/common/api/pagination.ts

@@ -0,0 +1,21 @@
+import { CommonErrEnum } from '@fastgpt/global/common/error/code/common';
+import { ApiRequestProps } from '../../type/next';
+
+export function parsePaginationRequest(req: ApiRequestProps) {
+  const {
+    pageSize = 10,
+    pageNum = 1,
+    offset = 0
+  } = Object.keys(req.body).includes('pageSize')
+    ? req.body
+    : Object.keys(req.query).includes('pageSize')
+      ? req.query
+      : {};
+  if (!pageSize || (pageNum === undefined && offset === undefined)) {
+    throw new Error(CommonErrEnum.missingParams);
+  }
+  return {
+    pageSize: Number(pageSize),
+    offset: offset ? Number(offset) : (Number(pageNum) - 1) * Number(pageSize)
+  };
+}

packages/service/common/file/gridfs/controller.ts

@@ -4,7 +4,7 @@ import fsp from 'fs/promises';
 import fs from 'fs';
 import { DatasetFileSchema } from '@fastgpt/global/core/dataset/type';
 import { MongoChatFileSchema, MongoDatasetFileSchema } from './schema';
-import { detectFileEncoding } from '@fastgpt/global/common/file/tools';
+import { detectFileEncoding, detectFileEncodingByPath } from '@fastgpt/global/common/file/tools';
 import { CommonErrEnum } from '@fastgpt/global/common/error/code/common';
 import { MongoRawTextBuffer } from '../../buffer/rawText/schema';
 import { readRawContentByFileBuffer } from '../read/utils';
@@ -36,7 +36,6 @@ export async function uploadFile({
   path,
   filename,
   contentType,
-  encoding,
   metadata = {}
 }: {
   bucketName: `${BucketNameEnum}`;
@@ -45,7 +44,6 @@ export async function uploadFile({
   path: string;
   filename: string;
   contentType?: string;
-  encoding: string;
   metadata?: Record<string, any>;
 }) {
   if (!path) return Promise.reject(`filePath is empty`);
@@ -59,7 +57,7 @@ export async function uploadFile({
   // Add default metadata
   metadata.teamId = teamId;
   metadata.uid = uid;
-  metadata.encoding = encoding;
+  metadata.encoding = await detectFileEncodingByPath(path);
 
   // create a gridfs bucket
   const bucket = getGridBucket(bucketName);

packages/service/common/file/image/controller.ts

@@ -1,43 +1,92 @@
 import { UploadImgProps } from '@fastgpt/global/common/file/api';
 import { imageBaseUrl } from '@fastgpt/global/common/file/image/constants';
 import { MongoImage } from './schema';
-import { ClientSession } from '../../../common/mongo';
+import { ClientSession, Types } from '../../../common/mongo';
 import { guessBase64ImageType } from '../utils';
 import { readFromSecondary } from '../../mongo/utils';
+import { addHours } from 'date-fns';
 
 export const maxImgSize = 1024 * 1024 * 12;
 const base64MimeRegex = /data:image\/([^\)]+);base64/;
 export async function uploadMongoImg({
-  type,
   base64Img,
   teamId,
-  expiredTime,
   metadata,
-  shareId
+  shareId,
+  forever = false
 }: UploadImgProps & {
   teamId: string;
+  forever?: Boolean;
 }) {
   if (base64Img.length > maxImgSize) {
     return Promise.reject('Image too large');
   }
 
   const [base64Mime, base64Data] = base64Img.split(',');
+  // Check if mime type is valid
+  if (!base64MimeRegex.test(base64Mime)) {
+    return Promise.reject('Invalid image mime type');
+  }
+
   const mime = `image/${base64Mime.match(base64MimeRegex)?.[1] ?? 'image/jpeg'}`;
   const binary = Buffer.from(base64Data, 'base64');
   const extension = mime.split('/')[1];
 
   const { _id } = await MongoImage.create({
-    type,
     teamId,
     binary,
-    expiredTime,
     metadata: Object.assign({ mime }, metadata),
-    shareId
+    shareId,
+    expiredTime: forever ? undefined : addHours(new Date(), 1)
   });
 
   return `${process.env.FE_DOMAIN || ''}${process.env.NEXT_PUBLIC_BASE_URL || ''}${imageBaseUrl}${String(_id)}.${extension}`;
 }
 
+const getIdFromPath = (path?: string) => {
+  if (!path) return;
+
+  const paths = path.split('/');
+  const name = paths[paths.length - 1];
+
+  if (!name) return;
+
+  const id = name.split('.')[0];
+  if (!id || !Types.ObjectId.isValid(id)) return;
+
+  return id;
+};
+// 删除旧的头像，新的头像去除过期时间
+export const refreshSourceAvatar = async (
+  path?: string,
+  oldPath?: string,
+  session?: ClientSession
+) => {
+  const newId = getIdFromPath(path);
+  const oldId = getIdFromPath(oldPath);
+
+  if (!newId) return;
+
+  await MongoImage.updateOne({ _id: newId }, { $unset: { expiredTime: 1 } }, { session });
+
+  if (oldId) {
+    await MongoImage.deleteOne({ _id: oldId }, { session });
+  }
+};
+export const removeImageByPath = (path?: string, session?: ClientSession) => {
+  if (!path) return;
+
+  const paths = path.split('/');
+  const name = paths[paths.length - 1];
+
+  if (!name) return;
+
+  const id = name.split('.')[0];
+  if (!id || !Types.ObjectId.isValid(id)) return;
+
+  return MongoImage.deleteOne({ _id: id }, { session });
+};
+
 export async function readMongoImg({ id }: { id: string }) {
   const formatId = id.replace(/\.[^/.]+$/, '');
 

packages/service/common/file/image/schema.ts

@@ -1,8 +1,7 @@
 import { TeamCollectionName } from '@fastgpt/global/support/user/team/constant';
-import { connectionMongo, getMongoModel, type Model } from '../../mongo';
+import { connectionMongo, getMongoModel } from '../../mongo';
 import { MongoImageSchemaType } from '@fastgpt/global/common/file/image/type.d';
-import { mongoImageTypeMap } from '@fastgpt/global/common/file/image/constants';
-const { Schema, model, models } = connectionMongo;
+const { Schema } = connectionMongo;
 
 const ImageSchema = new Schema({
   teamId: {
@@ -14,27 +13,15 @@ const ImageSchema = new Schema({
     type: Date,
     default: () => new Date()
   },
-  expiredTime: {
-    type: Date
-  },
-  binary: {
-    type: Buffer
-  },
-  type: {
-    type: String,
-    enum: Object.keys(mongoImageTypeMap),
-    required: true
-  },
-  metadata: {
-    type: Object
-  }
+  expiredTime: Date,
+  binary: Buffer,
+  metadata: Object
 });
 
 try {
   // tts expired（60 Minutes）
   ImageSchema.index({ expiredTime: 1 }, { expireAfterSeconds: 60 * 60 });
   ImageSchema.index({ type: 1 });
-  ImageSchema.index({ createTime: 1 });
   // delete related img
   ImageSchema.index({ teamId: 1, 'metadata.relatedId': 1 });
 } catch (error) {

packages/service/common/file/read/utils.ts

@@ -1,5 +1,4 @@
 import { uploadMongoImg } from '../image/controller';
-import { MongoImageTypeEnum } from '@fastgpt/global/common/file/image/constants';
 import FormData from 'form-data';
 
 import { WorkerNameEnum, runWorker } from '../../../worker/utils';
@@ -8,7 +7,6 @@ import type { ReadFileResponse } from '../../../worker/readFile/type';
 import axios from 'axios';
 import { addLog } from '../../system/log';
 import { batchRun } from '@fastgpt/global/common/fn/utils';
-import { addHours } from 'date-fns';
 import { matchMdImgTextAndUpload } from '@fastgpt/global/common/string/markdown';
 
 export type readRawTextByLocalFileParams = {
@@ -22,7 +20,7 @@ export const readRawTextByLocalFile = async (params: readRawTextByLocalFileParam
 
   const extension = path?.split('.')?.pop()?.toLowerCase() || '';
 
-  const buffer = fs.readFileSync(path);
+  const buffer = await fs.promises.readFile(path);
 
   const { rawText } = await readRawContentByFileBuffer({
     extension,
@@ -114,10 +112,9 @@ export const readRawContentByFileBuffer = async ({
   if (imageList) {
     await batchRun(imageList, async (item) => {
       const src = await uploadMongoImg({
-        type: MongoImageTypeEnum.collectionImage,
         base64Img: `data:${item.mime};base64,${item.base64}`,
         teamId,
-        expiredTime: addHours(new Date(), 1),
+        // expiredTime: addHours(new Date(), 1),
         metadata: {
           ...metadata,
           mime: item.mime