feat: 模型数据管理

feat: 模型数据导入

feat: redis 向量入库

feat: 向量索引

feat: 文件导入模型

perf: 交互

perf: prompt

src/pages/api/data/splitData.ts

@@ -24,7 +24,7 @@ export default async function handler(req: NextApiRequest, res: NextApiResponse)
     if (!DataRecord) {
       throw new Error('找不到数据集');
     }
-    const replaceText = text.replace(/[\r\n\\n]+/g, ' ');
+    const replaceText = text.replace(/[\\n]+/g, ' ');
 
     // 文本拆分成 chunk
     let chunks = replaceText.match(/[^!?.。]+[!?.。]/g) || [];
@@ -35,7 +35,7 @@ export default async function handler(req: NextApiRequest, res: NextApiResponse)
     chunks.forEach((chunk) => {
       splitText += chunk;
       const tokens = encode(splitText).length;
-      if (tokens >= 980) {
+      if (tokens >= 780) {
         dataItems.push({
           userId,
           dataId,