feat: chat content use tiktoken count

src/pages/model/detail/components/SelectUrlModal.tsx

@@ -13,15 +13,11 @@ import {
   Textarea
 } from '@chakra-ui/react';
 import { useToast } from '@/hooks/useToast';
-import { customAlphabet } from 'nanoid';
-import { encode } from 'gpt-token-utils';
 import { useConfirm } from '@/hooks/useConfirm';
 import { useMutation } from '@tanstack/react-query';
 import { postModelDataSplitData, getWebContent } from '@/api/model';
 import { formatPrice } from '@/utils/user';
 
-const nanoid = customAlphabet('abcdefghijklmnopqrstuvwxyz1234567890', 12);
-
 const SelectUrlModal = ({
   onClose,
   onSuccess,
@@ -106,9 +102,6 @@ const SelectUrlModal = ({
             根据网站地址，获取网站文本内容（请注意仅能获取静态网站文本，注意看下获取后的内容是否正确）。模型会对文本进行
             QA 拆分，需要较长训练时间，拆分需要消耗 tokens，账号余额不足时，未拆分的数据会被删除。
           </Box>
-          <Box mt={2}>
-            一共 {encode(webText).length} 个tokens，大约 {formatPrice(encode(webText).length * 3)}元
-          </Box>
           <Flex w={'100%'} alignItems={'center'} my={4}>
             <Box flex={'0 0 70px'}>网站地址</Box>
             <Input