glm2 docs

This commit is contained in:
archer
2023-08-26 19:24:14 +08:00
parent eefc976d42
commit defc73651b

View File

@@ -1,7 +1,7 @@
--- ---
title: "接入 ChatGLM2-6B" title: '接入 ChatGLM2-6B'
description: " 将 FastGPT 接入私有化模型 ChatGLM2-6B" description: ' 将 FastGPT 接入私有化模型 ChatGLM2-6B'
icon: "model_training" icon: 'model_training'
draft: false draft: false
toc: true toc: true
weight: 753 weight: 753
@@ -37,16 +37,17 @@ ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,
## 环境配置 ## 环境配置
+ Python 3.8.10 - Python 3.8.10
+ CUDA 11.8 - CUDA 11.8
+ 科学上网环境 - 科学上网环境
## 部署步骤 ## 部署步骤
1. 根据上面的环境配置配置好环境,具体教程自行 GPT 1. 根据上面的环境配置配置好环境,具体教程自行 GPT
2. 在命令行输入命令 `pip install -r requirments.txt` 2. 下载 [python 文件](https://github.com/labring/FastGPT/blob/main/files/models/ChatGLM2/openai_api.py)
3. 打开你需要启动的 py 文件,在代码的第 76 行配置 token这里的 token 只是加一层验证,防止接口被人盗用 3. 在命令行输入命令 `pip install -r requirments.txt`
4. 执行命令 `python openai_api.py 16`。这里的数字根据上面的配置进行选择。 4. 打开你需要启动的 py 文件,在代码的第 76 行配置 token这里的 token 只是加一层验证,防止接口被人盗用;
5. 执行命令 `python openai_api.py 16`。这里的数字根据上面的配置进行选择。
然后等待模型下载,直到模型加载完毕为止。如果出现报错先问 GPT。 然后等待模型下载,直到模型加载完毕为止。如果出现报错先问 GPT。
@@ -60,7 +61,11 @@ ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,
```bash ```bash
OPENAI_BASE_URL=http://127.0.0.1:6006/v1 OPENAI_BASE_URL=http://127.0.0.1:6006/v1
OPENAIKEY=sk-aaabbbcccdddeeefffggghhhiiijjjkkk # 这里是你在代码中配置的 token这里的 OPENAIKEY 可以任意填写 CHAT_API_KEY=sk-aaabbbcccdddeeefffggghhhiiijjjkkk # 这里是你在代码中配置的 token这里的 OPENAIKEY 可以任意填写
``` ```
这样就成功接入 ChatGLM2-6B 了。 这样就成功接入 ChatGLM2-6B 了。
## 注意
1. docker 部署时,给的推荐配置是组网模型,无法连接到本地的网络,以为这无法请求 0.0.0.0:6006。可以使用 host 模式,或者将模型发布到服务器上,并通过 oneapi 引入该模型。