glm2 docs
This commit is contained in:
@@ -1,7 +1,7 @@
|
|||||||
---
|
---
|
||||||
title: "接入 ChatGLM2-6B"
|
title: '接入 ChatGLM2-6B'
|
||||||
description: " 将 FastGPT 接入私有化模型 ChatGLM2-6B"
|
description: ' 将 FastGPT 接入私有化模型 ChatGLM2-6B'
|
||||||
icon: "model_training"
|
icon: 'model_training'
|
||||||
draft: false
|
draft: false
|
||||||
toc: true
|
toc: true
|
||||||
weight: 753
|
weight: 753
|
||||||
@@ -37,16 +37,17 @@ ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,
|
|||||||
|
|
||||||
## 环境配置
|
## 环境配置
|
||||||
|
|
||||||
+ Python 3.8.10
|
- Python 3.8.10
|
||||||
+ CUDA 11.8
|
- CUDA 11.8
|
||||||
+ 科学上网环境
|
- 科学上网环境
|
||||||
|
|
||||||
## 部署步骤
|
## 部署步骤
|
||||||
|
|
||||||
1. 根据上面的环境配置配置好环境,具体教程自行 GPT;
|
1. 根据上面的环境配置配置好环境,具体教程自行 GPT;
|
||||||
2. 在命令行输入命令 `pip install -r requirments.txt`;
|
2. 下载 [python 文件](https://github.com/labring/FastGPT/blob/main/files/models/ChatGLM2/openai_api.py)
|
||||||
3. 打开你需要启动的 py 文件,在代码的第 76 行配置 token,这里的 token 只是加一层验证,防止接口被人盗用;
|
3. 在命令行输入命令 `pip install -r requirments.txt`;
|
||||||
4. 执行命令 `python openai_api.py 16`。这里的数字根据上面的配置进行选择。
|
4. 打开你需要启动的 py 文件,在代码的第 76 行配置 token,这里的 token 只是加一层验证,防止接口被人盗用;
|
||||||
|
5. 执行命令 `python openai_api.py 16`。这里的数字根据上面的配置进行选择。
|
||||||
|
|
||||||
然后等待模型下载,直到模型加载完毕为止。如果出现报错先问 GPT。
|
然后等待模型下载,直到模型加载完毕为止。如果出现报错先问 GPT。
|
||||||
|
|
||||||
@@ -60,7 +61,11 @@ ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,
|
|||||||
|
|
||||||
```bash
|
```bash
|
||||||
OPENAI_BASE_URL=http://127.0.0.1:6006/v1
|
OPENAI_BASE_URL=http://127.0.0.1:6006/v1
|
||||||
OPENAIKEY=sk-aaabbbcccdddeeefffggghhhiiijjjkkk # 这里是你在代码中配置的 token,这里的 OPENAIKEY 可以任意填写
|
CHAT_API_KEY=sk-aaabbbcccdddeeefffggghhhiiijjjkkk # 这里是你在代码中配置的 token,这里的 OPENAIKEY 可以任意填写
|
||||||
```
|
```
|
||||||
|
|
||||||
这样就成功接入 ChatGLM2-6B 了。
|
这样就成功接入 ChatGLM2-6B 了。
|
||||||
|
|
||||||
|
## 注意
|
||||||
|
|
||||||
|
1. docker 部署时,给的推荐配置是组网模型,无法连接到本地的网络,以为这无法请求 0.0.0.0:6006。可以使用 host 模式,或者将模型发布到服务器上,并通过 oneapi 引入该模型。
|
||||||
|
|||||||
Reference in New Issue
Block a user