背景

自从ChatGPT横空出世，大模型的发展日新月异，每个人都希望试一试大模型带来的魔力，但大模型对硬件的高要求让大家对这个新生事物的尝鲜屡屡碰壁，但没有什么难得到勤劳勇敢的程序员们的，最近赫然发现基于个人PC硬件环境搭载的大模型也已经成为可能，并在我在个人的mac上实现了本地化大模型的效果，这里把我本地化搭建的方案做个介绍。

技术方案

该本地化的方案涉及到3部分，对话大模型ChatGLM-6B，嵌入模型m3e-base，大模型知识库平台管理系统 FastGPT。

1、通过FastGPT进行私域知识的整理录入，然后由嵌入模型m3e-base做向量化处理。

2、当用户提问时，该问题经过向量化处理后，通用[……]

阅读全文