背景
自从ChatGPT横空出世,大模型的发展日新月异,每个人都希望试一试大模型带来的魔力,但大模型对硬件的高要求让大家对这个新生事物的尝鲜屡屡碰壁,但没有什么难得到勤劳勇敢的程序员们的,最近赫然发现基于个人PC硬件环境搭载的大模型也已经成为可能,并在我在个人的mac上实现了本地化大模型的效果,这里把我本地化搭建的方案做个介绍。
技术方案
该本地化的方案涉及到3部分,对话大模型ChatGLM-6B,嵌入模型m3e-base,大模型知识库平台管理系统 FastGPT。
1、通过FastGPT进行私域知识的整理录入,然后由嵌入模型m3e-base做向量化处理。
2、当用户提问时,该问题经过向量化处理后,通用[……]