Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型的本地知识库问答应用项目。

GitHub：https://github.com/chatchat-space/Langchain-Chatchat

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

使用Ubuntu系统，其他系统可能出现系统兼容性问题

最低要求

该要求仅针对标准模式，轻量模式使用在线模型，不需要安装torch等库，也不需要显卡即可运行。

推荐要求

开发者在以下环境下进行代码调试，在该环境下能够避免最多环境问题。

如果为了体验使用该项目，可以使用线上模型，不需要太高的硬件要求。

如果想要顺利在GPU运行本地模型的 int4 量化版本，至少需要以下的硬件配置

ChatGLM2-6B & LLaMA-7B

LLaMA-13B

Qwen-14B-Chat

LLaMA-30B

LLaMA-65B

注意：

创建一个虚拟环境，使项目与项目间进行软件版本隔离

在虚拟环境内安装项目的依赖

默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

脚本将会将所有config目录下的配置文件样例复制一份到config目录下，方便开发者进行配置。 接着，开发者可以根据自己的需求，对配置文件进行修改。

模型下载取决于自己的网络情况，这里需要提前下载THUDM/chatglm2-6b与BAAI/bge-large-zh到本地，然后在model_config.py中配置

1.若网络良好(全球畅通无阻)则完全不需要先下载模型，在执行过程中会自动下载相关模型。

2.如果网络存在问题，则可以事先下载好需要的模型，然后在model_config.py文件中配置，具体配置参考异常3中的处理办法

注意：

Windows环境下，会默认自动将该模型下载到C:\Users\Admin\.cache\torch\sentence_transformers目录下，若下载失败，参考异常3中的处理办法

第一次运行本项目，知识库尚未建立，或者配置文件中的知识库类型、嵌入模型发生变化，需要以下命令初始化或重建知识库：

如果已经有创建过知识库，可以先执行以下命令创建或更新数据库表：

第一次使用时，会自动下载BAAI/bge-large-zh模型，用于知识库的初始化构建