DeepKE: DeepKE是由浙江大学团队维护开源知识图谱抽取工具集。 |
您所在的位置：网站首页 › 文本数据挖掘和知识图谱哪个好 › DeepKE: DeepKE是由浙江大学团队维护开源知识图谱抽取工具集。 |
DeepKE: DeepKE是由浙江大学团队维护开源知识图谱抽取工具集。
|
English | 简体中文 基于深度学习的开源中文知识图谱抽取框架 DeepKE 是一个开源的知识图谱抽取与构建工具，支持cnSchema、低资源、长篇章、多模态的知识抽取工具，可以基于PyTorch实现命名实体识别、关系抽取和属性抽取功能。同时为初学者提供了文档，在线演示, 论文, 演示文稿和海报。 ❗想用大模型做抽取吗？试试DeepKE-LLM和KnowLM！ ❗想自己全监督训抽取模型吗？试试快速上手, 我们提供实体识别模型 (例如LightNER(COLING'22), W2NER(AAAI'22))、关系抽取模型(例如KnowPrompt(WWW'22))、实体关系联合抽取模型(例如ASP(EMNLP'22), PRGC(ACL'21), PURE(NAACL'21)), 和基于cnSchema的开箱即用模型DeepKE-cnSchema！如果您在安装DeepKE和DeepKE-LLM中遇到任何问题（一般是包的版本兼容性问题）不用心急，您可以查阅常见问题或直接提Issue，我们会尽全力帮助您解决问题！ 目录 目录 新版特性 预测演示 模型架构 快速上手 DeepKE-LLM DeepKE 🔧 手动环境部署 🐳 基于容器部署 环境依赖 DeepKE 具体功能介绍 1. 命名实体识别NER 2. 关系抽取RE 3. 属性抽取AE 4.事件抽取 备注（常见问题） 未来计划 阅读资料 相关工具 引用 项目贡献人员 （排名不分先后） 其它知识抽取开源工具 新版特性2023年9月 为基于指令的知识图谱构建任务(Instruction-based KGC)发布了一个中英双语信息抽取(IE)指令数据集 InstructIE, 具体参见此处。 2023年6月 为DeepKE-LLM新增多个大模型(如ChatGLM、LLaMA系列、GPT系列、抽取大模型智析)支持。 2023年4月 新增实体关系抽取模型CP-NER(IJCAI'23), ASP(EMNLP'22), PRGC(ACL'21), PURE(NAACL'21), 支持事件抽取(中文、英文), 提供对Python库高级版本的支持 (例如Transformers)。 2023年2月 支持大模型 (GPT-3)，包含In-context Learning (基于 EasyInstruct)和数据生成，新增实体识别模型W2NER(AAAI'22)。 旧版新闻2022年11月 新增实体识别、关系抽取的数据标注说明和弱监督数据自动标注(实体识别、关系抽取)功能，优化多GPU训练。 2022年9月 论文 DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population被EMNLP2022 System Demonstration Track录用。 2022年8月 新增针对低资源关系抽取的数据增强 (中文、英文)功能。 2022年6月 新增支持多模态场景的实体抽取、关系抽取功能。 2022年5月 发布DeepKE-cnschema特别版模型，支持基于cnSchema的开箱即用的中文实体识别和关系抽取。 2022年1月 发布论文 DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population 2021年12月 加入dockerfile以便自动创建环境 2021年11月 发布DeepKE demo页面，支持实时抽取，无需部署和训练模型 发布DeepKE文档，包含DeepKE源码和数据集等详细信息 2021年10月 pip install deepke deepke-v2.0发布 2019年8月 pip install deepke deepke-v1.0发布 2018年8月 DeepKE项目启动，deepke-v0.1代码发布 预测演示下面使用一个demo展示预测过程。该动图由Terminalizer生成，生成代码可点击获取。
Deepke的架构图如下所示 
DeepKE为三个知识抽取功能（命名实体识别、关系抽取和属性抽取）设计了一个统一的框架
可以在不同场景下实现不同功能。比如，可以在标准全监督、低资源少样本、文档级和多模态设定下进行关系抽取
每一个应用场景由三个部分组成：Data部分包含Tokenizer、Preprocessor和Loader，Model部分包含Module、Encoder和Forwarder，Core部分包含Training、Evaluation和Prediction
快速上手
DeepKE-LLM
大模型时代, DeepKE-LLM采用全新的环境依赖 conda create -n deepke-llm python=3.9 conda activate deepke-llm cd example/llm pip install -r requirements.txt注意！！是example/llm文件夹下的 requirements.txt DeepKE DeepKE支持pip安装使用，下以常规关系抽取场景为例 DeepKE支持手动环境部署与容器部署，您可任选一种方法进行安装 🔧 手动环境部署Step 1：下载代码 git clone --depth 1 https://github.com/zjunlp/DeepKE.git（别忘记star和fork哈！！！） Step 2：使用anaconda创建虚拟环境，进入虚拟环境（提供Dockerfile源码和教程可自行创建镜像；可参考备注（常见问题）使用镜像加速） conda create -n deepke python=3.8 conda activate deepke1） 基于pip安装，直接使用 pip install deepke2） 基于源码安装 pip install -r requirements.txt python setup.py install python setup.py developStep 3 ：进入任务文件夹，以常规关系抽取为例 cd DeepKE/example/re/standardStep 4：下载数据集，或根据数据标注说明标注数据 wget 120.27.214.45/Data/re/standard/data.tar.gz tar -xzvf data.tar.gz支持多种数据类型格式，具体请见各部分子README。 Step 5 ：模型训练，训练用到的参数可在conf文件夹内修改 DeepKE使用wandb支持可视化调参 python run.pyStep 6 ：模型预测。预测用到的参数可在conf文件夹内修改 修改conf/predict.yaml中保存训练好的模型路径。需使用模型的绝对路径。如xxx/checkpoints/2019-12-03_17-35-30/cnn_epoch21.pth。 python predict.py ❗注意: 如果您在安装或使用过程中遇到任何问题，您可以查看备注（常见问题） 或提交 GitHub issue. 🐳 基于容器部署Step1 下载Docker客户端 从官网下载Docker客户端并启动Docker服务 Step2 拉取镜像并运行容器 docker pull zjunlp/deepke:latest docker run -it zjunlp/deepke:latest /bin/bash剩余步骤同手动环境部署一节中的Step 3及后续步骤相同 ❗注意: 您可以参考 Tips 来加速您的部署 环境依赖 DeepKEpython == 3.8 torch>=1.5, |
【本文地址】