GitHub

2024-07-17 22:50| 来源: 网络整理| 查看: 265

从零构建AI推理引擎系列

引言: 现在有很多开源推理引擎，也有很多同学做模型部署相关工作，但大部分仅仅停留在“用工具”的层面。假如你想掌握技术的本源，停留在用工具层面是远远不够的。

我将最近业余玩耍的自建AI推理引擎相关博客文章整理成一个索引，里面记录了一些我在建造过程中踩过的坑，以及一些关于 C++语言、框架架构、算子推理设计、用户体验设计的一些实践和思考，希望对大家有用。

AI已经到了一个非常成熟的阶段，我们要做的，不仅仅是 python train.py，我们要做的是更进一步的将AI推延到工业领域，而这离不开一个好用的推理引擎。但仅停留在用开源的工具未免有些浅显，比如有社区同学就问我MNN编译的库体积较大如何解决？有人问题我为什么某些框架的layernorm很慢等等，如果你深入知道它背后的实现原理，这些问题自然就知道答案了。

这个仓库持续更新中，如果你对 AI部署落地，AI算法应用感兴趣，可以搜索微信公众号关注一波：神力人工智能。不定期分享一些技术干货。

动态

本系列一直在更新中，一直没有停更，简单动态记录：

2022.09.08 : 忙于模型优化，暂时停了一段时间，下次将使wnnx能够推理自研的YOLO系列目标检测模型；

索引 1. 基础进阶为什么要构建推理引擎推理框架实现123 WNNX从0实现AI推理引擎（一） WNNX从0实现AI推理引擎（二） WNNX从0实现AI推理引擎（三） WNNX从0实现AI推理引擎（四） WNNX从0实现AI推理引擎（五） WNNX从0实现AI推理引擎（六） WNNX从0实现AI推理引擎（七） WNNX从0实现AI推理引擎（八） WNNX从0实现AI推理引擎（九） 2. 花式玩法将引擎链接到TensorRT 自建引擎推理YOLOX 自建引擎推理BERT 自建引擎推理语音识别模型自建引擎推理语音合成模型 3. 骨灰级自建引擎如何编译一个exe进行AI模型分发如何移花接木将其他的引擎的东西融合进入自建引擎用自建引擎建造一个自动表白机器人送给女朋友自建引擎从入门到入土 4. 外延（产品经理用) 如何给框架设计进行用户体验设计？真正的软件如何做到用户友好用户用你的SDK到底是在用什么？自建推理引擎如何商业化（工业化）落地版权

【本文地址】

GitHub

GitHub

今日新闻

推荐新闻