最近在做一个项目，寻遍了 Node 开源社区居然没有发现一个好用的敏感词过滤库，有那么几个库外观上看起来似乎还不错，用起来却一塌糊涂，震惊有余，失望至极。于是花了一天时间自己撸了一个库，库名叫 fastscan，这是我的第一个 Node 开源项目，它也可以用于浏览器环境。fastscan 基于广为人知的 ahocorasick 高性能字符串匹配算法。

项目地址：https://github.com/pyloque/fastscan

演示地址：https://pyloque.github.com/fastscan

考虑到太多的违禁词汇，所以缩小化显示，缩小到让你看不清楚。如果想看清楚一点，还是去演示地址里面看吧。消灭敏感词是每个公民义不容辞的责任！你不站岗我不站岗，谁保卫咱祖国谁来保卫家！读者们你们要是敢举报，看我不砍死你！

项目代码使用原生的 js 实现，我开始非常担心词汇树的构建速度会不会太慢。经测试后发现虽然性能不算太快，不过也不是太差，对于绝大多数项目来说已经绰绰有余了。我分别测试了构造 20000～100000 个词汇的树结构，每个词汇随机在 10～20之间，耗时情况如下

如果你的词汇比较短小，构建树的速度还会更快。

查询性能我并不担心，因为 ahocorasick 算法在词汇长度较短的情况下复杂度是 O(n)，性能和被过滤内容的长度乘线性变化。下面我使用 100000 词汇量构建的树分别对 20000 ～ 100000字的内容进行了过滤，耗时情况如下

fastscan 可以做到以迅雷不及掩耳的速度扫遍一幅 10w 字的长文，10w 大概就是一部中篇小说的长度了。如果你要扫百万字的长篇小说，那还是建议你分章分节来扫吧。

内存占用也是需要考虑的点，内存对于 Node 程序来说本来就非常有限，如果因为敏感词树占据了太大的内存那是非常要不得的大问题。所以我也对内存占用进行了测试，下面是测试的结果

词汇量不是太大的话，这样的内存占用还是可以接受的。如果你对内存占用不满意，那就只能使用 Node 的 C 语言扩展来打造更高性能的库了，考虑到成本问题，恕我目前无能为力。

注：不得不说，node 社区发布开源类库太方便了，npm login && npm publish 轻松搞定。个人觉得这大概就是 node 轮子多的罪魁祸首。对比之前发布 java 社区开源项目，感觉自己头发都快掉光了，造轮子比发布轮子还要轻松。

如果读者比较关心算法的原理和细节，请关注我的公众号「码洞」，后续我会编写相关文章来仔细讲解算法的原理，以及对 fastscan 项目代码的剖析。