基于日志的异常检测技术综述

您所在的位置:网站首页 快速解析名字所包含意义的字符 基于日志的异常检测技术综述

基于日志的异常检测技术综述

2024-05-12 00:23| 来源: 网络整理| 查看: 265

在基于聚类的日志解析方法中,主要通过计算对日志进行聚类,进而进行数据挖掘,形成事件模板,完成对日志的解析。其中,日志解析工具SLCT[27]通过3个步骤进行工作:首先,从数据中识别出频繁出现的单词(比支持阈值出现频率更高的单词)或1个项集;然后,提取数据集中每一行中出现的这些项的组;最后,将出现比支持值更频繁出现的候选簇作为数据集中的簇。LogCluster[28]是对SLCT的改进,实现对数据的聚类进而挖掘频繁发生的线性模式。IPLoM[29]是一种迭代分区日志挖掘算法,用来挖掘事件日志中的事件类型。通过三步分层分区过程,IPLoM将日志数据分区到各自的群集中。与其他类似算法不同,IPLoM基于启发式的方法,主要对于日志中每个词的位置进行计数,反复出现的文字会被选取,并组成事件候选,最后选出合适的词形成日志事件。文献[30]使用统计聚类方法从非结构化日志消息中提取主要模板,然后建立一个统计模型 LTF,捕获日志消息的时空模式,方便对大量网络操作进行有效分析,发现其中的异常操作。LKE[31]通过将日志自由格式的文本转换为日志键,然后对日志键进行聚类。通过将每个日志消息对应到一系列日志键,可以将日志消息转化为日志键序列。当收到新的日志消息时,首先根据规则提取日志消息中的日志键,然后选择与原始日志键最近距离的键,进而进行异常判断。LogSig[32]首先将每个日志消息转换为一组单词对,以对单词及其位置信息进行编码;然后基于单词对为每个日志消息计算一个潜在值,以确定该日志消息可能属于哪个群集。经过多次迭代后,可以对日志消息进行集群。最后,在每个群集中,利用日志消息来生成日志模板。文献[33]提出了一种称为POP的并行日志解析方法,该方法可以准确有效地解析大规模日志数据。为了提高日志解析的准确性,本文使用迭代分区规则来生成候选事件,并使用分层聚类来改进事件类型。为了提高处理大规模数据的效率,本文将POP设计为线性时间复杂度的日志大小,并在大型数据处理平台 Spark 的基础上进一步优化其计算。上述方法大多采用聚类和数据挖掘相关算法进行日志解析,但是结果大多基于经验值,一般参数选取过程比较困难。文献[34,35]通过将安全日志表示为图数据结构,日志依据其相似性进行自动分组,达到较好的聚类效果,然后自动化地提取模板,是一种自动化的方法实现日志自动解析。此外,为了提高日志解析的自动化,减少人的参与,一些研究人员提出将日志作为文本进行自然语言处理,根据不同单词进行解析的方法。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3