在系统运维领域,当运维工程师面对海量的日志数据时主要的难点在于快速而精确地筛选出可疑的日志数据,而通过日志分析解决方案将日志实时采集,智能分析后形成报警摘要,运维人员就可以在摘要信息的帮助下迅速定位到故障的根本原因。
通过对业务系统的海量日志进行采集和分析能够发现当前系统的性能瓶颈,用户通过对关键性能指标进行查询总结得出对当前系统进行改进维护,合理优化业务性能的最佳方式。
大数据的出现加上网络边界的消失和复杂的攻击增加了网络入侵的风险,通过实时采集日志并进行智能分析可以成为网络安全基础结构的重要组成部分,帮助用户检测和识别潜在的入侵行为。
日志分析解决方案在使用方式上可支持插件式的安装,并主要与数据中间件做交互,实现与接入该功能的业务系统完全解耦,在使用落地方式上属于高可扩展性和低侵入式的应用。
日志分析的算法是集合了多种机器学习算法的优点,包括频繁模式挖掘、解析树、多维度根因定位、关联规则挖掘,同时支持增量式学习,另外针对自然语言式的数据同样支持分词与语义计算。
支持多种格式的日志数据,如JSON、CSV、Log4j等,可针对不同的日志数据定制规则模块。
日志采集、日志转储、日志查询、日志智能分析、可视化界面管理一站式完成。