标题:日志系统
分类:公司产品
日期:2010-05-19 16:49:58

1 系统概述

1.1 系统开发背景

  目前一般的单位都能够做到从物理上关注网络安全,还有一些单位已经进行良好的网络安全管理,但是目前的复杂网络情况下,即使安全防范再严密的网络,也有可能会有安全性漏洞出现。

  另外,为了满足政府法规要求,企业需要执行安全审计流程,如果不能满足政府的法规要求,除了有可能被高额的罚款以外,还有可能触犯法律,面临刑事诉讼(比如SOX法案)。

  但是现实情况是,网络安全设备众多,包括防火墙、IPS、IDS、VPN网关、邮件过滤系统、漏洞扫描系统等。这些网络安全设备可能产生大量的安全事件信息,但是这些设备的报告机制不同,报文格式不同,不能进行集中分析,网络管理员很难快速有效的处理这些数据,无法及时了解网络安全信息。

  目前网络中的主要设备(防火墙、VPN网关、IPS、IDS、交换机、路由器、反垃圾邮件系统、病毒防护系统)都可以产生日志(syslog),日志中包含了很多重要的网络运行信息,包括网络的安全、性能、资源使用情况等。

  传统的日志服务器可以接收这些日志信息,但只能简单的保存和按原始格式显示,主要是用于事后分析使用。

  由于网络中会包含很多不同厂商和不同类型的设备,这些设备的日志格式都不统一,所以显示的结果通常杂乱无章,再加上日志产生的速度很快,在没有过滤和统计的情况下,用户看日志的速度有可能还跟不上系统接收日志的速度,所以简单的日志接收和未经解析的原始日志显示对用户没有太多的实际意义。
同时对历史数据的检索也只能使用简单的按字符串、时间、发送日志设备IP地址等查询方式,不能进行复杂的查询。

这一起的一切均源自设备或系统的日志没有更好的管理。从目前的情况看,传统的日志管理主要有以下表现:

    安全相关的日志信息(或者高危信息)不能及时发现和预警;
    日志是孤立的,无法相互关联,信息共享;
    安全事件发生以后,查阅日志;
    日志专家(系统专家)匮乏,没有能力去监控、分析、解决问题,成本高;
    日志管理不能通过直观的图表和报告了解网络安全情况;

  针对传统日志服务器的这些问题。我们此次开发的系统可完成原始安全信息的存档和检索、生成内部审计、法规遵从报告等功能,解决了传统日志服务器的存档、检索、报告生成等问题,同时实时可实现实时安全状况监视信息、安全事件关联分析、实时告警等实时信息显示等功能,解决了传统日志服务器不能实时过滤、深入分析日志的问题。

本次开发主要业务功能如下:
日志接收、保存、存档,分析、解析。

信息告警
1.2 主要业务模块介绍

日志采集器模块

  日志采集器负责采集和解析所有支持的设备、主机的日志信息,并将这些日志转换为本系统内部统一的日志格式供其它模块使用。

  Syslog采集器可以压缩保存原始的日志信息,供以后查询使用。

  本模块主要使用syslog协议(被动接收),snmp协议(陷阱接收,主动信息抓取),wmi协议(主动轮询抓取windows系统日志),ODBC协议(数据库系统日志轮询抓取)。

事件分析模块
事件分析模块对所有采集到的事件根据用户定义的需求进行过滤和统计,生成实时的统计图表、TopN列表、事件监视窗口。
能够支持报表数据实时更新。

实时事件监视模块
让用户可根据实际需要自定义实时监视器、视图、混合显示界面。
能够支持监控指标的阀值,速率变化等灵活定义。

可视化安全视图模块
以网络拓朴图的形式显示网络设备的安全状况。可直接根据拓朴中上设备的颜色判断设备的安全情况,通过直接点击设备对设备进行数据汇总和分解,并输出报告。

告警关联模块
告警关联模块提供对重复事件的精细过滤并提供匹配后的动作机制。可以通过定义灵活的过滤匹配找出真正有意义的告警,然后选择通过短信,邮件,或其它方式通知用户。

日志解析模块(字典)
日志解析模块提供对单个日志的上下文关联搜索,中文翻译,操作提示等日志解析功能

管理模块模块
管理模块负责处理系统配置管理,设备管理,用户管理。

2 系统结构

2.1 基础问题

系统支持的设备类型和厂商:

一切使用syslog协议的设备,包含但不限于包括防火墙、VPN网关、IPS、IDS、交换机、路由器、反垃圾邮件系统、病毒防护系统。

一切支持wmi协议的系统。
主流的网流协议(Cisco Netflow,Juniper cFlow)支撑设备。

2.2 系统结构
系统总体分成三个层次:日志信息的采集、日志信息的处理和日志信息的应用,系统架构如下图所示:



  系统结构图清晰地给出整个系统的层次关系:日志采集层、日志处理层、日志应用层。

(1)日志采集层:
日志采集层通过Snmp、Syslog、wmi、ssh、telnet和一些特定协议等采集手段从网络中的主机、网络设备和其它的一些管理软件和网络应用程序中获取原始的日志信息,并进行日志信息的预处理工作。

(2)日志处理层:
日志处理层对采集层提交上来的日志进行加工整理(如:过滤、合并、组织、建模、存储和关联等等),并进行深层次的统计和分析,以供上层应用使用。

(3)日志应用层:
日志应用层以报表、图形等各种方式为用户提供需要的各种报告和数据,包括资源报告、性能统计分析、告警信息、应用策略和规则等。并能够进行日志的词典解析工作。

  提供了丰富的图形化界面,包括:各种统计图表(支持多种形式输出,2D/3D直方图、饼图、趋势图、列表)、可灵活自定义的显示面板、用颜色标识的各种事件级别的事件显示窗口。这些图形化功能可直观反映网络中的安全问题,在视觉上提示用户应该注意的网络安全信息。

  日志采集层、日志处理层、日志应用层之间通过数据总线以及消息总线连接,消息总线负责传送实时性数据,数据总线传送非实时性或者海量数据,保证系统的数据完整性。