网络流量分析系统在金融网络管理中的应用

金融网络信息化程度的不断深化,金融业务和IT技术的多元化发展,给金融IT部门带来容量管理的挑战,对网络服务质量提出了新的要求。那么,如何管理好庞大的网络资源,使之高效稳定的运行,提高网络的利用率,为业务部门提供优质的服务,已成为现今金融网络管理日趋重要的内容。

为什么需要网络流量分析

在众多影响网络性能的因素中,网络流量是极为重要的一项。对于网络管理人员来说,理解网络流量的内容、了解用户的网络行为是网络管理的重要内容。它为日常网络管理、未来网络升级与容量规划等提供重要依据。通过网络流量分析,可以实现:

l 提供大量详尽的数据,实现流量可视化。不仅可以监视网络流量和流向,而且能够提供应用视图分布,识别基础应用(HTTPFTP等)和特定业务(ERPOA等),提供全网应用系统流量统计数据和端到端通信情况,分析网络用户行为是否正常;

l 为业务应用层面提供数据依据,为特定业务尤其是新业务提供流量分析服务。比如针对电子汇款进行流量统计分析,可以作为新业务开展情况的辅助评估参考依据;

l 提供数据包解码和专家系统分析。以数据包、会话、逻辑拓扑图等技术方式分析病毒、攻击、非法访问等异常流量特征,协助IT管理人员快速进行问题定位,确定异常发生的网络故障或应用系统问题,以及所涉及的应用和主机;

l 监测网络异常流量(如病毒、攻击等)。通过实时数据统计、分析和深度解析IP地址、MAC地址、协议、数据内容等,识别异常流量类别,解析异常流量特征,查找异常流量源头。

网络流量分析常用技术

网络流量分析一般来说包含三个部分:

1. 流量测量:对监测的流量进行过滤、存储、聚合等操作;

2. 流量分析:对监测的流量进行分析、报表等操作,可以在PacketFlowSNMP级别操作流量;

3. 流量控制及其策略:根据分析的结果和目标需求,按照一定策略对网络实施宏观(网络)或微观(终端)的控制。

随着计算机技术的发展,网络流量分析技术也与时俱进,既有传统的基于数据库的网络管理技术,也有面向网络的分析技术;既有基于底层的分析技术,也有面向应用的分析技术。目前,在网络流量分析中占据主流的常用分析技术主要有SNMPRMONFLOW、探针镜像等。

l SNMP技术

SNMPSimple Network Management Protocol,简单网络管理协议)是一种基于TCP/IP的互联网网管协议,定义了传送管理信息的协议消息格式及管理工作站和被管理设备之间进行消息传送的规程。它能对互联网中不同类型的设备进行监控和管理,对网络中存在的问题进行定位。基于SNMP的流量分析就是通过SNMP协议访问设备获取MIB库中的端口流量信息,典型工具有MRTGMulti Router Traffic Grapher),通过SNMP 协议从设备得到流量信息,将流量负载情况绘制成PNG格式图片,并以WEB形式显示给用户。MRTG 使用起来很方便,能够直观显示端口流量负载,是网管人员常用的网络监视工具。但MRTG的功能比较单一,其收集到的流量信息仅是二层简单的端口出、入流量统计信息,不能深入分析包的类型、流向等信息。

l RMON技术

RMONRemote Network Monitoring,远程网络监控)是由IETF定义的一种远程监控标准,是对SNMP标准的扩展。它定义了标准功能以及网管站和远程监控器之间的接口,使得监控器和网管站之间可以进行网络监控数据的交换,从而实现了对一个网段乃至整个网络的数据流量的监视功能。RMON的目的是为了扩展SNMPMIB II,使SNMP更为有效、积极主动地监控远程设备。RMON MIB由一组统计数据、分析数据和诊断数据构成,利用许多供应商生产的标准工具都可以显示出这些数据,因而具有独立于供应商的远程网络分析功能。此后,IETFRMON 基础上又提出了RMON II标准,将网络的监控层次提高到了应用层。

RMON探测器可用两种方法收集数据:一种是通过专用的RMON探针(Probe),对待测链路的RMONRMON II等信息进行统计和记录;另一种方法是将RMON Agent直接植入路由器、交换机等网络设备,使它们成为带RMON Probe功能的网络设施,网管站用SNMP的基本命令与其交换数据,收集网络信息。但第二种方式受网络设备资源限制,一般不能获取RMON MIB的所有数据,大多数只收集统计量、历史、告警、事件等信息。

l Flow技术

互联网的高速发展为用户提供了更高的带宽,支持的业务和应用日渐增多,传统流量统计如SNMPRMON等,由于统计流量方式不灵活或是需要投资专用服务器成本高等原因,无法满足对网络进行更细致管理的需求。上个世纪末前后,许多公司或组织纷纷提出基于“流”的概念,如NetStreamNetFlowsFlow等。

基于Flow技术进行网络流量分析的一般做法是:定义一种用于路由器、交换机输出网络流量的统计数据方法,路由器、交换机对通过的IP数据包进行统计和分析,并上报网流采集器,网流采集器再把搜集的数据包及统计数据传送到网流分析器,经合并处理后存入数据库,并进一步进行分析处理。通过对原始、详细的基本IP数据流进行分析,能准确把握网络运行状态,实时发现网络异常情况并进行处理,也能支持面对业务应用的精细管理和计费。以H3CNetStream为例,通过七元组来标识网络流量,根据报文的目的IP地址、源IP地址、目的端口号、源端口号、协议号、ToSType of Service,服务类型)、输入接口或输出接口来定义流。在网络的汇聚层、核心层或网络出口可以通过部署NetStream对网络中的业务流量情况进行统计和分析。

l 探针镜像技术

上述分析技术均需要网络设备支持相关特性,当网络现状无法满足相关特性时,可采用端口的探针镜像技术。顾名思义,探针技术类似于在网络中放入一个探测针头,由探针型采集器直接从网络设备的镜像端口或分流器中采集网络流量信息,并对访问网络的数据包进行分类统计和内容摘要而生成日志记录,其目的是探测有价值的网络信息。探针型采集器具有良好的适应性,可以应用于不支持Flow或复杂异构网络环境下的网络流量日志采集和分析。

各种网络流量分析技术的对比如表1

数据源

工作层次

可提供的信息

部署策略及说明

SNMP/RMON

物理、链路层

物理、链路层

l 网段:利用率、误码、帧种类、帧尺寸;

l 网元:负荷状态

所有网段;

数据呈现简单,包含信息少,无法做到面向业务的复杂分析

RMON II

物理、链路层

网络层

应用层

物理、链路层

l 网段:利用率、误码、帧种类、帧尺寸;

l 网元:负荷状态

网络层

l IP主机列表、TCP/UDP端口

应用层

l 网络应用协议、服务器数据包

核心层、服务器汇聚层;

专有设备,包含信息全面,部署成本高昂

NetStream/NetFlow/sFlow

物理、链路层

网络层

物理、链路层

l 利用率

网络层

l IP主机列表、TCP/UDP端口流量分布(主要适用于端口固定应用,应用可自定义)

广域网、局域网骨干网段;

应用最广泛

探针镜像

物理、链路层

网络层

应用层

物理、链路层

l 网段:利用率、帧种类等

网络层

l 自定义应用流量统计

应用层

l 协议分析、应用层信息、响应时间、非标准应用侦测

核心网段、服务器汇聚层;

包含七层应用信息,一般通过单端口镜像,性能受限

1 常用网络流量分析技术对比

结合国内金融网络的现状,从以上的对比分析可以看出,基于流技术和探针镜像的网络流量分析可用性较高。现有网络设备对流技术支持较广泛,对于不支持的关键区域可配合探针镜像对端口流量分析,这样一种方案在功能、性能、可实现性上都是最优的组合。

网络流量分析系统在金融网络管理中的应用

网络流量分析在网络中起衔接的作用,主要利用网络流量测量部分收集到的各种流量信息,进行分析和建模以发现流量的特性,对网络性能做出客观的评价,并以此作为对网络进行控制和优化的依据。

1. 主要功能

l 任务式多角度网络流量分析:网络流量分析系统通过定制任务方式实现对设备接口/接口组、探针、特定应用、特定主机组的流量信息实时监控,流量信息包括流入、流出速率以及当前速率相对于链路最大速率的比例等。这种全任务式的自动跟踪,可以大大简化管理员监控网络流量的工作;

l 提供丰富的流量分析报表:网络流量分析系统能够提供总体流量趋势、应用带宽占用趋势、流量最高的节点、流量最高的会话等多个维度的统计报表。同时,报表支持自定义,满足不同用户的数据提取需求;

l 网络应用自定义监视:能够反映HTTPHTTPSMTP等各种网络应用占用的带宽随时间变化的趋势。比如,现在网络中有哪些应用,占用带宽最多的应用是哪些,每种应用的峰值流量、当前流量、平均流量各是多少等。对于不常见的应用,系统也能提供自定义的功能,使用户可以按照四层协议标识为TCPUDP应用;

l 支持业务间的流量分析:金融数据大集中后,对于管理员来说,往往需要从业务应用的角度关注网络的性能,而不只是单个接口或接口组的流量分析。网络流量分析系统可按照主机IP地址/应用信息定制业务间流量分析任务,比如某信贷业务由某几台服务器和相关网络设备共同组成,管理员通过对业务间的流量分析可实时掌握信贷业务开展的情况,给业务部门提供良好的支撑。

2. 部署

目前数据集中的建设给金融行业局域网提出了更高的网络通信质量要求。大量基于B/S架构的业务应用,带来了更多的数据访问量。另一方面,分支骨干接入网络多业务融合趋势愈加明显,除了传统的数据、生产、OA等业务外,视频会议、IP语音、IP监控等新业务逐渐普及,这些新业务对带宽、延迟、抖动等传输性能有着特殊的需求。因此需要重点关注总部/核心和各分支骨干接入的网络性能:

1) 总部/核心

1 总部/核心流量分析系统部署

核心交换机或出口设备支持NetStream/sFlow/NetFlow等流技术,相应输出流日志,流量分析服务器接收流日志并进行流量分析,并提供总体流量趋势、应用带宽占用趋势、流量最高节点和会话等丰富报表。

2) 分支骨干接入

2流量分析系统分支部署

金融分支节点多、组网设备复杂,需要采用流技术配合流量探针输出网络流量日志。各分支网络部署网络流量分析系统对出口设备进行采集并上报总部,总部实现广域网链路及各分支网路链路的应用流量分析和监视,实现分布式流量分析功能。

3. 应用价值

在金融网络中应用网络流量分析技术可以起到以下几个方面的作用:

l 优化网络结构

网络流量能直接反映网络性能的好坏。通过对网络中一些特定流量的长期监控,获得流量数据后进行统计和计算,从而得到网络及其主要成分的性能指标,定期形成性能报表,并维护网络流量数据库或日志,以供网管人员分析网络使用状况和进行性能管理。通过数据分析获得性能的变化趋势,分析制约网络性能的瓶颈问题,可以为多出口的流量负载均衡、重要链路的带宽设置、路由选择和设定QoS等网络优化措施提供数据依据。

l 实施安全预警

网络流量异常会严重影响网络性能,造成网络拥塞,严重的甚至会使网络瘫痪,网络设备利用率达到100%,无法响应进一步的指令。通过对网络内流量的实时分析,有助于及时发现网络中出现的异常流量,迅速分析出其具体属性,记录异常情况发生时的详细网络状况,并向网络管理者进行告警,以判断是否出现了入侵,并按照事先拟定的规则集进行处理,使网络异常得到及时发现和处理。

l 评估网络价值

通过监控各个金融分支网点出入流量和内部办公流量,分析流量的大小、去向及内容组成,了解各分支网络占用带宽的情况,从而反映其占用的网络成本,也可以了解其业务开展情况,并做出价值评估。

l 分析网络行为

通过分析内部网络应用的业务特点和主要流量的去向,准确掌握全网应用的网络状况,对核心业务和交易类关键应用进行重点保障,必要时可进行链路升级或部署QoS策略。通过将网络证券、“金融超市”、“移动银行”等新兴金融业务对应的多个服务器和网络端口灵活绑定、组合,并进行流量监控分析,向业务部门输出相关报表,以评估金融业务开展的效果及问题所在。

结束语

网络流量分析可以为网络的运行和维护提供重要信息和深层次的管理功能,更好地发挥网络管理作用。对网络性能分析、异常监测、链路状态监测、容量规划等也发挥着重要作用,为网络发展和优化提供了更优质、更有效的技术支撑和技术服务。可以预见,流量分析工作将在金融网络管理中起到越来越重要的作用。