什么是智能流量分析?
为什么需要智能流量分析?
随着行业数字化转型的加速进行,越来越多重要的业务和应用被部署到用户网络,导致网络规模越来越大,应用类型及数据流向愈加复杂。在业务流转发过程中容易出现的一些问题,比如TCP建链失败、业务流时延异常等,都给网络的运维带来了巨大的挑战并提出了全新的要求。如何快速感知和准确定位故障,快速的恢复业务,有效提升运维效率,变得尤为重要。并且,为了在复杂的网络环境中更加直观的进行业务精细化管理,网络流量的可视化已成为趋势。
智能流量分析技术可以有效的解决上述问题:
借助于设备内置芯片,不影响转发性能,减轻远端分析器的处理负担。
根据业务流的不同特征进行智能化分析,可精确实现基于每条业务流的深度分析。不仅可以实现对丢包率、时延的统计,还支持计算纳秒级的报文往返时延RTT(Round Trip Time)。
实时的监测网络运行状态,快速精准的定位故障节点,提升网络运行稳定性并降低网络维护成本。
支持将分析结果输出至分析器iMaster NCE-FabricInsight,为实现全网流量可视化管理提供有力支撑。
智能流量分析支持的具体功能如下:
端口级智能流量分析:按照统计的流量类型可以分为TCP智能流量分析和UDP智能流量分析。通过ACL规则定义待检测业务流的特征,在设备端口按照待检测业务流的五元组信息分别建立流表,对流表中的一些关键字段进行统计,根据统计结果可获得丢包、时延等高精度信息。设备最多支持建立16kb流表,适用于端口级的适量监控诉求场景。
设备级智能流量分析:也叫IPAS (Intelligent Packet Analysis System,智能报文分析系统)。通过ACL规则或VXLAN保留字段定义检测流的特征,按照ACL定义的规则或VXLAN保留字段匹配值建立流表,在某个统计周期内,记录检测流进入设备的报文数和离开设备的报文数,从而得到该检测流在本设备的丢包率。设备最多支持建立100条检测流,适用于设备级的少量监控诉求场景。
智能流量分析系统有哪些组成?
一个典型的智能流量分析系统由流分析数据输出器TDE(Traffic-analysis Data Exporter)、流分析数据处理器TAP(Traffic-analysis Processor)和流分析数据分析器TDA(Traffic-analysis Data Analyzer)三部分组成。
TDE:配置了智能流量分析功能的设备,负责匹配待检测的业务流,并上送到TAP。
TAP:由设备CPU内置芯片承担,对TDE上送的业务流进行处理和分析,并将分析结果输出至TDA。
TDA:网络流量分析工具iMaster NCE-FabricInsight,具有图形化用户界面,使用户可以方便地获取、显示和分析收集到的数据。
在实际的应用中,TDE和TAP是集成在一台设备上。如下图所示,DeviceA为配置了智能流量分析功能的设备。
智能流量分析系统组成图
端口级智能流量分析系统是如何工作的?
端口级智能流量分析系统的具体工作过程包括流匹配、流分析和流输出三个部分。如下图所示。
端口级智能流量分析系统工作过程示意图
流匹配
在TDE上配置指定待检测的业务流,并通过下发的ACL规则匹配该指定的业务流,匹配通过的业务流将被镜像并由转发芯片上送到TAP。若TDE上送的报文TAP无法处理,比如为不支持的报文类型或者如果报文数目过多超过了TAP的处理能力,那么TAP会将该报文丢弃。
流分析
TAP得到匹配成功的报文后,会对报文进行分析处理。
按照五元组(业务流的源IP地址,源端口,目的IP地址,目的端口和传输层协议)依据报文中的关键值形成一条条的流,从而组成一个流表。
对流表中的一些关键字段进行统计,根据统计结果可以分析出该流的各项特征,包括:丢包数量、时延、报文数量、流创建时间等。
流输出
端口级智能流量分析功能支持用户在设备侧查看TAP分析出的业务流特征信息,然而要获得可视化的、用户界面友好的分析结果,还是需要将流表发送给TDA处理。目前TDA仅支持分析器iMaster NCE-FabricInsight。iMaster NCE-FabricInsight分为FabricInsight采集器和FabricInsight分析器两部分。
如下图所示,包含流分析结果的智能流量分析流表首先会被存储在设备的缓存区中,当缓存区中的智能流量分析流表达到老化条件时,设备中的TAP将这些流表的统计字段添加到NetStream V9扩展模板中进行封装。经过封装后的输出报文由转发芯片进行路由查找转发,最终到达FabricInsight采集器。FabricInsight采集器收到智能流量分析系统输出报文后,会依据报文源地址等报文信息对业务流特征信息进行汇总,并上送给FabricInsight分析器,完成流特征信息的最终处理和展示。
智能流量分析流表输出
设备级智能流量分析系统是如何工作的?
设备级智能流量分析系统的具体工作过程包括流匹配、流统计和流输出三个部分。如下图所示。
设备级智能流量分析系统工作过程示意图
流匹配
在TDE上配置指定检测流的特征,并通过下发ACL规则或VXLAN保留字段值匹配该检测流。
流统计
TDE按照ACL定义的规则或VXLAN保留字段匹配值建立流表,在某个统计周期内,记录检测流进入设备的报文数和离开设备的报文数,从而得到该检测流在本设备的丢包率,即丢包率 =(发送报文数量-接收报文数量)/接收报文数量 * 100% 。
设备建立的流表信息包含以下三个部分:
流表的key(关键值)包含任务ID和周期ID:
任务ID:用户在指定检测流的特征时需要人为定义一个任务ID。
周期ID:周期ID = 当前时间戳(秒)/ 统计周期(秒)。
流表的基本信息:包含检测流的协议类型、用户指定的ACL规则或VXLAN保留字段值。
流表的统计信息:包含检测流的丢包率、告警信息、统计数据上报时间等。
流输出
TDE按用户指定周期收集流量统计结果上送到TAP,用户可以在设备侧查看TAP收集到的流量统计信息。然而,要获得可视化的、用户界面友好的分析结果,还是需要将流表发送给TDA处理。IPAS采用Telemetry技术将流表统计数据实时上送至TDA进行分析。
智能流量分析的应用
智能流量分析可以应用在在复杂的网络环境中,便于运维人员进行直观的网络管理。如下图所示,企业的数据中心部署了不同的业务,某应用部署在VM1和VM3上。承载该应用的某条业务流在VM1与VM3之间往返方向的路径相同,此路径上的每台交换机都可以捕获该业务流的双向流量。现运维人员想要对该应用流量重点监控,可以从上述路径经过的交换机中任意选取一个或多个交换机部署智能流量分析功能,对业务流进行监控和分析。一旦发现丢包、时延过大等异常,可以进行快速准确的故障定位。并且,可以将分析结果发送给iMaster NCE-FabricInsight网络流量分析工具进行进一步分析和展示。
智能流量分析的应用组网图