流量管理

流量管理是基于网络的流量现状和流量管控策略，对数据流进行识别分类，并实施流量控制、优化和对关键IT应用进行保障的相关技术。

中文名：流量管理

外文名：TrafficManagement

衡量标准：时延等

性质：对关键IT应用进行保障的相关技术

发展历史：起源于美国*资助的研究项目

1、简介

基于网络的流量现状和流量管控策略，对数据流进行识别分类，并实施流量控制、优化和对关键IT应用进行保障的相关技术。

2、衡量标准

流量管理近年来和“网络或互联网服务的服务质量”，也就是我们通常说的QoS密切相关。为衡量服务质量，业界提出如下测量维度：

1时延时延是指IP包从网络入口点到达网络出口点所需要的传输时间。一些对时间敏感的应用，如实时的语音业务和视频业务对时延的要求最为严格。造成网络时延的主要因素可以简单地分为网络产生的时延和设备产生的时延。设备产生的时延一般是指设备处理业务数据时产生的时延，这与设备的性能有很大关系，包括网络各个层面的设备，如SDH设备、路由设备和媒体网关等。网络产生的时延包括基本的传输时延(即电信号或光信号在物理媒介上传输所需的固有时延)和链路速率时延(即当链路速率低于数据发送速率时产生的时延)。由于IP网络尽力而为的特性，设备产生的时延和网络产生的时延都还与实际网络中的数据流量状况有关。当数据量较大、网络和设备满负荷运转时。产生的拥塞和排队、调度和转发时延将会显著增加。

2抖动语音信号是连续的，在发送端经过压缩打包后在IP网络中传输时，由于数据包传送的路径可能不同，因此不同的数据包到达接收端的时间也可能不同，导致接收端在回放语音时产生时断时续的状况，称为抖动。接收端可以采用增加接收缓冲区的方式来对抖动产生的影响进行弥补。但是抖动缓冲区的大小将同时影响抖动和时延。如果抖动对语音质量产生了影响，那么增加抖动缓冲区的大小就可以将抖动减少到可以接受的程度；但是如果缓冲区过大，就会增加时延，同样会使得用户难以接受。典型的抖动缓冲区产生的时延为20ms，但是通常会达到80ms。抖动缓冲区的大小需要根据具体的网络情况来设定。

3丢包率一般情况下，数据包在网络中产生拥塞的点被丢掉，在传输线路中产生的错误包同样也会被丢掉。通常当接收包的数量超过了输出端口的大小限制时就会产生拥塞，由此而产生丢包。如果在包到达的一端没有足够的输入缓冲，也会造成丢包。丢包率通常被定义为一个连续若干个包以一定的时间间隔在网络中传送时，被丢掉的包所占的百分比。从用户体验的角度来讲，一般高于2%的丢包率便无法接受了。

4吞吐量吞吐量是指网络中IP包的传输速率，可表示为平均速率或峰值速率。网络的吞吐量是衡量网络转发IP包的能力，主要取决于链路速率、节点设备的端口速率和网络的业务量状况。

5可用性可用性是指用户能够使用IP业务可用性功能的时间间隔占IP业务全部时间间隔的百分比。在连续5min内，如果一个IP网络所提供的丢包率小于或等于75%，则认为该时间段是可用的，否则是不可用的。可用性主要用于衡量网络设备、链路正常提供业务的能力，确定该网络设备、链路是否能够支持连续可用的数据包传送业务。

3、发展历史

TCP/IP起源于上世纪60年代末美国*资助的一个研究项目，开始只是用于几台机器的连接通讯，后来需要连接的机器越来越多，网络也从小型局域网向局域网互连——这就是我们现在广域网的最初雏形。TCP/IP在不断完善后被作为一项基础的通讯协议用于了广域网，这是网络通讯发展上的一次里程碑式的变革，直到现在，我们还在继续使用TCP/IP。TCP/IP协议簇里的TCP和UDP协议，更是90%以上的应用要用的基础协议。

TCP是一种面向对象的传输协议，为了保障数据传输的安全，在传输过程中需要进行多次协商建立连接，而UDP则不是面向连接的，关注发送速度而不关注数据安全性，是种粗暴的传输方式，当时应用不广，主要用于DNS解析等。但是那时候人们对于广域网还是预计不足，由于广域网带宽明显小于局域网带宽，随着使用人数增多，网络出口处数据拥塞的瓶颈问题开始渐渐显露出来（瓶颈倒水），1986年初，Jacobson针对出现端倪的网络拥塞开发了基础的拥塞控制机制。

1988年Jacobson针对TCP在控制网络拥塞方面的不足，提出了“慢启动”和“拥塞避免”算法。1990年TCPReno版本推出增加了“快速重传”快速恢复”算法。这几个算法称为了避免网络拥塞的基础，是目前网络没有陷入瘫痪的最大功臣。到1996年的时候，国外以Packeteer（2008年被BlueCoat收购）为首的厂家为了解决跨国公司分公司访问总部业务服务器的速度问题首次推出了专业的流量管理设备。当时，一般跨国公司都是通过国际专线连接总部和分公司，带宽非常昂贵，而普通的网络设备如防火墙、路由器和核心三层交换机等无法识别第七层应用如Oracle、SAP等，因此以Packeteer为首的厂家开发出基于第七层应用的流量管理设备来满足这个需求。因为跨国公司的业务比较简单，应用数量也不多（一般为业务系统、邮件等），所以基于第七层应用的流量管理方式很适合这种网络环境。

2003年左右，互联网再次出现重大变革，P2P开始兴起，对于网络的冲击很大，通常P2P应用会占用网络的总流量的50%-80%，和当年跨国公司的网络环境相比，应用数量变得非常大，通常在1万种以上，同时出口带宽也变得非常大，从而使得基于第七层应用的流量管理方式遭遇了性能、技术和管理方式的双重瓶颈。

在P2P改变了用户网络行为模型图示中，我们可以看到用户的网络行为模型由以往的星状变成了网状。由于我们在之前看到所有的网络都是以客户端和服务器之间的交互，用这种访问模型去构建现在所有的网络，而且我们的网络产品也是基于这种模型去设计和建造的。P2P出现之后，所有网络的模型，用户和用户之间产生了非常大交互的数据量，这样就形成一个扁平网状的模型，这种模型现在我们构建出来的基于星形连接的模式是不适合P2P新的网络访问模型，这样就给整个网络带来非常大的灾难性的影响。可想而知，在这种网络环境下，几乎所以的用户都会面临“网络拥塞”的挑战，造成的结果就是不到5%的P2P用户占用了90%以上的带宽资源。

4、现状

应用和协议识别技术

这种技术是对经过流量控制设备的数据包进行深度的拆包解析，并与设备自身的特征数据库进行匹配。原理上与当前流行的杀毒软件一致，但是杀毒软件是在本地进行的，流量管理设备是在网络出口处的，这种方式无疑会增大网络延迟，影响网络效率，并且对硬件本身也是折磨，遇到大流量的话，设备不是挂掉，就是直接放行流量。并且现在应用越来越多，P2P自身也在不断发展，第一代P2P：集中式P2P应用，Napster模式，固定TCP端口；这一代的P2P生命力十分脆弱――只要关闭服务器，网络就死了；第二代P2P：分布式P2P应用，跳跃端口，随机端口；盗用常用端口（如HTTP的80）；HTTP隧道（伪装成HTTP流量）；HTTP代理隧道（如SOCKS代理），第二代分布式P2P没有*服务器，但是速度太慢；第三代P2P：介于集中与分布之间，属于混合型，采用分布服务器；发展到现在出现了所谓的第四代P2P，这一代P2P相比第三代，技术上没有很大的革新，（但有两个明显特点）增加无用随机数据（如BT等）和数据加密（如迅雷采用了密码学中的高级加密标准AES加密法，又称Rijndael加密法，是美国联邦*采用的一种区块加密标准。这个标准用来替代原先的DES，已经被多方分析且广为全世界所使用，号称三十年无法破译。）两个手段使协议流量特征模糊化；多协议并用，（比如迅雷就HTTP与FTP协议并存）；这类特征都面对一个目的，逃避监管。

迅雷、BT、eMule为代表的“加密化”趋势，让传统方案束手无策。从管理方式来说，以前基于第七层应用的微观管理流量的方式在大型网络中日益不适合，不但使最终用户觉得隐私没有保障，产生逆反心理，而且管理效果不佳。

从基于应用识别的管理图示来看，当新的应用层出不穷，而特征库的更新总是在新应用出现之后。在更新特征库这段时间，网络总是处在无序的状态，时好时坏。这样始终是一个变异——更新——升级的恶性循环。

队列管理机制

采取队列机制来管理数据包的传输，在上载方向上确实适用，但在下载方向上完全无能为力，这种通过丢弃已收到数据包的方式强行将某些应用占用的带宽降下来，将导致下载带宽损失。队列技术最大的两个问题就是对于所有流量造成延时和无法支持大于1000的队列通道。

队列管理机制带宽控制图示中，以P2P控制为例，假如我们设定LAN中流量管理设备允许20%下行带宽的P2P下载流量通过，这时从WAN上过来了40%的P2P流量，当这40%的P2P流量传到流控设备时，因为我们事先设定只允许20%的P2P下载流量数据包通过，那么20%的P2P下载流量数据包就会被流控设备丢掉，但被丢弃的20%的P2P下载流控数据包仍然占用着WAN上的宽带。这个时候，除了允许的这20%的P2P流量外，我们发现只有60%下行带宽可以用于其它数据传输，其实带宽利用率却只有80%，其中20%的流量被白白的浪费掉了。

5、发展趋势

当前的技术挑战

从上述的分析来看，不管是采用应用和协议识别技术，还是队列管理机制，带宽管理仍会面临如下的挑战：

A．互联网的应用及传输协议成千上万，不可能保证所有的应用都能正确识别。

B．迅雷等P2P新兴软件，采用私有加密协议，并通过常用端口进行连接（如80,443等）以逃避各种控制，增加应用流量管理对此类应用控制的难度。

C．由于应用的不断增加及频繁变化，流量管理设备本身需不断更新识别库，且识别库的更新也很难保证快速及时。

D．网络管理人员需要频繁策略以应对各种新的应用。

E．各类信息流平均分获一定的带宽，网络闲时容易造成网络资源利用率低。

F．只能控制网络内部的流量，对网络出口处的拥塞毫无帮助。

G．无法满足应用程序对实时性越来越高的要求。

未来的技术发展趋势

在P2P应用大行其道的网络年代，笔者认为用户对能在控制好流量的同时，又保证网络资源利用率在最高状态；能自动识别滥用带宽用户并加以限制，又避免了先有应用后有识别码的恶性循环；能根据网络负载情况动态自动调整策略，又便于IT人员对当前的带宽应用进行分析和故障排查的诉求将会越来越普遍。

目前又有关于以提升带宽利用率，的带宽管理技术，“精确的端到端流量控制”是什么概念呢。就是由接收端可以根据当前的网络负荷状况来遥控发送端。告诉发送端我能够接受多少的数据包，你就发送多少数据包从而避免了网络拥塞的产生。使得网络整体连接状况总是处在平稳的状态中。

国内的话有上海云速网络科技可以提供这样的技术。