发掘网络数据的价值，应对云网挑战

2017年3月23～24日，第八届中国金融云高峰论坛在上海东锦江希尔顿逸林酒店举行。云杉网络COO来源受邀与会，并发表了主题演讲。以下是演讲内容实录。

非常高兴跟大家在这里分享这个话题，我是云杉网络的来源。今天分享的内容有三个部分。第一部分是网络在云时代面临了哪些挑战？第二部分是，云杉的产品如何帮助大家解决网络中面临的问题；第三部分是一些使用场景和客户如何使用云杉的产品来解决其网络面临的实际问题。

网络在云时代面临的挑战

金融业上云概览

咨询机构数据

我们首先来看一下咨询公司RightScale今年发布的一些报告，上图是企业采纳私有云的选型以及建设私有云时的选型和策略分布。我们可以看到，在企业私有云市场中VMware和OpenStack占据了绝大部分的份额：2016～2017企业使用私有云的策略方面，只有1%的企业不打算采用云；采用云的企业绝大多数都选择混合云的解决方案。

监管部门政策

我们回到金融行业，2016年7月15日，银监会发布《中国银行业信息科技“十三五”发展规划监管指导意见》征求稿，要求到“十三五”末期（2020年），银行业面向互联网场景的重要信息系统全部迁移至云计算架构平台，其他系统迁移比例不低于60%。此举意味着银监会明确制定了银行业上云的时间表；同时也意味着我们需要把整个信息系统向开放和X86的云计算方向转变，并逐步完成去IOE等封闭厂商绑定的进程。

金融上云现状

通常我们把金融业分为银行、证券、保险、小微金融。以银行为例，我们一般分为工、农、中、建国有四大行；股份制的商业银行；国家政策性银行；以及地方性的城商行和农商行。在上云过程中，由于各自业务的差异，每家银行选用的云计算解决方案也不尽相同。这两天大家也听了很多的分享，除了云的落地和实施之外，各个建设者均在规划未来1~3年、甚至更长期的云运营蓝图。

我们可以看一下现阶段金融IT技术的演进。以保险行业为例，几年前一个亿元级别的保险产品要上线的话，可能需要三天左右的时间，而现在只需要几分钟就可以完成；提供基础设施服务的团队在传统的小机或者X86服务器时代，上线周期通常以月为单位，现在是以小时为单位。这些变化已经在金融行业实实在在地发生过了，在这里也不用我再赘述。

金融业上云的挑战

我们不难发现，金融业上云的演进过程是以业务为核心而发生的（当然，其他领域也是如此）。这里的挑战是多方面的，不光有业务模型的定义、还有业务的架构、业务的交付。基础设置的IaaS、PaaS、SaaS和运维管理几个层面都受到了挑战。云杉网络作为一家SDN软件公司，我们专注于帮助客户解决网络在云计算中落地的实际问题。那么客户一般会面临哪些挑战呢？

技术上的挑战

首先我们来看技术层面。在云计算落地过程中我们看到，网络从物理交换机逐渐引入了一套完整的虚拟化体系，通过Overlay、OpenFlow技术实现了虚拟网络的创建以及整体管理。在物理网络之上，我们分层了成百上千个虚拟私有云的逻辑网络。在分层管理之后，我们看到虚拟网络边界的消失，以及分布式的网络功能虚拟化的引入，比如分布式网关、分布式负载均衡、分布式防火墙等等。另外，弹性资源的服务、大规模的资源迁移和调度，对整个网络问题的映射和定位都提出了严峻的挑战。这些问题都是技术团队、支撑运维团队要面对的。

运营上的挑战

在基础设施之上，整个产品的定义或者云运营的定义也面临着挑战。比如，网络作为一个细粒度、稀缺的资源，如何对它进行更精细的管理运营，使之发挥对客户、租户最大的价值，这是对整个云产品运营的挑战。

DeepFlow^TM云网分析如何应对挑战

如前所述，云杉网络作为一家SDN软件公司，我们专注于帮助客户解决网络在云计算中落地的实际问题。接下来我会重点讲述云杉网络DeepFlow^TM云网分析产品如何解决网络中面临的这些问题。

DeepFlow^TM的目标是，以数据驱动，建设一个细粒度、智能的云环境网络。网络数据是DeepFlow^TM平台解决问题的核心所在。首先，我们要能够梳理物理网络、逻辑网络、全网混合网络映射关系；其次，我们以数据为中心逐步打造一个细粒度的、高性能的、智能化的网络。

要实现上述目标，需要做以下事情。

1. 采集：能够全网、全量的采集网络数据，为可视化、分析和控制提供基础支撑。
2. 高性能：随着各类数据中心集中运营，其吞吐量和网络运行能力远超单点和小型的数据中心，要保证网络数据的采集、数据流的转化达到高性能要求，并以最小成本影响和控制生产网络。
3. 控制：如何将各类网络信息进行映射关联，达到细粒度、智能的指导和控制网络的目的。

在这张图中我们能看到，左侧是一个典型的云部署框架图。这里不光有物理网络、虚拟网络，还有各类异构资源的接入。云平台为了满足服务提供和资源池化引入了多租户的概念。当我们转入网络视角后，首先我们要理解物理网络的拓扑、虚拟的逻辑网络以及全网的混合网络的映射。这一些列问题都是企业云化过程中网络所涉及的重点。

网络数据的采集、存储与分析

我们首先需要帮助客户构建面向云网的网络数据平台，这将涉及数据采集、存储和分析以及数据展示几个步骤。云网环境下的数据采集主要分为两大类。第一是流量数据，第二是网络数据以及云平台所涉及到的数据。这里的采集点和采集控制也是一门艺术。物理网络我们可以通过分光和镜像等传统方式获得，但在云网环境中这些数据仅仅只是一部分——我们知道虚拟交换机的数量也是很庞大的，如何根据客户的环境和业务的需求，动态地控制采集点并规模化集中管理才是问题的难点，第三方云平台的信息此时也要同步获取。

DeepFlow^TM得到的基本上就是一个网络的镜像或者说网络的流信息。这里有数据报文和Payload等内容。这些内容并不是1:1地存储在我们的系统中。这里我们会进行一个预处理，包含修改、截断、去重、脱敏、压缩等操作；在数据预处理的过程中我们可以进行实时分析；在数据落盘之后，我们还对第三方工具提供完整的API网络数据服务能力，包括标准数据接口、消息队列、事件、推送等一系列服务。

DeepFlow^TM也作了位置映射、信息映射、流量的路径映射等一些列工作。同时也为网络运维人员提供完整的网络元数据。

网络的智能控制

第二步我们将帮助客户掌握一个细粒度、智能的网络控制能力。我们看到大规模的云网面临很难人工控制的问题。DeepFlow^TM通过对网络数据分析得出的指导策略，对虚拟交换机进行控制，从而对整个云计算网络进行策略模拟、策略验证、策略下发等一系列过程，最终形成从数据源到分析引擎、数据洞察到决策控制整个云网环境的闭环管理。

我们来看一下DeepFlow^TM的产品全景图，左侧是一个基于Spine-Leaf架构的云网环境，它包含了物理网络的基础环境、裸基础设备资源池、OpenStack的控制器以及通过KVM和Ceph存储实现的虚拟资源池；在现实环境中还有各类异构资源（如VMware）的加入。

通过DeepFlow^TM控制器与OpenStack云平台获取租户信息以及云平台配置信息数据；通过SDN获取基础的网络配置数据；基于物理网络的探针和传统流量镜像的工具，在虚拟交换机之上我们获取了数据流和数据流量信息。这些信息汇总到DeepFlow^TM平台，然后存储到一个分布式存储节点，从而为客户提供网络元数据的服务。

DeepFlow^TM产品组成及运行原理

整个产品分为3个重要的产品组件：

• 控制器：实现云网分析和数据可视化的功能，可以控制调度监控交换机的流量以及负载均衡等。
• 采集器：受控于控制器，将通过虚拟交换机的数据流，变成用户可标识的、按需可定制的采集。
• 分析节点：承载数据流量的去重、脱敏、压缩等计算工作和存储工作，是一个基于X86的集群。

此外还有一些附加组件，如传统的封装、镜像工具、第三方监控产品等。以上构成了DeepFlow^TM网络数据平台。云网环境是一个非常复杂的环境，DeepFlow^TM的运行原理如下所示：

DeepFlow^TM所获取和分发的网络流量数据基本上涵盖了所有的网络流量模型。在我们的分析节点最重点的功能是把网络的数据信息变成网络流信息，可以根据用户的需求进行更细粒度的网络行为进行采集。根据用户生产环境中的部署需求，我们的监控网络和分析集群都是可以横向扩展的。最简单的部署是一个控制器加三个分析节点。

总结一下DeepFlow^TM在数据层面的优势，首先是全网、全量的细粒度采集；其次是高性能，云杉网络能在大规模流量下（10K）为客户提供长达一个月的网络数据存储；第三是开放性和不断演进，开放的API和对第三方工具的兼容将协助客户的网络监控运维平台不断演进。最终通过DeepFlow^TM为客户打造一个基于数据驱动的细粒度可控、智能的云计算网络。

客户案例和使用场景

这是一个典型的金融云平台，提供基础的计算和存储的IaaS服务，同时也包括数据库和金融业务的PaaS和SaaS服务；整合其集团的业务和IT支撑能力向中小银行以及集团其他公司提供云服务。该企业在北京、上海、深圳都有数据中心，DeepFlow^TM解决了客户的两个痛点，第一个是带宽精细计量的需求，这是运营方比较大的需求；第二个是快速定位网络故障的需求。

DeepFlow^TM在作为一个数据采集和分析平台出现在客户的运维体系中。我们实现了根据租户、IP地址、Mac地址、协议等一系列可标识的维度精细化地衡量每一个数据流的实际用量，并针对TCP进行精准的会话分析。通过对网络流量的回放和业务的映射等一系列的手段，帮助用户在快速定位问题的时候更加精准和高效。

总的来说DeepFlow^TM的适用场景如下：

DeepFlow^TM在前期采集数据的时候，是将数据包转换成数据流，当发现一个异常或者网络延时、抖动等问题的时候，我们需要秒级地回放整个过程，并查看每个网络行为。通过分析我们要找出特定的一个流或几个流；当定位到问题流之后，我们需要对流进行展开，将一个流、一个会话所包含的数据包与网络平台的信息进行匹配，从而实现了精准定位问题。

简而言之，DeepFlow^TM实现了在采集过程中，从数据包到数据流的转换；在分析问题中实现了从数据流到数据包的一个完整闭环，并且这个过程是不包含Payload数据的。最终我们可以帮助用户进行一系列的后续操作。

DeepFlow^TM是一个涵盖多场景、全网全时、开放性的、易部署和扩展的、云网络可视化以及网络数据的分析平台。将帮助金融客户构建网络数据平台，去深入挖掘网络元数据的价值，去实现一个细粒度、智能可控的云计算网络。最终使金融行业云的运营更加稳健、高效、精细化。

我们曾经有同事讨论，DeepFlow^TM的价值是什么？云杉网络是国内第一支SDN团队，我们始终相信，技术创造价值。DeepFlow^TM以网络数据为核心，帮助客户发现网络的问题、解决网络的问题，帮助客户提高网络的利用价值，这就是我们的价值。

来源，云杉网络联合创始人兼COO，负责公司的产品运营和销售管理，北京大学软件与微电子学院硕士。曾任法国思讯科技（6WIND）技术经理。2011年12月创办云杉网络，成为中国最早的SDN创业公司。