DeepFlow云杉网络-云原生可观测性平台

云杉 世纪

2023年11月27日

云杉动态

DeepFlow 是一款零侵扰的可观测性产品,旨在加速云原生应用和云基础设施的持续创新。

产品介绍

DeepFlow 是云杉网络开发的一款可观测性产品,旨在为复杂的云基础设施及云原生应用提供深度可观测性。DeepFlow 基于 eBPF 实现了应用性能指标、分布式追踪、持续性能剖析等观测信号的零侵扰(Zero Code)采集,并结合智能标签(SmartEncoding)技术实现了所有观测信号的全栈(Full Stack)关联和高效存取。使用 DeepFlow,可以让云原生应用自动具有深度可观测性,从而消除开发者不断插桩的沉重负担,并为 DevOps/SRE 团队提供从代码到基础设施的监控及诊断能力。

产品应用场景

l 云原生业务全景性能监控

覆盖应用、系统、网络的全栈性能指标、链路日志、函数剖析数据,自动关联观测信号的资源属性、服务属性、业务属性、变更事件,通过零侵扰的采集能力和高性能的分析能力可视化展现任意服务、任意调用、任意函数的性能数据。

l 微服务调用全栈链路追踪

展示指定时间段内服务间调用的上下依赖关系,完整追踪微服务所有访问路径,分段呈现两个端点间访问途经的容器节点、云服务器、物理服务器、网络功能等关键位置信息和黄金指标数据,快速定位问题边界,提升排障效率。

l 混合云网络性能监控诊断

面对多地多中心复杂的混合云、异构资源池场景下,基于零侵扰的采集技术将全网流数据、包数据、日志数据聚合、统计、分析、可视化展现,结合资源知识图谱绘制出混合云网络全景图,满足从全局视角到故障点深度钻取的1000多种性能数据的灵活查看。

l 混合云全网流量采集分发

流量采集与分发方案具备较好的平台适应性,支持各类overlay网络方案如Linux Bridge、OVS、VSS、VDS等,以及基于underlay或overlay的各类容器网络方案。提供数据包过滤和分发功能并具备自动跟随能力。整体方案满足10万采集点规模的统一管理。

产品特性

l 任意 Service 的全景图

基于领先的 AutoMetrics 机制,利用 eBPF 技术零侵扰绘制生产环境的服务全景图,包括任意语言开发的服务、未知代码的第三方服务、所有的云原生基础设施服务。内置大量应用协议解析能力,并提供 Wasm 插件机制扩展解析任意私有协议。零侵扰计算每一次调用在应用程序和基础设施中的全栈黄金指标,快速定界性能瓶颈。

l 任意 Request 的分布式追踪

基于领先的 AutoTracing 机制,利用 eBPF 和 Wasm 技术零侵扰实现分布式追踪,支持任意语言的应用程序,并完整覆盖网关、服务网格、数据库、消息队列、DNS、网卡等各类基础设施,不留下任何追踪盲点。全栈,自动采集每个 Span 关联的网络性能指标和文件读写事件。从此,分布式追踪进入零插桩的新时代。

l 任意 Function 的持续性能剖析

基于领先的 AutoProfiling 机制,利用 eBPF 技术以低于 1% 的开销零侵扰采集生产环境进程的性能剖析数据,绘制函数粒度的 OnCPU、OffCPU 火焰图,快速定位应用函数、库函数、内核函数的全栈性能瓶颈,并自动关联至分布式追踪数据。即使在 2.6+ 内核版本下,仍然可提供网络性能剖析能力,洞察代码性能瓶颈。

l 无缝集成流行的可观测性技术栈

可作为 Prometheus、OpenTelemetry、SkyWalking、Pyroscope 的存储后端,亦可提供 SQL、PromQL、OTLP 等数据接口作为流行技术栈的数据源。基于领先的 AutoTagging 机制,自动为所有观测信号注入统一标签,包括云资源、K8s 容器资源、K8s Label/Annotation、CMDB 中的业务属性等,消除数据孤岛。

l 存储性能 10x ClickHouse

基于领先的 SmartEncoding 机制,向所有观测信号注入标准化的、预编码的元标签,相比 ClickHouse 的 String 或 LowCard 方案均可将存储开销降低 10x。自定义标签与观测数据分离存储,从此你可安心注入近乎无限维度和基数的标签,且可获得像 BigTable 一样的轻松查询体验。

解决方案

l DeepFlow 容器化微服务应用的可观测性方案

面向公有云K8s、容器环境,利用eBPF等新技术的零侵入特性实现对网络、系统、应用的全栈黄金指标的采集,对服务调用链以及Service mesh、iptables/ipvs、NAT的逐跳链路追踪,对服务访问的零采样全留存,并结合云资源知识图谱和变更事件数据,搭建立体化的微服务可观测平台。

l DeepFlow 5G核心网网络功能服务监控方案

帮助5G核心网在基于服务架构中统一采集服务间的网络流量,实现对访问调用的全面性能监控,并提供容器化后的全栈路径跟踪。支持IPv4、IPv6协议环境,紧密结合HTTP v2协议,实现服务间关联依赖监控。

l DeepFlow 混合云网络监控诊断方案

通过对网络服务的梳理绘制业务网络拓扑,对异常网络流量的分析预测安全事件,帮助用户从虚拟流量数据中挖掘出数字资产的价值。为企业在混合云、云原生等新型IT基础设施环境演进过程中,补齐网络监控空白,应对云原生特点,紧密结合业务,向网络智能运维迈进。

l DeepFlow 混合云全网流量采集与分发方案

为企业在混合云、云原生等新型IT基础设施环境演进过程中,提供完整地、可持续的平台级流量管理,避免重复投入,重复安装,解决实际网络监管难题,也为企业规划整体运维、安全平台补齐现网流量、流日志这一板块。

所获荣誉

学术论文《Network-Centric Distributed Tracing with DeepFlow: Troubleshooting Your Microservices in Zero Code》作为长文发表于国际顶级会议 ACM SIGCOMM 2023

信通院首届“云系统稳定安全运行优秀案例”

2022爱分析·中国 IT 运维创新实践案例

OSCHINA “2022 年度优秀开源技术团队”

中国开源云联盟2022优秀开源项目

入选 CNCF 云原生全景图(Cloud Native Landscape),收录于 Observability and Analysis 板块

入选 eBPF 全景图(eBPF Landscape)

引用材料

Related Posts

云杉网络 DeepFlow 联合 TDSQL 完成技术兼容互认证

近日,北京云杉世纪网络科技有限公司(以下简称:云杉网络)的云原生可观测性产品 DeepFlow&nb […]

Read More

浅谈云原生可观测性生态的优化和丰富

云杉 世纪

2024年4月5日

云杉动态

云原生可观测数据中的时序数据 Metrics,在业务高基数、持久化存储、乱序写入、多租户隔离等场景下,对后端时 […]

Read More