DeepFlow v6.1.1 重大更新 应用性能监控能力极大增强 开源社区同步发布

SDN in China | 2022-08-29

DeepFlow 是一个高度自动化的可观测性协作平台,是为云原生应用开发者建设可观测性能力而量身打造的全栈、全链路、高性能数据引擎。在历时三个月开发后,DeepFlow v6.1.1 正式发布,这是 V6 系列的一个重大迭代版本,也是 DeepFlow 正式发布的第一个社区版

自此以后企业版和社区版将会同步迭代,也将会提升到每两周发布一个小版本的开发节奏,并于大约四个小版本后发布 V6.1 的最后一个小版本(LTS 版本)。希望利用 DeepFlow 帮助开发者提升埋点插码的自动化水平,降低可观测性平台的运维复杂度,激活团队协作,让开发、运维、业务运营团队能在一个频道上对话。

为了打造一个高度自动化的开源可观测性平台,v6.1.1版本对软件架构进行了较大的调整升级,包括将微服务合并、消除部分组件对 DaemonSet、HostNet 等部署模式的依赖、使用 Golang 重构部分 Python 模块等。

最为重要的是,在这个版本中极大的增强了应用性能监控能力

  • 支持集成并关联 OpenTelemetry、SkyWalking 追踪数据,解锁全栈、全链路的无盲点分布式追踪能力,提升不同开发团队之间的沟通效率
  • 支持集成并关联 Prometheus、Telegraf 指标数据,在一个平台上沉淀系统、应用、业务全栈指标,让运维、开发、运营能够协同工作
  • 增强 AutoTagging 和 SmartEncoding 能力,支持注入更多的 K8s 自定义 Label
  • 增强 eBPF AutoTracing 能力,支持采集 Golang HTTPS 调用

01|应用功能

1. 指标数据增强

  • 支持集成 Prometheus 指标数据(实现 `remote_write` 接口)
  • 支持集成 Telegraf 指标数据
  • 支持向集成的指标数据中自动注入云资源、容器资源、K8s 自定义 Label 标签(AutoTagging)

2. 分布式追踪增强

  • 支持集成 OpenTelemetry 追踪数据
  • 支持集成 SkyWalking 追踪数据
  • 支持关联应用、系统、网络 Span,实现全栈、全链路的无盲点追踪能力
  • 支持向集成的追踪数据中自动注入云资源、容器资源、K8s 自定义 Label 标签(AutoTagging)

3. 应用调用采集能力增强

  • 支持 eBPF 采集 Golang 的 HTTPS 调用日志和性能指标
  • 支持 eBPF/BPF 采集 MQTT 3.1 调用日志和性能指标(Beta)
  • 应用协议解析去掉端口号限制

4. Grafana 支持增强

  • 新增交互式的 DeepFlow Query Editor,一个全新的零门槛查询条件编辑器
  • 新增 DeepFlow AppTracing Panel,用于绘制调用链追踪火焰图
  • 新增 DeepFlow Topo Panel,用于绘制调用拓扑图

5. 搜索能力提升

  • 支持查询已删除资源的历史数据
  • 支持利用 K8s 自定义 Label 搜索所有数据
  • 支持基于 K8s 自定义 Label 对所有数据进行分组
  • 支持基于所有可搜索字段创建模板变量

6. 流日志聚合逻辑调整

  • 流日志仅记录当前周期内出现的 TCP Flag
  • 在采集到的 FIN-FIN-ACK 序列后滞后超时,等待最后一个 ACK
  • 存储流量中的 VLAN 字段

7. 指标量新增 Math 算子

02|系统功能

1. 提供 deepflow-ctl 命令行工具用于 CLI 管理

2. Agent(采集器)

  • 支持同时解析 HTTP、Dubbo 协议中多种规范的 TraceID、SpanID
  • 支持采集 loopback 接口上 VIP 的网络和应用性能数据
  • 采集网口默认配置支持 Calico、Flannel、Qemu、Cilium、Kube-OVN、localhost、物理网卡
  • 将所有不阻碍采集器启动的配置项上移到由控制器下发,提供声明式的分组配置 API
  • 支持远程限制 deepflow-agent(Rust)的 CPU 用量
  • 采集器分配控制器或数据节点失败后支持自愈

3. Server(控制器、数据节点)

  • 支持同步 K8s 自定义 Label
  • 支持滞后删除已删除资源的信息
  • 为所有数据表提供统一的 Schema API 和 SQL 查询 API
  • 合并控制器、数据节点的主要模块为 deepflow-server
  • 优化控制器、数据节点部署方式,降低对 DaemonSet、HostNet 的依赖
  • 优化主控制器选举逻辑,去掉对 Zookeeper 的依赖
  • 消除数据库中存储的明文秘钥

加入DeepFlow开源社区

体验高度自动化的可观测性新时代

官网链接

https://deepflow.yunshan.net/community.html

GitHub 地址

https://github.com/deepflowys/deepflow

访问 DeepFlow 文档

https://deepflow.yunshan.net/docs/about/overview/