云原生可观测性在高并发场景下的表现如何

一、性能影响

1. 对业务性能的影响

以DeepFlow Agent为例，测试结果表明其对典型高负载生产业务的TPS（Transactions Per Second）无任何影响、CPU增长仅0.46%、平均单个调用的RT（Response Time）增长小于1ms。

2. 自身资源开销

DeepFlow Agent在1核1GB内存限制下可采集90K RPS HTTP流量，或122K CPS并发的TCP流量，或20 + Gbps（未到极限）TCP Flood流量，或1.28Mpps UDP Flood流量。

二、数据处理能力

1. 数据采集

云原生可观测性平台需要具备强大的数据采集能力，能够采集包括基础设施层（如节点的健康状况、资源使用情况等）、操作系统层、容器或集群层（如容器的运行状态、Pod的健康状况等）以及应用层（如应用程序的性能指标、用户访问数据等）各个层面的数据。

例如，在ACK集群中，可以部署ack

node – problem – detector组件开启事件监控功能，部署Prometheus（包括使用阿里云Prometheus监控和开源Prometheus监控）实时监控集群和容器的健康状况，将Pod日志接入至阿里云日志服务SLS等。

2. 数据处理与分析

可观测性平台要具备数据编排能力，能够灵活地集成额外的数据，并根据需求进行数据处理和分析。例如，需要具备函数开发、管理、执行的能力，以满足特定业务场景的观测需求。

像OpenObserve拥有强大的数据压缩技术，在不牺牲性能的前提下，极大地减少了所需的存储空间，结合其智能存储策略，能够在海量数据面前保持良好性能。

三、稳定性

1. 平台自身稳定性

可观测性平台应具备稳定性，在适配云原生环境的基础上，实现一些非功能的、优化可观测性平台自身可靠性的特性，如资源的弹性伸缩与平台的高可用。平台具备动态资源扩缩容的能力，可以根据自身的负载情况进行自动调整，平台应具备容灾能力，系统内任何单实例故障不影响系统核心功能和体验。

2. 对业务稳定性的保障

通过可观测性提供的指标、链路追踪和日志等详细的稳态指标数据，可以更全面和精确地评估混沌实验影响，分析可观测性数据判断应用系统对故障的容错能力，据此做出系统稳定性改进计划。

可观测性能够在分布式环境下对多个节点的信息做关联，对各个服务和中间件性能指标做采集和数据可视化，有助于快速定位服务宕机或性能下降的原因，保障业务稳定性。

四、适配性

1. 环境适配

可观测性平台需要对用户的环境进行适配，不仅要支持传统的单体环境的部署，还应该支持云原生环境，以提高资源的利用率以及方便后期的维护。适配多种操作系统（如Linux、MacOS、Windows、Debian、AIX等）、多种硬件环境（如x86、amd64、arm、arm64、risc、PowerPC等）、容器环境（如Docker、Kubernetes、Openshift等）、多种存储介质（如MySQL、Redis、InfluxDB、SQL Server、Oracle、Elasticsearch等多种类型数据库）以及多云或混合云环境。

2. 技术栈适配

在LLM应用可观测性中，面对不同应用的语言技术栈多样、技术框架多样、不同的大模型调用等情况，需要考虑如何低成本高质量地采集数据发现并定位线上问题。

五、应用价值体现

1. 故障排查与定位

可观测性覆盖系统内部的所有层面和组件，当系统出现故障时，能够通过关联多个节点的信息和分析性能指标，快速定位服务宕机或性能下降的原因，例如发现某个服务因资源耗尽或错误配置而导致宕机。

2. 性能优化

通过监控和分析各个服务的数据库请求和响应时间，可以确定是哪些具体业务操作导致了数据库产生大量慢SQL，从而优化查询或调整服务调用方式。

3. 用户体验保障

分析系统中各个服务的运行状态和用户访问数据，了解当前故障对哪些用户或业务流程产生了影响，在性能下降或者报错时及时触发告警，第一时间保障用户体验。

4. 资源管理与优化

监控计算资源的负载与效率至关重要，可根据资源使用情况进行分析，实现资源的合理分配和优化利用。