基于eBPF技术的LLM推理服务全栈可观测性：架构、挑战与实践

本文系统性阐述了在云原生环境下，利用扩展伯克利包过滤器（eBPF）技术实现大语言模型（LLM）推理服务全栈可观测性的方法与架构。内容涵盖自建千亿参数LLM推理服务在异构硬件（如昇腾910B）与分布式框架（如vLLM, Ray）下面临的挑战，分析了传统可观测性三大支柱（指标、追踪、日志）及新兴性能剖析支柱的不足。文章重点介绍了DeepFlow平台如何通过eBPF实现零代码侵入的全栈指标采集、全链路追踪与混合栈（CPU/GPU）性能剖析，并辅以智能体应用与中国移动的落地案例，验证了该方案在优化GPU利用率、定位推理延迟及适配流式协议等方面的有效性。