华为正式开源UCM技术：最大提升22倍 AI推理性能跃升

近日，华为宣布针对AI推理加速的关键技术——UCM（Unified Cache Manager）推理记忆数据管理正式开源。UCM以KV Cache多级缓存和推理记忆管理为中心，通过推理框架、算力、存储