PowerInfer-2:第一个智能手机上高速推理大型语言模型

     大型语言模型(LLMs)以其卓越的理解和生成类人文本的能力,从根本上增强了我们的日常生活,并改变了我们的工作环境。当今最先进的LLMs,如GPT4和Claude-3,托管在数据中心,配备了最先进的GPU(例如,NVIDIA H100)。这些GPU提供了广泛的高带宽内存,并提供了达到数千万亿次的计算能力。同时,出现了一个趋势,即将LLMs部署在无处不在的智能手机上,将它们转变为智能个人助理。这种转变旨在充分利用丰富的个人数据,同时通过避免将私有数据传输到云服务来维护隐私。

     然而,尽管智能手机广泛使用,它们在满足LLM推断的复杂需求方面存在困难,因为它们的处理能力和内存大小受到限制。为了解决这些问题,研究人员探索了两种有希望的方法,用于在资源受限的条件下提供LLM推断。鉴于智能手机的有限内存容量,一种策略是部署缩减版的LLMs。例如,Google的Gemini Nano 3.25B,使用不到2GB的内存,通过减少智能能力以适应内存限制,代表了一种折中。这是由于更大的模型具有增强的智能,这种现象被称为“规模定律”。或者,一些技术旨在降低LLM权重在推断期间的计算和存储需求。PowerInfer通过将热激活神经元分配给GPU,冷神经元分配给CPU,在个人计算机(PC)上实现了11倍的推断速度提升。另一种方法,LLM in a Flash,通过使用基于闪存的NVMe存储来存储大型模型权重,来缓解内存限制。然而,这些解决方案在智能手机上失败了,因为智能手机具有较弱的、异构的硬件和存储设备,带宽较低,并且由于单个命令队列而不支持并发访问。这使得I/O活动成为移动设备上LLM推断的常见瓶颈。

     PowerInfer-2,这是第一个在智能手机上执行LLM高速推断的框架,可以容纳高达470亿参数的模型,这些模型超出了设备的内存容量。PowerInfer-2是PowerInfer项目的后续工作,专门为智能手机设计。

1 背景

1.1 LLM 推理过程与关键指标

大语言模型(LLM)的推理过程主要分为两个阶段:

  • 预填充阶段 : 处理用户输入的所有 token,生成第一个 token。
  • 解码阶段 (Decoding): 逐个生成后续 token,直到输出序列完整或遇到结束 token (EOS)。

这两个阶段具有不同的计算模式:

  • 预填充阶段: 处理所有 token,计算量较大。
  • 解码阶段: 每次迭代只处理一个 token,计算量相对较小,但具有显著的稀疏性。

为了优化性能,LLM 推理系统需要针对这两个阶段分别设计计算策略。

1.2 可预测的稀疏激活

     主流 LLM,如 GPT-4 和 Llama-2,通常采用解码器-only 的 Transformer 架构,其中 Feed-Forward Network (FFN) 块占据了大部分权重。FFN 块中的激活函数(如 ReLU)会导致大量的稀疏激活,即大部分神经元处于非激活状态。

    幸运的是,FFN 块中神经元的激活情况可以在计算之前进行预测。例如,PowerInfer 和 DejaVu 等框架使用小型 MLP 网络来预测 FFN 块中神经元的动态激活情况。通过这些预测器,可以显著减少 FFN 中的神经元计算数量,从而加速推理过程。

1.3 智能手机存储分析

智能手机通常缺乏足够的 DRAM 内存来存储整个 LLM,因此部分模型权重需要存储在外部存储设备中,例如 Snapdragon 8gen3 中的 UFS 4.0。

为了设计高效的 LLM 推理系统,需要考虑智能手机存储介质的性能特征,包括:

  • 读取吞吐量与块大小: 读取带宽随着读取块大小的增加而增加。
  • 随机读取与数据范围: 随机读取的性能受随机读取范围的影响,范围越小,带宽越高。
  • 读取吞吐量与 CPU 核心: CPU 核心的频率越高,读取带宽越高。
  • 读取吞吐量与核心数量: 与 NVMe 不同,UFS 存储只有一个命令队列,不支持并发访问,因此使用多个核心进行随机读取并不会提高 I/O 带宽。

2 PowerInfer-2

PowerInfer-2 是一个专为智能手机设计的高性能 LLM 推理框架,旨在解决智能手机计算能力有限和内存容量不足的挑战。它通过将传统的矩阵计算分解为细粒度的神经元集群计算,并利用智能手机中异构的计算、内存和 I/O 资源,实现了低延迟和高效率的 LLM 推理。

官网:https://powerinfer.ai/v2/

2.1 设计目标

  • 低推断延迟:最小化预填充阶段(TTFT)和解码阶段(TBT)的推断延迟。
  • 低内存占用:在推断期间减少内存使用,使得即使模型大小超过设备的内存限制,也能实现低延迟的LLM推断。
  • 灵活性:确保设计能够无缝适应具有不同计算、内存和存储容量的智能手机。

2.2 核心概念

PowerInfer-2 引入了一个多态神经元引擎,该引擎动态地将神经元组合成神经元簇,利用LLM推断阶段和异构XPU的不同计算特性。

  • 神经元簇的大小由计算单元的计算能力决定。
  • 通过这种抽象,PowerInfer-2能够充分利用不同计算能力的XPUs。

2.3 架构

PowerInfer-2的架构分为在线推理和离线规划两部分,协同工作以实现高效的推理。

2.3.1 在线推理

PowerInfer-2 的在线推理流程包括以下四个协同组件:

  • 多态神经元引擎: 根据推理阶段和硬件特性,动态地将神经元组合成神经元集群,并选择合适的计算单元进行计算。
  • 内存神经元缓存: 存储频繁访问的神经元权重,以减少 I/O 操作的开销。
  • 灵活的神经元加载: 根据模型的量化方法和 UFS I/O 特性,采用不同的加载策略,例如随机读取和顺序读取,以优化 I/O 读取吞吐量。
  • 神经元集群级流水线: 将神经元集群的计算和 I/O 操作重叠执行,以最小化 I/O 等待时间。

2.3.2 离线规划

PowerInfer-2 的离线规划流程负责生成执行计划,指导在线推理过程。执行计划包括以下配置信息:

  • 计算配置: 确定 CPU 和 NPU 在不同阶段或层的使用比例。
  • 内存配置: 根据用户设定的推理速度,计算最优的神经元缓存大小。
  • I/O 配置: 根据模型的稀疏性和冷热神经元的分布,确定灵活的神经元加载策略。

2.4 关键技术

2.4.1 多态神经元引擎

多态神经元引擎是 PowerInfer-2 的核心组件,它根据 LLM 推理的不同阶段和硬件特性,动态地将神经元组合成神经元集群,并选择合适的计算单元进行计算。

  • 基于 NPU 的预填充: 在预填充阶段,所有用户输入的 token 都会并发处理,因此 PowerInfer-2 使用包含所有神经元的大的神经元集群,并利用 NPU 在处理大型矩阵乘法方面的优势来加速计算。
  • 基于 CPU 的解码: 在解码阶段,每次迭代只处理一个 token,因此 PowerInfer-2 使用小的神经元集群,并利用 CPU 核心的灵活性来处理稀疏计算任务。

2.4.2 内存神经元缓存

内存神经元缓存用于存储频繁访问的神经元权重,以减少 I/O 操作的开销,具有以下特点:

  • 分段设计: 根据不同 LLM 权重类型的特点,将缓存分为多个区域,每个区域采用不同的缓存策略,例如 LRU 替换策略。
  • 神经元粒度: 缓存操作在神经元粒度上进行,可以更有效地利用缓存空间并提高缓存命中率。

2.4.3 灵活的神经元加载

PowerInfer-2 根据模型的量化方法和 UFS I/O 特性,采用不同的加载策略,以优化 I/O 读取吞吐量:

  • 无量化模型: 使用大粒度的随机读取,例如一次性读取一个神经元的所有权重数据。
  • 4 位量化模型: 使用小粒度的随机读取,并根据预测结果动态决定是否进行第二次读取,以避免不必要的 I/O 操作。

2.4.4 神经元集群级流水线

神经元集群级流水线技术将神经元集群的计算和 I/O 操作重叠执行,以最小化 I/O 等待时间:

  • 将矩阵计算分解为神经元集群: PowerInfer-2 将矩阵计算分解为多个神经元集群的计算,每个神经元集群可以独立执行。
  • 并发执行计算和 I/O 操作: 当一个神经元集群的计算完成后,立即开始处理下一个矩阵中内存中的神经元集群的计算,从而隐藏 I/O 等待时间。

2.4.5 执行计划生成

PowerInfer-2 的离线规划流程会根据模型和硬件特性生成执行计划,指导在线推理过程:

  • 硬件特性分析: 使用离线分析器评估 CPU、I/O 和内存的性能。
  • 模型特性分析: 使用离线分析器评估模型的稀疏性、冷热神经元的分布和缓存特性。
  • 成本模型: 使用成本模型优化执行计划,目标是最大化解码速度,同时满足用户指定的约束条件。

3 评估

3.1 实验设置

3.1.1 硬件选择

  • OnePlus 12 和 OnePlus Ace 2: 选择了高端和中端手机进行评估,代表不同性能水平的智能手机。
  • Snapdragon 8 Gen 3 和 Snapdragon 8+ Gen 1: 不同的 SoC,体现了不同计算能力的差异。
  • UFS 4.0 和 UFS 3.1: 不同的存储介质,评估其对 I/O 性能的影响。

3.1.2 模型选择

选择了四种不同架构和模型大小的语言模型,分别是:

  • 稀疏Llama-7B/13B
  • TurboSparse-Mixtral-47B
  • TurboSparse-Mistral-7B

3.1.3. 基线

PowerInfer-2与三种最先进的LLM推断框架进行了比较:llama.cpp、LLM in a Flash和MLC-LLM。Llama.cpp是目前支持将部分模型权重卸载到闪存存储(通过mmap)的最快大型模型推断框架,也是许多其他框架的后端,如Ollama。LLM in a Flash是为PC环境设计的,不是开源的。对于PowerInfer-2和LLMFlash,部署了我们的稀疏化模型,而其他基线系统则使用了原始模型进行速度比较。

3.1.4 工作负载

评估的工作负载是从实际LLM任务中选择的,包括多轮对话, 代码生成, 数学问题求解角色扮演:,评估 PowerInfer-2 在不同任务下的性能表现。

3.1.5 评估指标

  • 生成速度 (tokens/s): 作为主要评估指标,直观地反映系统性能。
  • 预填充速度和解码速度: 分别评估预填充和解码阶段的性能。
  • 解码速度分布: 分析不同任务和 token 级别的解码速度分布,评估系统的鲁棒性。

3.2 评估结果

  • 性能提升: PowerInfer-2 在多种模型和硬件上实现了显著的性能提升,最高可达 29.2 倍。
  • 内存节省: 在内存充足的情况下,PowerInfer-2 能够节省约 40% 的内存使用,同时保持高性能。
  • 鲁棒性: PowerInfer-2 在不同任务下表现出良好的鲁棒性,解码速度稳定。

3.3 关键发现

  • NPU 优势: 在预填充阶段,NPU 的计算能力显著优于 CPU 和 GPU。
  • I/O 优化: PowerInfer-2 通过灵活的神经元加载和神经元级流水线机制,有效减少了 I/O 延迟。
  • 缓存策略: 分段神经元缓存设计有效地提高了缓存命中率,降低了 I/O 负载。
  • 内存容量影响: 解码速度随内存容量线性增长,表明 I/O 是主要瓶颈。

3.4 未来工作

  • 支持更多模型和硬件: 将 PowerInfer-2 扩展到更多 LLM 模型和智能手机硬件。
  • 模型压缩: 探索模型压缩技术,进一步降低模型大小和内存占用。
  • 端到端优化: 将 PowerInfer-2 与其他优化技术相结合,实现端到端的 LLM 推理优化。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>