| 广告位 |
您现在的位置是：主页 > 营销推广 >
DeepSeek发布FlashMLA，提升大语言模型的解码效率和性能
2025-04-23 22:28营销推广 人已围观
简介2025年02月24日，DeepSeek在其OpenSourceWeek第一天发布了FlashMLA，那么FlashMLA是什么？有什么特点，如何使用呢？一起来看看。 FlashMLA是由DeepSeek最新推出的开源项目，一个专为Hopper GPU（特别是...
2025年02月24日，DeepSeek在其OpenSourceWeek第一天发布了FlashMLA，那么FlashMLA是什么？有什么特点，如何使用呢？一起来看看。
FlashMLA是由DeepSeek最新推出的开源项目，一个专为Hopper GPU（特别是H800）优化的高效多层注意力（MLA）解码内核，针对可变长度序列服务进行了优化，旨在提升大语言模型（LLM）的解码效率和性能，尤其适用于高性能AI推理任务。要求是Hopper GPU、CUDA 12.3 及更高版本及PyTorch 2.0 及更高版本。
FlashMLA主要用于需要高效解码和快速响应的AI任务，具体包括：
FlashMLA开源地址：https://github.com/deepseek-ai/FlashMLA
以下是使用 FlashMLA 的详细指南：
FlashMLA 需要以下环境支持：
安装完成后，可以运行官方提供的 Benchmark 测试脚本，验证 FlashMLA 的性能：
python tests/test_flash_mla.py
在 H800 SXM5 GPU 上，FlashMLA 在内存受限场景下可达到 3000 GB/s 的带宽，在计算受限场景下可实现 580 TFLOPS 的算力。
以下是 FlashMLA 的基本使用示例：Python
from flash_mla import get_mla_metadata, flash_mla_with_kvcache
# 获取元数据
tile_scheduler_metadata, num_splits = get_mla_metadata(
cache_seqlens, s_q * h_q // h_kv, h_kv
)
# 在多层解码中使用 FlashMLA
for i in range(num_layers):
…
o_i, lse_i = flash_mla_with_kvcache(
q_i, kvcache_i, block_table, cache_seqlens, dv,
tile_scheduler_metadata, num_splits, causal=True,
)
…
此代码展示了如何在多层解码过程中调用 FlashMLA。
通过以上步骤，即可快速上手使用 FlashMLA，体验其在高效解码和推理加速方面的优势。
Tags：
| 广告位 |
