CANN/asc-devkit GEMV矩阵向量乘法特性说明

GEMV【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit特性说明GEMV的核心功能体现为当矩阵A的维度M取值为1时接口可以手动启用GEMV功能该操作退化为1×K维度的行向量与K×N维度矩阵之间的乘法运算。针对Ascend 950PR/Ascend 950DT产品GEMV模式默认关闭。如需启用GEMV模式需要设置MmadTrait::disableGemv参数为false。特性约束1×K矩阵A需满足512B地址对齐K个数据连续存储。以half类型为例当K256时软件侧可视作16×16分块配置m1后硬件解析为1×256向量可通过Copy接口将256个half数据从L1 Buffer搬至L0A Buffer。C矩阵是一个1×N的向量当1×N向量被划分为多个1×16子向量时每个子向量在L0C Buffer中占用1024B。但实际有效数据仅占最低32B或64B。例如当N50时共划分4个1×16子向量占用4×512B2048B其中有效数据仅为4×32B128B。图1GEMV模式矩阵乘示意图使用优势M1时开启GEMV模式则矩阵乘法将M方向作为非对齐场景进行处理。GEMV模式相较于非对齐处理方式搬运数据量更少性能更好。下面以M1、K256、N32左右矩阵数据类型为half的矩阵乘示例说明。GEMV模式将A矩阵从L1 Buffer搬运到L0A Buffer时1×256的向量被当作16×16的矩阵进行处理调用Copy接口一次完成16×16分形大小的矩阵搬运。B矩阵的搬运以及矩阵乘计算跟基础场景相同如下图所示。图2GEMV模式M1的矩阵乘计算示意图非GEMV模式将A矩阵从L1 Buffer搬运到L0A Buffer时1×256的向量被当作非对齐矩阵数据进行处理将M方向对齐到32字节后进行搬运。调用Copy接口每次搬运16×16分形大小的矩阵一共搬运K/1616次导致搬运数据量增加性能相较于GEMV模式差如下图所示。图3非GEMV模式M不等于1的矩阵乘计算示意图使用示例本GEMV场景示例的规格如下矩阵维度大小数据类型格式A1×4096halfNDB4096×256halfNZC1×256floatND通过Copy接口将输入矩阵A从Global Memory搬运到L1 Buffer上并保持ND格式不变然后在L1 Buffer上将A矩阵转换为NZ格式再通过Copy接口搬运到L0A Buffer从而以GEMV模式执行矩阵乘。另外注意GEMV模式默认是关闭的需要自定义MmadTrait来开启。#include tensor_api/tensor.h using namespace AscendC::Te; struct MmadTraitCustom { using TraitType MmadTrait; // 设置MmadTrait::disableGemv参数为false开启GEMV。 static constexpr const TraitType value MmadTrait(0, false, false, false, MmadType::NORMAL); }; __aicore__ inline void MmadGemvExample(__gm__ half* aGm, __gm__ half* bGm, __gm__ float* cGm) { using AType half; constexpr uint32_t m 1; constexpr uint32_t k 4096; constexpr uint32_t n 256; // 数据类型half的C0_ELEMENT C0_SIZE(32B) / sizeof(half) 161×K向量按NZ格式重排为(K/C0_ELEMENT)×C0_ELEMENT大小的Tensor。 constexpr uint32_t c0 C0_ELEMENTAType; __cbuf__ AType l1ABuf[m * k]; __ca__ AType l0ABuf[m * k]; // A矩阵Global Memory-L1 BufferND-ND1×K行向量按ND连续搬入L1 Buffer。 auto gmATensor MakeTensor(MakeMemPtr(aGm), MakeFrameLayoutNDExtLayoutPtn(m, k)); auto l1ATensor MakeTensor(MakeMemPtr(l1ABuf), MakeFrameLayoutNDExtLayoutPtn(m, k)); auto copyGm2L1 MakeCopy(CopyGM2L1{}, CopyGM2L1TraitDefault{}); Copy(copyGm2L1, l1ATensor, gmATensor); // 在L1 Buffer上把这块连续数据重新解释为(K/C0_ELEMENT)×C0_ELEMENT大小的NZ分形矩阵地址不变仅换Layout。 auto l1ANzTensor MakeTensor(l1ATensor.Data(), MakeFrameLayoutNZLayoutPtn, AType(k / c0, c0)); // L1 Buffer-L0A BufferNZ-NZ非转置搬运一次完成分形搬运。 auto l0ATensor MakeTensor(MakeMemPtr(l0ABuf), MakeFrameLayoutNZLayoutPtn, AType(k / c0, c0)); auto copyL12L0A MakeCopy(CopyL12L0A{}, CopyL12L0ATraitDefault{}); Copy(copyL12L0A, l0ATensor, l1ANzTensor); // B矩阵搬运与基础场景相同此处省略假设已得到l0B。 // ... // Mmad计算使用配置GEMV模式的Trait。 MmadParams params(m, n, k, 0, true); auto atom MakeMmad(MmadOperation{}, MmadTraitCustom{}).with(params); Mmad(atom, l0C, l0ATensor, l0B); }【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考