CANN/asc-devkit随路量化ReLU组合

随路量化与随路ReLU场景组合矩阵搬出支持多种随路量化与随路ReLU的组合芯片支持的全量场景组合参考下表接下来将对下表中的随路量化ReLU算法逐一介绍。随路量化与随路ReLU的组合情况如下表所示表1随路量化与随路ReLU的组合表NPU架构版本2201quantPre\reluPreno ReLUNormal ReLU•REQ8•DEQF16•QF322B8_PREM1QUANT_PRE[31:0]M2QUANT_PRE[31:0]M1、M2均为量化参数M1QUANT_PRE[31:0]M20M1为量化参数、M2为Normal ReLU系数•VREQ8•VDEQF16•VQF322B8_PREM1Quant_PRE_ADDR[i][31:0]M2Quant_PRE_ADDR[i][31:0]M1、M2均为量化参数i为原始矩阵的列索引M1Quant_PRE_ADDR[i][31:0]M20M1为量化参数M2为Normal ReLU系数i为原始矩阵的列索引表2随路量化与随路ReLU的组合表NPU架构版本2201quantPre\reluPreno ReLUNormal ReLU•REQ8•DEQF16•QF322B8_PRE•QF322FP8_PRE•QF322HIF8_PRE•QF322HIF8_PRE_HYBRID•QS322BF16_PRE•QF322F16_PRE•QF322BF16_PRE•QF322F32_PREM1QUANT_PRE[31:13]M2QUANT_PRE[31:13]M1、M2均为量化参数M1QUANT_PRE[31:13]M20M1为量化参数、M2为Normal ReLU系数•VREQ8•VDEQF16•VQF322B8_PRE•VQF322FP8_PRE•VQF322HIF8_PRE•VQF322HIF8_PRE_HYBRID•VQS322BF16_PRE•VQF322F16_PRE•VQF322BF16_PRE•VQF322F32_PREM1Quant_PRE_ADDR[i][31:13]M2Quant_PRE_ADDR[i][31:13]M1、M2均为量化参数i为原始矩阵的列索引M1Quant_PRE_ADDR[i][31:13]M20M1为量化参数M2为Normal ReLU系数i为原始矩阵的列索引注M1为原始数据取值为正数时使用的随路系数M2为原始数据取值为负数时使用的随路系数N为右移位数即量化系数以下为几种量化模式的Python示例代码跳转链接(V)REQ8量化(Vector)ReQuant (u)int8量化与随路ReLU组合将L0C Buffer上int32_t数据搬出过程中转换成int8_t/uint8_t具体随路量化与ReLU算法的完整Python示例代码请参考(V)REQ8量化算法。DEQF16与VDEQF16量化与随路ReLU组合将L0C Buffer上int32_t数据搬出过程中转换成halffloat16具体随路量化与ReLU算法的完整Python示例代码请参考(V)DEQF16算法。QF322B8_PRE与VQF322B8_PRE量化与随路ReLU组合将L0C Buffer上float数据搬出过程中转换成int8_t/uint8_t具体随路量化与ReLU算法的完整Python示例代码请参考(V)QF322B8_PRE算法。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考