CANN/tensorflow NPURunConfig精度调优配置

精度调优【免费下载链接】tensorflowAscend TensorFlow Adapter项目地址: https://gitcode.com/cann/tensorflowprecision_mode_v2算子精度模式配置要求为string类型。fp16表示原图中算子精度为float16、bfloat16或float32时强制选择float16。origin保持原图精度。如果原图中某算子精度为float16AI Core中该算子的实现不支持float16、仅支持float32和bfloat16则系统内部会自动采用高精度float32。如果原图中某算子精度为float16AI Core中该算子的实现不支持float16、仅支持bfloat16则会使用float16的AI CPU算子如果AI CPU算子也不支持则执行报错。如果原图中某算子精度为float32AI Core中该算子的实现不支持float32类型、仅支持float16类型则会使用float32的AI CPU算子如果AI CPU算子也不支持则执行报错。cube_fp16in_fp32outAI Core中该算子既支持float32又支持float16数据类型时系统内部根据算子类型不同选择不同的处理方式。对于矩阵计算类算子系统内部会按算子实现的支持情况处理优先选择输入数据类型为float16且输出数据类型为float32如果1中的场景不支持则选择输入数据类型为float32且输出数据类型为float32如果2中的场景不支持则选择输入数据类型为float16且输出数据类型为float16如果3中的场景不支持则报错。对于矢量计算类算子表示原图中算子精度为float16或bfloat16强制选择float32。如果原图中存在部分算子在AI Core中该算子的实现不支持float32比如某算子仅支持float16类型则该参数不生效仍然使用支持的float16如果在AI Core中该算子的实现不支持float32且又配置了黑名单precision_reduce false则会使用float32的AI CPU算子如果AI CPU算子也不支持则执行报错。mixed_float16表示使用混合精度float16、bfloat16和float32数据类型来处理神经网络。针对原图中float32和bfloat16数据类型的算子按照内置的优化策略自动将部分float32和bfloat16的算子降低精度到float16从而在精度损失很小的情况下提升系统性能并减少内存使用。开启该功能开关后用户可以同时使能Loss Scaling从而补偿降低精度带来的精度损失。mixed_bfloat16表示使用混合精度bfloat16和float32数据类型来处理神经网络。针对原图中float32数据类型的算子按照内置的优化策略自动将部分float32的算子降低精度到bfloat16从而在精度损失很小的情况下提升系统性能并减少内存使用如果算子不支持bfloat16和float32则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。说明仅Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品支持此配置。mixed_hif8开启自动混合精度功能表示混合使用hifloat8此数据类型介绍可参见HiFloat8数据类型介绍、float16、bfloat16和float32数据类型来处理神经网络。针对原图中float16、bfloat16和float32数据类型的算子按照内置的优化策略自动将部分float16、bfloat16和float32的算子降低精度到hifloat8从而在精度损失很小的情况下提升系统性能并减少内存使用。当前版本不支持该选项。说明仅Ascend 950PR/Ascend 950DT支持此配置。cube_hif8表示若原图中的cube算子既支持hifloat8又支持float16、bfloat16或float32数据类型时强制选择hifloat8数据类型。当前版本不支持该选项。说明仅Ascend 950PR/Ascend 950DT支持此配置。训练场景下针对Ascend 950PR/Ascend 950DT该配置项默认值为“origin”。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品该配置项默认值为“origin”。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品该配置项默认值为“origin”。针对Atlas 训练系列产品该配置项无默认取值以“precision_mode”参数的默认值为准即“allow_fp32_to_fp16”。在线推理场景下该配置项默认值为“fp16”。配置示例config NPURunConfig(precision_mode_v2origin)说明该参数不能与“precision_mode”参数同时使用建议使用“precision_mode_v2”参数。在使用此参数设置整个网络的精度模式时可能会存在个别算子存在精度问题此种场景下建议通过keep_dtype_scope接口设置某些算子保持原图精度。混合精度场景下算子的内置优化策略可参见“modify_mixlist”参数的详细说明。bfloat16数据类型不支持以下产品Atlas 训练系列产品Atlas 推理系列产品precision_mode算子精度模式配置要求为string类型。allow_fp32_to_fp16对于矩阵类算子如果原图中算子精度为float32优先降低精度到float16如果AI Core中算子不支持float16则继续选择float32如果AI Core中算子不支持float32则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。如果原图中算子精度为bfloat16则优先使用原图精度bfloat16如果AI Core中算子不支持bfloat16则选择float32如果AI Core中算子不支持float32则直接降低精度到float16如果AI Core中算子不支持float16则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。对于矢量类算子优先保持原图精度如果原图中算子精度为float32则优先使用原图精度float32如果AI Core中算子不支持float32则直接降低精度到float16如果AI Core中算子不支持float16则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。如果原图中算子精度为bfloat16则优先使用原图精度bfloat16如果AI Core中算子不支持bfloat16则选择float32如果AI Core中算子不支持float32则直接降低精度到float16如果AI Core中算子不支持float16则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。force_fp16算子同时支持float16、bfloat16和float32数据类型时强制选择float16数据类型。此参数仅适用于在线推理场景。force_fp32/cube_fp16in_fp32out配置为force_fp32或cube_fp16in_fp32out效果等同该选项用来表示AI Core中该算子既支持float32又支持float16数据类型时系统内部都会根据算子类型不同选择不同的处理方式。cube_fp16in_fp32out为新版本中新增的对于矩阵计算类算子该选项语义更清晰。对于矩阵计算类算子系统内部会按算子实现的支持情况处理优先选择输入数据类型为float16且输出数据类型为float32如果1中的场景不支持则选择输入数据类型为float32且输出数据类型为float32如果2中的场景不支持则选择输入数据类型为float16且输出数据类型为float16如果3中的场景不支持则报错。对于矢量计算类算子表示原图中算子精度为float16或bfloat16强制选择float32。如果原图中存在部分算子在AI Core中该算子的实现不支持float32比如某算子仅支持float16类型则该参数不生效仍然使用支持的float16如果在AI Core中该算子的实现不支持float32且又配置了黑名单precision_reduce false则会使用float32的AI CPU算子如果AI CPU算子也不支持则执行报错。must_keep_origin_dtype保持原图精度。如果原图中某算子精度为float16AI Core中该算子的实现不支持float16、仅支持float32和bfloat16则系统内部会自动采用高精度float32。如果原图中某算子精度为float16AI Core中该算子的实现不支持float16、仅支持bfloat16则会使用float16的AI CPU算子如果AI CPU算子也不支持则执行报错。如果原图中某算子精度为float32AI Core中该算子的实现不支持float32类型、仅支持float16类型则会使用float32的AI CPU算子如果AI CPU算子也不支持则执行报错。allow_mix_precision_fp16/allow_mix_precision配置为allow_mix_precision或allow_mix_precision_fp16效果等同均表示使用混合精度float16、bfloat16和float32数据类型来处理神经网络的过程。allow_mix_precision_fp16为新版本中新增的语义更清晰便于理解。针对原始模型中float32和bfloat16数据类型的算子按照内置的优化策略自动将部分float32和bfloat16的算子降低精度到float16从而在精度损失很小的情况下提升系统性能并减少内存使用。allow_mix_precision_bf16表示使用混合精度bfloat16和float32数据类型来处理神经网络的过程。针对原始模型中float32数据类型的算子按照内置的优化策略自动将部分float32的算子降低精度到bfloat16从而在精度损失很小的情况下提升系统性能并减少内存使用如果AI Core中算子不支持bfloat16和float32则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。说明仅Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品支持此配置。allow_fp32_to_bf16如果原图中算子精度为float32则优先使用原图精度float32如果AI Core中算子不支持float32则降低精度到bfloat16如果AI Core中算子不支持bfloat16则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。如果原图中算子精度为bfloat16则优先使用原图精度bfloat16如果AI Core中算子不支持bfloat16则选择float32如果AI Core中算子不支持float32则使用AI CPU算子进行计算如果AI CPU算子也不支持则执行报错。说明Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品支持此配置。针对Ascend 950PR/Ascend 950DT默认配置项为“must_keep_origin_dtype”。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品默认配置项为“must_keep_origin_dtype”。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品默认配置项为“must_keep_origin_dtype”。针对Atlas 训练系列产品默认配置项为“allow_fp32_to_fp16”。配置示例config NPURunConfig(precision_modeallow_mix_precision)[!NOTE]说明该参数不能与“precision_mode_v2”参数同时使用建议使用“precision_mode_v2”参数。在使用此参数设置整个网络的精度模式时可能会存在个别算子存在精度问题此种场景下建议通过keep_dtype_scope接口设置某些算子保持原图精度。modify_mixlist开启混合精度的场景下开发者可通过此参数指定混合精度黑白灰名单的路径以及文件名自行指定哪些算子允许降精度哪些算子不允许降精度。用户可以在脚本中通过配置“precision_mode_v2”推荐参数或者“precision_mode”参数开启混合精度。黑白灰名单存储文件为JSON格式配置示例如下config NPURunConfig(modify_mixlist/home/test/ops_info.json)ops_info.json中可以指定算子类型多个算子使用英文逗号分隔样例如下{ black-list: { // 黑名单 to-remove: [ // 黑名单算子转换为灰名单算子 Xlog1py ], to-add: [ // 白名单或灰名单算子转换为黑名单算子 MatMul, Cast ] }, white-list: { // 白名单 to-remove: [ // 白名单算子转换为灰名单算子 Conv2D ], to-add: [ // 黑名单或灰名单算子转换为白名单算子 Bias ] } }说明上述配置文件样例中展示的算子仅作为参考请基于实际硬件环境和具体的算子内置优化策略进行配置。混合精度场景下算子的内置优化策略可在“CANN软件安装目录/opp/built-in/op_impl/ai_core/tbe/config/soc_version/aic-soc_version-ops-info-opType.json“文件中查询例如Conv2D:{ precision_reduce:{ flag:true }, ... }true白名单表示混合精度模式下允许当前算子降低精度。false黑名单表示混合精度模式下不允许当前算子降低精度。不配置灰名单表示当前算子的混合精度处理机制和前一个算子保持一致即如果前一个算子支持降精度处理当前算子也支持降精度如果前一个算子不允许降精度当前算子也不支持降精度。customize_dtypes使用precision_mode_v2或precision_mode参数设置整个网络的精度模式时可能会存在个别算子存在精度问题此种场景下可以使用customize_dtypes参数配置个别算子的精度模式而模型中的其他算子仍以precision_mode_v2或precision_mode指定的精度模式进行编译。需要注意当precision_mode_v2取值为“origin”或precision_mode取值为“must_keep_origin_dtype”时customize_dtypes参数不生效。该参数需要配置为配置文件路径及文件名例如/home/test/customize_dtypes.cfg。配置示例config NPURunConfig(customize_dtypes/home/test/customize_dtypes.cfg)配置文件中列举需要自定义计算精度的算子名称或算子类型每个算子单独一行且算子类型必须为基于Ascend IR定义的算子的类型。对于同一个算子如果同时配置了算子名称和算子类型编译时以算子名称为准。配置文件格式要求# 按照算子名称配置 Opname1::InputDtype:dtype1,dtype2,…OutputDtype:dtype1,… Opname2::InputDtype:dtype1,dtype2,…OutputDtype:dtype1,… # 按照算子类型配置 OpType::TypeName1:InputDtype:dtype1,dtype2,…OutputDtype:dtype1,… OpType::TypeName2:InputDtype:dtype1,dtype2,…OutputDtype:dtype1,…配置文件配置示例# 按照算子名称配置 resnet_v1_50/block1/unit_3/bottleneck_v1/Relu::InputDtype:float16,int8,OutputDtype:float16,int8 # 按照算子类型配置 OpType::Relu:InputDtype:float16,int8,OutputDtype:float16,int8说明算子具体支持的计算精度可以从算子信息库中查看默认存储路径为CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/config/soc_version/aic-soc_version-ops-info-opType.json。通过该参数指定的优先级高因此可能会导致精度/性能的下降如果指定的dtype不支持会导致编译失败。若通过算子名称进行配置由于模型编译过程中会进行融合、拆分等优化操作可能会导致算子名称发生变化进而导致配置不生效未达到精度提升的目的。此种场景下可进一步通过获取日志进行问题定位关于日志的详细说明请参见《日志参考》。【免费下载链接】tensorflowAscend TensorFlow Adapter项目地址: https://gitcode.com/cann/tensorflow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考