CANN/AMCT量化感知训练配置创建

create_quant_retrain_config【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明量化感知训练接口根据图的结构找到所有可量化的层自动生成量化配置文件并将可量化层的量化配置信息写入配置文件。函数原型create_quant_retrain_config(config_file, model, input_data, config_definationNone)参数说明参数名输入/输出说明config_file输入含义待生成的量化感知训练配置文件存放路径及名称。如果存放路径下已经存在该文件则调用该接口时会覆盖已有文件。数据类型stringmodel输入含义待进行量化感知训练的模型已加载权重。数据类型torch.nn.Moduleinput_data输入含义模型的输入数据。一个torch.tensor会被等价为tuple(torch.tensor)。数据类型tupleconfig_defination输入含义简易配置文件。基于retrain_config_pytorch.proto文件生成的简易配置文件quant.cfg*.proto文件所在路径为AMCT安装目录/amct_pytorch/proto/。*.proto文件参数解释以及生成的quant.cfg简易量化配置文件样例请参见量化感知训练简易配置文件。默认值None。数据类型string量化支持的层及约束支持的层类型约束备注torch.nn.Linear-复用层共用weight和bias参数不支持量化。torch.nn.Conv2dpadding_mode为zeros由于硬件约束原始模型中输入通道数Cin16时不建议进行量化感知训练否则可能会导致量化后的部署模型推理时精度下降只支持input data的shape为(N, Cin, Hin, Win)torch.nn.ConvTranspose2dpadding_mode为zeros由于硬件约束原始模型中输入通道数Cin16时不建议进行量化感知训练否则可能会导致量化后的部署模型推理时精度下降只支持input data的shape为(N, Cin, Hin, Win)返回值说明无调用示例import amct_pytorch as amct # 建立待量化的网络图结构 model build_model() model.load_state_dict(torch.load(state_dict_path)) input_data tuple([torch.randn(input_shape)]) # 生成量化配置文件 amct.create_quant_retrain_config(config_file./configs/config.json, modelmodel, input_datainput_data)落盘文件说明生成JSON格式的量化感知训练配置文件样例如下重新执行量化感知训练时该接口输出的配置文件将会被覆盖参数解释请参见量化感知训练配置参数。{ version:1, batch_num:1, conv1:{ retrain_enable:true, retrain_data_config:{ algo:ulq_quantize, dst_type:INT8 }, retrain_weight_config:{ algo:arq_retrain, channel_wise:true, dst_type:INT8 } }, layer1.0.conv1:{ retrain_enable:true, retrain_data_config:{ algo:ulq_quantize, dst_type:INT8 }, retrain_weight_config:{ algo:arq_retrain, channel_wise:true, dst_type:INT8 } }, fc:{ retrain_enable:true, retrain_data_config:{ algo:ulq_quantize, dst_type:INT8 }, retrain_weight_config:{ algo:arq_retrain, channel_wise:false, dst_type:INT8 } } }【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考