【2023 · CANN训练营第一季】进阶班 应用开发深入讲解→模型推理

1 模型离线推理

各步要解析如下:

• Host&Device内存管理与数据传输: Host&Device上的内存申请与释放，内存间的相互拷贝;
• 模型加载:将离线的om文件加载到Device上;在样例的资源初始化模块中进行。
• 模型输入输出准备∶根据禹线om的输入输出，在Device上申请好模型的输入输出内存;在样例的资源初始化模炔中进行。
• 执行推理:当模型的输入内存获取到有效数据后，便可以调用AscendCL接口执行模型推理，推理完成后结果生成到输出内存中;在样例的模型推理模块中进行。
• 输出解析︰使用AscendCL接口，将模型输出数据从特定格式中解析出来;在输出数据处理模块中进行。下面将按步要进行说明。

2 Host&Device内存管理与数据传输

代码中加载输入数据时，需要申请Host内存进行存储，当输入数据处理完毕后，需要将处理完成的数据从Host内存拷贝到Device的模型输入内存中。以便于Device进行模型推理的专用计算。
以上就是Host&Device内存管理与数据传输的典型场景。对于Host&Device内存管理与数据传输来说，实际上就是:

• Host内存管理: Host侧内存申请与释放
• Device内存管理:Device侧内存串请与释放
• Host&Device数据传输: Host和Device上的内存拷贝
  内存管理中其它功能:
• 内存初始化:对申请出来的Host或Device内存进行初始
  化。
• Device内存查询:查询Deivce上有多少内存。

2.1 Host侧内存申请与释放

Host侧内存申请与释放接口的使用方式比较简单。函数原型如下:

aclError aclrtMallocHost(oid**hostPtr, size_t size);acError aclrtFreeHost(void*hostPtr);

其中aclrtMallocHost是内存申请接口。aclrtFreeHost是其对应的释放接口;调用伪代码如下

void *hostlnput = nullptr;
int64_t size_input = 256;
ret = aclrtMallocHost(8hostlnput, size_input);if (hostlnput I= nullptr){
ret = aclrtFreeHost(hostlnput);
}

注意:Host&Device申请和释放的配套关系类似1.acirtMalloc和aclrtFree要成对出现。
2.用aclrtMalloc申请出来的内存高要对齐。
内存大小向上对齐成32整数倍+32字节(m=ALIGN_UPlen,32]+32字节);
内存起始地址高满足64字节对齐(AilGN_UP[m,64])。

2.2 Device侧内存申请与释放

Device侧内存申语与释放接口和Host侧的很相似，函数原型如下:

aclError aclrtMalloclvoid **dePtr, size_t size,aclrtMemMallocPolicy policy);
aclError aclrtFreelvoid *devPtr);

申请内存的接口多了个参数: policy，指明申请内存的策略。当前一共有三种策略可选:

• ACL MEM MALLOC HUGE FIRST:当申请内存小于等于1M申请普通页内存。当申请内存大于1M时，优先申请天页内存，如果不够。则使用普通内存
• AcL MEM_MALLOC_HUGE_ONLY:仅申请大页，如果大页内存不够，则返回
  错误
• ACL MEM MALLOC_NORMAL ONLY:仅申请普通页

void*devlnput = nullptr;
size_input -256;
ret = aclrtMalloc(BdevInput size_input,ACL_MEM_MALLOC_HUGE_FIRST5;if (devlnput != nullptr){
ret = aclrtFree(devInput);}

2.3 内存初始化

刚申请出来的内存，里边的数据是随机的，有时需要对其进行统—的初始化，此时可以使用这个接口:
aclError aclrtMemset(void *devPtr, size_t maxCount, int32_tvalue, size_t count);
其参数如下所示:

• devPtr: Host/Device上的内存的起始地址，系统会根据地址自动判断内存位置- maxCount:内存的是大长度，单位byte
• value:设置的值需要设置为指定值的内存长度，单位Byte内存初始化的伪码如下:

void *devlnput = nullptr;size_input = 256;
ret =aclrtMalloc(&devInput, size_input,ACL_MEM_MALLOC_HUGE_FIRST;
ret = aclrtMemset(devlnput,size_input,,1,size_input);ret = aclrtMallocHost(&hostinput, size_input); 
aclrtMemcpy(devlnput size_input, hostlnput, size_input,ACL_MEMCPY_HoST_TO_DevIcE);
ret =aclrtFreeHost(hostlnput);ret = aclrtFree(devlnput);
...
ret = aclrtMalloc(BdevInput size_input,ACL_MEM_MALLOC_HUGE_FIRST5;if (devlnput != nullptr){
ret = aclrtFree(devInput);}

2.4 数据传输

数据传输所使用的内存拷贝函数原型如下:

aclError aclrtMemcpy(void *dst, size_t destMax,const void *src, size_t count, aclrtMemcpyKindkind);

其参数如下所示;. dst:目的地址
. destMax:目的内存地址的最大内存长度，单位Byte. src:源地址
. count:内存复制的长度，单位Byte

• kind:内存复制的类型，预留参数，配置枚举值中的值无效。系统内部会根据源内存地址指针、目的内存地址指针判断是否可以将源地址的数据复制到目的地址，如果不可以，则系统会返回报错。
  其中的关键为kind参数，这里的kind实际上是一组枚举值，枚举定义如下所示:

typedef enum aclrtMemcpyKind {
ACL_MEMCPY_HOST_To_HosT,i/ Host -> HostACL_MEMCPY_HOST_TO_DEVICE,// Host -> DeviceACL_MEMCPY_DEVlCE_TO_HOST,// Device -> HostACL_MEMCPY_DEVICE_TO_DEVICE,// Device -> Device} aclrtMemcpyKind;
aclrtMemcpy(devlnput size_input, hostlnput, size_input,ACL_MEMCPY_HoST_TO_DevIcE);
ret =aclrtFreeHost(hostlnput);ret = aclrtFree(devlnput);
...
ret = aclrtMalloc(BdevInput size_input,ACL_MEM_MALLOC_HUGE_FIRST5;if (devlnput != nullptr){
ret = aclrtFree(devInput);}

2.5 Device内存查询

程序运行过程中，如何实时获取Device上有多少内存，以及多少可用内存呢?那不妨试试下面这个接口

aclError aclrtGetMemInfo(aclrtMemAttr attr, size_t *free, size_t *total)

其中的attr参数指的是内存的类型，枚举定义如下所示:

typedef enum aclrtMemAttr {
ACL_DDR_MEM,//DDR内存，DDR上所有大页内存+普通内存ACL_HBM_MEM,/ /HBM内存，HBM上所有大页内存+普通内存ACL_DDR_MEM_HUGE,//DDR大页内存
AcL_DDR_MEM_NORMAL.1/DDR普通内存ACL_HBM_MEM_HUGE,//HBM大页内存ACL_HBM_MEM_NORMAL, //HBM普通内存
ACL_DDR_MEM_P2P_HUGE.//DDR中用于Device间数据复制的大页内存ACL_DDR_MEM_P2P_NORMAL//DDR中用于Device间数据复制的普通内存ACL_HBM_MEM_P2P_HUGE,//HBM中用于Device间数据复制的大页内存ACL_HBM_MEM_P2p_NORMAL.//HBM中用于Device间数据复制的普通内存
}aclrtMemAttr;

这里提到了DDR和HBM，在这里，只需要知道Ascend910芯片中有HBM内存，在内存申请时会优先使用，使用完毕后再使用DDR内存;而Ascend310芯片中只有DDR内存。所以调用时，只需要根据自己的场景查询所有内存即可。

3 模型加载

模型加载支持多种加载方式，由用户根据需求选择从om模型文件或内存加载模型数据．选择由用户自行管理内存或由AscendCL管理内存。而不管用哪种接口，最终卸载时接口都是统一的。

4 模型输入输出准备

在调用AscendCL接口进行模型推理时，模型推理有输入、输出数据，输入、输出数据需要按照AscendCL规定的数据类型存放。相关数据类型如下:

• 使用aclmdlDesc类型的数据描述模型基本信息，例如输入/输出的个数、数据类型、Format、维度信息等。
• 使用acIDataBuffer类型的数据来描述每个输入/输出的内存地址、内存大小。
• 使用aclmdIDataset类型的数据描述模型的输入、输出数据集。

5 执行推理并获取输出数据

准备好模型执行所需的输入、输出数据类型后，存放好模型执行的输入数据后，可以执行模型推理了。当前AscendCL支持同步模型执行、异步模型执行两种方式，这里说的同步、异步是站在调用者和执行者的角度。

• 若调用模型执行的接口后需等待推理完成再返回，则表示同步的。当用户调用同步模型执行接口后，可直接从该接口的输出参数中获取模型执行的结果数据。接口调用逻辑简单。
• 若调用模型执行的接口后不等待推理完成完成再返回，则表示异步的。异步模型执行时，AscendCL提供了Callback机利，在指定时间内一旦有推理的结果数据，就触发回调函数藐取推理结果，提高处理效率。