Android 13 - Media框架（14）- OpenMax（二）

这一节我们将来解析 media.codec 这个 HIDL service 究竟提供了什么服务，服务是如何启动的。

1、main 函数

我们先来看 frameworks/av/services/mediacodec/main_codecservice.cpp：

int main(int argc __unused, char** argv)
{strcpy(argv[0], "media.codec");LOG(INFO) << "mediacodecservice starting";signal(SIGPIPE, SIG_IGN);android::ProcessState::initWithDriver("/dev/vndbinder");android::ProcessState::self()->startThreadPool();::android::hardware::configureRpcThreadpool(64, false);// Default codec servicesusing namespace ::android::hardware::media::omx::V1_0;sp<IOmx> omx = new implementation::Omx();if (omx == nullptr) {LOG(ERROR) << "Cannot create IOmx HAL service.";} else if (omx->registerAsService() != OK) {LOG(ERROR) << "Cannot register IOmx HAL service.";} else {LOG(INFO) << "IOmx HAL service created.";}sp<IOmxStore> omxStore = new implementation::OmxStore(property_get_int64("vendor.media.omx", 1) ? omx : nullptr);if (omxStore == nullptr) {LOG(ERROR) << "Cannot create IOmxStore HAL service.";} else if (omxStore->registerAsService() != OK) {LOG(ERROR) << "Cannot register IOmxStore HAL service.";}::android::hardware::joinRpcThreadpool();
}

main 函数中创建了 IOmx 和 IOmxStore 两个对象，说明这一个进程有两个服务。

我会对这里的代码有一点疑问，media.codec 这个进程作为 HIDL service 应该使用 /dev/hwbinder，main函数一开始为什么打开的是 /dev/vndbinder 呢？

观察可以看到 IOmx 会调用 registerAsService 方法，这个方法可以在 HIDL 编译生成文件中找到：

::android::status_t IOmx::registerAsService(const std::string &serviceName) {return ::android::hardware::details::registerAsServiceInternal(this, serviceName);
}

内部调用了 registerAsServiceInternal 方法将服务对象注册到了 /dev/hwbinder，至于为什么要打开 /dev/vndbinder 我猜测可能是为了给 vendor 进程调用吧…

---

2、IOmx

Omx 的构造函数创建了一个 OMXStore 用于加载、创建、管理所有的 OMX 组件，以及一个 MediaCodecsXmlParser 用于加载 Media 相关的 xml 配置文件。

Omx::Omx() :mStore(new OMXStore()),mParser() {(void)mParser.parseXmlFilesInSearchDirs();(void)mParser.parseXmlPath(mParser.defaultProfilingResultsXmlPath);
}

接下来对 IOmx 提供的其他服务接口做简单的功能介绍：

    Return<void> listNodes(listNodes_cb _hidl_cb) override;Return<void> allocateNode(const hidl_string& name,const sp<IOmxObserver>& observer,allocateNode_cb _hidl_cb) override;Return<void> createInputSurface(createInputSurface_cb _hidl_cb) override;// Method from hidl_death_recipientvoid serviceDied(uint64_t cookie, const wp<IBase>& who) override;// Method for OMXNodeInstancestatus_t freeNode(sp<OMXNodeInstance> const& instance);

• listNodes：给 IOmxStore 使用，列出所有可用的组件；
• allocateNode：根据组件名创建 OMX 组件；
• createInputSurface：暂未使用到，后期碰到了再来记录；
• freeNode：释放创建的 OMX 组件。

OMXStore 是 IOmx 服务的大管家，创建销毁组件最终都由 OMXStore 来完成。这里不会去了解具体的如何创建销毁的过程，重在先了解设计结构。

---

3、OMXStore

OMXStore 的构造函数加载了两个 lib（libstagefrighthw.so, libstagefright_softomx_plugin.so），第一个lib 是硬件平台需要实现的，也就是我们所说的硬件解码实现，第二个 lib 是Android平台提供的默认的软件编解码实现，现在它已经被移除，并且用 CCodec 来替代。

我们这一系列笔记重点要研究的是硬件编解码的框架，所以只研究 libstagefrighthw.so 的部分。

这里之所以用 dlopen 和 dlsym 加载库是因为，不是所有的平台都会实现硬件编解码库，如果用动态链接这里就会出错了。

OMXStore::OMXStore() {......addVendorPlugin();addPlatformPlugin();
}void OMXStore::addVendorPlugin() {addPlugin("libstagefrighthw.so");
}void OMXStore::addPlatformPlugin() {addPlugin("libstagefright_softomx_plugin.so");
}

在进入 OMXStore 了解之前，我们先对这部分的实现结构做一个简单了解，这样学习起来会更轻松。Android 源码中已经有了高通的 demo 实现可供我们参考，位于：

hardware/qcom/media/msm8998/libstagefrighthw
hardware/qcom/media/msm8998/mm-core/src/common

这里主要涉及了两个库，libstagefrighthw.so 已经在 OMXStore 中看到过了，还有另一个重要的库 libOmxCore.so 它实现了获取调用 OMX 服务的标准接口。

这里会由下自上来描述每一层的作用：

1. 编解码库实现：厂商会提供多个硬件编解码实现，这些库以 OMX 开头，接下来的问题是如何使用这些库？；
2. libOmxCore.so：所有的硬件编解码库实现都会以列表的形式存储在 libOmxCore.so 中，libOmxCore.so 库实现了 OMX 框架提供的标准接口，上层可以通过这些接口获取底层硬件编解码库的实现；当然，libOmxCore这个库的名字可以由 vendor 自己定义；
3. libstagefrighthw.so：libstagefrighthw 对 libOmxCore 提供的接口调用进行了封装，并且提供标准接口给上层使用，这一层同样由 vendor 来实现，如果上面的 libOmxCore 名称发生变化，那么 libstagefrighthw 加载的库名也要变化；
4. OMXStore：如果可以成功加载 libstagefrighthw.so，那么就调用它的标准接口获取底层 OMX 提供的服务细节。

---

3.1、addPlugin

接下来一起了解 libstagefrighthw 的加载过程：

void OMXStore::addPlugin(const char *libname) {// 1. 获取 vendor.media.omx ，如果是0则退出if (::android::base::GetIntProperty("vendor.media.omx", int64_t(1)) == 0) {return;}// 2. 加载 libstagefrighthw.sovoid *libHandle = android_load_sphal_library(libname, RTLD_NOW);if (libHandle == NULL) {return;}// 3. 获取lib 中的方法typedef OMXPluginBase *(*CreateOMXPluginFunc)();CreateOMXPluginFunc createOMXPlugin =(CreateOMXPluginFunc)dlsym(libHandle, "createOMXPlugin");if (!createOMXPlugin)createOMXPlugin = (CreateOMXPluginFunc)dlsym(libHandle, "_ZN7android15createOMXPluginEv");// 4. 调用方法创建实例OMXPluginBase *plugin = nullptr;if (createOMXPlugin) {plugin = (*createOMXPlugin)();}// 5. 存储创建的实例if (plugin) {mPlugins.push_back({ plugin, libHandle });// 6. 从实例中读取提供的服务内容addPlugin(plugin);} else {android_unload_sphal_library(libHandle);}
}

1. 首先获取 vendor.media.omx 属性，默认是 1，如果设置了0，则硬件编解码将不会再走 OMX 一路，这应该是在为切换到 CCodec 做准备；
2. 加载libstagefrighthw.so，dlsym 获取 createOMXPlugin 接口；
3. 调用 createOMXPlugin 创建 OMXPluginBase 实例；
4. 存储实例，从实例中获取提供的服务内容。

从上面的流程中我们可以知道，libstagefrighthw 需要实现 createOMXPlugin 接口，该接口会创建一个 OMXPluginBase 对象。

createOMXPlugin 接口声明位于
frameworks/native/headers/media_plugin/media/hardware/HardwareAPI.h

OMXPluginBase 声明位于 frameworks/native/headers/media_plugin/media/hardware/OMXPluginBase.h

struct OMXPluginBase {OMXPluginBase() {}virtual ~OMXPluginBase() {}// 创建组件实例virtual OMX_ERRORTYPE makeComponentInstance(const char *name,const OMX_CALLBACKTYPE *callbacks,OMX_PTR appData,OMX_COMPONENTTYPE **component) = 0;// 销毁组件实例virtual OMX_ERRORTYPE destroyComponentInstance(OMX_COMPONENTTYPE *component) = 0;// 列出组件信息virtual OMX_ERRORTYPE enumerateComponents(OMX_STRING name,size_t size,OMX_U32 index) = 0;// 获取组件 rolevirtual OMX_ERRORTYPE getRolesOfComponent(const char *name,Vector<String8> *roles) = 0;private:OMXPluginBase(const OMXPluginBase &);OMXPluginBase &operator=(const OMXPluginBase &);
};

3.2、addPlugin Inner

这里又有一个 addPlugin，但是它的功能和上面3.1节中的是完全不同的，这里的 addPlugin 参数为 OMXPluginBase，用于加载 OMX 组件信息的。

void OMXStore::addPlugin(OMXPluginBase *plugin) {Mutex::Autolock autoLock(mLock);// 获取当前设备类型，获取设备api levelbool typeTV = isTV();int firstApiLevel = getFirstApiLevel();OMX_U32 index = 0;char name[128];OMX_ERRORTYPE err;// 循环读取 OMXPluginBase 中的组件信息，传出参数为字符串while ((err = plugin->enumerateComponents(name, sizeof(name), index++)) == OMX_ErrorNone) {String8 name8(name);Vector<String8> roles;// 根据字符串再从 OMXPluginBase 解析出 roleOMX_ERRORTYPE err = plugin->getRolesOfComponent(name, &roles);if (err == OMX_ErrorNone) {bool skip = false;for (String8 role : roles) {// 根据当前的 API level 来判断是否要加载当前组件if (role.find("video_decoder") != -1 || role.find("video_encoder") != -1) {if (firstApiLevel >= __ANDROID_API_T__) {skip = true;break;} else if (!typeTV && firstApiLevel >= __ANDROID_API_S__) {skip = true;break;}}if (role.find("audio_decoder") != -1 || role.find("audio_encoder") != -1) {if (firstApiLevel >= __ANDROID_API_T__) {skip = true;break;}}}if (skip) {continue;}}// 判断是否有重复if (mPluginByComponentName.indexOfKey(name8) >= 0) {ALOGE("A component of name '%s' already exists, ignoring this one.",name8.string());continue;}mPluginByComponentName.add(name8, plugin);}
}

1. 获取设备类型以及api level；
2. 调用 OMXPluginBase 的方法读取组件信息（组件名称）；
3. 获取组件名称对应的 role，如果是 video 组件，并且满足 api level 高于 Android T 或者 不是电视并且 api level 高于 Android S 的条件，则不会将该组件加载到 OMXStore 当中；如果是 audio 组件并且 api level 高于 Android T，则同样不会将该组件加载到 OMXStore 当中；
4. 否则将组件名称存储到容器当中。

从这里我们可以了解到，从 Android 13 开始要弃用 OMX 框架了，如果 vendor 还没有实现 CCodec，则需要修改这边的内容，我们切到 Android S 上来看 OMXStore 的代码，是没有这部分的判断的。

虽然说从 Android T 开始要弃用 OMX 框架了，但是我们仍然用该版本的代码来学习它。

---

4、QComOMXPlugin

从上面我们可以知道 OMXStore 会打开 libstagefrighthw.so，并且调用内部方法 createOMXPlugin 创建一个 OMXPluginBase 对象，接着会调用该对象的方法读取 OMX 组件信息。之前我们只看了 OMXPluginBase 的接口声明，这一小节，我们一起来了解下 OMXPluginBase 的高通实现，代码位于：
hardware/qcom/media/msm8998/libstagefrighthw/QComOMXPlugin.cpp

QComOMXPlugin::QComOMXPlugin(): mLibHandle(dlopen("libOmxCore.so", RTLD_NOW)),mInit(NULL),mDeinit(NULL),mComponentNameEnum(NULL),mGetHandle(NULL),mFreeHandle(NULL),mGetRolesOfComponentHandle(NULL) {if (mLibHandle != NULL) {mInit = (InitFunc)dlsym(mLibHandle, "OMX_Init");mDeinit = (DeinitFunc)dlsym(mLibHandle, "OMX_Deinit");mComponentNameEnum =(ComponentNameEnumFunc)dlsym(mLibHandle, "OMX_ComponentNameEnum");mGetHandle = (GetHandleFunc)dlsym(mLibHandle, "OMX_GetHandle");mFreeHandle = (FreeHandleFunc)dlsym(mLibHandle, "OMX_FreeHandle");mGetRolesOfComponentHandle =(GetRolesOfComponentFunc)dlsym(mLibHandle, "OMX_GetRolesOfComponent");if (!mInit || !mDeinit || !mComponentNameEnum || !mGetHandle ||!mFreeHandle || !mGetRolesOfComponentHandle) {dlclose(mLibHandle);mLibHandle = NULL;} else(*mInit)();}
}

QComOMXPlugin 的构造函数里打开了 libOmxCore.so，并且动态加载了内部的方法，并且在最后调用了 OMX_Init 方法。

看到这里，如果我们要实现自己的底层硬件编解码库，首先要写一个 libstagefrighthw.so，内部要包含 createOMXPlugin 方法，该方法要返回 OMXPluginBase 对象，该对象的构造函数里同样也要打开一个类似 libOmxCore.so 的库，库里面封装有 OMX_GetHandle，OMX_FreeHandle 等方法。

---

5、IOmxStore

我们这里不会去详细展开 IOmxStore 的内容，IOmxStore 我看到的只在一个地方有使用：在 MediaCodecList 加载时，加载 OMX 组件时会用到 IOmxStore。IOmxStore 里的信息怎么来的？

IOmx 的构造函数中有三句和 xml 相关的内容，codec 信息就是在这里被加载的：

    mParser() {(void)mParser.parseXmlFilesInSearchDirs();(void)mParser.parseXmlPath(mParser.defaultProfilingResultsXmlPath);

我们这里主要看 parseXmlFilesInSearchDirs：

    status_t parseXmlFilesInSearchDirs(const std::vector<std::string> &xmlFiles = getDefaultXmlNames(),const std::vector<std::string> &searchDirs = getDefaultSearchDirs());static std::vector<std::string> getDefaultSearchDirs() {return { "/product/etc","/odm/etc","/vendor/etc","/system/etc" };}std::vector<std::string> MediaCodecsXmlParser::getDefaultXmlNames() {static constexpr char const* prefixes[] = {"media_codecs","media_codecs_performance"};static std::vector<std::string> variants = {android::base::GetProperty("ro.media.xml_variant.codecs", ""),android::base::GetProperty("ro.media.xml_variant.codecs_performance", "")};static std::vector<std::string> names = {prefixes[0] + variants[0] + ".xml",prefixes[1] + variants[1] + ".xml",// shaping information is not currently variant specific."media_codecs_shaping.xml"};return names;
}	

可以看到默认情况下，会到 “/product/etc”, “/odm/etc”, “/vendor/etc”, “/system/etc” 这四个目录下查找 media_codecs.xml 和 media_codecs_performance.xml 以及 media_codecs_shaping.xml。

如果我们的文件名称不是使用的默认的，那么需要用属性 ro.media.xml_variant.codecs 和 ro.media.xml_variant.codecs_performance 来自定义文件名。

具体如何加载以及解析 xml 文件的，可以参考：MediaCodecsXmlParser.cpp。

我们要注意的是，IOmxStore 这里存储的所有的 codec 信息均是来自于 xml 文件，并不会从 OMX 去读取。如果 xml 文件中没有某个组件相关的配置，则无法从 MediaCodecList 中获取到该组件信息，因此也就无法创建该组件；如果 OMX某个组件的信息没有加载到 OMXStore 中，那么就算可以从 MediaCodecList 中获取到组件信息，那么也是无法创建该组件的。所以 xml 文件需要和 libOmxCore 中的内容保持一致。