OpenHarmony-XTS测试

OpenHarmony-XTS测试

针对OpenHarmony版本进行XTS测试使用记录。
windows环境。
以acts套件为例。

环境搭建

• 获取测试套件，两种方法
  1）官网下载：https://www.openharmony.cn/certification/document/xts/
  2）版本中获取：

out/产品/suites/acts/acts#
ls config run.bat run.sh sign testcases tools
需要自己进行编译：
test/xts/act# ./build.sh system_size=standard target_arch=riscv64 product_name=产品

• 版本打开配置，然后编译产品烧录至设备

device/board/组织/产品/cfg/default.para
const.security.developermode.state=1

• windows下安装HDC，配置环境变量并连接待测设备
  HDC下载：https://ci.openharmony.cn/workbench/cicd/codecontrol/list

• windows下配置测试需要的相应环境
  参考https://www.openharmony.cn/certification/document/guid
  注意：安装python3时不要使用3.13版本，他里面没有telnetlib，运行测试脚本时会报错。

测试准备

• 待测设备保持屏幕常亮，连接wifi，打开蓝牙。有些测试项（如camera）会向用户申请权限，需要用户手动点击同意，该测试项才能继续运行，否则可能会超时导致测试结果为失败甚至blocked。
• 双击打开run.bat或者在power shell中手动运行。该脚本会安装tools目录下的一些xdevice。运行过程中有可能报错，一般是windows环境报错，根据报错解决即可。有时会有权限问题，请使用管理员权限运行run.bat或者power shell。

Please install setuptools first!
pip install --upgrade setuptools

权限问题报错：

• 偶尔会有运行一段时间后关机打开再运行就会报一些莫名其妙的错误导致run.bat运行失败，暂时没有找到好的解决方法，删掉换个新的就能解决。
• 正常可运行的界面如下：
  

开始运行

全量执行：run acts
模块执行：run -l ActsToolChainTest
指定执行：run -l ActsAceWebEnhancedTestTwo -ta class:WebViewEnumAndSetWebControllerTest#testCacheMode004

其他的遇到后进行补充，可以使用run --help自行查看。
输出结果位于reports文件夹对应的运行时间子文件夹下：

打开文件夹中的html查看测试结果，打开log可以针对failed或者blocked的用例进行初步定为。
在OH版本中对问题进行修复：编译新的版本，重新烧录后再进行测试即可。
修改测试套件：代码位于test/xts/acts目录，grep对应的测试用例名即可，修改后重新编译并将out/产品/suites/acts/acts/testcases 目录对应的.moduleInfo、.hap、.json文件拷贝至testcases后重新run即可。

out/产品/suites/acts/acts# ls
config run.bat run.sh sign testcases tools
test/xts/act# ./build.sh system_size=standard target_arch=riscv64 product_name=产品

PS

有些测试失败是测试用例本身编写的问题导致
比如web连接百度、京东等网页请求相关信息，不同时间响应可能会发生改变。
比如版本更新导致的一些请求权限如ohos.permission.READ_PASTEBOARD失败。
还有一些问题