QEMU理解与分析系列（16）：QEMU启动方式分析

QEMU启动方式分析启动流程RISC-V specific │ ┌──────────────────┼──────────────────┐ ▼ ▼ ▼ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ ZSBL │───▶│ FSBL │───▶│ OpenSBI │ │ (M-mode) │ │ (M-mode) │ │ (M-mode) │ │ (ROM) │ │ (LOADER) │ │ (RUNTIME) │ └──────────────┘ └──────────────┘ └───────┬──────┘ │ ▼ ┌──────────────┐ ┌──────────────┐ │ U-Boot │───▶│ Linux │ │ (S-mode) │ │ (S-mode) │ │ (BOOTLOADER) │ │ (OS) │ └──────────────┘ └──────────────┘ 图例 ──────▶ Loads (加载) ......▶ Jumps (跳转)ZSBLZSBL (Zero Stage Boot Loader) 从 ROM 中获取核心代码。FSBL: U-Boot SPLFSBL (First Stage Boot Loader) 由 SoC 指定可能是 CoreBoot 或 U-Boot SPL。这一阶段将会完成 DDR 的初始化并载入运行时环境(runtime)与引导加载器(bootloader)。其中U-Boot SPL 是一个非常小的 loader 程序其主要功能是加载真正的 U-Boot 并运行。在编译 U-Boot 之前需要先编译 OpenSBI。编译与运行命令$exportCROSS_COMPILEriscv64-linux-gnu- $cd/path/to/uboot $exportOPENSBI/path/to/opensbi/build/platform/generic/firmware/fw_dynamic.bin $makeqemu-riscv64_spl_defconfig $make-j$(nproc)$make-j$(nproc)$ qemu-system-riscv64-Mvirt-smp4-m2G\-displaynone-serialstdio\-bios/path/to/u-boot-spl\-deviceloader,file/path/to/u-boot.itb,addr0x80200000完整运行命令示例/home/s29363/qemu/qemu-system/install-s64/bin/qemu-system-riscv64\-nographic\-machinevirt\-m1G\-smp4\-displaynone\-biosnone\-kernel/home/s29363/qemu/qemu-system/bootloader/u-boot/spl/u-boot-spl\-deviceloader,file/home/s29363/qemu/qemu-system/bootloader/u-boot/u-boot.itb,addr0x80200000各阶段说明阶段名称模式功能1ZSBLM-mode从 ROM 获取核心代码2FSBL (SPL)M-modeDDR 初始化载入 runtime 和 bootloader3OpenSBIM-mode运行时环境提供 SBI 接口4U-BootS-mode引导加载器加载 Linux 内核5LinuxS-mode操作系统Runtime: OpenSBIRISC-V 的 Runtime 通常是 OpenSBI它是运行在 M 模式下的程序但能够为 S 模式提供一些特定的服务这些服务由 SBI (Supervisor Binary Interface) 规范定义。SBI 是指 Supervisor Binary Interface它是运行在 M 模式下的程序操作系统通过 SBI 来调用 M 模式的硬件资源。而 OpenSBI 是指西数开发的一种开源 SBI 实现。OpenSBI 的三种 FirmwareFW_PAYLOAD下一引导阶段被作为 payload 打包进来通常是 U-Boot 或 Linux。这是兼容 Linux 的 RISC-V 硬件所使用的默认 firmware。FW_JUMP跳转到一个固定地址该地址上需存有下一个加载器。QEMU 的早期版本曾经使用过它。FW_DYNAMIC根据前一个阶段传入的信息加载下一个阶段。通常是 U-Boot SPL 使用它。现在 QEMU 默认使用 FW_DYNAMIC。数据段存放说明数据段.data是存放在可写的内存如DDR中而不是存放在只读的内存如Flash中。这是因为数据段通常需要在运行时进行修改而只读内存是不支持写操作的。对于使用OpenSBI启动固件来运行的情况OpenSBI的数据段确实应该位于可写内存如DDR中而不是只读的Flash内存。这可以通过修改链接脚本linker script来实现。链接脚本用于指定可执行文件在内存中的加载和排列方式。通过修改链接脚本我们可以将数据段放置在适当的内存区域中。需要注意的是在将数据段.data放置在可写内存中时也需要确保相应的内存区域具有适当的读写权限。这通常需要在处理器或操作系统的内存管理单元MMU中进行相应的设置。FW_JUMP 流程分析链接脚本定义opensbi-0.9/firmware/fw_base.lds定义了 fw_jump 固件的链接脚本当然此链接脚本是要经过 c 预处理宏展开后而使用的。FW_TEXT_START定义了固件运行的起始地址然后依次放置 text 段, ro 段, data段, bss段bss段后将被用作栈空间默认 data 没有 LMA数据段的 LMA 是一个计算机术语其中数据段指的是可执行程序中的数据部分而LMA则表示加载地址即在程序执行时数据段被加载到的物理内存地址也就是说 opensbi 要运行在 ddr 内而不能在 flash 内运行修改链接脚本可以做到 flash 运行。启动代码opensbi-0.9/firmware/fw_base.S汇编文件正是 opensbi 的启动所在.entry段_start 符号即为链接脚本中第一个代码段上级 loader 程序加载完成后自然跳转到该地址指令执行。执行流程1. boot 核心等待首先启动代码进行判断非 boot 核心跳转wait_for_boot_hart等待boot 核心先进行一次代码 relocate可以发现如果 opensbi 核心不放在自己的链接地址内运行则会实现自身代码的拷贝到目标地址上运行因此可以类似 spl 的方式从 flash 中启动。2. relocate 跳过因为已经使用了自己编写的 loader 程序这段 relocate 不会执行之后的流程是 bss 段的清零和 SP 指针的初始化。3. 调用 fw_platform_init接下来就是调用fw_platform_init函数注意此时传入参数 a0(hart id), a1 (fdt地址), a2, a3, a3, a4 均为上级 loader 程序的传入参数这个函数由 platform 来实现如果不使用则该函数由弱定义空函数来代替。4. scratch_init接下来就是 scratch_init 函数scratch 你可以认为就是另一个 sp 指针的东西定义了一片内存用来存放一些数据同栈一样先进后出。_scratch_init其实是按顺序写入了 sbi 下一级程序的地址参数等信息由工程内的预定于宏指定其实这里对我们作用不大因为我们使用设备树文件提供给 opensbi 来解析得到下一级启动地址等信息。5. fdt_reloc 和代码 reloc然后就是 fdt_reloc 和代码 reloc。6. start_warm最后来到了 start_warm此时 boot 核心将标志释放其余等待在wait_for_boot_hart的核心也将要跳转到 start_warm。start_warm针对每一个核心复位寄存器建立自己的栈空间配置 trap 异常等完成后调用 sbi_init 离开汇编代码后面代码将使用容易理解的 c 代码进行编写了。到此启动文件也就分析完成。7. sbi_initopensbi-0.9/lib/sbi/sbi_init.c是 sbi 核心代码的开始sbi_init函数主要分为冷启动和热启动无论哪种主要功能均为对设备树进行解析初始化相关硬件设备比较重要的如 irq, tlb, ipi, PMP, timer, console总之建立系统调用配置硬件权限定义系统 mmio 以及内存区域的划分 domain这里暂时没有考虑 domain 的情况。Bootloader: U-BootBootloader 是系统在加电后执行的较为早期的代码这段程序将会完成硬件的初始化与环境设置等操作再将操作系统映像或嵌入式应用程序载入内存然后跳转到操作系统所在空间启动操作系统。U-Boot 指 Universal Boot Loader是一种流行的嵌入式 Linux 系统引导加载程序。它分为 U-Boot SPL 与 U-Boot 两部分其中 SPL 指第二阶段程序加载器Secondary Program Loader。编译流程1. 编译 OpenSBI$exportCROSS_COMPILEriscv64-linux-gnu- $exportPLATFORMgeneric $makeallPLATFORM$PLATFORMPLATFORM_RISCV_XLEN64其中PLATFORM 为可选择的平台框架PLATFORM_RISCV_XLEN 为平台的位数。2. 编译 U-Boot 流程makeARCHriscv qemu-riscv64_smode_defconfigmakeARCHriscv-j$(nproc)# 多线程编译如果直接引导 S 模式下的 U-Boot 镜像使用以下命令$ qemu-system-riscv64-Mvirt-smp4-m2G\-displaynone-serialstdio\-kernel/path/to/u-boot.bin其中/path/to/u-boot.bin指之前编译出的 u-boot.bin 所在路径。启动 U-Boot 或 Linux通过 OpenSBI以 U-Boot 为例切换到 OpenSBI 目录下编译命令如下exportCROSS_COMPILEriscv64-linux-gnu-makePLATFORMgenericFW_PAYLOAD_PATHuboot_build_directory/u-boot.bin运行qemu-system-riscv64-Mvirt-m256M-nographic\-biosbuild/platform/generic/firmware/fw_payload.elf或使用以下命令运行qemu-system-riscv64-Mvirt-m256M-nographic\-biosbuild/platform/generic/firmware/fw_jump.bin\-kerneluboot_build_directory/u-boot.bin使用 U-Boot SPLexportCROSS_COMPILEriscv64-linux-gnu-cd/path/to/u-bootexportOPENSBI/path/to/opensbi/build/platform/generic/firmware/fw_dynamic.binmakeqemu-riscv64_spl_defconfigmake-j$(nproc)qemu-system-riscv64-Mvirt-smp4-m2G\-displaynone-serialstdio\-bios/path/to/u-boot-spl\-deviceloader,file/path/to/u-boot.itb,addr0x802000003.编译Linux内核exportCROSS_COMPILEriscv64-linux-gnumakeARCHriscv defconfig# 生成 config 文件makeARCHriscv menuconfig# 图形化界面设置编译选项makeARCHriscv //编译内核4、SPL启动(1) 运行参数以virt板卡为例这是loader方式启动当然也可以写到启动文件中/qemu/qemu-system/riscv64-softmmu/qemu-system-riscv64-nographic-machinevirt-m2G-smp4-biosnone-kernel/home/s29363/qemu/qemu-system/bootloader/u-boot/spl/u-boot-spl-deviceloader,file/home/s29363/qemu/qemu-system/bootloader/opensbi/build/platform/generic/firmware/fw_jump.bin,addr0x81000000-deviceloader,file/home/s29363/qemu/qemu-system/bootloader/u-boot/u-boot.itb,addr0x80200000(2) mkimage制作itb通过its制作itb。一个its的示例mkimage-fxxx.its xxx.itbdts-v1/;/ { description Configuration to load OpenSBI before U-Boot; images { uboot { description U-Boot; data /incbin/(u-boot-nodtb.bin); type standalone; os U-Boot; arch riscv; compression none; load 0x80200000; }; opensbi { description RISC-V OpenSBI; data /incbin/(/dev/null); type firmware; os opensbi; arch riscv; compression none; load 0x80000000; entry 0x80000000; }; fdt_1 { description hifive-unleashed-a00; data /incbin/(/arch/riscv/dts/hifive-unleashed-a00.dtb); type flat_dt; compression none; }; }; configurations { default config_1; config_1 { description hifive-unleashed-a00; firmware opensbi; loadables uboot; fdt fdt_1; }; }; };//分别加载uboot, opensbi和设备树文件QEMU-LINUX引导文件编写.section .init .global _start .type _start,function _start: la t0, _pen la t1, _start la t1, _start li t2, 0x0013 slli t2,t2,12 #此时t2寄存器中的值是写如串口uart0发送data的寄存器 li t3, H sb t3,0(t2) li t3,E sb t3,0(t2) li t3,L sb t3,0(t2) li t3,L sb t3,0(t2) li t3,O sb t3,0(t2) nop li t3,\n sb t3,0(t2) li t4,0x200 slli t4,t4,20 nop beq t1, t4, code_in_flash #不相等跳转到code_in_pflash code_in_flash: #load opensbi_fw.bin li a0,0x202 slli a0,a0,20 #a00x20200000 li a1,0x80 slli a1,a1,20 #a10x80000000 li a2,0x802 slli a2,a2,20 #a20x80200000 nop load_data a0,a1,a2 #load flash to ddr csrr a0,mhartid load_data a0,a1,a2 #load flash to ddr li t0,0x0 nop beq a0,t0,_no_wait _no_wait: nop li a1, 0x822 slli a1, a1, 20 #a1 0x82200000 li t0,0x800 slli t0, t0, 20 #t0 0x80000000 slli t0, t0, 20 #t0 0x80000000 jr t0 #/ 此时a0为core的hart ida1中设备树dtb的所在的起始地址t0为opensbi程序所在的ddr地址jr跳转进入opensbi程序*/ .end编译脚本CROSS_PREFIX/home/s29363/riscv/install-64-linux/bin/riscv64-unknown-elf-if[!-d/home/s29363/qemu/qemu-system/lowlevelboot];thenmkdir-p/home/s29363/qemu/qemu-system/lowlevelbootficd/home/s29363/qemu/qemu-system/lowlevelbootmakecleanmakeallddoffw_final.binbs1kcount64kif/dev/zeroddoffw_final.binbs1kcount64kif/dev/zeroconvnotruncseek0offw.binddoffw_final.binbs1kconvnotruncseek0iffw.binddoffw_final.binbs1kconvnotruncseek2kif/home/s29363/qemu/qemu-system/bootloader/opensbi/build/platform/generic/firmware/fw_payload.binMakefilePREFIX /home/s29363/riscv/install-64-linux/bin/riscv64-unknown-elf- #PREFIX /home/s29363/riscv/install-64-linux/bin/riscv64-unknown-linux-gnu- CC $(PREFIX)gcc LD $(PREFIX)ld OBJDUMP $(PREFIX)objdump OBJCOPY $(PREFIX)objcopy QEMU /home/s29363/qemu/qemu-system/install-64/bin/qemu-system-riscv64 CFLAGS -static -mcmodelmedany -fvisibilityhidden -ffunction-sections -fdata-sections -nostdlib -nostartfiles -nostdinc -g -O0 LDFLAGS -T default.lds -nmagic --gc-sections -g -Mapfw.map QEMU_FLAGS -nographic -machine sifive_u -bios none -kernel .PHONY: all ELF fw.elf BIN fw.bin all:$(ELF) $(BIN) $(ELF):start.o $(LD) $(LDFLAGS) start.o -o $ $(LD) $(LDFLAGS) start.o -o $ start.o: $(CC) $(CFLAGS) startup.s -o start.o $(BIN):$(ELF) $(OBJCOPY) -O binary $ $ .PHONY: qemu qemu: $(QEMU) $(QEMU_FLAGS) hello .PHONY: dis dis:start.o $(OBJDUMP)-d start.o rm -rf start.o .PHONY: clean clean: rm -rf $(TARGET) *.elf *.bin start.o制作文件系统镜像build_rootfs.shSHELL_FOLDER$(PWD)if[!-d$SHELL_FOLDER/output/rootfs];thenmkdir-p$SHELL_FOLDER/output/rootfsfiif[!-d$SHELL_FOLDER/output/rootfs/rootfs];thenmkdir-p$SHELL_FOLDER/output/rootfs/rootfsfiif[!-d$SHELL_FOLDER/output/rootfs/bootfs];thenmkdir-p$SHELL_FOLDER/output/rootfs/bootfsficp$SHELL_FOLDER/image$SHELL_FOLDER/output/rootfs/bootfs/imagecp$SHELL_FOLDER/xj.dtb$SHELL_FOLDER/output/rootfs/bootfs/xj.dtbcp$SHELL_FOLDER/rootfs.img$SHELL_FOLDER/output/rootfs/rootfs/rootfs.img格式化 rootfs.img需要 root 权限用于格式化rootfs.img需要 root 权限操作注意输入参数1#!/bin/bashlosetup-o0--sizelimit1073741824/dev/loop0$1-Pecho-en\np\n1\n\n196608\nn\np\n2\n\n\nw\n|fdisk/dev/loop0 losetup-d/dev/loop0syncechowait 5ssleep5losetup-o0--sizelimit1073741824/dev/loop0$1-Pmkfs.vfat /dev/loop0p1$1-P mkfs.ext4 /dev/loop0p2 losetup-d/dev/loop0sync拷贝文件到文件系统映像#!/bin/bashlosetup-o0--sizelimit1073741824/dev/loop0$1/rootfs.img-Pif[-d$1/target];thenrm-rf$1/targetfimkdir$1/targetmkdir$1/target/bootfsmkdir$1/target/rootfsmount/dev/loop0p1$1/target/bootfsmount/dev/loop0p2$1/target/rootfscp-r$1/bootfs/*$1/target/bootfs/#cp -r $1/rootfs/* $1/target/rootfs/syncechoplease wait 5ssleep5umount$1/target/bootfsumount$1/target/rootfs losetup-d/dev/loop0syncQEMU 启动启动参数/home/s29363/qemu/qemu-system/install-64/bin/qemu-system-riscv64\-Mxjly\-m1G\-driveifpflash,bus0,unit0,formatraw,filefw.bin\-nographic\-parallelnone\-dtbxj.dtb\-drivefile/home/s29363/qemu/qemu-system/lowlevelboot/output/rootfs/rootfs.img,formatraw,idhd0\-devicevirtio-blk-device,drivehd0启动命令示例二/home/s29363/qemu/qemu-system/install-64/bin/qemu-system-riscv64\-Mxj\-m1G\-driveifpflash,bus0,unit0,formatraw,filefw.bin\-nographic\-parallelnone\-dtbxj.dtb\-driveifpflash,bus0,unit0,formatraw,file/home/s29363/qemu/qemu-system/lowlevelboot/build_rootfs/output/rootfs/rootfs.img,formatraw,idhd0\-devicevirtio-blk-device,drivehd0启动命令示例三带调试选项/home/s29363/qemu/qemu-system/install-64/bin/qemu-system-riscv64\-Mxj\-m1G\-smp4\-driveifpflash,bus0,unit0,formatraw,filefw.bin\-nographic\-parallelnone\-dtbxj.dtb\-drivefile/home/s29363/qemu/qemu-system/lowlevelboot/build_rootfs/output/rootfs/rootfs.img,formatraw,idhd0\-devicevirtio-blk-device,drivehd0\-s-S进入 OpenSBI 后会引导到 U-Boot 交互界面输入以下命令load virtio 0:1 0x82000000 /Imageload virtio 0:1 0x84000000 /xj.dtbboot 0x82000000 - 0x84000000最终进入Lilnux内核