当前位置: 首页 > news >正文

Yocto 项目 - 共享状态缓存 (Shared State Cache) 机制

引言

在嵌入式开发中,构建效率直接影响项目的开发进度和质量。Yocto 项目通过其核心工具 BitBake 提供了灵活而强大的构建能力。然而,OpenEmbedded 构建系统的传统设计是从头开始构建所有内容(Build from Scratch),这虽然能确保构建输出的完整性,但也会显著增加构建时间。

为了解决这一问题,Yocto 项目引入了共享状态缓存 (Shared State Cache,以下简称 SState) 机制,利用任务级缓存加速构建流程。本文将从原理、功能、优势、实际案例、存在的问题以及优化方法等多个角度,详细解析共享状态缓存机制,帮助开发者全面理解并高效利用这一特性。


在这里插入图片描述

1. 从头构建与共享状态缓存的比较

1.1 从头构建的特点

OpenEmbedded 系统的初始设计基于从头构建,这意味着每次构建时,所有任务都会重新执行,生成全新的输出。

优点:

  • 完整性保证:避免使用可能过期或错误的中间结果。
  • 可重复性:构建输出完全依赖于当前输入和配置,确保一致性。

缺点:

  • 耗时长:即使没有代码或配置变更,也需要重复执行许多不必要的任务。
  • 资源浪费:重新生成未发生变化的构建产物,增加了计算和存储负担。
1.2 引入共享状态缓存的必要性

共享状态缓存通过记录任务的输出及相关状态信息,允许构建过程直接复用之前的结果,而不必重新执行整个任务链。这一机制尤其适用于增量构建(Incremental Builds),可大幅减少不必要的重复工作。


2. 共享状态缓存的原理与结构

2.1 基于任务的缓存设计

BitBake 采用基于任务(Task-based)的缓存方式,而非基于菜谱(Recipe-based)。这种设计粒度更细,可以避免因单个步骤的轻微变化而导致整个菜谱的重建。

示例:
当切换打包格式(如从 IPK 切换到 DEB)时,只有与打包格式相关的任务需要重新运行,而如 do_install 的输出仍可复用。

2.2 校验和 (Checksums) 机制

BitBake 使用校验和(Checksums,也称为签名 Signatures)判断任务是否需要重新执行。

任务输入校验和生成规则:

  1. 直接输入:任务代码、变量值、依赖任务的输出。
  2. 间接输入:依赖任务的校验和。
  3. 排除特定变量:如 WORKDIR,尽管它影响任务路径,但其变化不应触发任务重建。

配置示例:

BB_BASEHASH_IGNORE_VARS ?= "TMPDIR FILE DL_DIR SSTATE_DIR"

通过校验和机制,BitBake 能精准检测任务输入的变化,从而决定是否需要重建。

2.3 共享缓存目录结构

SState 的存储目录由变量 SSTATE_DIR 指定,默认路径为 build/sstate-cache。缓存文件按照校验和的前两位字符分组存储,以减少文件系统压力。

目录示例:

sstate-cache/|- 2a/|    |- sstate:compile:xyz123.tgz|- 3b/|- sstate:install:abc456.tgz

文件名中包含任务名及校验和,确保唯一性。


3. 共享状态缓存的功能

3.1 常用清理任务

为了维护缓存的准确性和高效性,BitBake 提供了以下清理任务:

  • do_clean:删除目标任务的中间和最终输出文件,但保留共享状态缓存。
  • do_cleansstate:删除任务输出和共享状态缓存文件,确保任务从头开始构建。
  • do_cleanall:在 do_cleansstate 的基础上,额外删除下载的源代码文件。

使用场景:

  • do_clean:当仅需清理特定任务的输出文件时使用。
  • do_cleansstate:适用于检测输入变化或调试问题时,强制任务重建。
  • do_cleanall:在需要完全删除相关文件,包括源代码下载时使用。
3.2 SState 的任务加速

共享缓存通过 _setscene 任务实现加速。例如,do_compile 的加速任务为 do_compile_setscene。BitBake 在构建前先检查 *_setscene,如果缓存有效,则直接复用缓存。

加速逻辑:

  1. 检查 SSTATE_DIR 中的缓存文件。
  2. 验证校验和是否匹配。
  3. 如果有效,跳过正常任务,直接应用缓存结果。

4. 示例解析:共享状态缓存的实际应用

示例 1:加速构建

假设构建 core-image-minimal,执行以下命令:

$ bitbake core-image-minimal

首次构建时,所有任务都会执行并生成缓存文件。之后再次执行相同命令,BitBake 会检查 sstate-cache 并跳过未变化的任务。

示例 2:清理缓存

在调试过程中,可能需要强制某些任务重建。例如:

$ bitbake -c cleansstate core-image-minimal

此命令会删除 core-image-minimal 的共享状态缓存,确保所有任务从头开始执行。

示例 3:多开发者共享缓存

通过配置 SSTATE_MIRRORS,可以实现团队间共享缓存:

SSTATE_MIRRORS ?= "file://.* https://server/sstate-cache/PATH;downloadfilename=PATH"

远程镜像服务器存储的缓存可以供多个开发环境复用,进一步提升效率。


5. 共享状态缓存的优势

  • 显著提升构建效率:避免重复构建相同任务。
  • 支持分布式开发:通过共享缓存,减少团队重复劳动。
  • 灵活的任务管理:基于任务的粒度设计,能精准控制构建流程。

6. 存在的问题与优化方法

6.1 非可复现性问题

某些菜谱可能因时间戳、随机数等非确定性因素导致输出不一致,从而无法复用缓存。

解决方法:

  • 确保构建可复现性:统一时间戳和随机数种子。
  • 启用哈希等价性 (Hash Equivalence):通过比较输出校验和,忽略输入的轻微变化。
6.2 依赖检测不完整

BitBake 可能无法自动检测隐式依赖。例如,内联 Python 代码中的变量引用。

解决方法:

  • 显式声明依赖:
    PACKAGE_ARCHS[vardeps] = "MACHINE"
    
  • 使用调试模式(-DDD)定位依赖问题。
6.3 缓存一致性问题

在多开发者环境中,缓存可能因手动修改或版本差异而导致不一致。

解决方法:

  • 使用集中式缓存服务器,并设置只读模式。
  • 定期清理和同步缓存。

7. 总结

共享状态缓存是 Yocto 项目提升构建效率的核心机制。通过任务级缓存、校验和管理以及灵活的配置选项,SState 机制为开发者提供了高效且可靠的增量构建能力。然而,为了最大化利用其优势,开发者需要注意构建可复现性、依赖声明以及缓存一致性等问题。

通过合理配置和维护共享缓存,不仅能够显著缩短构建时间,还能在多开发者团队中实现高效协作。对于希望优化构建流程的开发者而言,深入理解并善用共享状态缓存无疑是迈向高效开发的重要一步。

相关文章:

Yocto 项目 - 共享状态缓存 (Shared State Cache) 机制

引言 在嵌入式开发中,构建效率直接影响项目的开发进度和质量。Yocto 项目通过其核心工具 BitBake 提供了灵活而强大的构建能力。然而,OpenEmbedded 构建系统的传统设计是从头开始构建所有内容(Build from Scratch),这…...

Unity3D仿星露谷物语开发9之创建农场Scene

1、目标 绘制农场的场景。通过不同Sorting Layer控制物体的显示优先级,绘制Tilemap地图,添加Tilemap Collider碰撞器,同时添加Composite Collider碰撞器优化性能。 ps:绘制Tilemap的技巧:通过"Shift [" 可…...

STM32-笔记20-测量按键按下时间

1、按键按下的时间-思路 我们先检测下降沿信号,检测到以后,在回调函数里切换成检测上升沿信号,当两个信号都检测到的时候,这段时间就是按键按下的时间,如图所示:>N*(ARR1)CCRx的值 N是在这段时间内&…...

2024年12月30日Github流行趋势

项目名称:free-programming-books 项目地址url:https://github.com/EbookFoundation/free-programming-books项目语言:HTML历史star数:343,398今日star数:246项目维护者:vhf, eshellman, davorpa, MHM5000,…...

SAP PP bom历史导出 ALV 及XLSX 带ECN号

bom总数 104W PS超过XLSX上限 ,那就分文件 *&---------------------------------------------------------------------* *& Report ZRPT_PP_BOM_HIS_ECN *&---------------------------------------------------------------------* *& tcode:zpp0…...

使用WebRTC进行视频通信

一、WebRTC技术简介 什么是WebRTC? 是一种支持浏览器之间实时音频、视频和数据传输的开放源代码项目。它允许开发者在不需要任何第三方插件或软件的情况下实现点对点的实时通信。WebRTC已经成为现代Web应用中的关键技术,为开发者提供了强大的工具和API…...

npm ERR! ECONNRESET 解决方法

问题:npm 命令遇到的错误是 ECONNRESET,这通常与网络连接问题相关。设置代理解决问题。 一、查看当前代理设置 npm config get proxy npm config get https-proxy二、设置代理 npm config set proxy http://your-proxy-address:port npm config set h…...

【连续学习之SS-IL算法】2021年CPVR会议论文Ss-il:Separated softmax for incremental learning

1 介绍 年份:2021 期刊: 2021CPVR Ahn H, Kwak J, Lim S, et al. Ss-il: Separated softmax for incremental learning[C]//Proceedings of the IEEE/CVF International conference on computer vision. 2021: 844-853. 本文提出的SS-IL&#xff08…...

Go+chromedp实现Web UI自动化测试

1.为什么使用go进行UI自动化测试? 速度:Go速度很快,这在运行包含数百个UI测试的测试套件时是一个巨大的优势 并发性:可以利用Go的内置并发性(goroutines)来并行化测试执行 简单:Go的简约语法允许您编写可读且可维护…...

【MySQL 高级特性与性能优化】

MySQL 高级特性与性能优化 一、MySQL 存储引擎 (一)InnoDB 存储引擎 1. 特点 支持事务:InnoDB 是 MySQL 中提供完整 ACID 事务支持的存储引擎,这意味着它能够保证数据库操作在复杂的并发环境下的一致性、隔离性、原子性和持久…...

Spring Boot教程之三十九: 使用 Maven 将 Spring Boot 应用程序 Docker 化

如何使用 Maven 将 Spring Boot 应用程序 Docker 化? Docker是一个开源容器化工具,用于在隔离环境中构建、运行和管理应用程序。它方便开发人员捆绑其软件、库和配置文件。Docker 有助于将一个容器与另一个容器隔离。在本文中,为了将Spring B…...

微信小程序开发示例

微信小程序开发涉及多个方面&#xff0c;包括页面布局、交互逻辑、数据处理等。以下是一个简单的微信小程序开发示例&#xff0c;包括页面布局、样式定义、交互逻辑等方面的内容。 一、页面布局&#xff08;WXML&#xff09; <!-- index.wxml --> <view class"…...

【机器学习】概述

文章目录 1. 机器学习三步骤2. 机器学习图谱2.1 任务类型 (Task)2.2 模型选择 (Methods)2.3 学习场景 (Scenario) 1. 机器学习三步骤 定义一个模型 (Define a set of function) 选择一组合适的函数来表示模型。 评估模型好坏 (Goodness of function) 找到一个损失函数&#xf…...

音视频采集推流时间戳记录方案

音视频同步更多文章 深入理解音视频pts&#xff0c;dts&#xff0c;time_base以及时间数学公式_视频pts计算-CSDN博客 ffplay音视频同步分析_ffplay 音视频同步-CSDN博客 音视频采集打时间戳设计 实时音视频数据的采集和处理场景。具体来说: 采集阶段: 在音视频数据采集过…...

【Linux】:线程安全 + 死锁问题

&#x1f4c3;个人主页&#xff1a;island1314 &#x1f525;个人专栏&#xff1a;Linux—登神长阶 ⛺️ 欢迎关注&#xff1a;&#x1f44d;点赞 &#x1f442;&#x1f3fd;留言 &#x1f60d;收藏 &#x1f49e; &#x1f49e; &#x1f49e; 1. 线程安全和重入问题&…...

【深度学习】时间序列表示方法

自然界除了2D的图片数据之外&#xff0c;还有语音、文字&#xff0c;这些数据都有时间的先后顺序的。对于2D的图像的数据&#xff0c;可以用RGB值来表示像素的色彩度。语音可以用信号幅度值来表示&#xff0c;而Pytorch没有自带String支持&#xff0c;在表示文字之前需要进行Em…...

1.微服务灰度发布落地实践(方案设计)

文章目录 前言灰度发布的优点设计概要系统架构图流量控制客户端服务端 路由路径应用客户端实现核心组件分析1.网关2. spring-cloud3. dubbo4. nocas5. thread6. message queue 前言 微服务架构中的灰度发布&#xff08;也称为金丝雀发布或渐进式发布&#xff09;是一种在不影响…...

【UE5 C++课程系列笔记】15——Assert的基本使用

目录 概念 一、Check 二、Verify 三、Ensure 对比 基本使用 一、check的基本使用 二、ensure的基本使用 三、verify的基本使用 概念 assert 可在开发期间帮助检测和诊断不正常或无效的运行时条件。这些条件通常检查是否指针为非空、除数为非零、函数并非递归运行&…...

kubernetes Gateway API-1-部署和基础配置

文章目录 1 部署2 最简单的 Gateway3 基于主机名和请求头4 重定向 Redirects4.1 HTTP-to-HTTPS 重定向4.2 路径重定向4.2.1 ReplaceFullPath 替换完整路径4.2.2 ReplacePrefixMatch 替换路径前缀5 重写 Rewrites5.1 重写 主机名5.2 重写 路径5.2.1 重新完整路径5.2.1 重新部分路…...

likeAdmin架构部署(踩坑后的部署流程

1、gitee下载 https://gitee.com/likeadmin/likeadmin_java.git 自己克隆 2、项目注意 Maven&#xff1a;>3.8 ❤️.9 (最好不要3.9已经试过失败 node &#xff1a;node14 (不能是18 已经测试过包打不上去使用14的换源即可 JDK&#xff1a;JDK8 node 需要换源 npm c…...

synchronized 学习

学习源&#xff1a; https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景 不超卖&#xff0c;也要考虑性能问题&#xff08;场景&#xff09; 2.常见面试问题&#xff1a; sync出…...

centos 7 部署awstats 网站访问检测

一、基础环境准备&#xff08;两种安装方式都要做&#xff09; bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats&#xff0…...

React Native在HarmonyOS 5.0阅读类应用开发中的实践

一、技术选型背景 随着HarmonyOS 5.0对Web兼容层的增强&#xff0c;React Native作为跨平台框架可通过重新编译ArkTS组件实现85%以上的代码复用率。阅读类应用具有UI复杂度低、数据流清晰的特点。 二、核心实现方案 1. 环境配置 &#xff08;1&#xff09;使用React Native…...

跨链模式:多链互操作架构与性能扩展方案

跨链模式&#xff1a;多链互操作架构与性能扩展方案 ——构建下一代区块链互联网的技术基石 一、跨链架构的核心范式演进 1. 分层协议栈&#xff1a;模块化解耦设计 现代跨链系统采用分层协议栈实现灵活扩展&#xff08;H2Cross架构&#xff09;&#xff1a; 适配层&#xf…...

【python异步多线程】异步多线程爬虫代码示例

claude生成的python多线程、异步代码示例&#xff0c;模拟20个网页的爬取&#xff0c;每个网页假设要0.5-2秒完成。 代码 Python多线程爬虫教程 核心概念 多线程&#xff1a;允许程序同时执行多个任务&#xff0c;提高IO密集型任务&#xff08;如网络请求&#xff09;的效率…...

Android15默认授权浮窗权限

我们经常有那种需求&#xff0c;客户需要定制的apk集成在ROM中&#xff0c;并且默认授予其【显示在其他应用的上层】权限&#xff0c;也就是我们常说的浮窗权限&#xff0c;那么我们就可以通过以下方法在wms、ams等系统服务的systemReady()方法中调用即可实现预置应用默认授权浮…...

Mobile ALOHA全身模仿学习

一、题目 Mobile ALOHA&#xff1a;通过低成本全身远程操作学习双手移动操作 传统模仿学习&#xff08;Imitation Learning&#xff09;缺点&#xff1a;聚焦与桌面操作&#xff0c;缺乏通用任务所需的移动性和灵活性 本论文优点&#xff1a;&#xff08;1&#xff09;在ALOHA…...

【生成模型】视频生成论文调研

工作清单 上游应用方向&#xff1a;控制、速度、时长、高动态、多主体驱动 类型工作基础模型WAN / WAN-VACE / HunyuanVideo控制条件轨迹控制ATI~镜头控制ReCamMaster~多主体驱动Phantom~音频驱动Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation速…...

Ubuntu Cursor升级成v1.0

0. 当前版本低 使用当前 Cursor v0.50时 GitHub Copilot Chat 打不开&#xff0c;快捷键也不好用&#xff0c;当看到 Cursor 升级后&#xff0c;还是蛮高兴的 1. 下载 Cursor 下载地址&#xff1a;https://www.cursor.com/cn/downloads 点击下载 Linux (x64) &#xff0c;…...

系统掌握PyTorch:图解张量、Autograd、DataLoader、nn.Module与实战模型

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 本文通过代码驱动的方式&#xff0c;系统讲解PyTorch核心概念和实战技巧&#xff0c;涵盖张量操作、自动微分、数据加载、模型构建和训练全流程&#…...