小智物联网开发:为小智安装“机械臂“(其实就是加个舵机进行语音控制)
小智物联网开发:打造专属智能助手,开启智能生活新纪元
在物联网蓬勃发展的今天,小智物联网开发正引领着一股创新浪潮,为我们的生活和工作带来前所未有的便利与智能体验。今天,就让我们一起深入探索小智物联网开发的魅力所在。
项目概述
小智物联网开发是一个专注于打造智能、便捷生活体验的创新项目。它以ESP32开发板为核心,融合了先进的语音识别、人工智能以及物联网技术,旨在为用户提供一个可定制化的智能助手解决方案。通过简单的硬件搭建和软件配置,用户能够轻松实现智能家居控制、语音交互等多种功能,让科技真正融入日常生活。
基于小智当前的代码开发属于自己的小智机器人
第一步:关闭小智的自我更新机制
为了确保我们烧入的自定义代码不会被小智的自我更新机制所覆盖,我们需要先关闭其自我更新功能。具体操作是注释掉xiaozhi-esp32-main\main\application.cc中的以下代码:
ota_.SetCheckVersionUrl(CONFIG_OTA_VERSION_URL);ota_.SetHeader("Device-Id", SystemInfo::GetMacAddress().c_str());ota_.SetHeader("Client-Id", board.GetUuid());ota_.SetHeader("X-Language", Lang::CODE);xTaskCreate([](void* arg) { // 创建检查新版本的任务Application* app = (Application*)arg;app->CheckNewVersion();vTaskDelete(NULL);}, "check_new_version", 4096 * 2, this, 1, nullptr);
完成上述操作后,重新为ESP32S3烧录版本,这样小智就不会再进行自动更新了。
第二步:添加自己的物联网设备——以添加舵机为例
为了让小智具备更多的功能,我们可以为其添加物联网设备。这里以添加舵机作为小智的手臂为例,详细说明操作步骤。
1. 创建舵机控制文件
在路径xiaozhi-esp32-main\main\iot\things下添加一个名为arm.cc的文件,其内容如下:
#include "iot/thing.h"
#include "board.h"
#include <driver/gpio.h>
#include <esp_log.h>
#include "esp_err.h"
#include "freertos/FreeRTOS.h"
#include "freertos/task.h"
#include "freertos/semphr.h"
#include "driver/mcpwm_prelude.h"#define TAG "Arm"#define SERVO_MIN_PULSEWIDTH_US 500 // Minimum pulse width in microsecond
#define SERVO_MAX_PULSEWIDTH_US 2500 // Maximum pulse width in microsecond
#define SERVO_MIN_DEGREE -90 // Minimum angle
#define SERVO_MAX_DEGREE 90 // Maximum angle#define SERVO_PULSE_GPIO 19 // GPIO connects to the PWM signal line
#define SERVO_TIMEBASE_RESOLUTION_HZ 1000000 // 1MHz, 1us per tick
#define SERVO_TIMEBASE_PERIOD 20000 // 20000 ticks, 20msstatic inline uint32_t example_angle_to_compare(int angle)
{return (angle - SERVO_MIN_DEGREE) * (SERVO_MAX_PULSEWIDTH_US - SERVO_MIN_PULSEWIDTH_US) / (SERVO_MAX_DEGREE - SERVO_MIN_DEGREE) + SERVO_MIN_PULSEWIDTH_US;
}namespace iot {// 这里仅定义 Arm 的属性和方法,不包含具体的实现
class Arm : public Thing {
private:bool power_ = false;mcpwm_cmpr_handle_t comparator = NULL;void example_ledc_init(void) {ESP_LOGI(TAG, "Create timer and operator");mcpwm_timer_handle_t timer = NULL;mcpwm_timer_config_t timer_config = {.group_id = 0,.clk_src = MCPWM_TIMER_CLK_SRC_DEFAULT,.resolution_hz = SERVO_TIMEBASE_RESOLUTION_HZ,.count_mode = MCPWM_TIMER_COUNT_MODE_UP,.period_ticks = SERVO_TIMEBASE_PERIOD,};ESP_ERROR_CHECK(mcpwm_new_timer(&timer_config, &timer));mcpwm_oper_handle_t oper = NULL;mcpwm_operator_config_t operator_config = {.group_id = 0, // operator must be in the same group to the timer};ESP_ERROR_CHECK(mcpwm_new_operator(&operator_config, &oper));ESP_LOGI(TAG, "Connect timer and operator");ESP_ERROR_CHECK(mcpwm_operator_connect_timer(oper, timer));ESP_LOGI(TAG, "Create comparator and generator from the operator");mcpwm_comparator_config_t comparator_config = {0, // intr_priority{true} // flags.update_cmp_on_tez};ESP_ERROR_CHECK(mcpwm_new_comparator(oper, &comparator_config, &comparator));mcpwm_gen_handle_t generator = NULL;mcpwm_generator_config_t generator_config = {.gen_gpio_num = SERVO_PULSE_GPIO,};ESP_ERROR_CHECK(mcpwm_new_generator(oper, &generator_config, &generator));// set the initial compare value, so that the servo will spin to the center positionESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(0)));ESP_LOGI(TAG, "Set generator action on timer and compare event");// go high on counter emptyESP_ERROR_CHECK(mcpwm_generator_set_action_on_timer_event(generator,MCPWM_GEN_TIMER_EVENT_ACTION(MCPWM_TIMER_DIRECTION_UP, MCPWM_TIMER_EVENT_EMPTY, MCPWM_GEN_ACTION_HIGH)));// go low on compare thresholdESP_ERROR_CHECK(mcpwm_generator_set_action_on_compare_event(generator,MCPWM_GEN_COMPARE_EVENT_ACTION(MCPWM_TIMER_DIRECTION_UP, comparator, MCPWM_GEN_ACTION_LOW)));ESP_LOGI(TAG, "Enable and start timer");ESP_ERROR_CHECK(mcpwm_timer_enable(timer));ESP_ERROR_CHECK(mcpwm_timer_start_stop(timer, MCPWM_TIMER_START_NO_STOP));}public:Arm() : Thing("Arm", "你的手臂,可以运动"), power_(false) {// Set the LEDC peripheral configurationexample_ledc_init();// 定义设备的属性properties_.AddBooleanProperty("power", "手臂是否运动", [this]() -> bool {return power_;});// 定义设备可以被远程执行的指令methods_.AddMethod("TurnOn", "手臂运用", ParameterList(), [this](const ParameterList& parameters) {power_ = true;int angle = 0;ESP_LOGI(TAG, "Angle of rotation: %d", angle);ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));//Add delay, since it takes time for servo to rotate, usually 200ms/60degree rotation under 5V power supplyvTaskDelay(pdMS_TO_TICKS(500));angle = 20;ESP_LOGI(TAG, "Angle of rotation: %d", angle);ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));vTaskDelay(pdMS_TO_TICKS(500));angle = 40;ESP_LOGI(TAG, "Angle of rotation: %d", angle);ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));vTaskDelay(pdMS_TO_TICKS(500));angle = 60;ESP_LOGI(TAG, "Angle of rotation: %d", angle);ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));vTaskDelay(pdMS_TO_TICKS(500));angle = -60;ESP_LOGI(TAG, "Angle of rotation: %d", angle);ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));});methods_.AddMethod("TurnOff", "手臂返回原来的位置", ParameterList(), [this](const ParameterList& parameters) {power_ = false;// ****});}
};} // namespace iotDECLARE_THING(Arm);
2. 更新JSON配置文件
在main\iot\sample_interface.json文件中添加舵机的相关说明:
{"name": "arm","description": "AI机器人的手臂","properties": {"power": {"type": "boolean","description": "当前手臂是否在运动"}},"methods": {"TurnOn": {"description": "手臂在运动"}}},
3. 初始化舵机设备
在main\boards\bread-compact-wifi\compact_wifi_board.cc(根据自己的板子适配的文件)中的物联网初始化函数中添加舵机的初始化函数:
// 物联网初始化,添加对 AI 可见设备void InitializeIot() {auto& thing_manager = iot::ThingManager::GetInstance();thing_manager.AddThing(iot::CreateThing("Speaker"));thing_manager.AddThing(iot::CreateThing("Lamp"));thing_manager.AddThing(iot::CreateThing("Arm")); // 添加物联网things中的Arm类(为新加)}
完成以上步骤后,重新编译工程并为小智刷入新的版本,现在你就可以通过语音指令呼唤小智动手臂了。
小智输出结果展示:
I (573923) LS_learner: ****>> start
I (573923) LS_learner: 麦克风输入>> 动一下手臂。
I (573923) LS_learner: 麦克风输入>> {"type": "stt","text": "动一下手臂。","session_id": "b30cf390"
}
I (573943) LS_learner: STATE: speaking
I (574223) LS_learner: 物联网情况<< {"type": "iot","commands": [{"name": "Arm","method": "TurnOn","parameters": {}}],"session_id": "b30cf390"
}
I (574233) LS_learner: COMMAND<< [{"name": "Arm","method": "TurnOn","parameters": {}}]
I (574263) Arm: Angle of rotation: 0
I (574533) LS_learner: 物联网情况<< {"type": "iot","commands": [{"name": "Arm","method": "TurnOff","parameters": {}}],"session_id": "b30cf390"
}
I (574543) LS_learner: COMMAND<< [{"name": "Arm","method": "TurnOff","parameters": {}}]
I (574593) LS_learner: 表情输出情况<< {"type": "llm","text": "😊","emotion": "happy","session_id": "b30cf390"
}
I (574763) Arm: Angle of rotation: 20
I (574863) LS_learner: 扬声器输出<< 好的,我动了动手臂,感觉挺好玩的!
I (574863) LS_learner: 扬声器输出<< {"type": "tts","state": "sentence_start","text": "好的,我动了动手臂,感觉挺好玩的!","session_id": "b30cf390"
}
I (575263) Arm: Angle of rotation: 40
I (575763) Arm: Angle of rotation: 60
I (576263) Arm: Angle of rotation: -60
I (579173) LS_learner: 扬声器输出<< 你今天过得怎么样呢?
I (579173) LS_learner: 扬声器输出<< {"type": "tts","state": "sentence_start","text": "你今天过得怎么样呢?","session_id": "b30cf390"
}
I (582033) LS_learner: ****>> stop
总结与展望
小智物联网开发以其强大的功能、开放的架构和低成本的优势,为物联网爱好者和开发者提供了一个广阔的创作平台。通过简单的硬件搭建和软件配置,我们能够轻松打造出属于自己的智能生活助手,让科技真正融入日常生活。未来,随着技术的不断进步和创新,小智物联网开发将为我们带来更多的惊喜和可能,让我们共同期待它在智能时代的精彩表现!
相关文章:
小智物联网开发:为小智安装“机械臂“(其实就是加个舵机进行语音控制)
小智物联网开发:打造专属智能助手,开启智能生活新纪元 在物联网蓬勃发展的今天,小智物联网开发正引领着一股创新浪潮,为我们的生活和工作带来前所未有的便利与智能体验。今天,就让我们一起深入探索小智物联网开发的魅…...
【Dive Into Stable Diffusion v3.5】2:Stable Diffusion v3.5原理介绍
【Dive Into Stable Diffusion v3.5】系列博文: 第1篇:开源项目正式发布——深入探索SDv3.5模型全参/LoRA/RLHF训练第2篇:Stable Diffusion v3.5原理介绍 目录 1 前言1.1 扩散模型的原理1.2 损失函数1.3 加噪流程1.4 推理流程1.5 negative pr…...
线段树与扫描线 —— 详解算法思想及其C++实现
目录 一、线段树(Segment Tree) 基本概念 结构 操作 示例代码 二、扫描线(Sweep Line) 基本概念 应用场景 示例代码(矩形面积并集) 三、总结 一、线段树(Segment Tree) 基本…...
英伟达黄仁勋2025GTC演讲深度解析:液冷GPU、AI工厂、机器人AI…...
目录 一、技术产品与架构升级:从芯片到算力工厂1. 新一代GPU与计算架构2. AI工厂与算力操作系统 二、AI技术演进:从生成式到物理AI1. AI发展的三大阶段2. 推理算力需求爆炸式增长 三、生态合作与行业落地1. CUDA生态与开源工具2. 跨行业合作案例 四、未来…...
雷电模拟器启动94%卡住不动解决方案
安卓模拟器启动失败/启动加载卡0-29%/启动卡50%/启动卡94%的解决方法 首先看官方论坛常见问题来尝试解决: 安卓模拟器启动失败/启动加载卡0-29%/启动卡50%/启动卡94%的解决方法-雷电安卓模拟器-手游模拟器安卓版_android手机模拟器电脑版_雷电模拟器帮助中心 所有…...
02、聊天会话记忆ChatMemory
一、ChatMemory 由于手动维护和管理ChatMessages很麻烦,LangChain4j提供了ChatMemory抽象以及多个开箱即用的实现。 ChatMemory可以作为独立的低级组件来使用,也可以作为高级组件(AiService)的一部分使用。 ChatMemory作为Chat…...
vue3 ts 封装axios,配置axios前置拦截器,让所有axios请求携带token
vue3 ts 封装axios,配置axios前置拦截器,让所有axios请求携带token http.tsapp.tsvue文件 http.ts import axios from axios // 引入axios import router from /router import Qs from qs import { ElMessage } from element-plusconst { prefixBasePath } requir…...
嵌入式项目:利用心知天气获取天气数据实验方案
【实验目的】 1、利用心知天气服务器获取指定位置天气数据 2、将天气数据解析并可视化显示到OLED屏幕 【实验原理】 【实验步骤】 官网注册...
Ubuntu下用QEMU模拟运行OpenBMC
1、前言 在调试过程中,安装了很多依赖库,具体没有记录。关于kvm,也没理清具体有什么作用。本文仅记录,用QEMU成功的将OpenBMC跑起来的过程,做备忘,也供大家参考。 2、环境信息 VMware Workstation 15 Pro…...
机器学习在自然语言处理中的应用与实践
引言 自然语言处理(Natural Language Processing,NLP)是人工智能领域的一个重要分支,旨在使计算机能够理解、生成和处理人类语言。随着机器学习技术的不断发展,NLP领域取得了显著的进展。机器学习为自然语言处理提供了…...
文件操作助手
文件操作助手 在我们实现一个大型项目时,往往会有一个公共模块,这个公共模块是公用的,里面可能会包含文件操作助手、字符串操作助手、时间戳操作助手… 而我们今天就来实现一个文件操作助手,里面包含的功能有: 判断…...
专题|Python贝叶斯网络BN动态推理因果建模:MLE/Bayes、有向无环图DAG可视化分析呼吸疾病、汽车效能数据2实例合集
原文链接:https://tecdat.cn/?p41199 作为数据科学家,我们始终在探索能够有效处理复杂系统不确定性的建模工具。本专题合集系统性地解构了贝叶斯网络(BN)这一概率图模型在当代数据分析中的创新应用,通过开源工具bnlea…...
Java单例模式中的饿汉模式和懒汉模式
Java单例模式中的饿汉模式和懒汉模式 一、单例模式的显著特点单一实例全局访问 二、饿汉模式:急切的实例创建者三、懒汉模式:延迟的实例构建者1. 不考虑线程安全的初始版本2. 引入同步机制解决线程安全问题3. 优化性能:避免重复进入同步块4. …...
理解操作系统(一)冯诺依曼结构和什么是操作系统
认识冯诺依曼系统 操作系统概念与定位 深⼊理解进程概念,了解PCB 学习进程状态,学会创建进程,掌握僵⼫进程和孤⼉进程,及其形成原因和危害 1. 冯诺依曼体系结构 我们常⻅的计算机,如笔记本。我们不常⻅的计算机&am…...
Git的认识安装及创建配置本地仓库
目录 Git的作用安装Git创建Git仓库配置本地仓库git config user.name/email(添加配置)以及git config --unset.name/email(删除配置)git config --global user.name/email以及git config --global --unset user.name/email(name和email适用于当前机器的所有Git仓库中) 感谢各位…...
【el-upload】el-upload组件 - list-type=“picture“ 时,文件预览展示优化
目录 问题图el-upload预览组件 PicturePreview效果展示 问题图 el-upload <el-uploadref"upload"multipledragaction"#":auto-upload"false":file-list"fileList"name"files":accept".png,.jpg,.jpeg,.JGP,.JPEG,.…...
Uthana,AI 3D角色动画生成平台
Uthana是什么 Uthana 是专注于3D角色动画生成的AI平台。平台基于简单的文字描述、参考视频或动作库搜索,快速为用户生成逼真的动画,支持适配任何骨骼结构的模型。Uthana 提供风格迁移、API集成和定制模型训练等功能,满足不同用户需求。平台提…...
面试常问系列(二)-神经网络参数初始化之自注意力机制
目录 (一)、transformer中的自注意力机制为什么要除以根号d? 1. 点积的方差问题 2. 缩放的作用 3. 类比初始化方法 4. 实验验证 5.总结 (一)、transformer中的自注意力机制为什么要除以根号d? 在Tra…...
Linux冯诺依曼体系与计算机系统架构认知(8)
文章目录 前言一、冯诺依曼体系冯•诺依曼体系结构推导内存提高冯•诺依曼体系结构效率的方法你用QQ和朋友聊天时数据的流动过程与冯•诺依曼体系结构相关的一些知识 二、计算机层次结构分析操作系统(Operator System)驱动层的作用与意义系统调用接口(system call)用户操作接口…...
解决用户同时登录轮询获取用户信息错乱,使用WebSocket和Server-Sent Events (SSE)
为什么更推荐WebSocket Server-Sent Events (SSE) 是一种服务器向客户端推送数据的单向通信协议,适合某些场景,在解决用户同时登录和实时获取用户信息的问题上,WebSocket 是更好的选择。 1. SSE 的局限性 单向通信 SSE 是单向的࿰…...
LLM之RAG理论(十四)| RAG 最佳实践
RAG 的过程很复杂,包含许多组成部分。我们如何确定现有的 RAG 方法及其最佳组合,以确定最佳 RAG 实践? 论文 《Searching for Best Practices in Retrieval-Augmented Generation》给出了回答。 本文将从以下三方面进行介绍: 首先…...
[RoarCTF 2019]Easy Calc-3.23BUUCTF练习day5(2)
[RoarCTF 2019]Easy Calc-3.23BUUCTF练习day5(2) 解题过程 查看源码 发现calc.php页面,访问一下 分析代码 首先获取$_GET[num]的值并赋给变量$str。然后定义了一个黑名单数组$blacklist,包含了一系列被禁止的字符或转义字符,如空格、制表…...
hadoop集群配置-ssh无密登录
1.ssh-keygen -t rsa 2.ssh-copy-id hadoop1 3.ssh roothadoop1 退出 exit...
【C++教程】break语句
在 C 中,break 是一个控制流语句,用于立即终止当前所在的循环或 switch 语句的执行,并跳出其作用域。以下是 break 的详细用法及场景: 1. 在循环中使用 break break 会直接终止当前所在的循环(for、while、do-while&a…...
MinGW与使用VScode写C语言适配
压缩包 通过网盘分享的文件:MinGW.zip 链接: https://pan.baidu.com/s/1QB-Zkuk2lCIZuVSHc-5T6A 提取码: 2c2q 需要下载的插件 1.翻译 找到VScode页面,从上数第4个,点击扩展(以下通此) 搜索---Chinese--点击---安装--o…...
openharmony中hilog实证记录说明(3.1和5.0版本)
每次用这个工具hilog都有一些小用法记不清,需要花一些时间去查去分析使用方法,为了给丰富多彩的生活留出更多的时间,所以汇总整理共享来了,它来了它来了~~~~~~~~~ 开始是想通过3.1来汇总的,但实际测试发现openharmony…...
算法刷题整理合集(七)·【算法赛】
本篇博客旨在记录自已的算法刷题练习成长,里面注有详细的代码注释以及和个人的思路想法,希望可以给同道之人些许帮助。本人也是算法小白,水平有限,如果文章中有什么错误或遗漏之处,望各位可以在评论区指正出来…...
Android Studio控制台中文乱码解决方案
前些天发现了一个蛮有意思的人工智能学习网站,8个字形容一下"通俗易懂,风趣幽默",感觉非常有意思,忍不住分享一下给大家。 👉点击跳转到教程 前言: 在项目调试过程中,用华为手机调试控制台没任何问题&#x…...
BUAA XCPC 2025 Spring Training 2
C \color{green}{\texttt{C}} C [Problem Discription] \color{blue}{\texttt{[Problem Discription]}} [Problem Discription] 给定一棵以 1 1 1 为根的树,记 a i a_{i} ai 表示节点 i i i 的权值, lca( i , j ) \text{lca(}i,j) lca(i,j) 表示节…...
Edge浏览器如何默认启动某个工作区 / 为工作区添加快捷方式
Edge浏览器的工作区确实非常好用,可以多端同步标签页。但是打开Edge时默认是没有在工作区的状态,这个状态下的标签页可能会丢失。所以我研究了一下,如何点击快捷方式时自动启动一个工作区,方法如下: 先找到WorkspaceCa…...
