四路触控 + 震动马达 + 0.71/1.28 双目光屏 + 三轴姿态 + 四博小助手 AI 平台

四路触控 震动马达 0.71/1.28 双目光屏 三轴姿态 四博小助手 AI 平台1. 方案定位四博 AI 双目是一套面向AI 音箱、AI 桌宠、儿童陪伴、学习终端、IP 潮玩、品牌智能客服、智能家居入口的多模态 AI 硬件方案。方案以ESP32-S3R8 16M Flash VB6824 语音前端为核心结合0.71 / 1.28 寸双目光屏 四路触控感应 震动马达 三轴高精度姿态传感器 麦克风 / 喇叭 / 功放 Wi-Fi / BLE / 可扩展 4G 四博小助手小程序 声音克隆 / 专属知识库 / MCP / OTA资料中 AI-S3 双目双屏方案明确采用ESP32S3R8 16M Flash VB6824主要配件包括 1.28 寸 LCD 显示屏 x2、主板、麦克风、喇叭和线材并可对接小智、豆包、ChatGPT 等主流大模型支持开源和二次开发。2. 核心卖点2.1 双目屏幕让 AI 设备有“眼神”四博 AI 双目通配0.71 寸 / 1.28 寸双目屏。资料中也明确给出1.28 寸屏幕分辨率为240×2400.71 寸屏幕分辨率为160×160。屏幕规格分辨率适用产品0.71 寸双目屏160 × 160小型 AI 桌宠、AI 玩具、低成本量产版1.28 寸双目屏240 × 240AI 音箱、陪伴机器人、IP 潮玩、高配版双目屏不只是显示图片而是设备状态的可视化出口待机慢速眨眼 唤醒双目睁开 聆听眼神聚焦 思考眼球转动 / Loading 回复说话表情 触摸开心 / 害羞 摇晃惊讶表情 翻转睡眠表情 网络异常困惑表情 OTA升级动画2.2 四路触控本地交互更自然四路触控建议定义为触控区域推荐功能顶部触控唤醒 / 暂停 / 继续左侧触控上一个角色 / 上一首右侧触控下一个角色 / 下一首背部触控配网 / 静音 / 长按恢复出厂语音交互适合问答但暂停、切换角色、配网、静音这类高频操作触控更直接。2.3 震动马达补齐触觉反馈震动马达用于形成“触觉确认”短震触摸确认 双震唤醒成功 / 角色切换 长震网络异常 / 低电量 节奏震OTA / 配网模式 连续轻震摇晃互动这样用户触摸、摇晃、翻转设备时不只看到眼睛变化还能感受到反馈。2.4 三轴姿态让设备感知动作三轴高精度传感器可以实现拿起唤醒 摇一摇切换角色 翻转静音 倾斜控制眼球方向 敲击触发彩蛋 静置自动休眠这类交互对于 AI 桌宠、儿童陪伴、IP 潮玩很重要可以让设备从“语音盒子”升级为“有动作感知的智能伙伴”。2.5 四博小助手声音克隆、知识库、MCP 一体化资料中提到ESPS3R8 VB6824 方案配合“四博小助手”小程序可以实现 AI 对话、声音克隆、知识库接入、MCP 扩展能力以及素材与固件在线更新。建议小程序支持设备绑定 Wi-Fi / BLE 配网 AI 智能体选择 声音克隆 专属知识库搭建 MCP 工具配置 眼睛主题管理 提示音更新 固件 OTA 素材 OTA 儿童模式 / 家长模式3. 整体硬件架构3.1 推荐硬件配置模块推荐配置主控ESP32-S3R8 / ESPS3-32Flash16MBPSRAM推荐 R8用于动画、音频缓存、WebSocket Buffer语音前端VB6824显示0.71 / 1.28 寸双目屏触控4 路触控感应姿态三轴加速度计 / 六轴 IMU 可选反馈震动马达音频麦克风 喇叭 功放联网Wi-Fi BLE可扩展 4G平台四博小助手小程序AI小智 / 豆包 / ChatGPT / 私有大模型四博模组选型资料中ESPS3-32、ESPS3-32E 支持 ESP32-S3、S3R2、S3R8 等配置并兼容 ESP32-S3-WROOM 系列模组定位于音视频 / AI 市场。3.2 系统框图┌────────────────────────────────────┐ │ 四博小助手小程序 │ │ 配网 / 声音克隆 / 知识库 / MCP / OTA │ └───────────────┬────────────────────┘ │ BLE / Wi-Fi / WebSocket / HTTPS ┌───────────────▼────────────────────┐ │ ESP32-S3 主控 │ │ Wi-Fi / BLE / UI / 状态机 / OTA │ │ 双目动画 / 触控 / IMU / 马达 / MCP │ └───────┬────────────┬────────────┬───┘ │ │ │ ┌───────▼──────┐ ┌───▼──────┐ ┌──▼──────────┐ │ VB6824 │ │ 双目光屏 │ │ 触控/IMU/马达 │ │ 唤醒/AEC/打断 │ │ 0.71/1.28 │ │ 四触控/三轴/震动 │ └───────┬──────┘ └──────────┘ └─────────────┘ │ ┌───────▼──────────────┐ │ 麦克风 / 功放 / 喇叭 │ └──────────────────────┘4. 软件架构设计推荐采用ESP-IDF FreeRTOS 多任务 全局事件队列 AI 状态机 双目动画驱动 触控 / IMU / 马达驱动 VB6824 语音事件 MCP 工具分发 OTA / NVS / 产测资料中开发宝典也说明小智 AI 系统硬件设备开源代码可在 VSCode 中安装 ESP-IDF 扩展和编译工具进行编译烧录。推荐任务结构app_main ├── wifi_task // Wi-Fi 连接、重连 ├── blufi_task // 四博小助手 BLE 配网 ├── vb6824_task // 唤醒、打断、录音事件 ├── ai_ws_task // WebSocket / MQTT AI通信 ├── eye_render_task // 双目动画刷新 ├── touch_scan_task // 四路触控扫描 ├── imu_detect_task // 姿态检测 ├── haptic_task // 震动马达控制 ├── mcp_dispatch_task // AI 工具调用 ├── ota_task // 固件和素材升级 └── app_dispatch_task // 全局事件分发5. 核心代码设计以下代码为方案级参考代码实际 GPIO、触控通道、IMU 地址、VB6824 协议、屏幕驱动需要按最终硬件原理图调整。5.1 全局事件系统typedef enum { APP_EVT_NONE 0, APP_EVT_WIFI_CONNECTED, APP_EVT_WIFI_DISCONNECTED, APP_EVT_BLUFI_START, APP_EVT_BLUFI_DONE, APP_EVT_WAKE_WORD, APP_EVT_VOICE_INTERRUPT, APP_EVT_RECORD_START, APP_EVT_RECORD_STOP, APP_EVT_TOUCH_TOP, APP_EVT_TOUCH_LEFT, APP_EVT_TOUCH_RIGHT, APP_EVT_TOUCH_BACK, APP_EVT_IMU_PICKUP, APP_EVT_IMU_SHAKE, APP_EVT_IMU_FLIP, APP_EVT_IMU_TILT_LEFT, APP_EVT_IMU_TILT_RIGHT, APP_EVT_AI_LISTENING, APP_EVT_AI_THINKING, APP_EVT_AI_SPEAKING, APP_EVT_AI_FINISHED, APP_EVT_AI_ERROR, APP_EVT_MCP_TOOL_CALL, APP_EVT_LOW_BATTERY, APP_EVT_OTA_START, APP_EVT_OTA_DONE, } app_event_id_t; typedef struct { app_event_id_t id; int param1; int param2; char payload[256]; } app_event_t; static QueueHandle_t g_app_event_queue;事件投递void app_post_event(app_event_id_t id, int p1, int p2, const char *payload) { if (!g_app_event_queue) { return; } app_event_t evt { .id id, .param1 p1, .param2 p2, }; if (payload) { strncpy(evt.payload, payload, sizeof(evt.payload) - 1); } xQueueSend(g_app_event_queue, evt, 0); }5.2 主程序初始化void app_main(void) { ESP_ERROR_CHECK(nvs_flash_init()); g_app_event_queue xQueueCreate(32, sizeof(app_event_t)); if (!g_app_event_queue) { ESP_LOGE(APP, 事件队列创建失败); return; } eye_app_start(); haptic_app_start(); touch_app_start(); imu_app_start(); wifi_app_start(); blufi_app_start(); vb6824_app_start(); ai_client_start(); mcp_app_start(); ota_app_start(); app_dispatch_start(); ESP_LOGI(APP, 四博 AI 双目系统启动完成); }5.3 AI 状态机typedef enum { AI_STATE_BOOT 0, AI_STATE_IDLE, AI_STATE_WAKEUP, AI_STATE_LISTENING, AI_STATE_THINKING, AI_STATE_SPEAKING, AI_STATE_TOUCH_FEEDBACK, AI_STATE_SHAKE_FEEDBACK, AI_STATE_SLEEP, AI_STATE_NETWORK_ERROR, AI_STATE_LOW_BATTERY, AI_STATE_OTA, } ai_state_t; static ai_state_t g_ai_state AI_STATE_BOOT;状态切换void ai_set_state(ai_state_t state) { g_ai_state state; switch (state) { case AI_STATE_BOOT: eye_play_anim(boot); audio_play_prompt(boot.wav); break; case AI_STATE_IDLE: eye_play_anim(idle_blink); break; case AI_STATE_WAKEUP: eye_play_anim(wake); haptic_double(); audio_play_prompt(ding.wav); break; case AI_STATE_LISTENING: eye_play_anim(listening); audio_start_record(); break; case AI_STATE_THINKING: eye_play_anim(thinking); break; case AI_STATE_SPEAKING: eye_play_anim(speaking); break; case AI_STATE_TOUCH_FEEDBACK: eye_play_anim(happy); haptic_short(); break; case AI_STATE_SHAKE_FEEDBACK: eye_play_anim(surprised); haptic_double(); break; case AI_STATE_SLEEP: eye_play_anim(sleep); audio_stop_tts(); break; case AI_STATE_NETWORK_ERROR: eye_play_anim(net_error); haptic_long(); audio_play_prompt(network_error.wav); break; case AI_STATE_LOW_BATTERY: eye_play_anim(low_battery); haptic_long(); audio_play_prompt(low_battery.wav); break; case AI_STATE_OTA: eye_play_anim(ota); haptic_rhythm_ota(); break; default: eye_play_anim(idle_blink); break; } }5.4 四路触控扫描如果使用 ESP32-S3 Touch Pad可参考#include driver/touch_sensor.h #define TOUCH_THRESHOLD_PERCENT 70 typedef struct { touch_pad_t pad; uint32_t baseline; app_event_id_t evt; const char *name; } touch_key_t; static touch_key_t s_touch_keys[] { {TOUCH_PAD_NUM1, 0, APP_EVT_TOUCH_TOP, TOP}, {TOUCH_PAD_NUM2, 0, APP_EVT_TOUCH_LEFT, LEFT}, {TOUCH_PAD_NUM3, 0, APP_EVT_TOUCH_RIGHT, RIGHT}, {TOUCH_PAD_NUM4, 0, APP_EVT_TOUCH_BACK, BACK}, };触控基线校准static void touch_calibrate(void) { for (int i 0; i 4; i) { uint32_t sum 0; for (int j 0; j 20; j) { uint32_t raw 0; touch_pad_read_raw_data(s_touch_keys[i].pad, raw); sum raw; vTaskDelay(pdMS_TO_TICKS(10)); } s_touch_keys[i].baseline sum / 20; ESP_LOGI(TOUCH, %s baseline%lu, s_touch_keys[i].name, s_touch_keys[i].baseline); } }触控任务static void touch_task(void *arg) { while (1) { for (int i 0; i 4; i) { uint32_t raw 0; touch_pad_read_raw_data(s_touch_keys[i].pad, raw); uint32_t threshold s_touch_keys[i].baseline * TOUCH_THRESHOLD_PERCENT / 100; if (raw threshold) { ESP_LOGI(TOUCH, %s touched raw%lu, s_touch_keys[i].name, raw); app_post_event(s_touch_keys[i].evt, raw, 0, NULL); // 防止一次触摸重复触发 vTaskDelay(pdMS_TO_TICKS(250)); } } vTaskDelay(pdMS_TO_TICKS(30)); } } void touch_app_start(void) { ESP_ERROR_CHECK(touch_pad_init()); for (int i 0; i 4; i) { ESP_ERROR_CHECK(touch_pad_config(s_touch_keys[i].pad)); } vTaskDelay(pdMS_TO_TICKS(300)); touch_calibrate(); xTaskCreate(touch_task, touch_task, 4096, NULL, 5, NULL); }5.5 震动马达驱动#include driver/ledc.h #define MOTOR_GPIO 15 #define MOTOR_LEDC_MODE LEDC_LOW_SPEED_MODE #define MOTOR_TIMER LEDC_TIMER_0 #define MOTOR_CHANNEL LEDC_CHANNEL_0 #define MOTOR_FREQ_HZ 2000 #define MOTOR_DUTY_MAX 8191 static void motor_set(uint32_t duty) { ledc_set_duty(MOTOR_LEDC_MODE, MOTOR_CHANNEL, duty); ledc_update_duty(MOTOR_LEDC_MODE, MOTOR_CHANNEL); } void haptic_short(void) { motor_set(MOTOR_DUTY_MAX * 60 / 100); vTaskDelay(pdMS_TO_TICKS(60)); motor_set(0); } void haptic_double(void) { for (int i 0; i 2; i) { motor_set(MOTOR_DUTY_MAX * 70 / 100); vTaskDelay(pdMS_TO_TICKS(50)); motor_set(0); vTaskDelay(pdMS_TO_TICKS(80)); } } void haptic_long(void) { motor_set(MOTOR_DUTY_MAX * 80 / 100); vTaskDelay(pdMS_TO_TICKS(300)); motor_set(0); } void haptic_rhythm_ota(void) { for (int i 0; i 3; i) { motor_set(MOTOR_DUTY_MAX * 50 / 100); vTaskDelay(pdMS_TO_TICKS(80)); motor_set(0); vTaskDelay(pdMS_TO_TICKS(120)); } } void haptic_app_start(void) { ledc_timer_config_t timer { .speed_mode MOTOR_LEDC_MODE, .timer_num MOTOR_TIMER, .duty_resolution LEDC_TIMER_13_BIT, .freq_hz MOTOR_FREQ_HZ, .clk_cfg LEDC_AUTO_CLK, }; ESP_ERROR_CHECK(ledc_timer_config(timer)); ledc_channel_config_t ch { .gpio_num MOTOR_GPIO, .speed_mode MOTOR_LEDC_MODE, .channel MOTOR_CHANNEL, .timer_sel MOTOR_TIMER, .duty 0, .hpoint 0, }; ESP_ERROR_CHECK(ledc_channel_config(ch)); }5.6 三轴姿态检测#include driver/i2c.h #include math.h #define I2C_PORT I2C_NUM_0 #define I2C_SDA_GPIO 8 #define I2C_SCL_GPIO 9 #define I2C_FREQ_HZ 400000 #define IMU_ADDR 0x68 #define IMU_REG_ACCEL_X 0x3B typedef struct { int16_t x; int16_t y; int16_t z; } accel_data_t;读取三轴数据static esp_err_t imu_read_accel(accel_data_t *acc) { uint8_t reg IMU_REG_ACCEL_X; uint8_t buf[6] {0}; esp_err_t ret i2c_master_write_read_device( I2C_PORT, IMU_ADDR, reg, 1, buf, sizeof(buf), pdMS_TO_TICKS(50) ); if (ret ! ESP_OK) { return ret; } acc-x (int16_t)((buf[0] 8) | buf[1]); acc-y (int16_t)((buf[2] 8) | buf[3]); acc-z (int16_t)((buf[4] 8) | buf[5]); return ESP_OK; }动作判断static bool imu_detect_shake(accel_data_t now, accel_data_t last) { int dx abs(now.x - last.x); int dy abs(now.y - last.y); int dz abs(now.z - last.z); return (dx dy dz) 18000; } static bool imu_detect_flip(accel_data_t now) { return now.z -12000; } static bool imu_detect_tilt_left(accel_data_t now) { return now.x -10000; } static bool imu_detect_tilt_right(accel_data_t now) { return now.x 10000; }IMU 任务static void imu_task(void *arg) { accel_data_t last {0}; while (1) { accel_data_t now; if (imu_read_accel(now) ESP_OK) { if (imu_detect_shake(now, last)) { app_post_event(APP_EVT_IMU_SHAKE, now.x, now.y, NULL); } if (imu_detect_flip(now)) { app_post_event(APP_EVT_IMU_FLIP, now.x, now.z, NULL); } if (imu_detect_tilt_left(now)) { app_post_event(APP_EVT_IMU_TILT_LEFT, now.x, 0, NULL); } if (imu_detect_tilt_right(now)) { app_post_event(APP_EVT_IMU_TILT_RIGHT, now.x, 0, NULL); } last now; } vTaskDelay(pdMS_TO_TICKS(80)); } }5.7 VB6824 语音事件解析资料中说明ESP32-C2 / C3 / S3 VB6824 方案由 VB6824 完成音频编解码、AEC、语音唤醒、改唤醒词等功能让主控芯片专注于通信及 UI该方案已应用于电子吧唧、S3 双目、S3 拍学机、地球仪、拍拍灯等产品。建议协议0xA5 0x01 0x00 0x5A 唤醒成功 0xA5 0x02 0x00 0x5A 用户打断 0xA5 0x03 0x00 0x5A 开始录音 0xA5 0x04 0x00 0x5A 停止录音代码#define VB_UART_NUM UART_NUM_1 #define VB_UART_TX 17 #define VB_UART_RX 18 #define VB_UART_BAUD 115200 #define VB_HEAD 0xA5 #define VB_TAIL 0x5A #define VB_CMD_WAKEUP 0x01 #define VB_CMD_INTERRUPT 0x02 #define VB_CMD_REC_START 0x03 #define VB_CMD_REC_STOP 0x04 static void vb6824_parse_frame(uint8_t *buf, int len) { if (len 4) { return; } if (buf[0] ! VB_HEAD || buf[3] ! VB_TAIL) { return; } switch (buf[1]) { case VB_CMD_WAKEUP: app_post_event(APP_EVT_WAKE_WORD, 0, 0, NULL); break; case VB_CMD_INTERRUPT: app_post_event(APP_EVT_VOICE_INTERRUPT, 0, 0, NULL); break; case VB_CMD_REC_START: app_post_event(APP_EVT_RECORD_START, 0, 0, NULL); break; case VB_CMD_REC_STOP: app_post_event(APP_EVT_RECORD_STOP, 0, 0, NULL); break; default: break; } }VB6824 还支持自定义唤醒词资料中以 AI-S3 双目为例说明升级完成后可支持选定唤醒词以及 AI 说话过程中的随时打断。5.8 统一事件分发static void app_dispatch_task(void *arg) { app_event_t evt; while (1) { if (xQueueReceive(g_app_event_queue, evt, portMAX_DELAY)) { switch (evt.id) { case APP_EVT_WIFI_CONNECTED: ai_set_state(AI_STATE_IDLE); break; case APP_EVT_WIFI_DISCONNECTED: ai_set_state(AI_STATE_NETWORK_ERROR); break; case APP_EVT_WAKE_WORD: ai_set_state(AI_STATE_WAKEUP); ai_set_state(AI_STATE_LISTENING); break; case APP_EVT_VOICE_INTERRUPT: audio_stop_tts(); ai_set_state(AI_STATE_LISTENING); break; case APP_EVT_RECORD_START: ai_set_state(AI_STATE_LISTENING); break; case APP_EVT_RECORD_STOP: audio_stop_record(); ai_set_state(AI_STATE_THINKING); break; case APP_EVT_TOUCH_TOP: ai_set_state(AI_STATE_TOUCH_FEEDBACK); app_post_event(APP_EVT_WAKE_WORD, 0, 0, NULL); break; case APP_EVT_TOUCH_LEFT: role_switch_prev(); eye_play_anim(prev_role); haptic_short(); break; case APP_EVT_TOUCH_RIGHT: role_switch_next(); eye_play_anim(next_role); haptic_short(); break; case APP_EVT_TOUCH_BACK: eye_play_anim(config); haptic_double(); blufi_start_config(); break; case APP_EVT_IMU_SHAKE: ai_set_state(AI_STATE_SHAKE_FEEDBACK); role_switch_random(); break; case APP_EVT_IMU_FLIP: ai_set_state(AI_STATE_SLEEP); audio_stop_tts(); break; case APP_EVT_IMU_TILT_LEFT: eye_set_gaze(-30, 0); break; case APP_EVT_IMU_TILT_RIGHT: eye_set_gaze(30, 0); break; case APP_EVT_AI_THINKING: ai_set_state(AI_STATE_THINKING); break; case APP_EVT_AI_SPEAKING: ai_set_state(AI_STATE_SPEAKING); break; case APP_EVT_AI_ERROR: ai_set_state(AI_STATE_NETWORK_ERROR); break; case APP_EVT_OTA_START: ai_set_state(AI_STATE_OTA); break; default: break; } } } }6. 眼睛素材与主题管理资料中提到双目固件可通过修改配置文件让src_dir和name_map指向素材screen_type指向 1.28 或 0.71 屏幕也可替换defaultEye_1.28.h或defaultEye_0.71.h的素材数组来定制眼睛样式。建议工程中不要把所有素材写死到固件而是放入素材分区/spiffs/ ├── eye_128/ │ ├── idle.bin │ ├── wake.bin │ ├── thinking.bin │ ├── speaking.bin │ ├── happy.bin │ └── sleep.bin ├── eye_071/ │ ├── idle.bin │ ├── wake.bin │ └── happy.bin ├── prompt/ │ ├── boot.wav │ ├── ding.wav │ ├── net_error.wav │ └── low_battery.wav └── theme/ ├── ocean.pkg ├── heart.pkg └── mecha.pkg动画加载接口typedef struct { char name[32]; int frame_count; int width; int height; int fps; FILE *fp; } eye_anim_t; static eye_anim_t s_current_anim; esp_err_t eye_anim_open(const char *name) { char path[96]; eye_screen_config_t cfg board_get_eye_config(); snprintf(path, sizeof(path), %s/%s.bin, cfg.asset_path, name); FILE *fp fopen(path, rb); if (!fp) { ESP_LOGW(EYE, 动画文件不存在: %s, path); return ESP_FAIL; } memset(s_current_anim, 0, sizeof(s_current_anim)); strncpy(s_current_anim.name, name, sizeof(s_current_anim.name) - 1); s_current_anim.fp fp; fread(s_current_anim.frame_count, sizeof(int), 1, fp); fread(s_current_anim.width, sizeof(int), 1, fp); fread(s_current_anim.height, sizeof(int), 1, fp); fread(s_current_anim.fps, sizeof(int), 1, fp); return ESP_OK; } void eye_play_anim(const char *name) { if (s_current_anim.fp) { fclose(s_current_anim.fp); s_current_anim.fp NULL; } if (eye_anim_open(name) ! ESP_OK) { eye_anim_open(idle); } }7. MCP 工具扩展资料中 MCP 管理指令支持ATADDMCP可配置不返回 AI 参数或返回 AI 参数的工具调用。例如设置屏幕主题、设置 RGB 灯光颜色等AI 触发后可返回对应串口协议。7.1 设置双目表情{ name: self.eye.set_expression, description: 设置四博AI双目的表情状态, parameters: { type: object, properties: { expression: { type: string, enum: [开心, 思考, 惊讶, 困惑, 睡觉, 待机] } }, required: [expression] } }设备侧void mcp_set_eye_expression(const char *expression) { if (strcmp(expression, 开心) 0) { eye_play_anim(happy); haptic_short(); } else if (strcmp(expression, 思考) 0) { eye_play_anim(thinking); } else if (strcmp(expression, 惊讶) 0) { eye_play_anim(surprised); haptic_double(); } else if (strcmp(expression, 困惑) 0) { eye_play_anim(confused); } else if (strcmp(expression, 睡觉) 0) { eye_play_anim(sleep); } else { eye_play_anim(idle_blink); } }7.2 设置眼睛主题{ name: self.eye.set_theme, description: 切换四博AI双目的眼睛主题, parameters: { type: object, properties: { theme: { type: string, enum: [默认, 海洋, 爱心, 梦境, 彩虹, 机甲, 花仙子] } }, required: [theme] } }void mcp_set_eye_theme(const char *theme) { if (strcmp(theme, 海洋) 0) { eye_load_theme(ocean); } else if (strcmp(theme, 爱心) 0) { eye_load_theme(heart); } else if (strcmp(theme, 梦境) 0) { eye_load_theme(dream); } else if (strcmp(theme, 彩虹) 0) { eye_load_theme(rainbow); } else if (strcmp(theme, 机甲) 0) { eye_load_theme(mecha); } else if (strcmp(theme, 花仙子) 0) { eye_load_theme(flower); } else { eye_load_theme(default); } haptic_short(); }7.3 MCP 工具统一分发void mcp_dispatch_tool(const char *tool_name, cJSON *args) { if (strcmp(tool_name, self.eye.set_expression) 0) { cJSON *exp cJSON_GetObjectItem(args, expression); if (cJSON_IsString(exp)) { mcp_set_eye_expression(exp-valuestring); } return; } if (strcmp(tool_name, self.eye.set_theme) 0) { cJSON *theme cJSON_GetObjectItem(args, theme); if (cJSON_IsString(theme)) { mcp_set_eye_theme(theme-valuestring); } return; } if (strcmp(tool_name, self.device.enter_config) 0) { blufi_start_config(); eye_play_anim(config); haptic_double(); audio_tts_play(设备已进入配网模式。); return; } if (strcmp(tool_name, self.audio.stop) 0) { audio_stop_tts(); ai_set_state(AI_STATE_IDLE); return; } }8. 小程序配置与 NVS 保存typedef struct { char device_id[32]; char user_id[32]; char wifi_ssid[32]; char ai_agent_id[64]; char voice_id[64]; char kb_id[64]; int volume; int brightness; int wake_sensitivity; int eye_theme; bool child_mode; bool quiet_mode; bool auto_sleep; } device_config_t; static device_config_t g_device_config;保存配置#define NVS_NAMESPACE dev_cfg #define NVS_KEY config esp_err_t device_config_save(void) { nvs_handle_t nvs; esp_err_t ret nvs_open(NVS_NAMESPACE, NVS_READWRITE, nvs); if (ret ! ESP_OK) { return ret; } ret nvs_set_blob(nvs, NVS_KEY, g_device_config, sizeof(g_device_config)); if (ret ESP_OK) { ret nvs_commit(nvs); } nvs_close(nvs); return ret; }小程序下发配置示例{ cmd: set_ai_profile, ai_agent_id: agent_sibo_001, voice_id: voice_clone_user_001, kb_id: kb_product_manual_001, volume: 70, brightness: 80, eye_theme: 3, child_mode: true, quiet_mode: false }9. OTA 与产测设计9.1 分区建议# Name, Type, SubType, Offset, Size nvs, data, nvs, 0x9000, 0x6000 otadata, data, ota, 0xf000, 0x2000 phy_init, data, phy, 0x11000, 0x1000 factory, app, factory, 0x20000, 2M ota_0, app, ota_0, 0x220000, 2M ota_1, app, ota_1, 0x420000, 2M assets, data, spiffs, 0x620000, 4M storage, data, fat, 0xA20000, 4M9.2 OTA Manifest{ device: sibo_ai_eye, hw_version: V1.0, fw_version: 1.0.8, asset_version: 2026.04.01, firmware: { url: https://server.com/fw/sibo_ai_eye_1.0.8.bin, sha256: xxxx }, assets: { url: https://server.com/assets/eye_theme_20260401.bin, sha256: yyyy }, force: false }9.3 产测项目screen 双目屏 RGB、坏点、左右屏同步 touch 四路触控原始值、阈值 motor 短震、双震、长震 imu X/Y/Z 方向、摇晃、翻转 mic 录音电平、底噪 speaker 提示音播放 vb6824 唤醒、打断、升级模式 wifi RSSI、连接、重连 flash NVS、OTA、素材分区产测代码void factory_reply(const char *item, const char *result) { printf({\item\:\%s\,\result\:\%s\}\n, item, result); } void factory_test_screen(void) { lcd_fill_color(0xF800); vTaskDelay(pdMS_TO_TICKS(300)); lcd_fill_color(0x07E0); vTaskDelay(pdMS_TO_TICKS(300)); lcd_fill_color(0x001F); vTaskDelay(pdMS_TO_TICKS(300)); lcd_fill_color(0x0000); factory_reply(screen, ok); } void factory_test_touch(void) { int top touch_get_raw(0); int left touch_get_raw(1); int right touch_get_raw(2); int back touch_get_raw(3); printf({\item\:\touch\,\result\:\ok\, \top\:%d,\left\:%d,\right\:%d,\back\:%d}\n, top, left, right, back); } void factory_test_imu(void) { accel_data_t acc; if (imu_read_accel(acc) ESP_OK) { printf({\item\:\imu\,\result\:\ok\, \x\:%d,\y\:%d,\z\:%d}\n, acc.x, acc.y, acc.z); } else { factory_reply(imu, fail); } }10. 多模态扩展方向资料中还提到DOIT_ESPS3_AI_EYE_Vision 是一款集摄像头与双目显示于一体的多模态 AI 开发板基于 ESP32-S3 主控支持两块 1.28 寸双目屏与高清摄像头融合交互并设有 4 个触摸节点可用于二次开发或量产参考。因此本方案还可以扩展为AI 双目音箱 AI 桌宠 AI 拍学机 AI 视觉问答终端 AI 陪伴机器人 AI IP 潮玩 AI 品牌客服终端视觉扩展事件typedef enum { VISION_EVT_NONE 0, VISION_EVT_CAPTURE, VISION_EVT_UPLOAD, VISION_EVT_ANALYZE, VISION_EVT_RESULT, } vision_event_t;拍照识别流程void vision_capture_and_ask(void) { app_post_event(VISION_EVT_CAPTURE, 0, 0, NULL); camera_fb_t *fb camera_capture_jpeg(); if (!fb) { ai_set_state(AI_STATE_NETWORK_ERROR); return; } app_post_event(VISION_EVT_UPLOAD, fb-len, 0, NULL); if (ai_upload_image(fb-buf, fb-len) ESP_OK) { app_post_event(VISION_EVT_ANALYZE, 0, 0, NULL); } else { ai_set_state(AI_STATE_NETWORK_ERROR); } camera_release(fb); }11. 方案总结四博 AI 双目的核心不是简单“加两块屏”而是把语音、视觉、触摸、姿态、震动、小程序和 AI 平台做成完整闭环。一句话概括四博 AI 双目 ESP32-S3 多模态主控 VB6824 语音前端 0.71 / 1.28 双目光屏 四路触控 三轴姿态 震动反馈 四博小助手 声音克隆 / 知识库 / MCP / OTA这套方案的价值在于有眼神双目屏表达状态和情绪 有触感震动马达确认操作 有感知三轴传感识别动作 有语音VB6824 支持唤醒、AEC、打断 有平台四博小助手支持声音克隆、知识库、MCP 有扩展可升级摄像头、多模态、4G、蓝牙音箱 有量产支持 OTA、素材更新、产测和二次开发未来真正有竞争力的 AI 硬件不只是“会回答问题”而是能够用声音、眼神、触摸、动作和用户形成自然连接。四博 AI 双目方案正是面向这个方向的一套高集成、高性价比、可量产的 AI 智能硬件平台。