在reMarkable平板上部署AI智能体：手写交互与视觉语言模型实践

1. 项目概述当reMarkable平板遇见AI一个手写交互的智能副驾如果你和我一样既是reMarkable电子墨水屏平板的深度用户又对AI智能体Agentic AI的潜力充满好奇那么你一定会对这个项目感到兴奋。ghostwriter不是一个简单的笔记应用它是一个运行在reMarkable设备上的AI智能体实验。它的核心构想非常酷让平板“看懂”你在屏幕上手写的内容并在你通过手势或特定标记触发后直接在屏幕上“写”回答案或绘图。这不仅仅是OCR识别后发送到云端再返回文本那么简单它探索的是一种全新的、基于“手写屏幕”这一独特媒介的人机交互范式。想象一下这个场景你在平板上随手画了一个井字棋棋盘然后在角落轻轻一点AI就能理解你的意图并在棋盘上画下一个“O”来回应你。或者你写下一道数学题“37”触发后AI不仅算出答案“10”还能精准地把这个数字写在等号后面。这正是ghostwriter正在尝试实现的事情。它利用视觉语言模型VLM的能力将你的手写内容作为图像输入理解其语义和空间位置然后通过模拟触控笔迹或键盘输入的方式将AI的“思考”结果直接呈现在同一块电子墨水屏上。整个过程你的reMarkable从一个被动的记录工具变成了一个能与你进行“纸上对话”的智能伙伴。这个项目完美地结合了e-ink电子墨水屏的沉浸式书写体验和LLM/VLM大语言模型/视觉语言模型的智能。它不是为了替代键盘和鼠标而是为了探索在纸笔这种最自然、最专注的交互界面上AI能如何无缝地辅助我们的思考、学习和创作。无论是用于数学演算、头脑风暴、学习笔记的即时问答还是简单的创意涂鸦互动ghostwriter都打开了一扇充满想象力的大门。接下来我将带你深入这个项目的内部从设计思路、环境搭建、核心使用到深度定制和避坑指南完整地复现并理解这个令人着迷的“智能墨水”实验。2. 核心设计思路与架构解析2.1 为什么是reMarkable媒介即信息要理解ghostwriter首先要理解它选择的平台——reMarkable平板。与iPad或安卓平板不同reMarkable的核心卖点是极致的书写体验和专注力。它的屏幕是反射式电子墨水屏没有背光刷新率低但显示效果极度接近真实纸张并且支持低延迟的电磁笔输入。这决定了其交互逻辑是围绕“笔”和“纸”展开的而非触控图标和滑动。ghostwriter的设计哲学正是基于此不破坏原有的纸笔交互隐喻而是增强它。它没有在系统层面添加复杂的UI按钮或菜单而是巧妙地利用了reMarkable的底层能力屏幕截图通过访问Linux帧缓冲framebuffer设备直接抓取当前屏幕的原始像素数据。这相当于AI获得了你当前“纸面”的完整视图。模拟笔触输入通过向系统的输入子系统发送事件模拟电磁笔的移动和落笔从而在屏幕上“画”出任何SVG矢量图形。这是实现AI“手写”回应的关键。模拟键盘输入通过加载uinput内核模块创建一个虚拟键盘设备从而可以向系统的文本输入框如reMarkable的键盘笔记层注入文本。这为AI提供了另一种更结构化、更清晰的输出方式。这种设计使得AI的交互变得非常“隐形”和自然。触发AI的方式是触摸屏幕的某个角落默认是右上角就像在纸上做个标记呼唤助手一样。AI的回应则直接出现在“纸面”上保持了工作流的连续性。这种“媒介即信息”的选择是ghostwriter区别于其他在平板电脑上运行的AI应用的根本所在。2.2 核心工作流从手势到墨迹的智能循环ghostwriter的核心工作流是一个清晰的闭环我们可以将其拆解为以下几个步骤监听与触发程序以后台守护进程的形式运行持续监听触摸屏事件。当检测到手指在预设的屏幕角落如右上角被按下时触发一次AI交互流程。这个设计非常巧妙因为它无需修改系统UI完全在后台完成。画面捕获与预处理触发后程序立即捕获当前屏幕的完整位图。为了提高AI对空间关系的理解项目后期引入了可选的图像分割--apply-segmentation功能。这个功能会对手写笔迹进行简单的连通域分析找出独立的“墨迹块”并将它们的边界框坐标作为额外的空间信息提供给AI模型。这对于要求答案必须写在特定位置如填空、表格的任务至关重要。多模型对话与工具调用捕获的图像连同可选的空间坐标信息被发送到配置好的AI模型API如OpenAI的GPT-4o、Anthropic的Claude Sonnet、Google的Gemini。ghostwriter为AI定义了两个核心“工具”draw_svg: 告诉AI可以返回SVG格式的矢量路径数据程序会将其解析并模拟笔触绘制到屏幕上。draw_text: 告诉AI可以返回纯文本程序会通过虚拟键盘将其输入到reMarkable的文本层。 AI模型根据你的笔迹内容、系统提示词Prompt以及可用的工具决定是“画”回来还是“打”回来并生成相应的结构化响应。响应渲染与输出程序解析AI的响应。如果是SVG则使用resvg等库进行栅格化并转换为一系列模拟笔触事件发送给系统在屏幕上“画”出图形。如果是文本则通过虚拟键盘逐个字符“敲入”系统。在此过程中为了给用户反馈它还会在触发位置画一个“X”标记并在处理过程中动态更新它让用户知道AI正在“思考”。这个工作流将复杂的AI能力封装成了一个对用户极其简单的操作写 - 点 - 看结果。其架构的精髓在于它将自己深度嵌入到reMarkable的输入输出管道中扮演了一个“智能中间人”的角色。2.3 技术栈选型Rust、跨平台编译与模型API项目选择Rust作为主要开发语言这是一个非常务实且高性能的选择性能与安全Rust能提供接近C/C的运行时效率这对于需要实时处理屏幕图像和输入事件的后台程序至关重要。其内存安全特性也减少了潜在的系统级崩溃风险。丰富的生态Rust拥有优秀的异步运行时、HTTP客户端如reqwest、图像处理库以及对嵌入式/跨平台编译的良好支持。跨平台编译这是让同一份代码能在开发者电脑x86_64和reMarkable设备ARM架构上运行的关键。项目使用cross-rs工具配合Docker轻松实现了针对armv7reMarkable 2和aarch64reMarkable Paper Pro的交叉编译。在AI模型集成上项目没有绑定单一供应商而是抽象出了一个“引擎”Engine层。目前支持OpenAI、Anthropic和Google的API并且通过兼容OpenAI的API格式也能接入Groq等第三方服务。这种设计保持了灵活性允许用户根据模型能力、成本和响应速度选择最适合的“大脑”。3. 从零开始环境搭建与首次运行3.1 前期准备设备、账户与网络在开始之前你需要确保以下几样东西就位一台已破解的reMarkable平板ghostwriter需要SSH访问权限来安装和运行。这意味着你的reMarkable需要已经按照社区教程例如使用toltec或手动启用SSH获得了root权限。这是所有操作的前提。可用的AI模型API密钥你需要至少一个来自OpenAI、Anthropic或Google的API密钥。推荐新手从OpenAI开始因为其文档和生态最完善。确保你的账户有足够的额度。稳定的网络连接reMarkable需要能访问外网以调用上述AI服务的API。请确保你的reMarkable已连接Wi-Fi。一台用于操作的电脑Linux/macOS用于下载二进制文件、通过SCP传输和SSH连接。Windows用户可以通过WSL2获得类似体验。3.2 分步安装指南安装过程其实比想象中简单因为作者已经提供了编译好的二进制文件。第一步在电脑上下载对应版本的ghostwriter打开你的电脑终端根据你的reMarkable型号执行以下命令之一。你需要知道你的reMarkable在局域网中的IP地址可以通过平板设置 - 关于 - 网络信息查看。# 如果你的设备是 reMarkable 2 wget -O ghostwriter https://github.com/awwaiid/ghostwriter/releases/latest/download/ghostwriter-rm2 # 如果你的设备是 reMarkable Paper Pro wget -O ghostwriter https://github.com/awwaiid/ghostwriter/releases/latest/download/ghostwriter-rmpp第二步将程序传输到reMarkable使用scp命令将下载好的二进制文件复制到平板的根目录。将下面的192.168.1.117替换为你平板的实际IP地址。scp ghostwriter root192.168.1.117:输入默认的SSH密码通常是root账户的空密码或者你之前设置过的密码。第三步在reMarkable上设置API密钥并运行通过SSH连接到你的reMarkablessh root192.168.1.117连接成功后你就在平板的Linux终端里了。首先给程序添加执行权限chmod x ./ghostwriter接下来设置环境变量。最直接的方法是在当前会话中设置关闭SSH后会失效export OPENAI_API_KEY你的-openai-api-key-here或者为了永久生效你可以编辑~/.bashrc文件使用vi或nano编辑器echo export OPENAI_API_KEY你的-openai-api-key-here ~/.bashrc source ~/.bashrc现在运行帮助命令测试一下./ghostwriter --help如果看到一长串选项说明恭喜你安装成功了。3.3 首次运行与基础互动让我们用最简单的命令启动它使用默认的Claude Sonnet模型./ghostwriter程序会开始运行并监听触摸事件。保持这个SSH窗口打开你可以看到实时日志。回到你的reMarkable屏幕像平常一样用笔写点东西比如画一只简笔画小狗或者写一个问题“What is the capital of France?”。然后用你的手指注意是手指不是笔去触摸屏幕的右上角。此时你会看到屏幕上你触摸的位置会出现一个“X”标记。SSH终端里会滚动显示日志包括“Touch detected”、“Taking screenshot”、“Calling API…”等信息。稍等片刻取决于网络和模型速度AI的回应就会出现在屏幕上它可能会在你写的句子下面用打字机字体打出“Paris”也可能会在你画的小狗旁边再画一只。注意第一次运行时由于需要加载字体和初始化响应可能会稍慢。如果长时间没有反应请检查SSH终端中的错误信息最常见的问题是API密钥未设置或网络连接失败。4. 核心功能详解与高级配置4.1 模型引擎如何选择你的“AI大脑”ghostwriter支持多个主流模型各有特点OpenAI GPT-4o / GPT-4o-mini综合能力强响应速度快对工具调用Tool Calling支持非常好是当前最稳定可靠的选择。gpt-4o-mini性价比极高。Anthropic Claude 3.5 Sonnet在长上下文和复杂指令理解上表现出色新增的--thinking参数可以开启其“思考链”输出让你在日志中看到模型的推理过程非常有趣。--web-search参数还能开启联网搜索功能。Google Gemini 2.0 Flash速度极快成本低对于简单问答和创意任务效果不错。Groq (Llama 3.2 Vision)通过OpenAI兼容接口接入速度无敌每秒数百token但根据项目作者测试其空间理解和工具调用能力相对较弱。如何切换模型启动时通过--model参数指定程序会自动推断引擎。你也可以显式指定引擎和API地址。# 使用 GPT-4o-mini ./ghostwriter --model gpt-4o-mini # 使用 Claude 3.5 Sonnet 并开启思考模式 ./ghostwriter --model claude-3-5-sonnet-20241022 --thinking # 使用 Google Gemini Flash export GOOGLE_API_KEY你的-key ./ghostwriter --model gemini-2.0-flash-exp # 使用 Groq 的 Llama 模型需要单独设置API地址 export GROQ_API_KEY你的-key ./ghostwriter --model llama-3.2-90b-vision-preview --engine openai --engine-base-url https://api.groq.com/openai4.2 触发与交互不仅仅是右上角默认的触发方式是触摸右上角Upper-Right, UR。但你可以通过--trigger-corner参数改变这个行为支持四个角落UR: 右上角 (默认)UL: 左上角LR: 右下角LL: 左下角例如如果你想用左下角触发可以这样运行./ghostwriter --trigger-corner LL这个功能非常实用可以避免误触或者根据你的握持习惯调整。4.3 输出模式绘图 vs. 文本AI如何回应这由你提供的提示词Prompt和启用的工具决定。默认配置允许AI自行选择使用draw_svg绘图或draw_text打字。你可以通过参数强制限制输出模式--no-svg: 禁用SVG绘图工具强制AI只能以文本形式回应。--no-keyboard: 禁用键盘文本工具强制AI只能以绘图形式回应。不常用因为文本输出有时更清晰例如如果你只想让AI帮你计算和填写答案而不希望它乱画可以./ghostwriter --no-svg这样即使你画了一个小狗AI也只会用文字描述它而不会尝试去画。4.4 后台运行与开机自启你不可能一直开着SSH会话。为了让ghostwriter在后台持续运行可以使用nohup和nohup ./ghostwriter --model gpt-4o-mini ghostwriter.log 21 这条命令会让程序在后台运行并将所有输出重定向到ghostwriter.log文件中。你可以通过tail -f ghostwriter.log来查看实时日志。关于开机自启作者在TODO列表中提到了这一点。目前一个比较稳定的方法是利用reMarkable的systemd用户服务。你可以在~/.config/systemd/user/下创建一个服务文件例如ghostwriter.service[Unit] DescriptionGhostwriter AI Assistant Afternetwork.target [Service] Typesimple EnvironmentOPENAI_API_KEY你的-key WorkingDirectory/home/root ExecStart/home/root/ghostwriter --model gpt-4o-mini Restarton-failure RestartSec5 [Install] WantedBydefault.target然后执行systemctl --user daemon-reload systemctl --user enable ghostwriter systemctl --user start ghostwriter这样每次重启reMarkable后ghostwriter都会自动启动。重要提示将API密钥明文存储在服务文件中存在安全风险。对于生产环境应考虑使用更安全的方式管理密钥例如从加密文件中读取。5. 深度定制提示词工程与本地开发5.1 理解与修改提示词Promptghostwriter的智能行为很大程度上由发送给AI模型的“系统提示词”决定。默认提示词文件是general.json它定义了AI的角色、能力、约束和输出格式。提示词的核心是告诉AI你是什么一个在reMarkable平板上的助手可以看到屏幕截图。你能做什么可以调用draw_svg工具在屏幕上绘图或者调用draw_text工具输入文本。你该怎么做根据用户的手写内容提供有帮助、简洁的回应。绘图应力求简单、线稿风格文本应直接了当。空间意识如果提供了“segments”图像分割后的区块坐标要利用这些信息将回应放在正确的位置比如在填空处填写答案。你可以创建自己的提示词文件。例如创建一个math_tutor.json{ system: 你是一个严格的数学导师。用户会在reMarkable平板上手写数学问题。你的任务是以最清晰、最严谨的方式解答问题。优先使用draw_text工具以排版优美的文本格式输出解答步骤。如果涉及几何图形可以辅以简单的draw_svg图示。永远不要直接给出答案要引导思考。, tools: [draw_svg, draw_text] }然后将它复制到reMarkable上运行./ghostwriter --prompt /path/to/your/math_tutor.json这样AI就会以数学导师的角色来回应你行为模式与默认的通用助手截然不同。这是定制ghostwriter行为最强大、最灵活的方式。5.2 为reMarkable Paper Pro编译uinput模块特殊需求reMarkable 2 的内核默认包含了uinput模块但 Paper Pro 没有。uinput是创建虚拟键盘设备所必需的。项目作者已经为几个主流系统版本预编译了模块并打包在程序中首次运行时会尝试自动加载。但是如果你升级了系统而作者尚未提供新版本的模块你就需要自己编译。这是一个相对高级的操作但流程是固定的在电脑上克隆reMarkable官方的Linux内核源码。切换到与你平板系统版本对应的分支。修改内核配置启用CONFIG_INPUT_UINPUTm编译为模块。使用ARM交叉编译工具链进行编译。从编译输出中提取uinput.ko文件并将其放置到ghostwriter程序目录下的特定位置如utils/rmpp/。具体命令在项目的“Scratch Notes”部分有详细记录。这个过程需要一定的Linux内核编译知识但对于想追新系统版本的用户是必须掌握的技能。5.3 本地开发与交叉编译如果你想贡献代码、修复bug或尝试新功能就需要搭建本地开发环境。环境准备以Ubuntu为例安装Rust使用rustup安装最新的Rust工具链。安装交叉编译工具# 对于 reMarkable 2 (ARMv7) sudo apt-get install gcc-arm-linux-gnueabihf # 对于 reMarkable Paper Pro (ARM64/aarch64) sudo apt-get install gcc-aarch64-linux-gnu安装cross-rs这是一个简化交叉编译的工具。cargo install cross --git https://github.com/cross-rs/cross添加编译目标rustup target add armv7-unknown-linux-gnueabihf # rm2 rustup target add aarch64-unknown-linux-gnu # rmpp编译与部署项目提供了方便的build.sh脚本。# 编译并传输到 reMarkable 2 (假设IP已配置在脚本中) ./build.sh # 编译并传输到 reMarkable Paper Pro ./build.sh rmpp脚本会完成编译、链接并通过SCP将二进制文件发送到你的平板。之后你只需在平板的SSH会话中重启ghostwriter即可测试新版本。这种“在电脑上编码在平板上测试”的循环非常高效。6. 实战技巧、问题排查与经验分享6.1 最佳实践与使用技巧清晰的手写与布局AI的视觉识别能力虽强但潦草的字迹和重叠的笔画会增加识别难度。尽量书写清晰并在不同内容之间留出一些空间这也有助于内置的图像分割器如果启用更好地理解页面结构。善用触发角如果你经常误触右上角可以改为使用左下角--trigger-corner LL。对于左利手用户左上角UL可能更顺手。针对性选择模型创意绘图/开放式问答Claude 3.5 Sonnet 或 GPT-4o它们更擅长理解复杂意图和生成创意内容。数学计算/代码/事实问答GPT-4o-mini 或 Gemini Flash它们速度快、成本低且准确性有保障。需要联网搜索使用Claude并开启--web-search参数。为特定任务创建专用提示词这是发挥ghostwriter最大潜力的关键。为“会议纪要总结”、“待办事项提取”、“学习卡片问答”分别创建提示词文件让AI成为你在特定领域的专家助手。结合文本层使用当AI通过draw_text输出大段文字时这些文字会进入reMarkable的文本层。你可以事后用平板自带的键盘功能进行复制、粘贴或导出这比从图片中OCR要方便得多。6.2 常见问题与解决方案速查表问题现象可能原因解决方案运行./ghostwriter提示command not found文件不在当前目录或没有执行权限使用ls -la确认文件存在并用chmod x ghostwriter添加权限。触摸触发后无任何反应SSH日志无输出程序未在后台运行或触摸监听失败1. 通过ps | grep ghostwriter检查进程是否存在。2. 确认使用手指触摸指定角落电磁笔的触摸事件可能不同。3. 尝试其他触发角。SSH日志显示API Error: 401API密钥错误或未设置1. 检查echo $OPENAI_API_KEY是否输出正确密钥。2. 确认密钥有效且未过期。3. 尝试在命令中直接设置OPENAI_API_KEYxxx ./ghostwriter。日志显示网络超时或连接错误reMarkable网络连接不稳定1. 在平板上打开浏览器访问一个网站测试网络。2. 检查防火墙是否阻止了出站连接。3. 尝试使用手机热点排除路由器问题。AI回应是文本但显示在屏幕错误位置文本层光标位置不确定这是当前的一个限制。程序会尝试将文本输入到当前页面的文本区域但位置逻辑可能不完美。尝试先点击一下屏幕上的文本输入框再触发AI。AI绘图SVG质量差线条歪曲SVG解析和笔触模拟的精度问题1. 在提示词中强调“使用简单、清晰的线稿”。2. 可以尝试使用--no-svg强制文本输出。3. 这是一个已知的待优化领域期待社区贡献更好的渲染引擎。reMarkable Paper Pro 上键盘输入无效uinput内核模块未加载1. 查看程序启动日志看是否有尝试加载模块的提示。2. 运行lsmod | grep uinput检查模块是否已加载。3. 如果模块缺失需要按照前文所述自行编译对应系统版本的模块。系统升级后ghostwriter完全失效系统接口变更或预编译模块不兼容1.谨慎升级系统关注项目Issue页面是否有相关报告。2. 如果已升级可能需要等待作者更新或自行根据新系统版本重新交叉编译整个程序及内核模块。6.3 性能优化与成本控制启用图像分割--apply-segmentation这个功能会稍微增加本地处理时间但能为AI提供宝贵的空间坐标信息显著提升在填空、表格等场景下答案位置的准确性。如果你的任务对位置敏感建议开启。选择合适的模型尺寸对于大多数日常互动gpt-4o-mini或gemini-2.0-flash-exp在速度、成本和效果上取得了很好的平衡。只有在需要复杂推理或创意生成时才动用gpt-4o或claude-3-5-sonnet。监控API用量AI服务按Token收费。你可以在OpenAI、Anthropic等平台的仪表板上设置用量告警防止意外超支。ghostwriter每次调用会发送一张屏幕截图图像Token消耗是大头但通常单次交互成本也极低远低于1美分。使用本地模型实验性项目支持通过OpenAI兼容的API连接本地部署的模型如Ollama。虽然目前测试的Llama 3.2 Vision工具调用能力不足但随着开源VLM模型的进步这将是零成本、高隐私的未来方向。你可以尝试部署llava或qwen-vl等模型进行探索。6.4 我踩过的“坑”与心得系统升级是最大的风险点reMarkable的系统更新有时会改变底层框架缓冲区framebuffer的地址或格式导致截图功能失效也可能更新内核使预编译的uinput.ko模块不兼容。我的建议是除非新系统有你必需的功能否则在ghostwriter社区确认兼容性之前不要轻易升级。我已经因为一次升级导致截图失效不得不折腾降级。备份你的提示词和配置如果你精心调教了一套提示词一定要把它备份到电脑或云端。平板的存储空间有限且重装系统时会丢失。日志是你的朋友始终在启动时保留日志输出nohup ... log.txt 。当出现奇怪行为时第一时间查看日志。很多问题比如网络错误、API限额、图像处理失败都能在日志中找到明确线索。社区是宝库这个项目在GitHub和Reddit的r/RemarkableTablet板块有活跃的讨论。遇到问题时先去搜索Issue和讨论帖很可能已经有人提供了解决方案。例如Paper Pro的uinput问题就是通过社区反馈才被作者重视并解决的。理解它的边界ghostwriter是一个惊艳的实验但不是成熟产品。不要期望它像ChatGPT网页版那样稳定和全能。它的魅力在于“手写交互”这个特定场景。享受它带来的惊喜容忍它偶尔的“愚蠢”比如把简笔画小狗认成猫并参与到这个有趣的探索过程中来。