BOTBUS / 博客

用语音给 AI 编程 agent 下指令:走路、通勤时怎么跟 Codex 和 Claude Code 说话

不方便打字时,怎么用语音给电脑上的 Codex、Claude Code 续聊、回答提问和开新任务?讲清系统听写、SSH 和 BotBus 的手机与手表语音输入,以及哪些话适合说、哪些还得回电脑打。

先说结论

走路、通勤、做饭的时候想给电脑上的 coding agent 补一句话,最省事的办法是让手机把你说的话转成文字,再发给那个正在跑的会话。手机系统自带的听写在任何输入框里都能用,所以 SSH 客户端里也能“说”;但终端里一长串转写不好检查,发出去之前也很难改。BotBus 把语音输入放进了续聊、回答提问和新建任务的输入框:iPhone 和 Android 上点麦克风边说边出字,确认后再发;Apple Watch 上抬腕点一下听写,追问说完直接发出。

语音解决的是“打字难”,不解决“看不清”:要判断 agent 改得对不对、要批一条危险命令,还是得看清内容再点。下面分开讲。

几种现成的办法,各适合什么

手机键盘自带的听写。 iOS 和 Android 键盘上都有麦克风键,在哪个输入框里都能用,包括 SSH 客户端。好处是不用装任何东西;问题在于终端界面:转写出来的字挤在一行命令行里,识别错一个文件名要挪光标去改,手机切到后台连接还常断。适合偶尔说一句、本来就开着 SSH 的人。

电脑上的听写或语音工具。 人坐在电脑前、只是不想打字时,系统听写和各种桌面语音输入工具都很好用,直接说进 agent 的终端或桌面 app。但它解决不了“人不在电脑前”。

消息平台或聊天机器人转发。 有人把 agent 接到聊天软件里,用语音消息转文字再转给 agent。能用,但多一层转发,语音和对话都要经过那家平台;这类做法的取舍我们在聊天机器人和手机 app 管 coding agent 的区别里写过。

BotBus 的语音输入。 适合的情况是:你本来就想在手机或手表上看着 agent 的进度,顺手回一句、开个新任务,不想另开终端。它不是独立的语音助手,只是把语音放进了 BotBus 自己的几个输入框里。

BotBus 里哪些地方能用语音

前提先说清楚:BotBus 电脑端装在跑 agent 的那台电脑上(Mac 版是菜单栏应用,需要 macOS 26 或更新;也有 Linux 版和 Windows 版),手机已经配对。电脑要开着、联网,续聊、回答和新建能不能做取决于这个 agent 的连接器支不支持、任务现在是什么状态,做不了的时候按钮是灰的,并写明原因。

iPhone 与 Android 手机:

说出来的字先进输入框,不会自动发送。你可以接着打字补充、改掉识别错的词,然后自己按发送;发出去的就是输入框里看得见的那段字。如果输入框里本来就有内容,新说的话会接在后面:中文直接接上,英文单词之间补一个空格,不会把两段粘成一个词。

Apple Watch:

手表上抬腕说一句是最顺手的输入,所以主按钮一点就进系统听写;旁边还有一个键盘键,不方便出声时可以涂写或打字。

想看手表上这一套的完整样子,可以看Apple Watch 上管 AI 编程 agent。

识别在哪里做、要什么权限

这部分容易被忽略,但发给 agent 的话里常带着代码、文件名和路径,值得知道它经过了哪里。

转成文字以后,这段文字和你打的字走同一条路:在手机上加密,经 BotBus 的中转送到电脑,中转只看得到密文。具体边界见安全说明:内容端到端加密,但服务器看得到设备编号、在线状态、更新时间和数据大小。还要分清一点:文字到了电脑上的 agent 以后,agent 会把它连同上下文发给它用的模型服务商,这一段不在 BotBus 的加密范围内。所以每台设备第一次通过 BotBus 向 agent 发内容时,会弹一页说明,请你核对服务商和隐私政策后再继续,同意后这台设备不再弹。

什么话适合用嘴说

语音输入最好用的是短而明确的指令。几个实际的经验:

  1. 说目标和约束,不说细节。 “把登录页的错误提示改成中文,别动接口”比逐行描述改法好说也好认。具体的代码让 agent 自己去找。
  2. 专有名词少说,或者说完检查一下。 函数名、文件路径、命令参数是识别最容易错的地方。手机上转写完先看一眼输入框,改掉再发;手表上追问是说完直接发,涉及名字时宁可换个说法,比如“上次改的那个配置文件”。
  3. 长需求分段说。 一口气说两三分钟,识别容易漏,iPhone 走服务器识别时还会到时长上限。可以先说目标,停下来看一眼,再补限制条件。
  4. 回答提问时先说结论。 agent 问“用方案 A 还是 B”,开头就说“用 B”,后面再补理由,转写错了也不至于搞反。
  5. 适合开个头的新任务。 路上想到一个点子,用手机或手表开个新任务说清楚要做什么,让 agent 先去读代码、出方案,回到电脑前再细看。怎么从手机开任务见在手机上新建编程任务。

不适合用语音的:长段代码、正则、需要精确引号和缩进的内容。这些在手机上打字也费劲,最好留到电脑前,或者让 agent 自己生成。

限制与边界

常见问题

语音输入要额外付费或装别的 app 吗?

不用。它是 BotBus 手机和手表 app 里的功能,识别用的是系统自带的服务。

我说的话会不会被 BotBus 的服务器听到?

BotBus 不上传录音。iPhone 和 Android 优先在本机识别;iPhone 不支持本机识别时由系统交给 Apple 识别。转写出来的文字在手机上加密后才经过 BotBus 的中转,中转只看到密文。到了电脑上,agent 会把它发给模型服务商,这一段由服务商的隐私政策管。

说中文、agent 能听懂吗?

转写成什么文字,agent 收到的就是什么文字。识别语言跟着手机的系统语言走;Codex、Claude Code 这类 agent 本身都能理解中文指令。代码里的英文名词建议说完检查一下。

能不能用语音审批命令?

不能。审批和带选项的提问在手机和手表上都是点按钮,这是有意的:批准前最好看清要执行的命令或要改的文件。如果你经常为同一类操作点批准,可以看看怎么安全地开自动批准。

手表听写为什么发出去就改不了?

手表屏幕太小,逐字改不现实,所以追问在系统听写界面里确认后直接发出;想改就在确认前重说,或者改用旁边的键盘键涂写。新建任务不一样,内容可以分几次说、左滑清空,确认后再开始。

← 全部文章