FreeSWITCH 智能呼叫流程设计

1. 智能呼叫流程

用户与机器人对话通常都是以文本的形式进行，但是借助 ASR 和 TTS 技术，以语音电话为载体的智能呼叫系统成为可能。智能呼叫系统涉及到多种不同类型的应用，以 FreeSWITCH 为交互核心的一种简要实现如下图所示，关键点为以下几个步骤：

1. esl 客户端通过内连向 FreeSWITCH 实例下发 originate 命令，呼叫目标用户
2. FreeSWITCH 进行呼叫动作，等待用户接通
3. 呼叫后会话状态流转，FreeSWITCH 根据呼叫字符串确定这个 channel 上路由命中的拨号计划，执行拨号计划上配置的 socket APP 外连目标服务器
4. esl 客户端接收 FreeSWITCH 外连连接后订阅该 channel 上的相应事件，并与 AI 机器人对话获取开场白
5. 获得开场白文本后 esl 客户端下发命令，在用户 channel 上执行 play_and_detect_speech APP，实现开场白放音并开启 ASR 识别用户语音
6. FreeSWITCH 与外部集成的 MRCP 服务器交互，使用其 TTS 和 ASR 功能
7. 用户说话后，esl 客户端监听相应事件获取 ASR 的识别结果，然后使用识别到的文本与 AI 机器人进行对话，得到响应后从步骤5重新开始执行，直到用户挂机

2. 细节处理

1. 呼叫字符串指定拨号计划

呼叫外部用户的命令示例如下，该例子中通过拨号字符串指定了以下信息：

1. 通过网关 10086 呼叫目标用户 1008611
2. 在用户会话 CS_ROUTING 阶段使用 10008611 作为 destination_number 去路由匹配 XML 拨号计划配置，进而确定在这个 channel 上的执行动作

originate {originate_timeout=10,origination_uuid=888888,origination_caller_id_number=1008611,origination_caller_id_name=1008611}sofia/gateway/10086/1008611 1008611 XML default

2. 外呼的拨号计划

呼叫用户的拨号计划配置示例如下，需注意以下几点：

1. 通过 tts_engine 指定默认使用的 tts 引擎，该参数候选值为安装目录下 conf/mrcp_profiles 文件夹中的 XML 文件配置的 profile 名称
2. 使用 tts_voice 指定默认音色
3. 通过 play_and_detect_speech_close_asr 参数指定 play_and_detect_speech APP 执行完毕后自动关闭 ASR

<extension name="outbound"><condition field="destination_number" expression="^1008611"><action application="ring_ready"/><action application="answer"/><action application="set" data="tts_engine=unimrcp:unimrcp-mrcp2"/><action application="set" data="tts_voice=aixia"/><action application="set" data="play_and_detect_speech_close_asr=true"/><action application="socket" data="127.0.0.1:9000 async full"/></condition>
</extension>

3. 语音打断的支持

play_and_detect_speech APP 会先打开 ASR 识别用户语音然后才放音，放音时会被用户的语音流打断。如果要实现不可打断的特性，可通过将放音和 ASR 识别拆成两个步骤达到目的，具体处理如下：

1. 与用户交互时不使用 play_and_detect_speech，而是在 channel 上直接调用 speak 等 APP 放音
2. esl 监听到放音 APP 执行完毕，再下发 detect_speech APP 打开 ASR 识别用户语音