CMU Subword Modeling | 15 Orthography versus IPA: Why We Need Both

本文解读 CMU “Subword Modeling” (Spring 2026) 第15讲Orthography versus IPA: Why We Need Both。这节课回答一个 NLP 从业者常见的疑问「普通字母表不就能表示声音了吗为什么还需要 IPA」答案是文字到语音的映射在三个方向上都是有歧义的、不可靠的、语言相关的而这些歧义直接影响模型能从文字中提取到多少语言信息。1. NLP 从业者的常见疑问有一个问题经常出现「我们已经有了字母表字母不就是用来记录声音的吗如果需要语音信息用 character-level model 把它学出来不就好了为什么还要折腾 IPA」Mortensen 的回答是因为文字和语音之间的映射关系在三个方向上都是坏的。2. 歧义一同一个发音多种写法英语里这三个词⟨maze⟩迷宫⟨maize⟩玉米⟨Mays⟩五月的复数它们的发音完全一样/meiz/。光听发音你不知道对方说的是哪个词也不知道该怎么拼。这就是同音异形词homophony。英语有不少这种情况⟨principle⟩ vs ⟨principal⟩、⟨discreet⟩ vs ⟨discrete⟩但法语更多比如 ⟨pair⟩同伴、⟨paire⟩一对、⟨père⟩父亲发音都是一样的。而中文在这方面碾压所有其他语言。光一个 /pu˥˩/ 的发音对应的汉字就有不、埔、布、怖、步、簿、部、钚……一共十几个。这种歧义对「语音→文字」方向的转换是一个障碍——没有语言模型来做上下文消歧根本无法完成这个任务。但反过来说如果只是从文字提取语音表示这个方向的歧义倒不算致命。真正麻烦的是下一种。3. 歧义二同一种写法多个发音这比第一种歧义更棘手。同一个拼写对应不同的发音意味着文字系统丢失了信息。英语里有一堆这样的词“advocate” 做名词和做动词时重音位置不同元音也不同“bass” 可以是鱼/bæs/也可以是低音/beɪs/“live” 做形容词/laɪv/和做动词/lɪv/时发音不同“bow” 可以是蝴蝶结/boʊ/也可以是鞠躬/baʊ/英语已经够乱了但阿拉伯语和希伯来语把这个问题推到了极端。这两种语言使用的是abjad文字系统——只写辅音和长元音短元音完全不标。结果就是阿拉伯语的 بتك 这个拼写既可以读成 kataba他写了也可以读成 kutiba被写了。虽然可以通过加注标来消歧但实际上只有宗教文本才会这样做因为一个小歧义可能导致教义解读出问题。日常文本里这些词就是长得一模一样。这对 NLP 来说意味着什么如果想从文字中恢复出完整的语音表示就必须从上下文中推断出文字里没有明确写出来的信息。这不是查表能解决的问题这是一个需要语言模型介入的序列解码问题。4. 歧义三同一个字母在不同语言里代表不同的音前两种歧义是单一语言内部的问题。第三种歧义出现在跨语言的时候。4.1 汉字一个字十种读法中文各方言之间的语音差异巨大语言学家通常把它们视为不同的语言。但它们共享同一套文字系统。Mortensen 给出了「犬」「月」「人」三个字在粤语、赣语、客家话、晋语、普通话、闽南语、吴语、湘语中的读音——差异极大但写出来都是同一个字。这是一个极端的例子同一个正字法符号在不同语言变体中的语音实现完全不同。4.2 拉丁字母 ⟨x⟩一个字母十一种音即便在「看起来比较透明」的拉丁字母体系中同一个字母在不同语言里的读音也可能天差地别。Mortensen 列出了 Epitran G2P 系统中拉丁字母 ⟨x⟩ 在不同语言里对应的语音ks、s、ʃ、ɖ、ɕ、x、z、tʼ、ħ、χ、kǁ、ǁ一个字母十二种完全不同的音——从清擦音到搭嘴音从挤喉音到咽擦音。如果一个模型只看到字母 ⟨x⟩不知道当前处理的是哪种语言它根本无法知道这个字母代表什么声音。所以结论很明确当需要跨语言比较语音信息的时候正字法完全不能胜任必须用 IPA。5. 那为什么还需要正字法既然 IPA 这么好为什么不直接全部换成 IPA因为实际中 NLP 面对的输入几乎都是正字法文本。IPA 转写的语料极其稀少绝大多数语言没有大规模的 IPA 标注数据。所以现实情况是我们两个都需要。正字法是实际可用的数据来源IPA 是更干净、更系统、跨语言可比的表示两者之间的桥梁就是G2PGrapheme-to-Phoneme——把正字法转成 IPA。后续的课程会介绍基于规则的和数据驱动的 G2P 方法。6. IPA 在 NLP 中的实际价值有人可能还是会问NLP 主要处理的是文本语音处理有声学信号可以用IPA 到底在哪些场景下不可替代Mortensen 给了三个理由跨语言的科学研究。要系统地比较不同语言的语音现象必须有一个语言中立的标注方式。正字法做不到这一点。非标准发音的标注。在语言治疗和二语教学中需要精确描述「学习者发的音跟目标音差在哪」。这只有在有一个系统化的标音方案时才能做到。语音相似性作为 NLP 任务的信号。在命名实体识别NER、问答QA、机器翻译MT、实体链接Entity Linking等任务中词的发音相似性可以提供有用的线索。Bharadwaj et al. (2016) 的工作就表明在低资源跨语言迁移的场景下phonologically aware 的模型在 NER 上效果更好。Chaudhary et al. (2018) 则用语音和形态学子词表示来帮助词嵌入适应新语言。这些都是文字层面的表示很难直接提供的信号。7. 总结这节课的核心论点可以用一张表格来概括歧义方向含义例子对 NLP 的影响音→字 多对多同一发音有多种拼法英语 maze/maize/Mays中文 /pu˥˩/ 对应十几个汉字语音转文字需要语言模型消歧字→音 多对多同一拼写有多种读法英语 live/bow阿拉伯语 abjad 不标短元音文字转语音需要从上下文恢复丢失信息跨语言不一致同一字母在不同语言里代表不同的音拉丁字母 ⟨x⟩ 有12种读法同一个汉字在各方言中读音迥异跨语言任务必须用语言中立的表示核心 takeaway文字到语音的映射是有损的、有歧义的、语言特定的。当 NLP 任务需要用到语音层面的信息时尤其是跨语言场景仅靠正字法是不够的。IPA 提供了一个语言中立的、系统化的表示空间而 G2P 是连接这两个世界的桥梁。这不是在说正字法没用而是在说正字法和 IPA 解决的是不同的问题。文字是我们拥有的数据IPA 是我们需要的表示。理解它们之间的 gap 有多大、gap 的结构是什么才能更好地设计模型来弥合这个 gap。