自然语言处理中的预测与生成技术

本期节目邀请了某机构联合创始人兼CEO Ines Montani与主持人讨论如何使用自然语言处理解决实际问题。内容涵盖生成式任务与预测式任务的区别、构建处理流水线、分解问题、标注训练示例、模型微调、利用大型语言模型进行数据标注和原型开发以及spaCy NLP库的使用。生成式与预测式任务NLP可以定义为使用计算机处理大量文本并从中提取信息。生成式任务包括对话系统、问答、翻译等输入文本输出文本。预测式任务则更侧重于信息抽取例如将邮件分类为垃圾邮件或账单相关或者从文本中抽取人名、组织名、短语等结构化信息。预测式任务通常需要将结果映射回原文并可能叠加多个处理步骤。构建处理流水线解决NLP问题的第一步是明确系统要做什么而不是直接考虑训练模型。即使使用不基于标注数据的方法也需要创建带标签的示例作为“真实来源”来评估系统。语言并不总是能清晰地划分到类别中因此需要处理边缘情况决定如何划分问题、使用哪些标签。这通常需要尝试和迭代。spaCy是一个为多步骤流水线工作流设计的库针对生产环境优化速度非常快。您可以训练非常小且特定于任务的模型将其与规则或知识库结合。实际训练过程可能很简单但到达那一步的路径——确定问题、分解任务、创建评估集——才是最具挑战性的部分。标注数据与模型训练一个金融领域的案例需要从文本中提取30多个极其专业的术语属性并近乎实时地处理。最初尝试一次性标注所有30个属性但认知负担过重效率极低。后来改为每次只标注一个标签虽然每个示例需要看30遍但整体速度提升了10倍以上因为降低了数据创建者的认知负荷。通过示例来告诉计算机做什么相比编写提示词具有很多优势但目前难度更大。因此如何将这种专家工作流变得像写提示词一样简单是一个令人兴奋的方向。大型语言模型的应用大型语言模型在文本摘要等生成任务上带来了前所未有的能力。此外在快速原型开发方面大型语言模型可以极大降低初始数据标注的瓶颈。使用spaCy LLM库您可以在几分钟内通过提示词构建一个可运行的组件并测试其效果。您还可以使用大型语言模型来生成训练数据先让模型生成预测人工只需做确认或轻微修正。结合迁移学习从预训练的权重开始您可能只需要几百个示例就能训练出一个有效的模型。训练出的模型非常小例如6MB可以完全私有化部署不依赖网络在本地设备上高速运行。模型选择与组合不同技术各有优劣大型通用模型适合通用任务但通过API调用存在延迟、数据隐私和版本依赖不可控等问题。而自己训练的小模型确定性强、速度快、可完全控制。最佳实践往往是将不同技术组合例如用大型语言模型快速验证想法用规则或正则表达式建立基线再用迁移学习训练专用小模型投入生产。问题分解的重要性一个典型例子任务是需要从法庭记录中识别出儿童的姓名和出生日期以进行匿名化。如果直接创建“儿童姓名”和“儿童出生日期”两个类别来训练模型会非常困难因为名字本身不带有“儿童”属性日期是否属于儿童取决于当前日期。更好的分解方式是先识别所有日期然后进行归一化最后用简单的日期运算判断是否成年。这样避免了模型过时的问题并且将不确定的机器学习部分限制在最小范围。多语言支持不同语言的处理难度不同。英语按空白分词的简单方法对中文等语言不适用需要统计模型来预测词的边界。德语有很长的复合词。某机构的spaCy库注重语言相关的数据结构为不同语言提供针对性的实现。但由于开源许可和商业使用限制提供高质量的多语言预训练流水线仍面临挑战。总结将业务问题转化为预测问题并非一一对应。您需要不断思考我想要什么样的结构化输出模型产生该输出的难度如何在AI和NLP领域人们常因“人工智能”这个名称而期望它神奇地解决问题但实际上良好的软件工程实践——模块化、可测试、降低复杂度、使用基线对比——同样适用于机器学习系统。您完全可以主动简化问题只要能达到同样的解决方案那就是更好的方案。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享