当前位置: 首页 > news >正文

让大模型落地有“技”可循

“2018年,随着Transformer预训练模型的兴起,自然语言处理(NLP)学术圈中形成了一个主流观点——NLP领域的不同技术方向,如文本分类、文本匹配、序列标注等,最终都会被归结到文本生成这一核心任务之下。”这是中关村科金技术副总裁张杰在访谈伊始便提到的一项关键洞察。

作为领先的对话式AI技术解决方案提供商,中关村科金自2014年成立以来便选择聚焦生成式AI技术,专注于企业服赛道提供对话场景服务。并在过去数年中,基于对AI技术栈的全面布局,先后构建了数字化洞察与营销、数字化服务与运营、数“智”底座三大产品矩阵。

ChatGPT引爆大模型热潮后,AI技术积淀深厚的中关村科金也在第一时间选择了全面拥抱大模型,并于2023年11月正式发布了国内首个企业知识大模型、AgentGraph应用开发平台,以及“超级员工”系列AIGC应用,成为了国内大模型应用领域的先行者之一。

本期51CTO技术栈T·TALK访谈栏目,我们特别邀请到了中关村科金技术副总裁张杰,希望能够通过这场对话,了解到这位经验丰富的技术专家对于AI行业发展的认知与判断,以及中关村科金这家头部智能科技企业在大模型技术与应用领域所积累的宝贵经验。

大模型落地的切入点

根据张杰的介绍,此前,行业内普遍会将对话式AI认为是企业与客户沟通的一座桥梁,尤其是在数字化转型的背景下,这座桥梁的主要作用通常会被归结为提升沟通效率与用户体验。

然而随着大模型技术的火爆,业内开始逐渐意识到了对话式AI的更大潜能——“以中关村科金为例,现在我们认为对话式AI在大模型所提供的理解和生成能力加持下,可以通过在对话过程中对企业知识的提取,升级成为企业知识管理甚至是企业群体智能的入口。”

因此在张杰看来,当前很适合大模型落地破冰的切入点,便是面向企业的知识问答场景。常规的企业知识库会包含大量的各式文档,并不利于整理和查询,如今只需要将这些知识信息交给大模型进行处理,便能直接通过对话形式进行关键信息检索。

这不仅能带来成本上的效益,企业不再需要大量人员对文档进行标注整理。且基于大模型的控制,所生成知识信息在合规和可控性上的表现也会更好。更重要的一点是,企业知识中台并非孤立场景,除了赋能内部员工外,对外部客户的触达连接,例如营销、客服等,也都存在着很大的想象空间。

目前,中关村科金AIGC应用知识助手已成功服务银行、证券、财富管理等多个行业客户,包括头部证券公司。在证券行业实践中,基于大模型内容生成能力,为客户经理生成不同对客阶段、多样化的客户营销话术,营销文案撰写时间从10分钟缩短至10秒,高效辅助客户经理展业,提升客户经理对客服务的专业性。在财富管理行业实践中,为智能客服产品赋能,大幅提升客服系统问答意图识别准确率和回复准确率,减少70%以上的系统运营工作,帮助企业实现更加智能、成本更低的客户服务。

“2022年ChatGPT发布后,大模型实现了从学术圈一直到朋友圈的破圈;2023年则是大模型破冰的阶段,无论是基础大模型还是领域大模型厂商,都在积极寻找试点应用场景;而2024年将很有可能会是大模型应用涌现的一年,各种业务场景都会选择拥抱大模型。”张杰如是说。

模型与知识的有机结合

作为国内头部的对话式AI技术解决方案提供商,中关村科金在多年的经营历程中积累了丰富的企业级客户服务经验。在企业数字化转型的过程中,张杰总结到,无论在大模型火爆前后,客户对待产品的态度都无外乎两种——足够新颖亦或是足够实用。

因此,通用大模型并不能成为当下企业服务的统一解决方案。通用大模型更强调泛用性,即便模型综合能力很强,但依然会面临一个法则,便是“通用的不好用,好用的不通用”,所以想要解决企业不同业务场景下的特定问题,还需寻找新的突破口。

中关村科金基于对大模型技术的综合判断,探索出“大模型+领域知识”的发展路径,在领域大模型的基础上又提出了企业知识大模型。由于许多知识密集型企业不允许模型存在幻觉问题,这便需要将特定领域知识和语言模型进行有机结合。

企业知识大模型助力构建“企业知识大脑”。例如在制造业,没必要训练领域大模型记忆特定企业每款零件的各种细节数据,只需要将信息储存在企业知识库,并由企业知识大模型进行信息的挖掘与读取,并从中筛选出用户所需的知识点。

张杰表示:“企业知识大模型不与具体领域绑定,更多用于处理不同结构的数据源,并将非结构化的知识转化为大模型能够快速查找的知识库,没有领域特性的特点,也使其能够被更广泛的应用于不同行业的不同业务场景中。”

软件工程新范式

根据张杰的介绍,随着企业AI应用场景的不断丰富,很多应用创意将产生在业务部门,他们需要更加简易高效的研发平台快速验证idea,而不是将任务全部交由科技部门慢慢立项研发。

而对于如中关村科金这样具备多样产品体系及完备产品矩阵的企业而言,大模型应用开发平台能够帮助交付人员提高产品的研发和迭代效率并降低成本。所以,中关村科金在推出企业知识大模型的同期上线了AgentGraph应用开发平台。

“基于智能体的应用开发平台将会是一个大的趋势,这将可能会带来软件工程的新范式。”在软件工程2.0时代,数据格式都需要人为进行预定义,但在大模型时代,基于模型对多模态数据的理解,预定义数据结构这项沿用许久的传统势必将被颠覆。

关于AgentGraph应用开发平台的特点,张杰也给出了这样的介绍,“AgentGraph平台分为两层,底层为原子能力,场景组件中封装了大量行业KnowHow,上层则采取拖拉拽即可实现的零代码流程编排画布。能够低成本的链接模型能力和应用场景,是AgentGraph的核心优势。”

张杰表示:“我们希望通过AgentGraph构建一个生态开发平台,把应用开发的权限从算法工程师、IT人员手里开放出来,业务专家可以通过低代码、拖拉拽的方式,快速调用AI底层能力,实现场景应用落地。”

产品革命

无论技术亦或是工具的演进,最终所影响的都是产品的迭代和创新。相较于此前基础的AI技术,大模型所能提供的语言理解能力更强,这意味着在大模型的赋能之下,传统AI产品的能力覆盖率将会迎来质的飞跃。

例如在一些客服质检场景,传统方法是利用关键词识别,去判断涉及敏感内容或辱骂性的词句。而依托大模型的语言理解能力,基于大模型所构建的质检系统,一些不含有敏感词但句意为辱骂或涉及违法的内容也将能够被准确识别并抓取。

另外,在我们熟悉的营销领域亦是如此。原先做营销外呼需要将产品话术及对话SOP提前设定好,然而即便如此SOP也没法穷举客户的不同状态,例如客户在开车亦或开会时该怎么做,传统营销系统都难以应付。大模型则只需要通过一些绩优话术的训练,便能够基本达到人类业务员的水准。

目前中关村科金主推的一大产品应用便是能够服务营销、客服、行政、财务等诸多不同业务场景的虚拟员工助手。不同业务场景的虚拟员工都源于同一套技术路径,即底层能力来自大模型及AI原子能力,以支持信息抽取、文本理解及内容生成。

对于企业最关心的大模型落地成本与安全性问题,张杰也总结了一些自己的观点和中关村科金目前所提出的解决方案。在企业私有化部署时,很多场景不需要太大体量的大模型,更没必要从0到1训练基础模型。很多时候几十亿、几百亿参数的小模型就能解决具体问题,加之应用云服务,部署大模型及训练的整体成本并不会过高。

安全层面,中关村科金则提出了一套新的安全体系,通过数据清洗、隐私脱敏、合规加训、提示工程约束与传统合规质检五层安全防护的处理,以确保大模型以及基于大模型所构建的系列应用能够尽可能摆脱幻觉问题的困扰。

大模型的应用高地

“随着技术和应用的不断成熟,大模型的应用场景将变得非常多,知识密集型行业将最有可能率先成为大模型落地的高地,例如金融、制造、政务等。”在回答有关大模型领域未来发展趋势的问题时,张杰提出了自己这样的判断。

金融业有着许多大模型应用落地场景,这是由于金融业拥有较强的数字化基础,且每一点小的突破都能带来可衡量的收益。在银行、保险、证券等行业的营销、服务等业务场景中,大模型都能够对业务人员形成很好的赋能。

此外,如制造、政务等领域,虽然仍在数字化进程中,但它们的共同点便是行业内都存在着海量信息,利用大模型将这些知识碎片收集记忆起来,按需赋能给相关人员,将能够显著提升多种场景下业务人员的工作效率。

张杰强调称:“任何技术从前沿的突破,到工程化、产品落地试点,再到大规模落地,都会有一个技术应用的生命周期。现在大模型技术非常火爆,虽然在应用过程中还需要一段的时间积淀,但在未来三到五年,这一领域将会充满机遇。”

相关文章:

让大模型落地有“技”可循

“2018年,随着Transformer预训练模型的兴起,自然语言处理(NLP)学术圈中形成了一个主流观点——NLP领域的不同技术方向,如文本分类、文本匹配、序列标注等,最终都会被归结到文本生成这一核心任务之下。”这是…...

java:字符集和字符流

字符集 规定了字符和二进制之间对应关系的一张表 字节是计算机最基本的存储单位 字符则是通过字符组成和编码而成的文本 常见字符集 1,ASCII字符集 基础字符编码标准,包含128个字符,只包括英文字母,数字和一些常见的符号 一个字节表示一个字符 所有的字符集均兼容ASCII…...

Java常见的设计模式

Java常见的设计模式 工厂模式(Factory Pattern)单例模式(Singleton Pattern)代理模式模式(Proxy Pattern)适配器模式(Adapter Pattern)观察者模式(Observer Pattern&…...

Oracle 19c RAC集群相关日志

1.DB日志(数据库日志) Redo Log(重做日志): 在Oracle数据库中,重做日志记录了数据库发生的所有修改操作,包括数据的插入,更新和删除。在RAC的环境中,每个实例都有自己的重…...

TR4 - Transformer中的多头注意力机制

目录 前言自注意力机制Self-Attention层的具体机制Self-Attention 矩阵计算 多头注意力机制例子解析 代码实现总结与心得体会 前言 多头注意力机制可以说是Transformer中最主要的模块,没有之一。这次我们来仔细分析一下注意力机制与多头注意力机制。 自注意力机制…...

three.js跟着教程实现VR效果(四)

参照教程:https://juejin.cn/post/6973865268426571784(作者:大帅老猿) 1.WebGD3D引擎 用three.js (1)使用立方体6面图 camera放到 立方体的中间 like “回” 让贴图向内翻转 (2)使…...

AI预测体彩排3第1弹【2024年4月12日预测--第1套算法开始计算第1次测试】

前面经过多个模型几十次对福彩3D的预测,积累了一定的经验,摸索了一些稳定的规律,有很多彩友让我也出一下排列3的预测结果,我认为目前时机已成熟,且由于福彩3D和体彩排列3的玩法完全一样,我认为3D的规律和模…...

spring 中的控制反转

在Spring框架中,控制反转(IoC,Inversion of Control)是指将对象的创建和管理交给了容器,而不是在应用程序代码中直接创建对象。在传统的编程模式中,应用程序代码通常负责创建对象并管理它们的生命周期&…...

GO并发总是更快吗?

许多开发人员的一个误解是,并发解决方案总是比串行更快,大错特错。解决方案的整体性能取决于许多因素,例如,结构的效率(并发)、可以并行处理的部分以及计算单元的竞争程度。 1. GO调度 线程是操作系统可以执行的最小单元。如果一个进程想要同时执行多个动作,它可以启动…...

echarts折线图自定义打点标记小工具

由于没研究明白echarts怎么用label和lableLine实现自定义打点标记&#xff0c;索性用markPoint把长方形压扁成线模拟了一番自定义打点标记&#xff0c;记录下来备用。&#xff08;markLine同理也能实现&#xff09; 实现代码如下&#xff1a; <!DOCTYPE html> <html…...

【图论】Leetcode 200. 岛屿数量【中等】

岛屿数量 给你一个由 ‘1’&#xff08;陆地&#xff09;和 ‘0’&#xff08;水&#xff09;组成的的二维网格&#xff0c;请你计算网格中岛屿的数量。 岛屿总是被水包围&#xff0c;并且每座岛屿只能由水平方向和/或竖直方向上相邻的陆地连接形成。 此外&#xff0c;你可以…...

酒店大厅装水离子雾化壁炉前和装后对比

在酒店大厅装水离子雾化壁炉之前和之后&#xff0c;大厅的氛围和体验会有显著的对比&#xff1a; 装水离子雾化壁炉之前&#xff1a; 传统感&#xff1a;在壁炉安装之前&#xff0c;大厅可能会有传统的装饰或者简单的暖气设备&#xff0c;缺乏现代化的元素。这种传统感可能会…...

城市内涝与海绵城市规划设计中的水文水动力模拟

原文链接&#xff1a;城市内涝与海绵城市规划设计中的水文水动力模拟https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247601198&idx5&sn35b9e5e3961ea2f190f9742236a7217f&chksmfa820dc9cdf584df97633f64d19bdc3e5f7d1a5a85000c8f040e1953c51b9b39c87b5…...

C++项目实战与经验分享

在编程世界中,C++ 是一种功能强大且灵活的编程语言,广泛应用于系统级编程、游戏开发、嵌入式系统以及高性能计算等领域。本文将分享一个基于C++的图像处理系统项目实战经验,并深入探讨在开发过程中遇到的问题及解决方案。 一、项目概述 本次项目实战的目标是开发一个基于C…...

Day17_学点JavaEE_转发、重定向、Get、POST、乱码问题总结

1 转发 转发&#xff1a;一般查询了数据之后&#xff0c;转发到一个jsp页面进行展示 req.setAttribute("list", list); req.getRequestDispatcher("student_list.jsp").forward(req, resp);2 重定向 重定向&#xff1a;一般添加、删除、修改之后重定向到…...

Mouse IFN-α ELISA kit (Quick Test)

干扰素α&#xff08;IFN-α&#xff09;是一类由免疫细胞分泌的内源性调节因子&#xff0c;也被称为白细胞干扰素&#xff0c;主要参与响应病毒感染的先天性免疫。 基于结构特征、受体、细胞来源和生物活性的不同&#xff0c;干扰素可被分为Ⅰ、Ⅱ、Ⅲ三种类型&#xff0c;其中…...

AMD Tensile 简介与示例

按照知其然&#xff0c;再知其所以然的认知次序进行 1&#xff0c;下载代码 git clone --recursive https://github.com/ROCm/Tensile.git 2&#xff0c;安装 Tensile cd Tensile mkdir build cd build ../Tensile/bin/Tensile ../Tensile/Configs/rocblas_dgemm_nn_asm_full…...

Rust语言

文章目录 Rust语言一&#xff0c;Rust语言是什么二&#xff0c;Rust语言能做什么&#xff1f;Rust语言的设计使其适用于许多不同的领域&#xff0c;包括但不限于以下几个方面&#xff1a;1. 传统命令行程序&#xff1a;2. Web 应用&#xff1a;3. 网络服务器&#xff1a;4. 嵌入…...

排序算法之冒泡排序

目录 一、简介二、代码实现三、应用场景 一、简介 算法平均时间复杂度最好时间复杂度最坏时间复杂度空间复杂度排序方式稳定性冒泡排序O(n^2 )O(n)O(n^2)O(1)In-place稳定 稳定&#xff1a;如果A原本在B前面&#xff0c;而AB&#xff0c;排序之后A仍然在B的前面&#xff1b; 不…...

js打印页面源码 ,打印选取的容器里的内容,打印指定内容

js打印页面源码 &#xff0c;打印选取的容器里的内容&#xff0c;打印指定内容 效果 代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge&…...

7.4.分块查找

一.分块查找的算法思想&#xff1a; 1.实例&#xff1a; 以上述图片的顺序表为例&#xff0c; 该顺序表的数据元素从整体来看是乱序的&#xff0c;但如果把这些数据元素分成一块一块的小区间&#xff0c; 第一个区间[0,1]索引上的数据元素都是小于等于10的&#xff0c; 第二…...

R语言AI模型部署方案:精准离线运行详解

R语言AI模型部署方案:精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案,实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点: 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...

前端倒计时误差!

提示:记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来?二、五大解决方案1. 动态校准法(基础版)2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

Frozen-Flask :将 Flask 应用“冻结”为静态文件

Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是&#xff1a;将一个 Flask Web 应用生成成纯静态 HTML 文件&#xff0c;从而可以部署到静态网站托管服务上&#xff0c;如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...

Cinnamon修改面板小工具图标

Cinnamon开始菜单-CSDN博客 设置模块都是做好的&#xff0c;比GNOME简单得多&#xff01; 在 applet.js 里增加 const Settings imports.ui.settings;this.settings new Settings.AppletSettings(this, HTYMenusonichy, instance_id); this.settings.bind(menu-icon, menu…...

[Java恶补day16] 238.除自身以外数组的乘积

给你一个整数数组 nums&#xff0c;返回 数组 answer &#xff0c;其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请 不要使用除法&#xff0c;且在 O(n) 时间复杂度…...

听写流程自动化实践,轻量级教育辅助

随着智能教育工具的发展&#xff0c;越来越多的传统学习方式正在被数字化、自动化所优化。听写作为语文、英语等学科中重要的基础训练形式&#xff0c;也迎来了更高效的解决方案。 这是一款轻量但功能强大的听写辅助工具。它是基于本地词库与可选在线语音引擎构建&#xff0c;…...

【C++特殊工具与技术】优化内存分配(一):C++中的内存分配

目录 一、C 内存的基本概念​ 1.1 内存的物理与逻辑结构​ 1.2 C 程序的内存区域划分​ 二、栈内存分配​ 2.1 栈内存的特点​ 2.2 栈内存分配示例​ 三、堆内存分配​ 3.1 new和delete操作符​ 4.2 内存泄漏与悬空指针问题​ 4.3 new和delete的重载​ 四、智能指针…...

08. C#入门系列【类的基本概念】:开启编程世界的奇妙冒险

C#入门系列【类的基本概念】&#xff1a;开启编程世界的奇妙冒险 嘿&#xff0c;各位编程小白探险家&#xff01;欢迎来到 C# 的奇幻大陆&#xff01;今天咱们要深入探索这片大陆上至关重要的 “建筑”—— 类&#xff01;别害怕&#xff0c;跟着我&#xff0c;保准让你轻松搞…...

PHP 8.5 即将发布:管道操作符、强力调试

前不久&#xff0c;PHP宣布了即将在 2025 年 11 月 20 日 正式发布的 PHP 8.5&#xff01;作为 PHP 语言的又一次重要迭代&#xff0c;PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是&#xff0c;借助强大的本地开发环境 ServBay&am…...