大数据与机器学习（它们有何关系？）

想了解大数据和机器学习吗？我们将为你解释它们是什么、彼此之间有何关联，以及它们为何在数据密集型应用中如此重要。

大数据和机器学习是如何相互关联的？

大数据指的是传统存储方法无法处理的海量数据。机器学习则是计算机系统从观察结果和数据中学习并进行预测的能力。机器学习能够利用大数据研究提供的信息来生成有价值的商业洞察。

什么是大数据和机器学习？

“大数据” 和 “机器学习” 这样的术语经常一起被提及，因为在现代计算中，它们密切相关。总体而言，机器学习需要大量的训练数据才能在当今的创新水平上发挥作用。

“大数据” 并非仅仅指数据量庞大。对于什么是 “大” 数据、什么是 “小” 数据并没有明确的界限划分。确切地说，它是一种计算范式，即利用数量远超人类历史上以往所汇集的数据来为应用程序、分析以及机器学习提供支持。如此海量的数据得益于现代数据收集工具（主要与云计算相关联），这些工具能够从世界各地平台上的用户那里收集信息。

此外，“大数据” 不一定是单个项目。不同行业的企业和组织会从使用其服务的用户那里收集GB甚至TB量级的信息。例如，保险行业的机构可以收集客户理赔的历史数据、事故统计数据、天气模式、路况以及其他行为形式的数据，以便做出更明智、更准确的决策。

这里面临的挑战在于，人类的思维无法涵盖或处理这片浩瀚的信息海洋，更不用说从中提取出任何有意义的内容了。云应用和处理方面的新发展推动了分析技术的进步，使其能够将这些海量数据转化为可付诸行动的信息。

而机器学习就是受这一信息流影响的领域之一。当初人们刚开始认真研究机器学习和人工智能（AI）时，对于其所能实现的功能抱有许多过于乐观的想法。从那以后，在理论、开发以及创新方面取得了长足进步，人们也意识到当时这项技术尚未成熟。

我们已经看到特定行业的一些公司利用其云计算能力来收集、处理和计算大数据，使得应用机器学习算法能够以我们从未想象过的方式发挥作用。

大数据分析、机器学习与人工智能

需要注意的是，大数据、机器学习（以及与之密切相关的人工智能）是随着时间推移逐渐发展起来的截然不同的学科领域。

大数据分析：从数据中获取有价值的信息一直是现代计算领域几十年来的追求。在较小程度上，这也是人工智能和机器学习研究的一个目标。然而，大数据分析本身就是一个独立的学科领域。在分析领域中，数据科学家和工程师会研究如何摄取、整理、组织以及解读结构化和非结构化数据。大数据分析专注于使用不同的摄取和分类方法，为用户提炼出有意义的见解 —— 用户可以利用这些见解围绕数据制定更好的决策流程。在很多情况下，大数据分析可以实现自动化，而且我们也看到了一些平台，它们能让非技术用户在不了解底层流程的情况下操控仪表盘和可视化界面。

机器学习：机器学习名副其实，就是机器进行学习的过程。这是通过开发能够摄取数据并利用其为自动化的战略决策提供依据的算法来实现的。机器学习算法专门聚焦于计算机如何利用数据在特定情境下学习策略和行为。在机器学习这一学科领域内，还包含深度学习和强化学习等子学科。

人工智能：自 20 世纪中叶以来，人工智能一直是热门话题。虽然它与机器学习密切相关，但实际上人工智能是一个独立的学科领域。机器学习侧重于机器如何学习行为，而人工智能则全面探讨智能机器如何在不同情境下发挥作用。

这些学科领域之间存在着大量重叠之处。人工智能依赖机器学习算法以及由其创建的 “智能核心”（通常通过神经网络系统实现）。二者都依赖大数据分析来处理数据，并提供不同的视角或方法。

高性能计算与机器学习

大数据的兴起与云架构的兴起直接相关。以往的网络系统根本无法支持推动高级分析和机器学习所需的工作量。但是，借助云计算及相关技术，我们看到人工智能和机器学习已成为现代经济中切实可行的组成部分。

云计算究竟是凭借什么实现了大数据分析和机器学习呢？以下是几个方面的原因：

1. 自动化：云平台支持自动化的数据处理，这使得管理员无需直接管理输入数据和信息流。将自动化和数据科学家引入云计算的举措，极大地提高了云数据系统的效率、效能以及准确性。

2. 分布式环境：从表面上看，网络系统效率低下，并且依赖特定技术，而这些技术往往会成为性能的瓶颈。然而，分布式云环境在设计原则上消除了瓶颈和数据孤岛，使得性能和可扩展性成为重中之重。大型云环境能够支持日益庞大且复杂的数据处理系统。

3. 高性能计算：云技术促使人们重新思考高性能计算（HPC）的内涵。借助优化的硬件和软件、自动化处理以及数据组织，并能即时扩展的高性能计算系统的现代应用，为机器学习和大数据分析提供了强大动力，使其功能远超 15 到 20 年前我们所能见到的水平。

本文转载自 雪兽软件
更多精彩推荐请访问 雪兽软件官网