涵盖5大领域的机器学习工具介绍

随着数据的产生及其使用量的不断增加，对机器学习模型的需求也在成倍增加。由于ML系统包含了算法和丰富的ML库，它有助于分析数据和做出决策。难怪机器学习的知名度越来越高，因为ML应用几乎主导了现代世界的每一个方面。随着企业对这项技术的探索和采用迅速增加，它正在为充足的就业机会奠定基础。然而，在这个颠覆性的领域登陆，你必须装备精良，熟悉一些最好的机器学习工具，以创建高效和实用的ML算法。

　　1.TensorFlow

　　TensorFlow是一个免费的机器学习工具，可以在Linux、MacOS和Windows等平台上使用。它提供了一个有助于机器学习的JavaScript库。它可以帮助用户构建和训练他们的模型。TensorFlow是深度学习系统和神经网络的优秀ML工具。用户还可以使用TensorFlow.js这个模型转换器来运行他们现有的模型。

　　2.KNIME

　　KNIME已经被应用于医药研究和其他领域，如CRM客户数据分析、商业智能、文本挖掘和财务数据分析。它是一个免费、开源的数据分析、报告和集成平台。这个机器学习工具可以整合R、Python、Java、JavaScript、C、C++等编程语言的代码。KNIME对于初学者来说非常有用，因为这个平台是在基于GUI的工作流程上为强大的分析而构建的。这意味着，如果用户不具备如何编写代码的知识，他们将能够使用KNIME工作，并得出见解。

　　3.Scikit-Learn

　　Scikit-Learn是一个免费的Python机器学习库。它有助于数据挖掘和数据分析，并为分类、回归、聚类、维度缩小、模型选择和预处理提供模型和算法。Scikit-Learn建立在NumPy、SciPy和Matplotlib的基础上，涉及一系列机器学习和统计建模的高效工具。

　　4.PyTorch

　　PyTorch基于用于计算机视觉和自然语言处理等应用的Torch库，主要由Facebook的AI研究实验室开发。这个开源的机器学习库通过Autograd模块帮助构建神经网络。它为构建神经网络提供了多种优化算法。PyTorch可以在云平台上使用，并且可以提供分布式训练，拥有众多工具和库。

　　5.BigML

　　它是一个综合性的机器学习平台，提供了大量的ML算法，通过统一的集成框架来解决复杂的实际问题。BigML由一系列有用的机器学习功能组成，如分类、回归、聚类分析、时间序列预测、异常检测、主题建模等。由于它在一个方便的Web用户界面中集成了广泛的功能，它允许用户加载他们的数据集，建立和共享他们的机器学习模型，训练和评估他们的模型，并进行新的预测。

　　6.Weka

　　Weka是一款数据挖掘、开源的机器学习软件。它可以通过图形用户界面（GUI）、标准终端应用程序或JavaAPI进行访问。Weka包含了一系列用于数据分析和预测建模的可视化工具和算法，广泛用于教学、研究和工业应用。它支持各种标准的数据挖掘任务，特别是，数据预处理、聚类、分类、回归、可视化和特征选择。

　　7.Colab

　　Colab是谷歌研究的一款机器学习任务产品。它允许开发人员通过浏览器编写和执行Python代码。Colab笔记本可以让用户将可执行代码和丰富的文本结合在一个文档中，还有图像、HTML、LaTeX等。当用户创建他们的Colab笔记本时，它们被存储在他们的GoogleDrive账户中，可以很容易地与同行分享。

　　8.亚马逊机器学习

　　亚马逊提供了一批机器学习工具。亚马逊机器学习（AML）是一款基于云计算的强大机器学习软件应用，可供各级网络和移动应用开发者使用。AML提供向导&可视化工具，以及支持三种类型的模型：多类分类、二元分类和回归。

　　9.IBMWatsonStudio

　　IBMWatsonStudio允许用户构建、运行和管理机器学习模型。它提供了通过协作数据体验解决业务问题所需的所有工具。它将重要的开源工具（包括RStudio、Spark和Python）汇集在一个集成环境中，以及额外的工具，如管理的Spark服务和数据整形设施，在一个安全和受管理的环境中。

　　10.ApacheMahout

　　作为一个开源的分布式线性代数框架，ApacheMahout帮助数学家、统计学家和数据科学家执行他们的算法。它是Apache软件基金会的一个项目，旨在免费实现分布式或其他可扩展的ML算法，主要集中在线性代数上。它包含了用于常见数学运算的Java库。

· 每个开源工具都为数据科学家处理数据库提供了不同角度。

· 本文将重点介绍五种机器学习的工具——面向非程序员的工具（Ludwig、Orange、KNIME）、模型部署（CoreML、Tensorflow.js）、大数据（Hadoop、Spark）、计算机视觉（SimpleCV）、NLP（StanfordNLP）、音频和强化学习（OpenAI Gym）。

1. 面向非程序员的开源机器学习工具

对于没有编程背景和技术背景的人来说，机器学习似乎很复杂。这是一个广阔的领域，可以想象，初次接触机器学习有多令人害怕。一个没有编程经验的人能在机器学习领域获得成功吗？

事实证明，能获得成功！以下三种工具可以帮助非程序员跨越技术鸿沟，进入声名鹊起的机器学习世界：

· Uber Ludwig：Uber’s Ludwig是一个建立在TensorFlow上的工具箱。Ludwig允许用户训练和测试深度学习模型，而不需要编写代码。用户需要提供的只是一个包含数据的CSV文件，一个用作输入的列表，以及一个用作输出的列表——而剩下工作将由Ludwig来完成。它对实验非常有用，因为用户只需耗费很少的时间和精力，就能构建复杂的模型。并且用户可以对其进行调整和处理之后再决定是否要将其运用在代码中。

· KNIME：KNIME可供用户使用拖放界面创建整个数据科学工作流。用户可以基本实现从功能工程到功能选择的所有功能，甚至可以通过这种方式将预测机器学习模型纳入工作流程中。这种可视化执行整个模型工作流的方法非常直观，并且在处理复杂的问题时非常有用。

· Orange：用户不必知道如何编写代码以使用orange来挖掘数据、处理数字以及由此得出自己的见解。相反，用户可执行基本可视化、数据操作、转换和数据挖掘等任务。由于Orange的易用性及其添加多个附加组件以补充其功能的能力，该工具最近在学生和教师中十分流行。

还有许多更有趣、免费的开源软件可以提供很好的机器学习功能，而无需编写（大量）代码。

此外，一些付费服务也可以考虑，如Google AutoML、 Azure Studio、 Deep Cognition和 Data Robot.

2. 旨在部署模型的开源机器学习工具

部署机器学习模型是一个十分重要但最容易被忽视的任务，用户应该加以注意。它肯定会出现在面试中，所以用户需很好地了解这个话题。

以下四种工具可以使用户更易将其项目运用到现实设备上。

· MLFlow: MLFlow旨在与机器学习库或算法配合使用，并管理包括实验、再验和机器学习模型部署在内的整个生命周期。目前，MLFlow在Alpha中有3个部分——跟踪、项目和模型。

· Apple’s CoreML: CoreMLl是一个十分受欢迎的工具，它可将机器学习模型内置到用户的iOS/Apple Watch/Apple TV/MacOS的应用程序中。CoreML的闪光点在于用户无需对神经网络或机器学习有广泛的了解，最终达到双赢的结果！

· TensorFlow Lite: TensorFlow Lite是一套帮助开发人员在移动设备（Android和iOS）和物联网设备上运行TensorFlow模型的工具，旨在方便开发人员在网络“边缘”的设备上进行机器学习，而不是从服务器来回发送数据。

· TensorFlow.js ：TensorFlow.js是用户在网上部署机器学习模型的首选。这是一个开放源码库，供用户在浏览器中构建和处理机器学习模型。它可为GPU加速，还自动支持WebGL。用户可以导入现有的预培训模型，也可以在浏览器上重新处理整个现有机器学习模型！

3. 大数据开源机器学习工具

大数据是一个研究如何进行分析、如何系统地从数据集中提取信息或以其他方式处理传统数据处理软件无法处理的太大或太复杂的数据集的领域。想象一下，每天处理数百万条推特进行情绪分析。这感觉像是一项艰巨的任务，不是吗？

放宽心！以下三种工具可以帮助用户处理大数据。

· Hadoop: Hadoop是处理大数据最杰出也是最相关的工具之一。Hadoop允许用户使用简单的编程模型在计算机集群之间对大型数据集进行分布式处理。它旨在对单个服务器到数千台机器，每台机器都提供本地计算和存储。

· Spark: Apache spark被认为在大数据应用程序方面是Hadoop的进阶版。Apache spark的关键在于填补了Apache Hadoop在数据处理方面的空白。有趣的是，Spark可以同时处理批量数据和实时数据。

· Neo4j: 在处理大数据相关问题方面，Hadoop可能不是绝佳的选择。例如，用户需要处理大量的网络数据或图形相关问题（如社交网络或人口统计模式等）时。而图形数据库（Neo4j）则是最佳选择。

4. 用于计算机视觉、自然语言处理和音频的开源机器学习工具

· SimpleCV: 参与任何计算机视觉项目都必须使用OpenCV。但你有没有考虑过SimpleCV？SimpleCV可供用户访问几个高性能的计算机视觉库，如OpenCV——而不必首先了解位深度、文件格式、颜色空间、缓冲区管理、特征值以及矩阵与位图存储。计算机视觉让项目变得更容易上手。

· Tesseract OCR: 你是否曾使用过一些有创意的应用程序，可以使用智能手机的摄像头扫描文件或购物账单，或者只需拍张支票就可以将钱存入银行账户？所有这些应用程序使用的都是OCR，即光学字符识别软件。Tesseract就是这样的OCR引擎，可以识别100多种语言，也可以加以训练识别其他语言。

· Detectron: Detectron是Facebook旗下人工智能研究公司的软件系统，它采用了包括Mask R-CNN在内最先进的目标检测算法。Detectron由Python语言编写完成，由Caffe2深度学习框架提供支持。

· StanfordNLP: StanfordNLP是Python的自然语言分析包。它的闪光点在于其支持70多种人类语言！StanfordNLP还包含可以在以下程序步骤中使用的工具：

—将包含人类语言文本的字符串转换为句子和单词列表

—生成单词的基本形式、词类和形态特征

—逻辑句法结构依赖分析

· BERT as a Service: 所有的自然语言处理爱好者都应该听说过谷歌的开创性自然语言处理架构——BERT，但可能还没有用过。Bert-as-a-service将BERT作为句子编码器，并通过ZeroMQ将其作为服务器，从而使用户能够仅用两行代码将句子映射为固定长度的表示形式。

· Google Magenta: Google Magenta提供了处理源数据（主要是音乐和图像）的实用程序，该数据库使用这些源数据处理机器学习模型，并最终从这些模型中生成新内容。

· LibROSA: LibROSA是用于音乐和音频分析的Python语言包。它提供了构建音乐信息检索系统所必需的构建块。当用户在处理诸如语音到文本深度学习等的应用时， LibROSA广泛应用于在音频信号预处理程序环节。

5. 旨在进行强化学习的开源工具

强化学习（RL) 是机器学习的新话题，其目标是培养能够与环境互动并解决复杂任务的智能经纪人，实现机器人、自动驾驶汽车等的实际应用。

强化学习领域的快速发展得益于让智能经纪人玩一些游戏，如经典的Atari console games、传统的围棋游戏，或者让智能经纪人玩电子游戏，如Dota 2 或 Starcraft 2，所有这些游戏都为智能经纪人提供了具有挑战性的环境。在这个环境中，新的算法可以安全、可重复的方式测试想法。以下列举了4个最有利于强化学习的培养环境：

· Google Research Football: Google Research Football Environment是一个全新的强化学习环境，其中，智能经纪人旨在掌握世界上最流行的足球运动。这种环境能让用户更好地训练强化学习智能经纪人。观看以下视频了解更多信息：

· OpenAI Gym: Gym是开发和比较强化学习算法的工具包，可支持教学经纪人从走路到玩乒乓球或弹球之类的游戏。从以下动图中可以看到一个正在学习走路的教学经纪人。

· Unity ML Agents: The Unity Machine Learning Agents Toolkit（ML-Agents）是开源设备的插件，使游戏和模拟游戏能为智能经纪人训练提供有效环境。通过简单易用的Python API，用户可以使用强化学习、模仿学习、神经进化或其他机器学习方法来训练智能经纪人。

· Project Malmo: Malmo平台是一个建立在Minecraft之上的复杂人工智能实验平台，旨在支持人工智能领域的基础研究，由微软开发。

当用户进行数据科学和人工智能相关项目时，开放源码是一种可行的方法。本文只是介绍了冰山一角，仍有许多工具可用于处理各种各样的任务，使数据科学家的项目生活更为简便。数据科学家只需知道何处寻找开放源码即可。