一文了解数据科学Notebook

编者按：

主要介绍什么是Notebook，Notebook在数据科学领域的应用的重要性与优势，以及数据科学家/算法团队在选择Notebook时需考虑哪些关键因素。同时，基于Notebook的筛选考量维度，对常见的Notebook进初步对比分析，为数据科学家、算法工程师提供参考。

       Notebook是一种基于网页的交互式计算方式，用户可在Notebook中进行开发、文档编写、运行代码、展示结果以及结果分享。与传统非交互式开发环境相比，Notebook最大的特点是允许逐单元格（cell）执行脚本。Notebook是数据科学领域至关重要的工具，数据科学家使用Notebook进行实验和探索任务。近年来随着大数据的发展，业务分析师等非技术人员也越来越多地开始使用Notebook。

01. Notebook的核心优势

       在传统的非交互式开发环境中，需要将开发人员编写完成的程序编译为可执行文件，然后完全运行该可执行文件，如出现错误，则需要返回编辑器键入新的代码，再重新运行全部代码。

        而在Notebook中，开发人员可以逐单元格（cell）编写和运行程序，出现错误时，仅需调整并运行出现错误的cell，正确运行的cell已保存在内存中，无需重复运行，极大提升了开发效率。Notebook也因此深受数据科学家和算法工程师的喜爱，被广泛应用于AI算法开发训练领域。以深度学习的实验为例，模型的训练通常需要几小时至十几小时，运用Notebook进行模型调试，进行微小更改后，无需对模型全部进行重新训练，可极大节省数据科学家和算法工程师的时间。

02. Notebook的基本构成

       最早的Notebook是1988年推出的Mathematica。早期的Notebook主要用于学术领域，随着近十年来Notebook逐渐由学术界进入到产业领域，越来越多的Notebook涌现在市场中，如开源的Jupyter、Apache Zeppelin，商业化托管的Colab、JetBrains Datalore、IDP Studio** 等，支持混合多语言的Polynote等。

       尽管Notebook的种类众多，其最核心的构成均包含两大组件：

• 一是前端客户端，由有序的输入/输出单元格列表构成，用户可以在这些单元格中输入代码、文本等 。
• 另一组件是后端内核(Kernel)，其可配置在本地或云端。代码由前端传递给Kernel，Kernel运行代码后将结果返还给用户。Kernel决定了Notebook的计算性能，IDP Studio 采用Rust语言实现重写Kernel，Notebook启动速度和资源配置速度提升了一个数量级。

       (** 本文中仅使用IDP Studio概括性指代IDP Studio中notebook交互式编程环境，IDP Studio中其他模型管理、模型发布等插件功能不在本文讨论范围）

03. 如何选择适合的Notebook

       不同的Notebook各具特点，数据科学家和算法工程师在实际使用时需根据自身核心诉求选择最合适的Notebook工具。我们基于对大量数据科学家的访谈，总结出数据科学家在Notebook的选择中关心的四大核心问题，供广大算法开发和数据挖掘人员作为工具筛选标准的参考。

1) 基本功能的完备和易用性

       安装部署：对于新手数据科学家来说，商业化托管的Notebook(如IDP Studio, Colab, JetBrians Datalore)采用SaaS模式，开箱即用，更加易于安装上手。开源Notebook需使用者自行安装，通常本地安装相对容易，但若安装、运行到远程服务器上，则具有较大挑战。

       版本管理：无论算法模型，还是算法接口，都会需要不断的更新和优化，版本的管理至关重要。不同Notebook版本管理功能的完备和易用性具有差异，如Jupyter等开源产品支持Git进行版本管理；IDP Studio等在支持Git的同时具有内置的版本管理功能，自动进行历史版本的保存，而Colab暂不支持版本管理功能。

       语言支持：机器学习和数据科学领域常用的语言有Python、SQL、R等，Python遥遥领先，根据Kaggle2021年对逾25,000名数据科学家的调研，84%采用Python。目前常见的Notebook均对Python有较好的支持，但对于第二大和第三大常用语言SQL和R的支持深度却不尽相同。因此，数据科学家在选择工具时，需考虑Notebook是否天然支持自己常用的语言。如Jupyter可较好支持Python、Julia和R语言，但在支持SQL时需通过安装插件、自行配置；IDP Studio则天然深度支持Python和SQL， 对其他非常用语言目前还尚未支持；若需要对Scala及其他多语言均有较好支持，则可以考虑Polynote。

2) 效率提升

       在基本功能的基础上，数据科学家关注Notebook是否可以帮助其减少非核心工作，提升开发效率。

       代码辅助：代码辅助可以极大程度上帮助开发者节约时间，提升效率。主要的代码辅助包括代码补全、错误提示、快速修复、定义跳转等。开源工具具有丰富的生态体系，普遍需要依托第三方插件实现代码辅助功能。商业托管类产品内置代码辅助功能，但功能侧重点和性能方面具有，其中代码补全是普遍的功能。IDP Studio在代码辅助功能上最为全面，速度和性能方面相对体验更优，但对于部分第三方库的函数的补全还有待完善。

       数据源的接入：数据是数据科学家日常工作的基石，通常数据源分散在各地，对数据的接入带来极大挑战。是否可以便捷接入数据至关重要，数据科学家需根据自身数据源的分布，选择合适的Notebook。目前，Jupyter、Zeppelin开源软件需数据科学家自行配置接入；Colab仅支持Google Drive中的数据接入；IDP Studio已对主流数据源进行了集成对接，使用者可一键式接入数据源。

       环境管理：先对成熟的数据科学家和算法团队对便捷的环境设置和环境管理具有更要的要求，他们希望能够快速配置环境，同时希望能够构建并管理一个可以在个人和团队间进行共享的一致性环境。不同Notebook对于环境配置和复用的支持力度不同，综合来看，天然支持团队协作的Datalore等在环境管理方面易用性稍高。使用者可根据自身对环境管理的需求，进行选择。

3) 加速协作

       跨团队的协作分析：算法和业务分析的耦合日益深入，算法开发人员希望能够将结果以可交互的可视化报告的形式分享给业务人员，实现算法团队和业务团队的高效协同分析。对于跨团队协作有较强需求的数据科学家，可更多关注今年来新推出的、在功能定位上突出团队协作的Datalore、IDP Studio等Notebook。
       协作编程：除跨团队协作外，Notebook的共享、实时协作编辑和评论，也成为数据科学家们日渐突出的需求。目前看来，海外数据科学家对该功能的需求更加强烈。目前常见Notebook均支持一定程度的协作编程，但在实时性和易用性上存在差异。

4) 成本

       成本通常是影响数据科学家和算法工程师选择的重要考量因素，但在Notebook的选择领域，我们认为该因素的重要性相对低于性能和易用性，因为即时商业化的Notebook，对于个人使用者通常提供免费的基础版本。

       我们很高兴看到Notebook愈加受欢迎，并逐渐成为算法团队和业务团队的沟通桥梁。Notebook在产业界应用也进一步深入，为数据科学家们提供了良好的算法开发、试验和探索等的支持。

更多技术内容，欢迎关注：Baihai IDP