技术控，看这里，一款支持断点调试的数据科学工具

        数据科学是一门利用统计学、机器学习、数据挖掘、数据可视化等技术和方法，从数据中提取知识和信息的交叉学科。自上世纪60年代，统计学家John W.Tukey首次提出“数据分析”（Data Analysis）的概念起，数据科学已历经了几十年的蓬勃发展，渡过了统计分析、数据挖掘、大数据等几个不同的发展阶段，直到今天的人工智能(AI)时代。

        伴随着数据科学的不断发展，用以辅助数据科学研究的数据科学工具也随之而生，并在数据科学发展的各个阶段都给予了有力的支撑。如：S语言、商业智能(BI)工具、R语言、Spark、Flink、Tensorflow等。但这些数据科学工具使用难度较大，需要使用者具备一定水准的编程能力。这对于从事专业学科研究的人员而言，门槛较高。因为其除了需要掌握本专业的知识外，还需要具备相应的编程能力，这样才有可能从事学科数据的科学研究，难度可想而知。因此，很多的科学研究工作都不得不采用团队协作的方式进行。团队由专业学科人员、程序员等组成，大家各司其职，相互配合。但这样的协作方式无疑会增加沟通成本、时间成本等各类成本。大约在2000年代初期，以Pentaho（现在为Hitachi Vantara的子公司）为代表的一众公司推出了基于图形化界面的低代码数据科学工具。支持用户通过简单的拖放操作，所见即所得的构建数据处理及数据分析的流程，大大降低了数据科学研究的时间成本和入门门槛，使得专业的学科人员有机会通过简单的学习，就直面学科数据的科学研究工作。如：Kettle(ETL工具)、RapidMiner、KNIME等。这类工具，界面简单易用，极大的提升了数据科学的研究效率。但与此同时，简单的操控背后，也隐藏着不小的缺憾，就是编写流程时的流程排错相对困难且不友好。

进行数据的可视化流程构建时，总不是那么一帆风顺的，时常会遇到数据中存在一些意想不到的问题，如值缺失、值类型不匹配、数据超长等。这些问题在最初的流程编写时，往往会被忽视。因为我们一般不会为未知的数据质量问题提前做好各类处置。一是问题各式各样，无法提前预知；二是所有额外的处理都会降低流程的执行效率。所以流程基本都是在发现问题，解决问题这样的过程中不断完善的。在基于编程的数据科学工具中，这类问题可通过调试工具，方便的予以定位并解决。流程编写者可通过打印输出或下断点的方式定位引发问题的数据并编写处理逻辑予以解决。而低代码数据科学工具由于未向流程编写者暴露底层接口，所以一般都是采用日志输出的方式帮助使用者定位流程中问题的。但日志输出的方式在数据量特别大，流程步骤较多的情况下非常不友好，会严重拖累流程的执行速度，也不容易定位到异常数据的位置和特征。因此断点技术仍是流程排错的不二选择。

        早期的低代码数据科学工具基本都是单机类工具，由于断点调试技术有一定难度，因此只有少部分工具提供了类似功能，如：Kettle、RapidMiner等。而如今，随着大数据的兴起，数据科学研究呈现出更复杂的趋势，且有更高的共享需求。因此，能够支持多人协同共享的SAAS平台类工具成为了如今低代码数据科学工具的主流。而这类工具支持断点调试功能就更加困难了。本文将向大家呈现一款低代码的数据科学SAAS类工具—Sengee(神机)。该工具支持断点调试功能，可以简单友好的辅助数据研究人员完成数据流程的编写。

        Sengee是一款支持分布式计算引擎的低代码数据科学工具，它支持多人并发使用。支持水平扩展计算引擎以满足使用者数量的扩展。其技术架构如下：

(图1)

        用户使用Sengee平台提供的Web界面，通过拖拽完成流程定义。然后将流程发送给Sengee服务器。Sengee服务器通过任务调度管理，将流程随机派发给一个可用的计算引擎，完成流程的执行。流程定义界面如下图：

(图2)

        当需要对流程进行断点调试时，点中算子端口，会弹出断点设置的浮动按钮，即“闪电”图标按钮(图3)：

          

(图3) 

(图4) 

(图5) 

         点击按钮，为端口设置断点(图4)。表示，当该端口有数据流过时，触发断点。Sengee系统中的断点与一般调试工具和其它低代码科学工具都有所不同，其断点是设置在端口上的。输入/输出端口都允许设置断点，且允许设置多个断点。也允许对已设置断点的端口，删除或禁用断点(图5)。

        断点设置好后，点击“调试”按钮，调试流程。流程被派发到计算引擎后，计算引擎解释执行流程。当触发断点后，会反馈回界面，如下图：

(图6)  

        算子端口上会浮动出一个小窗口。点击眼睛的按钮，可弹出一个窗口显示触发断点的数据。也可以通过点击界面的”断点”页查看触发断点时的数据的样子。如希望放过断点，继续执行，可点击下一断点的按钮，跳过当前断点。可以点击界面最上方的“跳过所有断点”的按钮或“停止”按钮，继续或终止流程的运行。

        若数据量比较大，希望在数据满足某种特征后才触发断点。可使用条件断点功能，即为断点设置触发条件。断点的触发条件支持MOQL语句的Filter语法，在此不做赘述。如下图所示，可在“断点”页中，为选中的断点输入断点出发条件。

(图7)   

        调试流程，当数据满足触发条件时，触发断点。需要注意的是，在Sengee中，数据是以集合为基本单元在算子间流动的，若集合中有两条数据满足断点触发条件，其也只会被触发一次。若希望达到每一条数据都能够触发断点的调试效果，可将数据集合的大小设置为1，则每个集合每次都只有一条数据，这样就可达到每条数据都可触发条件断点的效果了。但这势必会使流程的运行效率大幅下降。这种技巧只建议在细粒度定位流程处理问题时使用。

关于Sengee调试功能更直观的介绍，可参见以下两个视频：

• 《技术控，看这里，一款支持断点调试的低代码科学计算工具》
• 《技术控，看这里，一款支持断点调试的低代码科学计算工具-条件断点》

        写在最后，对于低代码数据科学工具而言，易用性与可交互性是产品能否成功的重要指标，我们还在路上，欢迎有兴趣的朋友联系我们，试用产品，并给予我们您宝贵的意见和建议。