Nextflow最佳实践：如何在云上高效处理大规模数据集

1. Nextflow 软件架构介绍

Nextflow 是一个用于简化数据驱动计算流程的工具，可以在各种计算环境中轻松部署。它采用了分布式计算和容器技术，实现了高度模块化、可重复性和可扩展性。NextFlow 的软件架构主要包括以下几个部分：

用户界面（前端）：Nextflow 采用 Web 前端技术，为用户提供友好的交互界面。用户可以通过浏览器访问 Tower 系统 (tower.nf)，轻松管理和监控数据流程。

任务调度（后端）：Nextflow 后端采用 groovy 编写，具有高性能和灵活性，负责处理用户请求、调度任务、对接计算资源等功能。Nextflow 后端模块以应用程序库的形式与业务程序共进程，无需独立部署运行额外服务。

2. Nextflow 使用方法

我们以一个实际案例来介绍 Nextflow 的使用方法。假设我们需要对一组基因测序数据进行分析，包括质量控制、比对、变异检测等步骤。

• 首先，我们需要编写一个 Nextflow 脚本，定义数据流程和各个步骤。脚本中可以使用 Nextflow 的内置操作符，如 split、map、join 等，来描述数据处理过程。

• 然后，在 Nextflow 系统中创建一个新的流程，并上传刚才编写的脚本。系统会自动解析脚本，生成可视化的流程图。

• 接下来，我们可以为流程配置输入数据和计算资源。例如，选择一组 FASTQ 格式的测序数据作为输入，指定计算资源为一个拥有 32 核 CPU 和 128GB 内存的节点。

• 最后，启动流程并监控运行状态。Nextflow 会自动调度任务，将各个步骤分发到计算资源上执行。用户可以实时查看任务日志，了解流程运行情况。

Nextflow 具有高度灵活的计算资源管理能力，支持多种后端计算资源，如本地服务器、计算集群和云计算平台。用户可以根据实际需求选择合适的资源类型，并通过配置文件进行对接。

• 对于小规模的任务，用户可以在本地服务器上直接运行 Nextflow。只需安装 Nextflow 软件，配置好环境变量即可。

• 对于大规模的任务，用户可以将 NextFlow 部署到计算集群上。Nextflow 支持多种调度系统，如 Slurm、SGE、LSF 等。用户需要在配置文件中指定调度系统和相关参数。

3. Nextflow 上云

考虑到生信分析业务突发性的特点，Nextflow 还支持与公有云平台对接，通过公有云的无限资源，实现算力灵活伸缩调配的目的。用户可以在云平台上创建虚拟机，并安装 Nextflow 软件。然后，在配置文件中指定云平台的认证信息、资源类型等参数。

但 NextFlow 官方社区目前只支持了 AWS（亚马逊）和 GCP（Google）云平台的对接。缺少对本土云的支持，对国内用户来讲是一个较大的遗憾。另一方面，对于不熟悉云资源使用和管理的生物企业而言，在云上使用 NextFlow 所需的前期配置和日常运维也是一个相对高门槛的事情。

如何将 NextFlow 在国内本土公有云上用起来？
是否可以简化云资源运维、甚至免运维？

MemVerge 公司的 MMCloud 生信云平台极大地增强了 Nextflow 的工作流编排能力，提供了高性能计算自动化、checkpoint/restore 和云主机选型优化能力。MMCloud 与 Nextflow 通过 nf-float 无缝集成，SpotSurfer 功能用于 Spot 实例回收后的业务恢复，WaveRider 功能用于实时云主机选型优化，WaveWatcher 功能用于资源管理可视化，这些产品功能，使云端生物信息学变得轻松无比。

3.1 WaveWatcher 可视化监控服务

当 Memory Machine Cloud 启动一个工作节点时，它会在容器内部打开一个与资源监视器的通信通道。实时指标可作为 CSV 文件下载分析或以图形方式查看。WaveWatcher 可视化监控服务以实时方式显示每个作业的详细云成本，并在 GUI 上提供有关每个应用程序、每个用户和每个组的云成本报告。它还提供了有关 CPU、内存、网络、存储 I/O 利用率以及能耗信息的详细数据。利用这些数据来优化云资源以适应您的工作负载。

为了找到优化的机会，WaveWatcher 显示了 CPU、内存、网络和存储的实时应用程序使用情况。左侧屏幕显示 WaveRider 可以通过在较小的实例上启动工作负载，然后仅在需要更多资源时才迁移到较大的实例来降低成本。

3.2 WaveRider 云主机实例类型持续优化服务

WaveRider 可以在不影响 Nextflow 的情况下，根据作业实时资源利用情况，将正在运行的作业迁移到最适合的云主机实例类型上。用户只需点击几下鼠标，就能够优化成本，提升运行速度。

灰色区域展示了不同计算实例上的内存和 CPU 使用情况，WaveRider 在运行时不断根据资源利用率和主机负载压力需求来对云主机实例的类型规格进行大小调整。

3.3 SpotSurfer Checkpoint/Restore 服务

Spot 实例是云厂商用于变现闲置计算能力的一种方式。Spot 实例的价格折扣高达按需实例价格的 90%。但有个小问题 - Spot 实例可能随时被云厂商收回，而且只会提前2分钟通知。

Memory Machine Cloud 包含了SpotSurfer Checkpoint/Restore服务，允许正在运行的作业无缝地从待收回的 Spot 实例迁移到新的 Spot 或按需实例上，且作业无须中断。这一功能使用户可以显著降低云成本，而不会增加运行时间。

灰色区域显示了运行时的内存和CPU使用情况，白色区域代表工作负载自动迁移到新的计算实例并启动继续运行的时间段。

4. Nextflow 最佳实践

以我们的客户转化基因组学研究所 (TGen)为例，他们面临的挑战是：大规模云成本优化并不容易。TGen 很难在 AWS 上经济、高效地运行其大型 Nextflow 工作流程。使用按需 EC2 实例成本太高，尤其是对于需要数千个节点的大型作业而言。而使用廉价的 Spot EC2 实例听起来不错，但实际上失败率可能高达 80%，导致完成时间更长，因为失败的作业必须多次重新启动，而且成本节省也难以预测。

自从部署 MMCloud 以来，TGen 现在能够在 AWS 上轻松、经济、高效地运行其工作流程，而无需支付按需 EC2 的高成本，也不会因完全在 Spot EC2 上运行大型工作流程而产生高故障率。

• 作业级资源利用率报告和分析可视化

• 故障率从 80% 降为不到 1%

• 运行时自动调整 EC2 实例大小

TGen高级科学程序员Vince Pagano表示，“WaveRider 会为 NextFlow 启动的数千个作业中的每一个选择最合适的虚拟机类型。这让我比以往任何时候都更有效率，简直太酷了。”