当今科学研究中，我们通常需要处理大量的数据。这些数据可能来自基因组、蛋白质组、转录组等各种生物学领域，也可能是其他领域的数据。这些数据通常需要进行多个计算步骤才能从中提取有用的信息。这些计算步骤通常需要以特定的顺序执行，并且可能需要使用不同的软件工具和库。完全靠人工分步骤调用不同软件来完成处理数据的全流程，将是一项非常繁琐的任务。
数据驱动的工作流编排可以使这项任务变得更加容易。它可以将数据处理任务与各种应用软件集成在一起，帮助研究人员将纷繁复杂的计算步骤组织成一个完整的工作流，管理各步骤间的依赖关系，根据数据的完成度动态决定最佳执行顺序，并最终完成个步骤的执行。通过自动化编排的工作流具有更好灵活性和可扩展性，能够适应不同的数据集和计算环境，还可以使研究人员更容易地复用和共享。通过数据驱动的工作流编排，可以使数据持有者更好地管理和分析大规模的数据集，更快地得到数据分析结果，极大提升分析效率和准确性。
目前，在生信分析领域常用的数据流编排工具有以下几种：
Snakemake：一款基于Python语言的工作流编排工具，支持多种并行化方式，包括多线程、多进程和分布式计算。由于支持python语言编程，对于初学者而言比较容易上手，但在计算平台多样性的支持方面略显欠缺，且不支持分布式计算。
Nextflow：一款基于Groovy语言的工作流编排工具，具有高度可扩展性和可重复性，可以在不同的计算架构上运行，包括本地计算机、服务器集群、云计算和高性能计算（HPC）。NextFlow支持Docker和Singularity容器化，也可以与slurm、PBS等高性能作业调度系统无缝集成。另外，完备的文档系统、活跃的社区，也是Nextflow受到国内外开发者追捧的重要原因。
Galaxy：一款基于Web的生物信息学工作流编排平台，具有直观的用户界面和丰富的功能模块，支持多种数据格式和工具。
CWL：一种基于JSON描述语言的工作流编排工具，易于理解和维护。CWL支持分布式计算，兼容Docker、Singularity等主流容器化技术。但受制于描述性语言的先天不足，在编写复杂工作流的时候，，语法通常会比较繁琐。同时由于缺乏可视化界面，管理和调试起来不是很方便。
下几期期技术分享，我们会将着重讲解如何使用NextFlow使能复杂生信分析、以及如何方便地与云计算资源集成，在享受云上云下统一体验的同时，也进一步达到降本增效的目的。
点击：Memverge，了解更多关于NextFlow上云
