使用ALLMAPS进行辅助组装得到准染色体水平基因组

简介:

使用ALLMAPS进行辅助组装

简介

在从头组装过程中,确定基因组的scaffolds/contig的顺序和朝向是重建染色体非常关键的一步。这一步可以由多种辅助组装策略完成:例如遗传图谱, Hi-C, BioNano光学图谱,10X Chicago 。

一个物种可能会有多个遗传图谱,可以是不同项目中的不同定位群体结果,可以是不同软件如R/QTL, MSTMAP和JOINMAP的分析结果。遗传图谱会因重组率,偏分离(segregation distortion) , PAV(presence-absence variation)和染色体比对多态位点不同而发生变化。每一种图谱都能够提供不同的证据,举个例子,一个scaffold可能在一个图谱中无法被锚定,但是在另一个图谱中可以进行锚定,将这些图谱进行整合就能提最后染色体组装的精确度。

如果只用一个图谱,对scaffold进行排序只是计算量大一点而已,你需要根据图谱中分子标记在每个scaffold的平均距离进行排序就行。ALLMAPS, 正如名字说的那样,就是能够使用所有的图谱证据的工具,它能够计算scaffold的朝向,使其和已有的图谱的共线性关系最大化。他有如下亮点:

  • 可重复性:清晰的可计算目标使得让多种输入图谱的共线性关系能够最大化
  • 灵活性:允许为输入的图谱设置权重,更好的处理冲突
  • 强大性:能使用多种遗传图谱,只需要做最小的转换
  • 易用性:让基因组构建(FASTA和AGP输出)和基因组升级(CHAIN输出)流程化

通常,解决scaffold顺序和朝向(OO)是一种NP问题。因为基因组组装和遗传图谱中都可能存在一些错误,我们的目标只能是找到一个近似解。ALLMAPS将该问题转换成旅行商问题,然后用遗传算法优化scaffold OO. 使用遗传算法优化是为了避免在局部最优上出现瓶颈。遗传图谱最常见的错误是倒置和异位(inversion and translocation)

安装可以用CONDA。

conda install jcvi

实际演示

先现在一个测试数据集,用于练习了解软件的总体流程。比较尴尬的是,这个数据集放在了Dropbox上,我们都知道这是一个国内不存在的网站,所以我把他转存到了我的腾讯微云上,链接:https://share.weiyun.com/5nwjljN .

第一步:准备输入文件。 首先你得要提供物理图谱和遗传图谱的对应关系,格式为

Scaffold ID, scaffold position, LG, genetic position

你可以在excel表格中进行操作,然后另存为csv为文件,如下所示。你可以发现有一些scaffold里就只有一个遗传标记进行对应,你可以思考下该scaffold最后会如何处理

EXCEL编辑

当然,我们解压缩后的zip文件里就有这些内容,你可以用一些命令工具(less, head, tail)看下数据是如何存放的。

第二步: 将两个图谱进行合并,最后会得到一个权重文件(weights.txt)和输入的bed文件

python -m jcvi.assembly.allmaps merge JMMale.csv JMFemale.csv -o JM-2-test.bed

第三步:对权重文件"weights.txt" 进行调整。weights.txt默认每个输入的图谱的权重都是1。 作者有一个建议就是,你通过检查最后的报告和诊断图,有监督地来重新对每个遗传图谱进行权重赋值。

$ cat weights.txt 
JMFemale 1
JMMale 1

第四步: 对scaffold进行排序,搭建成准染色体水平

python -m jcvi.assembly.allmaps path -w weights.txt JM-2-test.bed scaffolds.fasta

结果解读

上面第四步会在当前文件夹下生成许多结果文件,

JM-2-test.agp
JM-2-test.bed
JM-2-test.chain
JM-2-test.chr.agp
JM-2-test.chr.fasta
JM-2-test.fasta
JM-2-test.fasta.sizes
JM-2-test.lifted.bed
JM-2-test.summary.txt
JM-2-test.tour
JM-2-test.unplaced.agp
JM-2-test.unplaced.fasta

可以分为如下几类

首先是组装后的基因组序列

  • "JM-2-test.fasta"
  • "JM-2-test.agp": 每个scaffold的顺序和朝向,用于上传Genbank
  • "JM-2-test.chain": 用于新旧坐标间的转换,比如说你在之前坐标注释得到GFF文件就可以用lifOver转换到新坐标系下

然后可视化报告。每个染色体都会得到一个对应的pdf文件,可视化展示如下:左图主要关注交叉的线,表示某些marker存在矛盾。右图关注是否有上升/下降趋势,图中的斜率反应的是物理距离(x轴)相对遗传距离(y轴)的变化,可以认为是重组率。低重组率不容易确定在同一个重组区间内的scaffold的位置和朝向

白色部分为可信区间,灰色部分是存疑区间。

可视化展示

除了默认的输出外,你还可以通过movie得到软件运行过程每次迭代后组装情况,不过要额外安装ffmpeg和parallel

python -m jcvi.assembly.allmaps movie -w weights.txt JM-2-test.bed scaffolds.fasta chr23

最后是总结性报告。尽管可视化会给你比较直观的结果,但是具体的参数还是要看JM-2-test.summary.txt. 例如遗传标记的密度,以及有多少序列被锚定到基因组上。

当然ALLMAPS还有一些比较高级的操作:

  • 拆分嵌合contig:嵌合contig指的是一段区域能够比对到多个连锁群中或者染色体中,一个常见的来源就是不同染色体中的重复区域由于过于相似在组装的时候坍缩成了一个。ALLMAPS也提供split进行拆分。
  • 估计gap长度: 默认会用100个N在填充两个scaffold连接的区域,方便Genbank识别其为未知区域。你可以根据遗传距离在不同物理位置上的对应关系,预测不同gap的近似大小然后进行填充,子命令是estimategaps
  • 在ALLMAPS中使用多种遗传图谱.

光学图谱在着丝粒区间表型不好,主要是里面的串联重复过多,使得限制性内切酶数目减少,遗传图谱中在这个区域依旧有比较多的标记

局限性:

  • 标记数目和密度。过多计算量大,太小准确性低
  • 基因组组装和建图软件的潜在错误。基因组组装的原始质量对ALLMAPS的影响非常大,尤其是高度片段化的结果可能会导致错误结果。
  • 基因组结构特征也会有影响,例如染色体倒置、异位和片段重复。

参考资料:

目录
相关文章
|
运维 监控 算法
优化电脑屏幕监控软件:关联规则挖掘算法的引入
在如今的职场中,电脑屏幕监控软件已经成为了许多企业的标配,用于监测员工的工作行为以提高生产力和安全性。然而,为了让监控软件发挥最大的效用,关联规则挖掘算法正在崭露头角。接下来就让我们通过以下方面来看看如何通过关联规则挖掘算法提高电脑屏幕监控软件的监视效率——
180 0
|
24天前
|
机器学习/深度学习 人工智能
大模型合成数据机理分析,人大刘勇团队:信息增益影响泛化能力
中国人民大学刘勇团队研究了合成数据对大型语言模型泛化能力的影响,提出逆瓶颈视角,通过“通过互信息的泛化增益”(GGMI)概念,揭示了后训练模型的泛化能力主要取决于从生成模型中获得的信息增益。这一发现为优化合成数据生成和后训练过程提供了重要理论依据。
46 1
|
20天前
|
存储 自然语言处理 数据可视化
3倍提升效率:医疗病理信息抽取与关系图谱展示系统解析
该项目旨在通过NLP技术将医疗病理报告中的非结构化文本转化为结构化数据,实现信息的高效抽取、存储及可视化展示。利用Python、JavaScript等技术栈,结合Echarts等工具,构建病理信息的关系图谱,支持多条件检索与图表互动,提高医生及研究人员的工作效率。预期成果包括数据结构化、关系图谱可视化、快速检索及数据统计分析等功能。项目预计2-4周完成。
|
4月前
|
机器学习/深度学习 人工智能
阿里轨迹可控版Sora,告别抽卡,让视频生成更符合物理规律
【8月更文挑战第26天】阿里团队新推出的Tora视频生成模型是对先前Sora模型的重要升级。Tora通过引入轨迹控制机制,极大提升了视频中物体运动的真实性和准确性。其核心技术包括轨迹提取器、运动指导融合器及空间时间扩散变换器,共同确保视频既高质量又流畅。实验表明,Tora在清晰度、细节表现力及运动轨迹控制上均有显著进步。尽管如此,模型训练复杂度和轨迹理解能力仍有待优化。[论文](https://arxiv.org/pdf/2407.21705)
51 2
|
7月前
|
机器学习/深度学习 编解码 计算机视觉
|
7月前
|
数据采集 编解码 数据处理
LabVIEW并行模拟和数字数据流的获取和分析 人类脑电波和决策行为
LabVIEW并行模拟和数字数据流的获取和分析 人类脑电波和决策行为
46 0
|
7月前
|
数据可视化
数量生态学冗余分析(RDA)分析植物多样性物种数据结果可视化|数据分享
数量生态学冗余分析(RDA)分析植物多样性物种数据结果可视化|数据分享
|
7月前
R语言估计多元标记的潜过程混合效应模型(lcmm)分析心理测试的认知过程
R语言估计多元标记的潜过程混合效应模型(lcmm)分析心理测试的认知过程
|
7月前
|
监控 安全 5G
UWB人员精准定位系统源码,实现实时定位、人机料配对、物料标签配置、智慧调度、轨迹追踪
人员定位管理系统通过在厂区、车间部署UWB定位基站,实时采集人员、机具、物料上定位标签回传的位置信息数据,采用多维定位模式,精确定位人、机具、物料的实时位置,实现实时定位、人机料配对、物料标签配置、智慧调度、轨迹追踪、工时统计、区域物料统计、电子围栏等应用功能。
128 1
|
数据采集 设计模式 存储
全基因组重测序流程【超细致!!】
全基因组重测序流程【超细致!!】