1
条回答
写回答
写回答
-
45271990@qq.com配置分布式迁移文件 ● 分布式迁移模式的数据体量都是大于 30TB ，甚至上 PB 的级别才会用到，迁 移模型也比较特殊，是通过 master 带多个 worker 协同工作，类似 nginx 的 模型，master 只是用来切割任务和分配任务，对数据量庞大的用户，worker 的数量也要配置好，才能高效迁移。 ● 首先通过客户端文件数量，来计算任务数，该项目中客户端总文件数 424421917 个，源头限制 3Gbps ，客户的机器数量有 12 台。计划分成 20000 个 task ，每个 task 迁移 21221 个文件。每个 worker 机器开 200 线程，并发处理 200 个 task ，并发也就是能处理 2400 个，升级 17600 个 task 在队列中。 ● 源流限制是 3000Mbps ，其实并发 worker 全部也就能跑到 375MB ，所以 即便是你的线程开的再多，机器配置在高其他的线程也只能阻塞住。
2021-03-12 23:08:48赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
