开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

对于计算密集型或数据密集型这样需要计算量比较大的工作,什么样的方法更为有效解决问题?

对于计算密集型或数据密集型这样需要计算量比较大的工作,什么样的方法更为有效解决问题?

展开
收起
云上静思 2021-11-15 19:01:54 2117 0
2 条回答
写回答
取消 提交回答
  • 爬虫工程师,擅长scrapy框架,分布式抓取,大并发请求,js逆向等。
    1. 首先可以选用 分布式计算 这种方法。
    2. 其次可以选用如RubyC 等相对于其他语言速度更快的静态语言。
    3. 再者就是算法或函数的选用如异步/协程 等方法加速数据读取和等待的时间。
    4. 之后需要考虑的就是数据协同 Raft 或者其他的分部协议,以及使用雪花算法

    生成分布式任务等。

    2021-11-17 18:28:36
    赞同 展开评论 打赏
  • 并行计算或分而治之是解决这一类问题非常有效的手段。

    2021-11-16 15:10:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
《函数计算冷启动加速》 立即下载
图计算优化技术探索 立即下载
函数计算事件驱动的无服务器计算服务 立即下载