开发者社区> 问答> 正文

ES数据量达到PB级别以后性能急剧下降怎么办?

ES数据量达到PB级别以后性能急剧下降怎么办?

展开
收起
MCNU云原生 2022-02-17 22:22:07 21680 0
10 条回答
写回答
取消 提交回答
  • 学习

    2022-05-28 08:50:04
    赞同 展开评论 打赏
  • 要看是不是数据量大引起的,找症结核心所在

    2022-04-27 17:35:10
    赞同 展开评论 打赏
  • 学习了

    2022-04-27 14:30:16
    赞同 展开评论 打赏
  • 学习

    2022-04-27 10:12:08
    赞同 展开评论 打赏
  • 加机器哈哈

    2022-04-27 10:11:37
    赞同 展开评论 打赏
  • 码农

    可以参考:http://www.codebaoku.com/es/es-index.html

    1、数据预热

    做一个缓存预热系统,专门用于对那些比较热的数据,每隔一段时间访问一下,让数据进入filesystem cache。比如微博,看的人很多的数据;再比如电商的热门商品P30。

    2、冷热分离

    大量的冷门数据一个索引;热数据另一个索引。这可确保热数据在被预热后,尽量都留在filesystem os cache里,别让冷数据给冲刷掉。

    3、document模型设计

    1. 在写入时,就设计好模型,加几个字段专门用于存放处理好的数据。
    2. 用es查出来,然后在程序中封装。

    4、分页性能优化

    2022-04-27 09:59:43
    赞同 1 展开评论 打赏
  • 11

    2022-04-27 09:42:39
    赞同 展开评论 打赏
  • 微信搜索「龙哥手记」,回复关键字:见面礼

    学习下

    2022-04-27 09:42:38
    赞同 展开评论 打赏
  • 学习了

    2022-04-26 18:11:09
    赞同 展开评论 打赏
  • 坚持的前提是,你的心里知道你要什么。

    数据量大,IO消耗大,性能下降 可以考虑, 1、增加内存和硬盘的空间,机械硬盘换固态硬盘等等。 2、修改ES默认保存缓存的大小

    2022-02-18 15:05:57
    赞同 展开评论 打赏
滑动查看更多
问答地址:
问答排行榜
最热
最新

相关电子书

更多
存储世界,不止如此-EB级存储引擎背后的技术 立即下载
俞航翔|基于Log的通用增量Checkpoint 立即下载
基于etcd的超大规模生产级弹性键值存储实践与优化 立即下载