大数据

首页 标签 大数据
# 大数据 #
关注
51115内容
Linux内核中的调度算法演变:从O(1)到CFS的优化之旅###
本文深入探讨了Linux操作系统内核中进程调度算法的发展历程,聚焦于O(1)调度器向完全公平调度器(CFS)的转变。不同于传统摘要对研究背景、方法、结果和结论的概述,本文创新性地采用“技术演进时间线”的形式,简明扼要地勾勒出这一转变背后的关键技术里程碑,旨在为读者提供一个清晰的历史脉络,引领其深入了解Linux调度机制的革新之路。 ###
震撼!通过双重异步,Excel 10万行数据导入从191秒优化到2秒!
通过合理设计线程池和利用异步编程模型,本文展示了如何将 Excel 10万行数据的导入时间从191秒优化到2秒。文章详细介绍了使用 Spring Boot 的 `@Async` 注解、自定义线程池和 EasyExcel 进行大数据量的 Excel 解析和异步写入数据库的方法。通过分而治之的策略,减少了系统的响应时间,提高了并发处理能力。同时,还分析了如何根据 CPU 和 IO 密集型任务的特性,合理设置线程池的参数,以充分发挥硬件资源的性能。
|
2天前
|
存算分离与计算向数据移动:深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来,数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构,即计算资源与存储资源紧密耦合,在处理海量数据时逐渐显露出其局限性。为了应对这些挑战,存算分离(Disaggregated Storage and Compute Architecture)和计算向数据移动(Compute Moves to Data)两种架构应运而生,成为大数据处理领域的热门技术。
ArrayList扩容机制
本文介绍了Java中ArrayList的add方法及其内部调用的ensureCapacityInternal和ensureExplicitCapacity方法。当首次添加元素时,ArrayList会扩容至10。之后每达到容量上限时,会通过grow方法将容量扩大1.5倍。文章还解释了length、length()和size()的区别。
|
2天前
|
数字孪生与教育:虚拟实验室的兴起
【10月更文挑战第31天】数字孪生技术通过虚拟实验室在教育领域的应用,打破了传统实验室的物理限制,提供了丰富的学习体验,提升了教学效果和学习效率,培养了学生的创新能力和实践能力。虚拟实验室利用物联网、大数据和AI等技术,为学生打造了一个安全、无风险的学习环境,推动了教育现代化的进程。
免费试用