勋章
我关注的人
粉丝
技术能力
- 大数据
- Hadoop
- Spark
- Flink
- Docker
- NoSQL
- Oracle
- MySQL
- Weblogic
- Kafka
-
数据库
中级
能力说明：
可对MySQL数据库进行备份与恢复，可较为熟练的使用SQL语句进行单表多表查询等操作，可快速上手阿里云RDS MySQL数据库，可进行MySQL云数据库的创建、设置、数据迁移等工作。了解常见NOSQL数据库，如MongoDB、Redis、Memcached的概念、安装、配置等相关基础知识。
-
-
阿里云大数据ACP专业认证考试
获得于2021-04-08 12:00:51
-
赵渝强老师，20年以上的行业从业经历，清华大学计算机软件工程专业毕业。曾任京东大数据学院院长，Oracle中国有限公司高级技术顾问；阿里云官方认证讲师；华为官方认证讲师。曾在BEA、甲骨文、摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问。精通大数据、数据库、容器技术、中间件技术和Java。
-
【赵渝强老师】基于大数据组件的平台架构2个月前本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层：数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中，大数据平台层为核心，负责数据的存储和计算，支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型，应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。308来自： 数据库 -
【赵渝强老师】Docker的体系架构2个月前Docker采用客户端-服务器架构，客户端与守护进程通过sockets或RESTful API通信。守护进程负责构建、运行和分发容器。镜像仓库（如Docker Hub和Harbor）存储镜像，容器则基于镜像创建，是运行应用的安全平台。80来自： 开发与运维 -
【赵渝强老师】Oracle的还原数据2个月前Oracle数据库中的还原数据（也称为undo数据或撤销数据）存储在还原表空间中，主要用于支持查询的一致性读取、实现闪回技术和恢复失败的事务。文章通过示例详细介绍了还原数据的工作原理和应用场景。59来自： 数据库 -
【赵渝强老师】MySQL的体系架构2个月前本文介绍了MySQL的体系架构，包括Server层的7个主要组件（Connectors、Connection Pool、Management Service & Utilities、SQL Interface、Parser、Optimizer、Query Caches & Buffers）及其作用，以及存储引擎层的支持情况，重点介绍了InnoDB存储引擎。文中还提供了相关图片和视频讲解。112来自： 数据库 -
【赵渝强老师】Kubernetes的体系架构2个月前本文介绍了Kubernetes的体系架构及其核心组件。Kubernetes采用主从分布式架构，由master主节点和多个node工作节点组成。master节点负责集群管理和调度，运行API Server、scheduler、controller-manager等服务组件；node节点运行kubelet、kube-proxy和Docker容器守护进程，负责实际业务应用的运行。文章还简要介绍了Kubernetes的附加组件及其作用。75来自： 开发与运维 -
【赵渝强老师】基于Flink的流批一体架构2个月前本文介绍了Flink如何实现流批一体的系统架构，包括数据集成、数仓架构和数据湖的流批一体方案。Flink通过统一的开发规范和SQL支持，解决了传统架构中的多套技术栈、数据链路冗余和数据口径不一致等问题，提高了开发效率和数据一致性。150来自： 数据库 -
【赵渝强老师】Oracle的体系架构2个月前Oracle数据库的核心在于其体系架构，主要包括数据库与实例、存储结构、进程结构和内存结构。数据库由物理文件组成，实例则是内存和进程的组合。存储结构分为逻辑和物理两部分，进程结构涉及多个后台进程如SMON、PMON、DBWn等，内存结构则包含SGA和PGA。掌握这些知识有助于更好地管理和优化Oracle数据库。87来自： 数据库 -
【赵渝强老师】Kafka的体系架构2个月前Kafka消息系统是一个分布式系统，包含生产者、消费者、Broker和ZooKeeper。生产者将消息发送到Broker，消费者从Broker中拉取消息并处理。主题按分区存储，每个分区有唯一的偏移量地址，确保消息顺序。Kafka支持负载均衡和容错。视频讲解和术语表进一步帮助理解。43来自： 云计算 -
【赵渝强老师】MySQL的InnoDB存储引擎2个月前InnoDB是MySQL的默认存储引擎，广泛应用于互联网公司。它支持事务、行级锁、外键和高效处理大量数据。InnoDB的主要特性包括解决不可重复读和幻读问题、高并发度、B+树索引等。其存储结构分为逻辑和物理两部分，内存结构类似Oracle的SGA和PGA，线程结构包括主线程、I/O线程和其他辅助线程。68来自： 数据库 -
【赵渝强老师】数据库的备份方式2个月前备份数据库是指将数据库中的数据及相关信息保存起来，以便在系统故障时恢复。备份对象不仅限于数据本身，还包括数据库对象、用户权限等。根据备份策略、类型和模式的不同，可分为整体/部分备份、完全/增量备份、一致/非一致备份。文中还附有相关视频讲解。48来自： 数据库 -
【赵渝强老师】MongoDB的存储引擎2个月前存储引擎是MongoDB的核心组件，负责管理数据在硬盘和内存中的存储方式。从3.2版本起，MongoDB支持WiredTiger、MMAPv1和In-Memory三种存储引擎。WiredTiger为默认引擎，提供文档级并发控制和数据压缩；MMAPv1在3.2版本前为默认引擎，4.x版本后不再支持；In-Memory引擎将数据存储在内存中，减少查询延迟。63来自： 数据库 -
【赵渝强老师】大数据技术的理论基础2个月前本文介绍了大数据平台的核心思想，包括Google的三篇重要论文：Google文件系统（GFS）、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础，进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。152来自： 数据库 -
【赵渝强老师】大数据生态圈中的组件2个月前本文介绍了大数据体系架构中的主要组件，包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka；计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream；分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。94来自： 数据库 -
【赵渝强老师】基于ZooKeeper实现Hadoop HA2个月前本文介绍了如何在4个节点（bigdata112、bigdata113、bigdata114和bigdata115）上部署HDFS高可用（HA）架构，并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程，确保部署成功。118来自： 大数据 -
【赵渝强老师】阿里云大数据生态圈体系1个月前阿里云大数据计算服务MaxCompute（原ODPS）提供大规模数据存储与计算，支持离线批处理。针对实时计算需求，阿里云推出Flink版。此外，阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS，以及数据分析平台DataWorks、Quick BI和机器学习平台PAI，构建全面的大数据生态系统。96来自： 数据库 -
【赵渝强老师】PostgreSQL的逻辑存储结构1个月前PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等。每个对象都有唯一的对象标识符OID，并存储于相应的系统目录表中。集群由单个服务器实例管理，包含多个数据库、用户及对象。表空间是数据库的逻辑存储单元，用于组织逻辑相关的数据结构。段是分配给表、索引等逻辑结构的空间集合，区是段的基本组成单位，而块则是最小的逻辑存储单位。86来自： 数据库
-
发表了文章 2025-01-11
【赵渝强老师】什么是NoSQL数据库？
随着大数据技术的兴起，NoSQL数据库（Not Only SQL）得到广泛应用。它不局限于二维表结构，允许数据冗余。常见的NoSQL数据库包括Redis、MongoDB和HBase。Redis是基于内存的高性能数据库，采用单线程模型和多路复用I/O，支持高效的数据结构。MongoDB使用BSON格式存储文档，查询语言强大，类似关系型数据库。HBase基于HDFS，适合数据分析，采用列式存储，支持灵活的列族设计。视频讲解及更多内容见下文。
-
发表了文章 2024-12-21
【赵渝强老师】PostgreSQL的参数文件
PostgreSQL数据库的四个主要参数文件包括：`postgresql.conf`（主要配置文件）、`pg_hba.conf`（访问控制文件）、`pg_ident.conf`（用户映射文件）和`postgresql.auto.conf`（自动保存修改后的参数）。视频讲解和详细说明帮助理解各文件的作用。
-
发表了文章 2024-12-09
【赵渝强老师】PostgreSQL的控制文件
本文介绍了PostgreSQL数据库的物理存储结构，重点解析了控制文件，包括其重要性及如何通过`pg_controldata`命令查看控制文件内容。控制文件记录了数据库运行的关键信息，如数据库状态、WAL位置等。
-
发表了文章 2024-12-01
【赵渝强老师】PostgreSQL的段、区和块
PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等，以及表、索引、视图等数据库对象。每个对象有唯一的oid标识符，存储于系统目录表中。段、区、块是数据存储的基本单元，其中块是I/O操作的最小单位，默认大小为8KB。通过合理配置这些结构，可以优化数据库性能。
-
发表了文章 2024-11-20
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句，帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志，并通过实例演示了慢查询的记录与分析过程。
-
发表了文章 2024-11-19
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作（不包括SELECT和SHOW），主要用于主从复制和数据恢复。binlog有三种模式，可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
-
发表了文章 2024-11-14
【赵渝强老师】Redis的RDB数据持久化
Redis 是内存数据库，提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式，其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘，确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景，但也有数据完整性和一致性较低及备份时占用内存的缺点。
-
发表了文章 2024-11-14
【赵渝强老师】MySQL的基准测试与sysbench
本文介绍了MySQL数据库的基准测试及其重要性，并详细讲解了如何使用sysbench工具进行测试。内容涵盖sysbench的安装、基本使用方法，以及具体测试MySQL数据库的步骤，包括创建测试数据库、准备测试数据、执行测试和清理测试数据。通过这些步骤，可以帮助读者掌握如何有效地评估MySQL数据库的性能。
-
发表了文章 2024-11-14
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件，用于存放InnoDB数据和索引。重做日志文件（redo log）确保数据的可靠性和事务的持久性，其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
-
发表了文章 2024-11-14
【赵渝强老师】Hive的分区表
Hive的分区表与Oracle、MySQL类似，通过分区条件将数据分隔存储，提高查询效率。本文介绍了静态分区表和动态分区表的创建与使用方法，包括具体SQL语句和执行计划分析，附带视频讲解。静态分区表需显式指定分区条件，而动态分区表则根据插入数据自动创建分区。
-
发表了文章 2024-11-14
【赵渝强老师】Hive的内部表与外部表
Hive是基于HDFS的数据仓库，支持SQL查询。其数据模型包括内部表、外部表、分区表、临时表和桶表。本文介绍了如何创建和使用内部表和外部表，提供了详细的步骤和示例代码，并附有视频讲解。
-
发表了文章 2024-11-14
【赵渝强老师】K8s的有状态控制器StatefulSet
在Kubernetes中，StatefulSets用于部署有状态应用程序，提供持久存储和唯一标识符。与Deployment不同，StatefulSets确保Pod的标识符在重新调度后保持不变，适用于需要稳定网络标识符和持久存储的场景。本文介绍了StatefulSets的创建、扩容与缩容、更新与回滚等操作，并提供了具体示例和视频讲解。
-
发表了文章 2024-11-14
【赵渝强老师】基于ZooKeeper实现Hadoop HA
本文介绍了如何在4个节点（bigdata112、bigdata113、bigdata114和bigdata115）上部署HDFS高可用（HA）架构，并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程，确保部署成功。
-
发表了文章 2024-11-14
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想，包括Google的三篇重要论文：Google文件系统（GFS）、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础，进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
-
发表了文章 2024-11-14
【赵渝强老师】MongoDB的WiredTiger存储引擎
MongoDB WiredTiger存储引擎自3.2版本起成为默认选择，提供文档级别的并发控制、检查点、数据压缩和本地加密等功能。本文详细介绍了WiredTiger的并发控制机制、预写日志与检查点、内存使用、数据压缩及磁盘空间回收等特性。
-
发表了文章 2024-11-14
【赵渝强老师】Redis的管道Pipeline
Redis采用客户端-服务器模型和请求/响应协议，通常一个请求包括客户端发送查询请求并等待服务端响应。为了提高性能，Redis引入了管道PipeLine技术，可以一次性发送多条命令并一次性返回结果，减少客户端与服务器间的通信次数，从而降低往返延迟。示例代码展示了普通命令和管道命令在插入1万条数据时的性能差异，后者执行时间显著缩短。视频讲解提供了更详细的解释。
-
发表了文章 2024-11-14
【赵渝强老师】解决MySQL丢失root用户密码
本文介绍了MySQL数据库中用户密码存储的变化，以及如何通过特殊方法重置root用户的密码。从MySQL 5.7版本开始，密码字段由“password”改为“authentication_string”。文章详细列出了重置密码的步骤，并提供了相关代码示例和视频教程。
-
发表了文章 2024-11-14
【赵渝强老师】HBase的表结构
本文介绍了Google的BigTable思想及其对HBase的影响。BigTable将所有数据存入一张表中以提高查询性能，而HBase作为其具体实现，采用列式存储，适合数据分析和处理。文章通过示例说明了HBase的表结构和数据插入方法，并提供了相关代码和图示。
-
发表了文章 2024-11-14
【赵渝强老师】HBase的体系架构
本文介绍了HBase的体系架构，包括HMaster、RegionServer和ZooKeeper的主要功能。HMaster负责Region的分配和管理，RegionServer处理数据的读写操作，ZooKeeper维护集群状态并协调分布式系统的运行。文章还详细解释了Region、WAL预写日志、Block Cache读缓存和MemStore写缓存的作用。
-
发表了文章 2024-11-14
【赵渝强老师】MongoDB的客户端工具
MongoDB 是一个基于分布式文件存储的 NoSQL 数据库，提供了命令行客户端工具 mongoshell 和图形化工具 MongoDB Compass。mongoshell 可以进行数据查询和管理操作，而 MongoDB Compass 则支持可视化查询、聚合和数据分析。本文介绍了如何使用 mongoshell 连接 MongoDB 服务器、创建数据库和集合、插入数据以及配置命令提示符。同时，还展示了 MongoDB Compass 的主界面及其功能。
-
发表了文章 2024-11-14
【赵渝强老师】Hive的体系架构
Hive是基于Hadoop的数据仓库平台，提供SQL-like的HQL语言进行数据分析，无需编写复杂的Java代码。Hive支持丰富的数据模型，可将SQL语句转换为MapReduce任务在Yarn上运行，底层依赖HDFS存储数据。Hive可通过CLI、JDBC和Web界面执行SQL查询。
-
发表了文章 2024-11-14
【赵渝强老师】使用二进制包方式安装Docker
本文介绍了在企业生产环境中无法直接访问外网时，如何使用Docker官方提供的二进制包进行Docker的离线安装。文章详细列出了从安装wget、下载Docker安装包、解压、复制命令到启动Docker服务的具体步骤，并提供了相关命令和示例图片。最后，还介绍了如何设置Docker为开机自启模式。
-
发表了文章 2024-11-14
【赵渝强老师】基于Flink的流批一体架构
本文介绍了Flink如何实现流批一体的系统架构，包括数据集成、数仓架构和数据湖的流批一体方案。Flink通过统一的开发规范和SQL支持，解决了传统架构中的多套技术栈、数据链路冗余和数据口径不一致等问题，提高了开发效率和数据一致性。
-
发表了文章 2024-11-14
【赵渝强老师】MySQL的连接方式
本文介绍了MySQL数据库服务器启动后的三种连接方式：本地连接、远程连接和安全连接。详细步骤包括使用root用户登录、修改密码、创建新用户、授权及配置SSL等。并附有视频讲解，帮助读者更好地理解和操作。
-
发表了文章 2024-11-14
【赵渝强老师】Hadoop生态圈组件
本文介绍了Hadoop生态圈的主要组件及其关系，包括HDFS、HBase、MapReduce与Yarn、Hive与Pig、Sqoop与Flume、ZooKeeper和HUE。每个组件的功能和作用都进行了简要说明，帮助读者更好地理解Hadoop生态系统。文中还附有图表和视频讲解，以便更直观地展示这些组件的交互方式。
-
发表了文章 2024-11-14
【赵渝强老师】Yarn的资源调度策略
Yarn作为资源和任务调度平台，支持多个应用程序同时运行，如MapReduce、Spark和Flink等。Yarn的资源调度方式主要包括FIFO Scheduler（先来先服务）、Capacity Scheduler（容量调度）和Fair Scheduler（公平调度）。FIFO Scheduler按任务提交顺序调度；Capacity Scheduler通过队列管理资源，支持多租户共享；Fair Scheduler则根据任务权重动态分配资源，确保公平性。
-
发表了文章 2024-11-14
【赵渝强老师】MySQL的体系架构
本文介绍了MySQL的体系架构，包括Server层的7个主要组件（Connectors、Connection Pool、Management Service & Utilities、SQL Interface、Parser、Optimizer、Query Caches & Buffers）及其作用，以及存储引擎层的支持情况，重点介绍了InnoDB存储引擎。文中还提供了相关图片和视频讲解。
-
发表了文章 2024-11-14
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层：数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中，大数据平台层为核心，负责数据的存储和计算，支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型，应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
-
发表了文章
2025-01-19
【赵渝强老师】Kubernetes中Pod的探针
-
发表了文章
2025-01-11
【赵渝强老师】什么是NoSQL数据库？
-
发表了文章
2025-01-09
【赵渝强老师】Redis的慢查询日志
-
发表了文章
2025-01-04
【赵渝强老师】MongoDB写入数据的过程
-
发表了文章
2025-01-01
【赵渝强老师】MongoDB文档级别的并发控制
-
发表了文章
2024-12-28
【赵渝强老师】MongoDB的Journal日志
-
发表了文章
2024-12-25
【赵渝强老师】MongoDB逻辑存储结构
-
发表了文章
2024-12-21
【赵渝强老师】PostgreSQL的参数文件
-
发表了文章
2024-12-09
【赵渝强老师】PostgreSQL的控制文件
-
发表了文章
2024-12-06
【赵渝强老师】PostgreSQL的服务器日志文件
-
发表了文章
2024-12-05
【赵渝强老师】PostgreSQL的WAL预写日志文件
-
发表了文章
2024-12-04
【赵渝强老师】PostgreSQL的运行日志文件
-
发表了文章
2024-12-03
【赵渝强老师】PostgreSQL的数据文件
-
发表了文章
2024-12-02
【赵渝强老师】PostgreSQL的物理存储结构
-
发表了文章
2024-12-01
【赵渝强老师】PostgreSQL的段、区和块
-
发表了文章
2024-11-30
【赵渝强老师】PostgreSQL中的模式
-
发表了文章
2024-11-29
【赵渝强老师】PostgreSQL的表空间
-
发表了文章
2024-11-28
【赵渝强老师】PostgreSQL的数据库
-
发表了文章
2024-11-26
【赵渝强老师】PostgreSQL的数据库集群
-
发表了文章
2024-11-25
【赵渝强老师】PostgreSQL的逻辑存储结构
