dasein58_个人页

2021年12月

• 12.06 16:00:31
  发表了文章 2021-12-06 16:00:31

  深入理解Yii2 数据库事务

  　　事务（Transaction） 　　在Yii中，使用 yii\db\Transaction 来表示数据库事务。 　　一般情况下，我们从数据库连接启用事务，通常采用如下的形式: 　　$transaction=$connection->beginTransaction(); 　　try { 　　$connection->createCommand($sql1)->execute();
• 12.06 16:00:05
  发表了文章 2021-12-06 16:00:05

  深度掌握java stream 流操作，让你的代码高出一个逼格

  　　一、介绍 　　我们都知道，从 Java8 开始，jdk 新增加了一个 Stream 类，用来补充集合类，它的强大，相信用过它的朋友，能明显地感受到，不用使用for循环就能对集合作出很好的操作。 　　Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。
• 12.06 15:59:41
  发表了文章 2021-12-06 15:59:41

  软件开发困难、软件开发困难原因、软件开发困难的根本原因

  　　软件开发困难 　　软件开发困难最典型的事件是12360火车票订票，高并发量让初期的12360版本经常崩溃，根本不能用。不能用的软件或平台网站，这样的软件开发困难，难于上青天。 　　微软在开始组织团队编写Windows操作系统时，也经常遇到软件开发困难，进度迟迟不能更新，产品上线遥遥无期，导致微软领导一个头两个大。
• 12.06 15:59:16
  发表了文章 2021-12-06 15:59:16

  入门级大数据Hadoop、Hive常用操作语法sql工作整理

  　　大数据概念入门： 　　Hadoop分布式文件系统，HDFS是一个高度容错性的系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件，多用户写入，任意修改文件。 　　1.客户把一个文件存入HDFS，其实HDFS会把这个文件切块后，分散存储在N台linux机器系统中（data node）2.记录用户的每一个文件的切块信息，及每一块的具体存储机器（name node）总结：一个HDFS系统，可由一台运行了namenode的服务器，和N台运行了datanode的服务器组成！
• 12.06 15:53:04
  发表了文章 2021-12-06 15:53:04

  如何保护你的基础设施远离DNS缓存中毒？

  　　域名系统(DNS)是我们的信任根源，也是互联网最重要的部分之一。它是一项关键任务服务，因为如果它发生故障，企业的网站随之宕机。 　　DNS是含有名称和数字的虚拟数据库。它是对企业来说很关键的其他服务的基石。这包括电子邮件、网站访问、IP语音(VoIP)和文件管理。
• 12.06 15:52:27
  发表了文章 2021-12-06 15:52:27

  认真推荐几个高质量的订阅号

  　　IT行业技术变更周期越来越快，作为技术人最重要的是持续学习，现在的学习途径有很多，我们到底该如何做出选择？ 我觉得最重要有两方面： 第一，需要保持良好的技术视野，持续关注行业内技术新动向； 第二，多向IT行业大佬学习，了解他们走过来的经验。 　　程序员私房菜 　　长按图片识别二维码关注 　　号主同济大学硕士毕业，CSDN博客专家，GitChat达人课作者。先后在eBay、爱奇艺、华为等大厂踩过坑，公众号有Java、并发基础、数据结构和算法、微服务、数据库、大厂面试等优质文章和专栏，也有个人经验分享，相信你关注后一定会有收获！而且定期还会送福利。
• 12.06 15:52:01
  发表了文章 2021-12-06 15:52:01

  人工智能名片可以帮助企业做什么？

  　　企业生存的关键在于什么？很多人应该都能想到，就是客户，只有源源不断的客户才能让企业生存下去。那么企业获取客户的方法很多，我们应该选择什么呢？ 　　为什么说人工智能名片作为被众多企业喜爱的营销工具？当它开发出来那一刻起，就拥有强大的流量能力和销售转化能力，是能够解决企业最头疼的两大难题。 　　在移动互联网时代下的商业模式，人工智能名片与传统纸质名片大有不同，它可以强而有力的改善企业—销售人员—客户之间的关系，从根本上解决企业营销闭塞，缺乏客户以及无法理解客户需求等痛点。 　　一．大流量：有了它，就拥有数不尽数的大流量
• 12.06 15:51:33
  发表了文章 2021-12-06 15:51:33

  全能开发工具 ComponentOne（4）-- 热门问题

  　　在本系列的前3篇文章中，小编分别向大家介绍了全能开发工具 ComponentOne 的七大功能和十大常用控件，相信大家已经对 ComponentOne 有了基本了解。 　　但是大家在使用 ComponentOne 的过程中，有没有什么疑问呢？小编整理了常见的一些问题和答案，方面大家了解： 　　Q：GC Universal\ Ultimate\ Enterprise\ WinForms有什么区别？ 　　A：这几个产品是逐步升级的关系。
• 12.06 15:51:10
  发表了文章 2021-12-06 15:51:10

  浅谈ETL测试（二）

  　　今天继续和大家分享下作为大数据测试工程师对ETL测试的一些认识。ETL测试认知续篇。 　　一、ETL测试类型 　　Production Validation Testing 　　---该类型的ETL测试是在数据迁移至生产系统时进行的。为了保证生产业务的正常运营，生产系统中的数据必须以正确的顺序进行排序。在该ETL测试类型中要注意从数据层面进行自动化测试和管理能力的植入。
• 12.06 15:50:48
  发表了文章 2021-12-06 15:50:48

  浅谈c++中的开源框架类目--分享二（框架）

  　　这个系列Lee哥会分享一些c++中的开源框架。 　　主要从TCP协议栈、框架、并发性、数据库、国际化、压缩、日志、多媒体库、序列化、XML库、脚本、Json库、数学库、安全、WEB应用框架、网络库、异步事件等方面来分享。分享的内容不仅限于自己来写，有会借鉴网上大牛们的一些文章与大家分享。 　　之前我们讲了TCP，今天我们来讲一讲框架。这里Lee哥把框架的技术分成4个模块。
• 12.06 15:50:03
  发表了文章 2021-12-06 15:50:03

  盘点 Spring Security框架中的八大经典设计模式

  　　1.模板方法模式 　　? 　　Template Pattern(模板方法模式)是一个抽象类公开定义了执行它的方法的模板。它的子类可以按需要重写方法实现，但调用将以抽象类中定义的方式进行，这是一种行为型模式。 　　模板方法方式优点如下：
• 12.06 15:48:53
  发表了文章 2021-12-06 15:48:53

  你有技术焦虑症吗？

  　　从事软件编程已经长达8年之后，曾经中间有很长一段时间感觉自己的技术能力没有得到根本性提升，与那些优秀的同龄人相比，技术自卑油然而生，面对日新月息的技术变更和时不我待的岁月流逝，步入中年的我不得不变的焦虑起来。回顾自己的编程生涯，刚毕业的头几年，通过自主学习实现了编程语言的基本掌握，紧接着使用学到的技术完成各种项目，然后日复一日，有时候也会看看技术书籍，但是终究未能突破语言层而知晓技术背后的本质。而后通过长时间的摸索与交流，寻找到了一些解决技术人技术焦虑的方法，这些问题和方法更多的是一种思维方式，一种看问题的视角，希望这些建议能够让我们有所收获和思考。
• 12.06 15:48:16
  发表了文章 2021-12-06 15:48:16

  你见过哪些惊艳的 Java 代码技巧？

  　　前言： 　　感谢大家观看本文，希望大家都能有所收获 　　导语 　　自从毕业后，今年已经是我工作的第 8 个年头了，我甚至都快忘记了到底是那年毕业的。从出来本人一直在做 Java 相关的工作，现在终于有时间坐下来，写一篇关于 Java 写法的一篇文章，来探讨一下如果你真的是一个 Java 程序员，那你真的会写 Java 吗?
• 12.06 15:47:49
  发表了文章 2021-12-06 15:47:49

  面试查缺补漏，android核心知识：组件篇

  　　前言 　　最近一段瞎xx百度，无意中发现一个帖，看帖子的质量肯定是被转载不知道多少次了，来出处都已经不见了，但是博主的质量比较的高。甚至把这篇文章的内容当做面试前的查缺补漏也是非常合适的。 　　总之是一篇质量非常给常高的文章。所以忍不住在这里发了出来。如果原作者看到这篇文章，觉得不妥。私聊我就会删掉。 　　一、应用组件
• 12.06 15:47:22
  发表了文章 2021-12-06 15:47:22

  面试：Spring面试题，你都会了吗？

  　　问题一： 　　什么是Spring？ 　　Spring是Enterprise Java的开源开发框架。Spring Framework的核心功能可用于开发任何Java应用程序，但有一些扩展用于在Java EE平台之上构建Web应用程序。Spring框架的目标是通过启用基于POJO的编程模型，使Java EE开发更易于使用并促进良好的编程实践。
• 12.06 15:47:00
  发表了文章 2021-12-06 15:47:00

  面试 4 个月，最终入职大厂经验分享

  　　在18年底到19年3月，陆续面试了几家公司，有成有不成的，最终进了一家比较满意的知名外企。在本文里，我将介绍我这段时间里更新简历和面试的相关经历。 　　可能面试相关的一些方法，大家能从我之前的博文里看到，但在本文里，大家更能从相关实战性的例子中进一步体会到面试技巧的使用方法。 　　1 刚开始一定得通过一些小公司练手 　　我打算要换工作，就更新了简历，这时就有不少猎头来找我，刚开始，我不敢面大公司，只是去些规模小的互联网公司。因为一方面，当时我很久不面试了，面试实战技能难免有些荒废，另一方面，离我之前的面试毕竟过了一阵，我不知道当前市面上哪些技术比较值钱。
• 12.06 15:46:36
  发表了文章 2021-12-06 15:46:36

  六个公众号，半个科研圈

  　　很多人都会觉得，拥有高学历的知识群体，多是不食人间烟火的，其实这是错的。聪明的人并不会与世隔离，高学历群体也会有自己的兴趣圈层，只是与众不同罢了。 　　比如关注公众号这方面，高知群体往往喜欢关注一些高等教育或专业领域定位的，体现出较强的身份属性。为 了方便大家参考学习，我们搜集了一些最适合高学历群体关注的公众号，这几个也是科研圈很有影响力的新媒体，这里推荐给大家。
• 12.06 15:46:10
  发表了文章 2021-12-06 15:46:10

  流式数据库 KSQL 概念详解 （二）

  　　联接 Join 集合 　　可以使用具有SQL连接语法的JOIN语句，使用ksqlDB实时合并事件流。ksqlDB连接和关系数据库连接的相似之处在于，它们都基于通用值组合了来自两个或多个源的数据。ksqlDB连接的结果是一个新的流或表，其中填充了您在SELECT语句中指定的列值。 　　使用ksqlDB，无需围绕连接流和表编写低级逻辑，因此可以专注于用于组合流数据的业务逻辑。 　　可以通过以下方式联接流和表： 　　连接多个流以创建新的流。连接多个表以创建一个新表。连接多个流和表以创建一个新的流。
• 12.06 15:45:45
  发表了文章 2021-12-06 15:45:45

  利用vstruct解析二进制数据

  　　Vstruct是一个纯粹由Python语言编写的模块，可用于二进制数据的解析和序列化处理。实际上，Vstruct是隶属于vivisect项目的一个子模块，该项目是由[Invisig0th Kenshoto]( 　　visi.kenshoto/viki/MainPage)发起的，专门用来处理二进制分析。 Vstruct的开发和测试已经有许多年头了，并且已经集成到了许多生成环境下的系统中了。此外，这个模块不仅简单易学，而且重要的是，它还非常有趣！
• 12.06 15:45:19
  发表了文章 2021-12-06 15:45:19

  理解 Serverless：构建全服务应用程序的技巧和资源

  　　本文要点 　　Serverless 不仅仅是功能即服务（FaaS）。不要担心供应商锁定；接受供应商通过事件集成来提供的功能。开源工具有助于简化复杂应用程序的构建。使用基础设施即代码（Infrastructure as Code，IaC）的解决方案（如 CloudFormation）来定义 Serverless 应用程序并简化 DevOps。强大的监控解决方案可以通过精确的成本管理和评估工具提供函数和集成性能的可视化。 　　尽管在过去几年中， Serverless 技术已经得到了迅速普及，但是对于 Serverless 解决方案仍然存在许多误解和担忧。供应商锁定、工具、成本管理、冷启动、
• 12.06 15:44:54
  发表了文章 2021-12-06 15:44:54

  理解 .NET Core中的Channel篇之二——高级通道

  　　1、复习 　　在我们以前的文章中，我们看了一些关于Channels如何工作的简单示例，并且看到了一些漂亮的功能，但是在大多数情况下，它与任何其他Queue实现都非常相似。 　　因此，让我们深入探讨一些更高级的主题。 　　好吧，虽然说得高级，但是很多事情还是很简单。不过，为了获取更多有价值的信息，还是值得我们去探索的！ 　　2、读写分离
• 12.06 15:44:28
  发表了文章 2021-12-06 15:44:28

  开源时序数据库解析（一）：KairosDB

  　　KairosDB 　　KairosDB最初是从OpenTSDB 1.x版本fork出来的一个分支，目的是在OpenTSDB的代码基础上进行二次开发来满足新的功能需求。其改造之一就是支持可插拔式的存储引擎，例如支持H2可以方便本地开发和测试，而不是像OpenTSDB一样与HBase强耦合。在其最初的几个版本中，HBase也是作为其主要的存储引擎。但是在之后的存储优化中，慢慢使用Cassandra替换了HBase，它也是第一个基于Cassandra开发的时序数据库。在最新的几个版本中，已不再支持HBase，因为其存储优化使用了Cassandra所特有而HBase没有的一些特性。 　　在整
• 12.06 15:36:10
  发表了文章 2021-12-06 15:36:10

  开源软件的出口管制法出台了！

  　　权利：作者 詹毅，上海执业律师，华东政法大学兼职教授，微信ZhanyiAttorney。 　　声明：传播本文时，请于文首呈现权利及声明。本律师个人观点，仅供参考，不构成法律意见书。 　　2021年10月17日，第十三届全国人大常委会第二十二次会议通过《中华人民共和国出口管制法》（以下简称《出口管制法》），自2021年12月1日起施行[1]。出口管制法共计5章49条，包括管制政策、管制清单、管制措施，监督管理、法律责任等内容。 　　开源是信息社会的生产方式之一，特点是大维度的协作与网络服务化[2]。因此全球范围的源代码开放，是开源软件的一个特征[3]。我国的开源软件技术已经全面进军操
• 12.06 15:35:25
  发表了文章 2021-12-06 15:35:25

  建立现代化数据栈时要牢记的三件事

  　　构建数据堆栈令人困惑。不一定是。 　　介绍 　　如何看待数据栈？ 　　如果您的工作需要分析数据，或者需要支持分析数据的团队，那么您可能会发现自己正在数据管道上工作，并在进行过程中了解其复杂性。尽管数据管道要比20年前少几年，但如今数据团队面临的日常挑战在很大程度上是相同的。到目前为止，我们如何走过，却仍留在原地？
• 12.06 15:35:00
  发表了文章 2021-12-06 15:35:00

  基于Python获取股票分析，数据分析实战

  　　1. Tushare简介1.1. 开源、免费版Tushare 　　Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在金融量化分析中体现出的优势，Tushare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。当然，如果您习惯了用Excel或者关系型数
• 12.06 15:33:09
  发表了文章 2021-12-06 15:33:09

  华为的基础命令知识

  　　配置cloud1连接虚拟机 　　只允许SSH登录： 　　1、user-interface vty 0 4 　　authentication-mode aaa 　　protocol inbound ssh 　　2、aaa 　　local-user zhangsan password simple zhangsan
• 12.06 15:31:16
  发表了文章 2021-12-06 15:31:16

  互联网5年开发管理岗的经验之谈

  　　工作了这么长时间，终于也可以闲下来分享一下这些年的经验，在这个互联网时代，不能只偷偷学，不输出。 　　lz是河北人，大学学习的计算机专业，毕业后又加入培训学校学了一段时间，除了工作之外研究的最多的还是如何面试通过，因为也经常跳槽，这些年在面试上还是下了很多功夫的，找时间都分享出来，希望可以帮到各位同僚。
• 12.06 15:30:43
  发表了文章 2021-12-06 15:30:43

  还在直接操作 Redis？赶快来试试这个

  　　有些人还在直接用Jedis操作Redis数据库，但这种方式非常不方便，而且很不灵活。用Spring Boot整合Redis之后，既能非常方便地操作Redis数据库，Spring Boot又可以自由地在Lettuce或Jedis等技术之间自由切换。 　　目前Jedis操作Redis已经趋于淘汰，而是应该使用Lettuce。Spring Data Redis模块默认使用Lettuce。 　　由于Spring Data是高层次的抽象，而SpringData Redis只是属于底层的具体实现，因此Spring Data Redis也提供了与前面Spring Data完全一致的操作。
• 12.06 15:30:12
  发表了文章 2021-12-06 15:30:12

  公链的关键竞争点在哪里？GIAC大会深圳站感悟

  　　12月1日-12月2日，我参加了GIAC大会深圳站，主要听了几个区块链议题，也和几位讲师交流，有一些收获和感悟，本文是我对这些收获和感悟的总结。 　　公链的关键竞争点在哪里 　　这次大会上，Bytom（比原链）的朱益祺，公信宝的陈有才，Zilliqa 的贾瑶琪，Nebulas（星云链）的王峰，YoYow 的吕文哲，阿希链（ASCH）的钱汉涛都分享了各自的公链的架构以及特性。 　　基础公链本质上是一个公有账本，认可这个账本的人越多，使用这个账本的人越多，越有竞争力。而比特币，以太坊所遇到的问题以及瓶颈也都有目共睹，而如何吸引别人使用自己公链的账本呢？关键竞争点在哪里？解决性能瓶颈？增加
• 12.06 15:29:22
  发表了文章 2021-12-06 15:29:22

  根据豆瓣 API 理解Restful API

  　　1.什么是REST 　　REST全称是Representational State Transfer,表述状态转移的意思。它是在Roy Fielding博士论文首次提出。REST本身没有创造新的技术、组件或服务，它的理念就是在现有的技术之上，更好的使用现有的 web规范。用REST规范的web服务器，能够更好的展现资源，客户端能够更好的使用资源。每个资源都由URI/ID标识。REST本身跟http无关，但是目前http是与它相关的唯一实例。REST有着优雅、简洁的特性，本文是根据豆瓣api来谈谈自己对restful的一些理解。
• 12.06 15:28:45
  发表了文章 2021-12-06 15:28:45

  各种相关开源系统简介

  　　如下是Apache基金支持的开源软件 　　hdfs 　　跟GFS类似, 一个分布式文件系统。 　　mapreduce 　　跟Google的MapReduce类似, 一个典型的简单的分布式计算框架。 　　yarn
• 12.06 15:28:22
  发表了文章 2021-12-06 15:28:22

  分享一个开源一个新的雪花算法（雪花漂移）

  　　IdGenerator介绍 　　用一种全新的雪花漂移算法，让ID更短、生成速度更快。 　　核心在于缩短ID长度的同时，还能保持每毫秒并发处理量（50W/0.1s），且能保持伸缩能力。 　　需求来源 　　1.作为架构设计的你，想要解决数据库主键唯一的问题。 　　2.你希望这个主键是用最少的存储空间，索引速度更快。 　　3.你还会考虑在分库分表（合库合表）的时候，主键值能直接使用，并能反映业务时序。
• 12.06 15:27:54
  发表了文章 2021-12-06 15:27:54

  分析NoSQL数据库Memcached、Redis、MongoDB

  　　前言 　　NoSQL，泛指非关系型的数据库。随着互联网不断的发展，非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。用得比较多的三个NoSQL：Memcached、Redis、MongoDB。 　　Memcached 　　优点 　　Memcached可以利用多核优势，单实例吞吐量极高，可以达到几十万QPS（取决于key、value的字节大小以及服务器硬件性能，日常环境中QPS高峰大约在4-6w左右）。适用于最大程度扛量。支持直接配置为session handle。
• 12.06 15:26:52
  发表了文章 2021-12-06 15:26:52

  分布式唯一ID生成算法-雪花算法

  　　在我们的工作中，数据库某些表的字段会用到唯一的，趋势递增的订单编号，我们将介绍两种方法，一种是传统的采用随机数生成的方式，另外一种是采用当前比较流行的“分布式唯一ID生成算法-雪花算法”来实现。 　　一、时间戳随机数生成唯一ID 　　我们写一个for循环，用 　　RandomUtil.generateOrderCode()生成1000个唯一ID，执行结果我们会发现出现重复的ID。
• 12.06 15:26:00
  发表了文章 2021-12-06 15:26:00

  分布式锁初探-分布式锁的三种实现方式

  　　分布式锁应该具备哪些条件 　　在分析分布式锁的三种实现方式之前，先了解一下分布式锁应该具备哪些条件： 　　在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行；高可用的获取锁与释放锁；高性能的获取锁与释放锁；具备可重入特性；具备锁失效机制，防止死锁；具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败。分布式锁的三种实现方式
• 12.06 15:25:32
  发表了文章 2021-12-06 15:25:32

  读评《web全栈工程师的自我修养》

  　　什么是全栈工程师 　　现在，技术其实变得越来越简单。云服务就在提供水和电。 所以你需要充分的去了解PAAS服务的平台，amazon的服务，github的服务，让技术不再成为门槛，让事情聚焦在提供专业的价值上面。这也就是世界级的IT支持了，你再也不用担心“只差一个程序员”了。 　　LAMP的技术栈 MEAN的技术栈 　　作者提出全栈工程师或者说工程师的前景： 　　一专多长解决问题而不是醉心技术
• 12.06 15:24:28
  发表了文章 2021-12-06 15:24:28

  点线面的工作学习方式

  　　本文主要介绍我个人的一种工作学习方式：点线面的工作学习方式。希望对大家以后的工作和职业发展有所启发和帮助。 　　7月份的时候，我去京东外面的世界转了转，聊了聊。切身体会到：别人其实并不关心你之前做的具体工作，关心的是你从中得到了什么。当然，如果你是一直深耕一个业务领域的专家，除外，例如一直从事金融风控领域的技术开发。 　　面试中，我之前在啥啥公司做了啥啥项目，这个项目业务怎么怎么的复杂，功能怎么怎么的牛批，一顿业务功能的输出。 　　so ？然后呢 ？
• 12.06 15:24:04
  发表了文章 2021-12-06 15:24:04

  单例模式 Java

  　　概述 　　单例模式保证对于每一个类加载器，一个类仅有一个实例并且提供全局的访问。其是一种对象创建型模式。对于单例模式主要适用以下几个场景： 　　系统只需要一个实例对象，如提供一个唯一的序列号生成器客户调用类的单个实例只允许使用一个公共访问点，除了该公共访问点，不能通过其他途径访问该实例 　　单例模式的缺点之一是在分布式环境中，如果因为单例模式而产生 bugs，那么很难通过调试找出问题所在，因为在单个类加载器下进行调试，并不会出现问题。
• 12.06 15:23:33
  发表了文章 2021-12-06 15:23:33

  单击21世纪的分析数据库

  　　乔治·霍苏·9分钟阅读 　　Clickhouse是一个相当新的列存数据库。它是由Yandex（俄罗斯谷歌）的人开发的，水平扩展相当好，并在数百亿行的数据上运行高速聚合查询。 　　它使用自己的SQL方言，并在表达性和简单性方面匹配PL / PGSQL。它甚至包括用于在行中使用嵌套对象的更高阶函数，例如ArrayMap和ArrayFilter。 　　什么是Clickhouse？ 　　简而言之，Clickhouse用于在非常大量的数据上运行快速分析。它的事务功能相当糟糕，但它可以在数十亿行中运行秒级聚合查询。
• 12.06 15:23:05
  发表了文章 2021-12-06 15:23:05

  大数据之数据挖掘的玉女心经

  　　数据挖掘是一种技术,它将传统的数据分析方法与处理大量数据的复杂算法相结合,在一个大型数据库中,自动的发现有用信息的过程,还具有预测未来观测结果的能力。数据挖掘的对象是数据，所以离开数据，挖掘无从谈起。现将我学习《数据挖掘导论》的笔记写出来，巩固一下知识。 　　一、数据类型。 　　数据对象有其它的名字，如记录，点，向量，模式，事件，案例，样本，观测或实体。
• 12.06 15:22:31
  发表了文章 2021-12-06 15:22:31

  大数据为什么那么火？一文带你了解Spark与SQL结合的力量

  　　Spark是一种大规模、快速计算的集群平台，本头条号试图通过学习Spark官网的实战演练笔记提升笔者实操能力以及展现Spark的精彩之处。有关框架介绍和环境配置可以参考以下内容： 　　linux下Hadoop安装与环境配置（附详细步骤和安装包下载） 　　linux下Spark安装与环境配置（附详细步骤和安装包下载）
• 12.06 15:22:04
  发表了文章 2021-12-06 15:22:04

  大数据hadoop面试经典题

  　　0.在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A） 　　A、 TextInputFormat 　　B、 KeyValueInputFormat 　　C、 SequenceFileInputFormat 　　1. 下面哪个程序负责 HDFS 数据存储？（C）
• 12.05 16:32:49
  发表了文章 2021-12-05 16:32:49

  大话微服务(三)：如何设计Restful API？

  　　API的定义取决于选择的IPC通信方式,如果是消息机制（如 AMQP 或者 STOMP），API则由消息频道（channel）和消息类型；如果是使用HTTP机制，则是基于请求/响应（调用http的url），这里我们先简述下RestfulAPI的定义。 　　设计原则 　　域名 　　应该尽量将API部署在专用域名之下,如： 　　也可以放在主域名下： 　　版本
• 12.05 16:31:12
  发表了文章 2021-12-05 16:31:12

  大公司和小公司的程序员有什么差别？如何进大公司？

  　　我在大公司干活前，基本都在小公司之间辗转，对比两种公司的经历，切身感受到“人往高处走“绝非是空话。我在之前的博文里，多次讲到程序员该去大厂看看，在这篇博文里，将结合我和我朋友的所见所闻，从技术和发展前景等方面，综合讲述小公司和大公司里程序员的普遍差别，以此再让大家感受下大公司经历的重要性。不过本文不是停留于此，还更将针对小公司干杂事的程序员，给出逆袭到大厂的若干建议，好正文开始。
• 12.05 16:30:36
  发表了文章 2021-12-05 16:30:36

  从最近面试聊聊我所感受的.net天花板

  　　#0 前言 　　入职新公司没多久，闲来无事在博客园闲逛，看到园友分享的面试经历，正好自己这段时间面试找工作，也挺多感想的，干脆趁这个机会总结整理一下。 　　博主13年开始实习，14年毕业。到现在也工作五六年了。今年面试最大的感受就是触及了.net的天花板。坐标，杭州。 　　#1 背景
• 12.05 16:30:07
  发表了文章 2021-12-05 16:30:07

  从校园到职场 - 面试官是怎么看简历里的项目经验

  　　知识星球里有人吐槽，说一些名校毕业生的项目经验，明显都是刷出来的，前一年一水的电子商城，今年一水的秒杀系统。 　　我相信每个应届生都会面临这个问题，简历里希望填充一些可以让用人单位高看一眼的项目经验，校方或某些第三方机构可能会给一些实习项目，帮助学生攒这样的项目经验，甚至可能已经是一条龙服务，学生只要跟着项目按部就班的做一点基础工作，就可以堂而皇之的把经验写入简历，并希望作为就业的敲门砖。 　　那么，今天，说一下，作为面试官，是怎么看待这些项目经验的。 　　当然，面试官有很多种，我只以我为例，我认为自己应该具有一定的代表性，但不要苛求普适性。
• 12.05 16:29:35
  发表了文章 2021-12-05 16:29:35

  产品经理须知：你的产品调查问卷真的有用吗？

  　　做产品，首先，我们需要考虑到用户需求。那么，用户需求又从哪里得知呢? 　　首先，收集二手数据+一手数据 　　一般是先收集二手数据，因为这些数据是已经被处理筛选过的数据，所以真实率都会比较高。但是，对于很多冷门的产品或者服务而言， 如果市场上的数据不够充分，我们就要自己开始动手设计调查问卷了。 　　设计问卷前解决的几个问题：
• 12.05 16:28:06
  发表了文章 2021-12-05 16:28:06

  Swarm的基本认知

  　　Swarm 是分布式存储平台和内容分发服务，是以太坊 web3 栈的本地基础层服务。Swarm 的主要目标是提供充分分散和冗余存储的以太坊公共记录，尤其是存储和分发 DApp 的代码和数据以及区块链数据。从经济角度来看，它允许参与者有效汇集他们的存储容量和带宽资源，以给网络的所有参与者提供这些服务，同时接受以太坊的激励。 　　目标 　　Swarm 更广泛的目标，是为去中心化的 web 应用程序(DApp)开发人员提供基础设施服务，特别是：消息传递、数据流、点对点记账、可变资源更新、存储保险、监管扫描和修复、支付渠道和数据库服务。