什么叫大数据处理技术,简称大数据技术或大数据。
无论是创业公司还是上市公司,想要赚钱肯定从两方面着手:开源、节流。
开源属于公司业务层面的事情,而节流则是公司内部的硬件成本、人力成本的控制,所以作为商业活动为导向的公司,定希望自己的成本可以进一步下降,针对“大量的数据”得出的企业窘境,大数据技术的诞生是全球所有互联网公司的一支强心剂,因为它完美实现了“低成本、高性能”的需求,来看看到底是什么玩意叭。
大数据处理技术,是区别于传统数据处理技术(Excel、Txt、Csv ···)的大批量数据处理技术,它基本由两部分组成:分布式硬件集群系统、分布式数据处理框架。
分布式硬件集群系统,就是指我们看得见,摸得着的那些机器。无论是内存、CPU还是交换机、网线等,把这些现实世界物理意义上存在的东西集合在一起,统称为硬件系统。
而为什么要加一个集群呢?单个机器你可以理解为一个人,而集群就是一群人,这群人是一个团队,在明确的法律法规作为规则的前提下有序的处理问题。
什么?又问我为啥要集群?害!你一个人干活终究干不过一群人啊,是不是?
就像咱们之前说过的,一个人不吃不喝不拉不撒要近125年才能处理完128GB的数据,那如果有128个人去处理这同样的数据,处理的速度肯定是坍塌式缩小,人多力量大嘛。
那为什么要加分布式呢?因为整个团体里,张三就是张三,不是李四,虽然他们在共同完成一件事,但是张三可以在家里处理分配给自己的那一块数据,李四可以在公司,如果有沟通需要可以利用互联网进行沟通,完全不会影响嘛,最后大家处理完各自的数据了,把结果通过互联网给团队Leader汇总,就完美完成这样的任务了。
无论是创业公司还是上市公司,想要赚钱肯定从两方面着手:开源、节流。
开源属于公司业务层面的事情,而节流则是公司内部的硬件成本、人力成本的控制,所以作为商业活动为导向的公司,定希望自己的成本可以进一步下降,针对“大量的数据”得出的企业窘境,大数据技术的诞生是全球所有互联网公司的一支强心剂,因为它完美实现了“低成本、高性能”的需求,来看看到底是什么玩意叭。
大数据处理技术,是区别于传统数据处理技术(Excel、Txt、Csv ···)的大批量数据处理技术,它基本由两部分组成:分布式硬件集群系统、分布式数据处理框架。
分布式硬件集群系统,就是指我们看得见,摸得着的那些机器。无论是内存、CPU还是交换机、网线等,把这些现实世界物理意义上存在的东西集合在一起,统称为硬件系统。
而为什么要加一个集群呢?单个机器你可以理解为一个人,而集群就是一群人,这群人是一个团队,在明确的法律法规作为规则的前提下有序的处理问题。
什么?又问我为啥要集群?害!你一个人干活终究干不过一群人啊,是不是?
就像咱们之前说过的,一个人不吃不喝不拉不撒要近125年才能处理完128GB的数据,那如果有128个人去处理这同样的数据,处理的速度肯定是坍塌式缩小,人多力量大嘛。
那为什么要加分布式呢?因为整个团体里,张三就是张三,不是李四,虽然他们在共同完成一件事,但是张三可以在家里处理分配给自己的那一块数据,李四可以在公司,如果有沟通需要可以利用互联网进行沟通,完全不会影响嘛,最后大家处理完各自的数据了,把结果通过互联网给团队Leader汇总,就完美完成这样的任务了。