本文作者:小旺

基于hadoop的图书推荐系统

小旺 07-05 55
基于hadoop的图书推荐系统摘要: 大数据与Hadoop之间是什么关系?大数据与Hadoop之间是什么关系?可以这样简单地理解:1、大数据是一个高层次的概念(相当于互联网的概念),而Hadoop只是承载大数据的一个平...
  1. 大数据与Hadoop之间是什么关系?

数据Hadoop之间是什么关系?

可以这样简单地理解:

1、大数据是一个高层次的概念(相当于互联网的概念),而Hadoop只是承载大数据的一个平台框架一种实现方式而已(类似于各种物理电脑网络)。

2、大数据包含的内涵广泛得多,而Hadoop只是其中一部分实现。

基于hadoop的图书推荐系统
图片来源网络,侵删)

我们平常所说的大数据包含:***集、传输、存储、分析、可视化等等;而Hadoop更多是用于提取、存储、分析的一个系统平台而已。

3、实现大数据平台的框架除了Hadoop之外,还有其他更多的平台。

由于Hadoop是一个开源的大数据系统平台,所以你们听得最多。其实,除了Hadoop平台外,还有更多其他的系统平台(比如阿里巴巴的飞天平台)。

基于hadoop的图书推荐系统
(图片来源网络,侵删)

所以,大数据不等于Hadoop,大数据与Hadoop也不是包含关系。如果你眼里只有Hadoop的大数据,记得提醒自己,你的眼界太狭窄了哟!

大数据涉及到理论研究、平台与工具开发应用等方面,是一个很泛的领域。而hadoop是大数据***集、存储、管理和计算于一体的大数据平台。可以理解为hadoop是大数据的一个平台实现,是大数据领域中很小的一个分支。

大数据是指无法在一定时间内用常规软件进行捕捉、管理和处理的数据***,是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化的海量、高增长率和多样化的信息化资产。

基于hadoop的图书推荐系统
(图片来源网络,侵删)

Hadoop是一个分布式处理架构,是大数据的一个解决方案,主要用来解决海量数据的存储(HDFS)和海量数据的计算(Mapreduce)。

广义上讲 大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。

“大数据”概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶 在《第三次浪潮》首次提出,由麦肯锡公司(McKinsey)最早应用。

大数据的特征

容量:数据的大小决定所考虑的数据的价值和潜在的信息

种类:数据类型的多样性

速度:指获得数据的速度

可变性:妨碍了处理和有效地管理数据的过程

真实性:数据的质量

复杂性:数据量巨大,来源多渠道

价值:合理运用大数据,以低成本创造高价值

谢谢邀请!

大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据***集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。

大数据自身的岗位包括大数据平台研发、大数据应用开发、大数据分析、大数据运维等,不同的工作岗位有不同的任务要求。比如大数据平台研发主要从事大数据基础性的开发任务,解决大数据分布式存储和分布式计算机的系统级问题,另外还需要考虑并发、安全、事务等内容

Hadoop本身就是大数据平台研发人员的工作成果,Hadoop是目前比较常见的大数据支撑性平台,Hadoop平台提供了分布式存储(HDFS)、分布式计算(MapReduce)、任务调度(YARN)、对象存储(Ozone)和组件支撑服务(Common)。

大数据开发人员可以通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造,对于开发人员来说,只需要关注于具体的服务实现就可以了,系统级功能已经由Hadoop提供了实现。所以,Hadoop是大数据开发人员的重要基础。

随着Hadoop的不断发展,基于Hadoop的大数据生态越发完善,目前包括Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper等组件陆续被开发出来,这些组件极大的丰富了Hadoop自身的应用。随着组件的增多,Hadoop自身也越来越重,因此目前很多大数据工程师更愿意使用Spark,因为Spark更轻,速度也更快一些(基于内存)。

由于Hadoop对硬件的要求并不高,所以很多初学者都是从Hadoop开始学习大数据的,目前很多商用大数据平台也是基于Hadoop的。

作者简介:中国学院大学计算机专业研究生导师,从事IT行业多年,研究方向包括动态软件体系结构、大数据、人工智能相关领域,有多年的一线研发经验。

欢迎关注作者,欢迎咨询计算机相关问题。

文章版权及转载声明

[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:83115484@qq.com,我们会予以删除相关文章,保证您的权利。转载请注明出处:http://www.elbistansafiryapi.com/post/4283.html发布于 07-05

阅读
分享