做有温度的教育!
全国统一咨询热线:400-803-9399
北京
校区
新闻资讯> 学习心得> 简述大数据概念!

简述大数据概念!

时间:2018-08-07
浏览:13614
发布:甲骨文华育兴业
赞:5428

  小编之前分享过几个大数据概念相关的文章,可能大家觉得专业性太强,这次整理了一些简单易懂的,大家一起来学习一下。


一、什么是大数据

  1.概念

  大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

  2.特点

  大数据的特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)

  3.本质

  1.数据的存储:分布式文件系统(分布式存储) —> HDFS

  2.数据的计算:分布式计算 —> MapReduce

  4.数据来源

  媒体数据、网络日志、公共设施(监控摄像头)、单位组织、大型设备、工业领域、地理定位、基因图谱

  5.应用

  1.各种预测:天气预报、赛事预测

  2.个性化推荐:淘宝商品推荐、今日头条

  3.政府治理:人口迁徙、智能城管、智能警务

  4.经济治理:金融监管系统、工商大数据、农业大数据

  5.公共服务:智慧交通、智慧医疗、疾病防控

  6.商业创新:电子商务、信用体系、智能物流

  二、Hadoop概念

  1.概述

  开源的分布式存储与分布式计算的平台,包括三部分:HDFS,YARN,和MapReduce

  2.HDFS(分布式存储框架)

  1.来源:GFS(Goole File System)

  2.概述:全名Hadoop Distributed File System,主要将文件切分成指定大小的数据块(Hadoop1.×默认64M,

  Hadoop2.×默认128M)多副本(默认为3)的存在多个机器。

  3.特点:扩展性、容错性、海量数据存储

  3.MapReduce(分布式计算框架)

  1.来源:Google MapReduce

  2.概述:把一个大任务拆分成小任务,再进行汇总

  2.特点:扩展性、容错性、海量数据的离线处理

  4.YARN(资源管理系统)

  1.概述:整个集群资源的管理与调度

  2.特点:扩展性、容错性、多框架资源统一调度

  5.Hadoop优势

  1.存储/计算资源不够可以横向线性的扩展机器

  2.一个集群可以包含数以千计、万计的节点

  3.存储在低廉机器上、成本低廉

  4.成熟的生态圈


人生从业之路的第一步,从甲骨文华育兴业开始,

背后付出的辛苦与努力只有自己知道,而这也只是职业生涯的开始。

勤恳努力的人终会得到最好的回报,有些努力需要时间来回答

你吃的苦终会铺成你想要的路!

甲骨文华育兴业,为你的IT之路开启梦想之门!


【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息联系我们,我们将及时沟通与处理。本站内容除非来源注明甲骨文华育兴业,否则均为网友转载,涉及言论、版权与本站无关。


【AI大数据】2019年AI数据5大趋势 ps使用 大数据 冲刺Java架构师年薪50W

友情链接: 甲骨文华育兴业太原校区 甲骨文华育兴业济南校区 甲骨文华育兴业哈尔滨校区 甲骨文华育兴业北京校区 魔据教育

Copyright ©2016-2019. All Rights Reserved. 京ICP备17018991号-4

网站地图