今天加米谷继续以一句话快答+解释的形式,来回答常见的大数据问题。
五个问题
1、大数据有多大?
2、大数据的数量级别怎么计算?
3、大数有什么特征?
4、大数据技术体系是怎样的?
5、大数据技术组件主要有哪些?
1、大数据有多大?
一句话快答:大数据的“大”是一个抽象概念,指代海量的数不清的数据。
“大”只是表示大数据容量的特征,根据维基百科的定义,大数据的大小从TB级别到PB级别(1PB=1024TB,1TB=1024GB)不等。大数据是一个描述数据从产生、传输、存储、分析到展示的一些列技术的统称。所以大数据不仅仅体现在量上,也体现在应用分析上。
2、大数据的数量级别怎么计算?
一句话快答:直接达到了TB、PB的级别
1B就是1个字节。1 KB = 1024 B ,1 MB = 1024 KB,KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB之间都是1024倍的关系,这部分的具体换算可以参考:百度百科-字节。
3、大数有什么特征?
一句话快答:4V特性
数据体量巨大(Volume)、数据类型繁多(Variety)、价值密度低(Value)、处理速度快(Velocity)
4、大数据技术体系是怎样的?
一句话快答:技术体系庞大复杂,采集、存储、计算、检索、展现等基础技术。
基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等不同的技术层面。
5、大数据技术组件主要有哪些?
一句话快答:目前以Hadoop、Spark机器学习为主
大数据组件分类:
(1)数据采集flume、kafka connector、sqoop、socket、sftp、mina
(2)实时处理Spark Streaming、Kafka Streams、Storm、Samza、Flink
(3)数据存储HDFS、HBASE、S3、Cassandra、MongoDB、Redis、Solr、ElasticSearch
(4)离线处理Spark SQL、Hive、Map Reduce、Pig、Impala
(5)交互式查询Drill、PresTO、Kylin
(6)数据展现Echarts、Tableau、d3js
大数据时代各种技术日新月异,想要保持竞争力就必须得不断地学习。写这些文章的目的是希望能帮到一些人了解学习大数据相关知识 。加米谷大数据,大数据人才培养机构,喜欢看的同学可以关注下,每天花一点时间学习,长期积累总是会有收获的。