概念速读之“什么是大数据”(1)
大数据三字,在当下的生活中无论是技术人员也好,还是普通用户也罢,都或多或少的接触过。
可是到底大数据是什么?跟我们有什么关系?并没有多少相关科普性文章能讲明白说透彻。
而这篇文章,会用最简洁明了的语言,来跟大家讲讲什么是大数据、和我们有什么关系。
“大数据”是一种泛概念,具体含义有两层:大量的数据、处理大量数据的技术。这两种含义其实是相辅相成、一脉而生的,为了便于各位看官理解,我们分开来讲。
大量的数据:“数据”大家都有所认知,而在数据前冠以“大量”作为修饰,我们第一个要解决的通识问题就是“大量”的范围在哪。
举个栗子,大家经常性的会看到KB、MB、GB、TB这些描述手机内存大小、电脑硬盘大小、音视频文件大小等等的字样,认识归认识,比如“我手机容量是128G的“、”我电脑硬盘1TB的”、“这个ACC无损音乐32MB呢”……可是如何度量,怎样直观的感受到这个数据量的大小呢?
那拿我们看书来说叭,高中人教版语文(必修一)教材书,总字数133000字,如果把这些字全部存到我们电脑上,用系统文本文档存储(txt格式),它占用空间多大呢?
389KB。
如果我们要用正常阅读速读,除去翻书用的时间,要将这本书看完,需要多长时间呢?
以知乎关于此问题最高赞回答的定义标准为准则(42000字/小时)。
需要3.17个小时。
389KB ——> 3.17小时,这是我们通过计算得出的结论,那为了方便后面计算,我们再规整一下,按每小时来算,看看一个小时我们能阅读多大空间的数据。
122.71KB/小时/正常人。
计算这个目的的意义何在?很简单,直观的感受一下什么叫大数据!
如果你的手机内存是128GB,按1024进制换算后(1024KB = 1MB、1024MB = 1GB),假设你手机内存存满了数据,而你要亲自处理这些数据,抛却吃饭睡觉上厕所和精力不足等客观因素,很多人穷其一生都看不完这些数据,因为你需要124.86年···(计算过程如下,可跳过)
128GB X 1024 = 131072MB ——>
131072MB X 1024 = 134217728KB ——>
34217728KB / 122.71 = 1093779.9小时 ——>
1093779.9小时 / 24 = 45574.2天 ——>
45574.2天 / 365 = 124.86年
是不是感受到了一丝丝鸭梨?
那这只是我们一个人的手机内存大小,当然如果你非要像ETC一样自动抬杠的跟我讲:我手机怎么可能存储满128G / 我手机是256G / 为什么我要自己处理这么大的数据 ······
好叭,我的目的很简单,就是想让各位看官直观的感受一下人工处理数据的速度和数据到底有多庞大而已,如果你有这方面的问题,大可忽略这些不妨碍阅读的细节,咱们继续往下看。
一般中型的互联网公司,每天处理的数据量都在50-500GB,如果人工去处理那是极其不现实的,比如用咱们普通用户常用到的Excel表格、Word文档、Txt文本文件等,一般性能的计算机去处理这么大的数据,结果只有一个——卡到死机,有兴趣的可以尝试一下,单纯的下载然后打开就可以了,可以检验一下电脑性能O不OK。
下载链接 :https://pan.baidu.com/s/1qnkbvpW4HxqHH1unvUeelQ 提取码:pvwf
下载声明:无毒无公害,可在指导下放心食用。
使用指导:下载后,将你电脑上所有打开的软件都保存应用信息后关闭,然后用相应的软件打开(如后缀为.txt的就用记事本软件,是.doc的就用Word办公软件),如果出现程序卡住无响应,在任务栏右键,选择任务管理器,找到你的无响应软件,右击选择结束进程,OK了。
很多看官会说:那肯定啊,那些公司的服务器肯定比我这小破电脑NB啊,怎么会打不开?
是的,以前公司就是这样处理数据的,但是以前局限于每天处理不到1G-10G的数据量,那用这样的处理方式还可以。后来随着用户的增长及软件反馈信息的增多,每天的信息量越来越大,一般想到的解决办法就是:一台服务器的运算能力不够了买两台嘛,再不够了再买嘛 ······
可是各位并不知道的是,高性能的单组服务器价格是极其昂贵的,随便截张图给大家欣赏一下。
可是哪怕是这样的服务器增容以后,能再延拓容纳的用户数量还是相对比较少的,同样企业里不但有处理数据的服务器,还得有备份服务器来存储数据和应对突发情况,在使用量上,高性能单机器利用率也不算高,万一出现故障维修费用也得不少钱,所以综合来看,这样的企业问题解决方案,性价比很低。
但是人类社会从已经淘汰的1G、2G,到正在使用的3G、4G,再到即将到来的5G时代,数据量的暴增是不可置否的客观事实。很多企业怕自己光是买服务器和维护服务器,就把自己整垮了,所以觉得技术上应该另辟蹊径,找到一种性价比高的策略方案来应对时代潮流,所以,大数据处理技术,诞生了。