大数据的概念已经存在很长时候了。人类最早将大量数据存储在一其中心位置的例子之一是埃及的亚历山大大图书馆。该图书馆建于公元前285-246年之间，在公元270 - 275年帕尔米拉人入侵时代被毁。快进到21世纪，我们收集、治理和分析数据的速度比以往任何时辰都要快，更复杂的数据也不在话下。

什么是大数据?

大数据是结构化、半结构化和非结构化数据的大调集。与零丁的结构化数据相比，它的数据量大很多，速度快很多，文件格式多种多样，来历也多种多样。“大数据”一词自1990年月末就出现了，那时它是由美国宇航局的研讨职员迈克尔·考克斯和大卫·埃尔斯沃思在1997年颁发的论文中正式提出的。他们用这个术语来描写处置和可视化来自超级计较机的大量数据的应战。

2001年，数据和分析专家Doug Laney颁发了《3D数据治理：控制数据量、速度和多样性》一文中，建立了明天仍在利用的描写大数据的三个首要组成部分:体积（数据的巨细）、速度（数据增加的速度）和多样性（数据范例和数据来历的数目）。

大数据的简史

数据和大数据的出现是一段冗长而传奇的历史。在第二次天下大战时代，有很多技术上的进步，这些进步主如果用作军事范畴。随着时候的推移，这些进步将对贸易部分有用，并终极对公众有用，小我计较将成为平常消耗者的可行挑选。

1. 1940年至1989年:数据仓库和小我台式电脑

电子存储的起源可以追溯到天下上第一台可编程计较机——电子数字积分器和计较机（ENIAC）的成长。它是由美国军队在二战时代设想的，用于处理数值题目，例如计较火炮射击的范围。然后，在20世纪60年月初，国际贸易机械公司（IBM）公布了第一台被称为TRADIC的晶体管计较机，它帮助数据中心走出了军事范畴，办事于贸易范畴。

第一台以图形用户界面（GUI）为特点的小我台式电脑是苹果电脑公司于1983年公布的Lisa。在1980年，苹果、微软和IBM等公司公布了各类百般的小我台式电脑，这致使人们采办自己的小我电脑，并有史以来第一次可以在家里利用它们。这样，公共终究可以利用电子存储了。

2. 1989年到1999年——万维网的出现

1989年至1993年间，英国计较机科学家Sir Tim Berners Lee将缔造出为我们现在所知的万维网供给动力所需的根基技术。这些收集技术是超文本标志说话（HTML）、同一资本标识符（URI）和超文本传输协议（HTTP）。然后在1993年4月，决议让这些收集技术的底层代码永久免费。

其成果是，有才能付出互联网办事用度的小我、企业和构造可以上网并与其他联网的计较机同享数据。随着越来越多的装备接入互联网，这致使了人们可以在任何时辰拜候和同享数据的信息量的庞大爆炸。

3. 2000年到2010年——控制数据量、交际媒体和云计较

在21世纪初，亚马逊、eBay和谷歌等公司帮助发生了大量的收集流量，以及结构化和非结构化数据的组合。2002年，亚马逊还推出了AWS（亚马逊收集办事）的测试版，向一切开辟职员开放了亚马逊平台。到2004年，为它开辟了100多个利用法式。

AWS于2006年重新推出，供给了普遍的云根本设备办事，包括简单存储办事（S3）和弹性计较云（EC2）。AWS的公然推出吸引了大量客户，比如Dropbox、Netflix和Reddit，它们都渴望成为云计较的一部分，是以它们都希望在2010年之前与AWS合作。

MySpace、Facebook和Twitter等交际媒体平台也致使了非结构化数据传布的增加。这将包括同享图像和音频文件、gif动画、视频、状态帖子和消息。

随着大量非结构化数据的加速天生，这些平台需要新的方式来收集、构造和了解这些数据。这致使了Hadoop的诞生，这是一个专门用于治理大数据集的开源框架，并采用了NoSQL数据库查询，这使得治理非结构化数据成为能够——数据不合适关系数据库模子。有了这些新技术，公司现在可以收集大量分歧的数据，然后提取成心义的看法，以做出更明智的决议。

4. 2010年月至今——优化技术，移动装备和物联网

在2010年月，大数据面临的最大应战是移动装备和物联网（IoT）的出现。忽然之间，全天下数以百万计的人都可以手持小型的联网装备四周走动，可以拜候收集，与其他联网装备停止无线通讯，并将数据上传到云端。按照Domo公布的2017年数据报告，我们天天发生2.5万亿字节的数据。

移动装备和物联网装备的兴起也致使了新范例的数据被收集和分析。一些例子包括：

1. 传感器数据（经过支持互联网的传感器收集的数据，供给对机械内部工作的有代价的实时洞察）

2. 交际数据（来自Facebook和Twitter等平台的公然交际媒体数据）

3. 事务数据（来安闲线收集商铺的数据，包括收条、存储记录和反复采办）

4. 健康相关数据（心率监测器、患者记录、病史）

有了这些信息，公司现在可以比以往任何时辰都更深上天挖掘之前未被摸索的细节，例如客户采办行为、机械维修频次和预期寿命。

大数据的未来

虽然大数据的未来还不完全清楚，但今朝的趋向和猜测可以帮助我们领会若何治理大数据。到今朝为止，最突出的大数据技术是AI（野生智能）和自动化，两者都简化了数据库治理和大数据分析的进程，使原始数据更轻易转化为对关键决议者成心义的看法。

不管公司是想收集消耗者信息还是贸易分析，大数据分析工具都可以帮助这些公司跟上快速增加的数据天生，将无意义的数据转化为强大的信息和常识，在决议进程中供给重要帮助，并增加猜测未来成果的几率。

大数据的另一个庞大障碍是道德题目。多年来，政府和国家立法已经标准了公司和小我若何停止数据收集，并利用他们检索到的数据。GDPR等律例清楚地表白，客户隐私是重中之重，是以，假如公司和小我想要正当运营并避免巨额罚款，就必须认真看待数据隐私。经过利用最新的工具来收集和分析数据，这些工具是专门为遵照这些律例而设想的，这可以帮助公司连结平安并庇护其敏感的客户和员工数据。

本文转载自 大数据的演变- 雪兽软件

更多出色保举请拜候 雪兽软件