大数据,开放数据
21 世纪的革命——开放和大数据如何改变世界
艾莉森·纳波利塔诺2016 年 6 月 28 日
政府数据开放是美国总统奥巴马第二任期内的关键技术举措之一。它为私营企业和公民、非营利组织和其他非政府组织释放了无限可能,使它们能够利用只有美国政府才能收集到的庞大而宝贵的信息宝库。
正如在线 MBA 项目MBA@UNC 在其关于如何将大数据从流行语转变为一项有意义的技能的最新博客中指出的那样,开放数据和大数据不仅仅是科技界的一些最新流行语。人口普查局、卫生和公共服务部和交通部等联邦机构收集了各种主题的数据集,然后将其发布到联邦政府的开放数据存储库 Data.gov。在当前大数据革命中,开放这些数据对国家的巨大作用已变得显而易见。
开放如此大量的数据除了给公共部门带来明显的透明度优势之外,还为第三方组织和创新思想家提供了无数机会,让他们以政府可能从未想到或最初打算的方式来使用这些数据。
以一个名为 City-Data 的公共服务网站和论坛为例。虽然它能够在没有政府数据开放的情况下独立存在,但它肯定无法完成其使命,即提供美国所有城市的详细资料——包括人口统计、犯罪率、天气、房屋价值、生活成本等——如果没有政府数据,它肯定无法像现在这样在精细层面上提供这些资料。
City-Data 利用来自联邦机构的至少 11 个不同的数据集,例如国家气象局、劳工统计局、国税局、人口普查局等。
一些美国最赚钱和最具创新力的公司也受益 泰国电话格式 唾手可得的大量政府数据。LinkedIn 使用来自劳工部和教育部的数据。Zillow 可利用人口普查局和劳工统计局的信息帮助您寻找新住所。Kayak 可利用联邦航空管理局的信息来满足您的所有旅行需求。
随着 FitBits、智能汽车和智能手机等联网数据生成设备在新兴的物联网范式中变得越来越普遍,世界各地流动和收集的数据越来越多,进一步促进了这些数据的开放。在这个看似万物皆可连接互联网的世界里,
与此同时,解析这些庞大数据集的能力,或者构建和使用工具来解析这些数据集的能力,成为每个领域的一项宝贵技能。

如果你不相信,可以看看这些统计数据:过去两三年产生的数据比人类历史上产生的数据还要多。到 2020 年,地球上每个人每秒平均会产生约 1.7 兆字节的新信息,大约相当于一个两分钟长、质量一般的 MP3 音频文件的大小。到那时,地球上的数据量估计将达到 44 ZB,相当于 44 万亿 GB,短短七年内就增长了十倍。
互联网时代兴起时,组织意识到如果没有 IT 团队来支持技术对其使命日益重要的作用,它们将无法生存。如今,各行各业的人们都意识到,利用这股大数据浪潮可以带来无数好处。数据科学家正在成为国家劳动力队伍中不可或缺的一员。
随着大数据革命的到来,对数据科学家和分析师的需求达到了前所未有的高度。这个领域才刚刚起步,但许多早期的数据工作统计数据显示,数据工作者在短短几年内就能赚到六位数以上的收入。随着对数据人才的需求激增,很可能会出现人才短缺的情况。到 2018 年,美国可能面临多达 19 万人的缺口,需要填补以数据为中心的职位。
无论是为了迎接即将到来的数据海啸而接受全日制教育,还是仅仅为了补充和准备现有技能以应对大数据盛行的世界而寻找课程,许多人都希望提高自己对数据语言的熟练程度,并了解数据语言对他们未来的生活意味着什么。
无论你是否做好准备,大数据革命已经来临。随着越来越多的政府机构开放数据,其他组织通过联网设备的涌入以其他方式生成数据,数据将在我们所做的每件事中发挥作用。
只要在夜间仰望天空,就能看到数以亿计的星星,多得数不过来。到 2020 年,地球上的数据量