2016年大数据发展的七大趋势

211TJ欧老师

2016年大数据发展的七大趋势
           --211统计核心统计师王冬冬
1.算法(Algorithms)的崛起



大数据的时代，算法正当道。数据已经成为一种商品，每个组织都能够收集和存储大量的数据。
2016年，人们更加关注对已接触数据采取什么行动。算法将大行其道。算法能够定义行为，它们是非常专业的软件，能够很好地执行专业的指令，远比人类做的要好。例如，当你访问一个网站时，根据你手上的资料，快速确定最合适的广告。或者在大量的交易数据中找出异常值来甄别欺诈行为。

这些算法是非常专业的人工智能，不是已经存在多年的普通人工智能所能比的。但是，非常专业的AI已经存在，2016年我们将见证算法商务的崛起。

2.数据湖(Data Lake)服务作为一种解决方案
    2015年，我们已认识了数据湖。企业从M2M连接、社交网络和远程工作人员积累了越来越多的数据，数据湖将成为他们的重要数据存储工具。

据Gartner称，“到2020年，信息将被用于重新创造、数字化、或消除80%的业务流程和产品(与2010年相比)”。在传统的存储解决方案中，数据之间是相互孤立的。数据湖与之正好相反，它允许存在各处的原始的、质朴的信息字节相互整合、分析。数据湖能够帮助你实现商业的数字化，使之真正成为数据驱动的商业，就像Gartner对2020年的商业预计一样。

由于数据湖带来了相当多的挑战，在2016年，我们将看到数据湖管理的未来：数据湖服务作为一种解决方案，为您的数据湖提供一个完整的管理方案。

数据湖服务将提供主动式存储方案，通过整理大量的结构化和非结构化数据，大量的应用才能够用于对其进行加工处理，包括企业数据仓库或开源技术，如Apache Hadoop或Spark。一个使用了数据湖服务的企业，每个月仅需要为十亿字节支付几美分。

在2016年，我们将看到越来越多的大数据供应商提供这样的解决方案：给企业提供一个完整的、易于使用的、可扩展的解决方案，省去企业自建数据湖的麻烦。由于数据湖在大规模数据存储和分析方面具有巨大优势，数据湖服务解决方案将被用于许多组织中。尤其是规模较小的组织，例如互联网领域的初创公司，将从数据湖服务方案中获得数据湖所有的益处，省去了创建和维护数据湖的所有麻烦。

3.区块链将被各行各业所接受

在过去的几年中，我们看到区块链主要应用于比特币，但区块链技术提供了更多的可能性。在2016年，我们将看到很多行业将采用区块链。
一个区块链可以被看作是数字事件的一个公共分类帐或记录。这个公共分类帐由许多不同当事人共享，计算地理上和计算上的孤立节点，并且只有该系统的大部分成员都同意的情况下，这个记录才能被更新。只要新信息输入到分类帐，它就不能被擦除，而且所有人可见。因为区块链的存在，所有输入到分类账上的信息都是全透明的。
区块链的一个关键优势是：该系统是完全透明的，任何人都可以在不损害个人隐私的情况下，看到哪些交易输入到分类账。您可以在不透露当事人个人隐私的情况下，记录事件发生的事实，甚至记录它的正确性。
虽然大多数人将区块链与加密的比特币联系在一起，其实它还有更多的可能性。尤其是金融业将迎来的区块链技术的全面开花。世界上许多大银行正在试用区块链，更或正在对区块链初创公司进行投资。UBS(瑞银集团)已经创造了一个区块链实验室，Santander正在研究如何使用区块链管理他们的贷款活动，Goldman Sachs(高盛集团)投资了一个区块链初创公司，并且有一个大财团(R3’s global bank partnership)，负责调查的区块链的潜力。

然而，在2016年我们将看到，不同行业的多个应用程序使用区块链。基本上任何存在数字化交易的行业都将会受益于区块链技术，从金融业，法律行业，房地产，公证员，赌博，发布到数据存储。未来一年，更广泛的采用区块链将迫在眉睫。

4.人力资源分析

对于大多数组织而言，人才是最重要的财富；对于大多数高级管理人员而言，人才是重中之重。根据普华永道的研究，34%的美国首席执行官们“非常关注”组织中关键技能的可用性。因此，高级管理人员正在寻找其人力资源的确切数据，所以，2016年我们会看到人力资源分析将迈出一大步。

人力资源分析虽然是人事部门新的业务领域，但为了更好地提高人力资源的投资回报率，该业务增长极为迅速。人力资源分析可以被定义为一项大数据技术，使用人力相关数据片段优化商务产出、解决商务问题。因此，人力资源分析越来越重要。

人力资源分析可以帮助回答一些问题，例如：我们在组织内是否有正确的技能搭配？我们的员工，特别是那些优秀的员工是如何工作的呢？我们能更好地预测企业未来的领导人是谁么？员工的精神状况怎样……如此等等。

在一个过热的市场，对人才的争夺战愈演愈烈，优秀的大数据科学家和数据分析师资源越来越稀缺，越来越贵，因此发现人才不是一件容易的事情。对于一个组织而言，了解员工的驱动因素，并且很好的激励他们变得越来越重要。因此，在2016年，更多的组织将致力于人力资源分析，这些领域的初创企业数量将迅猛增长。


5.智能政府致力于提高社会和公民体验

对于那些大的商业组织而言，大数据已经成为通用语言。在适应新趋势方面，政府是缓慢的，但是在2016年，我们会看到更多的国家、地区和地方政府会采用大数据技术来提高社会和公民的体验。

政府正在尝试用大数据技术来提高公民体验的管理，通过政府分析、把数据驱动决策引入到一线员工的管理，从而创造无摩擦交易，提高政府绩效。一个政府，或智慧政府，将会于实现目标做出重要贡献，在2016年，在全球范围内将会有越来越多的政府向智能政府方向发展。

我们已经看到一些例子。迪拜当局正努力把政府变成智能政府。他们已经开始践行提高客户(例如，公民)体验，并推动知识经济的实践。他们已经为数十个智能政府服务创建了一个单独的、安全的登录界面，大量的服务也都支持移动应用程序。

最好的智能政府的例子就是爱沙尼亚。这个仅有130万公民的波罗的海国家被联合国提名为“具有十年最优电子政务内容“。每一次与外部的或内部的互动都是数据化的，爱沙尼亚政府对于自己的数据具有完全的掌控。此外，议会正在推行无纸化办公，电子签署法律文件，全电子化商务，因为所有的服务都是互联的，所以报税非常简单。

尽管爱沙尼亚政府远远走在同行的前列，但这个进程远没有停止。在荷兰，国家政府的目标是，截止到2017年，从与政府取得联系到缴税，全部实现工数字化。

因此在未来一年，我们将在世界范围内看到越来越多的政府开发智能方案。我们也将看到更多的政府开放自己的数据集，应用开放的API(应用程序编程接口)使初创公司和企业够轻松地与政府部门对接。这不仅能加速政府的智能化过程，甚至可能收获更多。

6.增强大数据安全、防止数据泄露

伴随着数字化进程，物联网将物物连接为网络，大数据的安全变得越来越重要。在过去的几年里，我们已经遭遇了许多大规模的数据泄露事件，包括Ashley Madison hack(婚外情网站)和TalkTalk公司(英国宽带服务供应商)的黑客攻击事件。

基本上，任何组织未来都可能被黑客攻击，如果没有被黑客攻击，说明其根本不重要。因此，任何组织不仅应该把重点放在防止安全漏洞，在遭遇黑客攻击时，还要实施正确的危机应对计划。

2016年，我们会看到更多的数据泄露新闻，更多组织犯傻试图掩盖，更多由物联网引起的对实物的攻击。特别是后者，可能会对数据安全产生深远影响。毕竟，我们已经看到过黑客远程操控毁灭了一辆正在高速路上行驶的吉普车。

因此，2016年，我们将看到组织是如何管理他们的数据保证数据安全，包括黑客攻击前、攻击中、攻击后的各种管理措施。组织将增加安全开支，与有道德的黑客合作提高数据安全，改善内部流程使得员工对于黑客更加警惕。毕竟，通常情况下人是公司安全协议中最薄弱的一环。

7.智能机器带来的雾分析(Fog Analytics)起步

雾计算正在迅速地获得大量动力。雾计算是指推进连接到物联网的终端设备和存储数据的云计算之间的存储、传输和计算。随着物联网的进步，雾计算势头越来越猛，因为传感器变得相当精密，它们现在可以收集大量数据。

想象一下，你有一个网络，连接各种设备，它们产生了大量的实时数据。在设备和云之间来回传输数据变得尤其昂贵，而且花费时间太长。采用雾计算或雾分析。雾分析使得智能机器在当地执行一部分分析，只将分析结果发送到云端。

据Gartner称，智能机器是新的现实。因此，在未来的一年，我们将看到更多的智能机器有着越来越多的精密传感器，能收集大量的数据。组织将不得不转向雾分析，以便数据易于管理，保持洞察力可用并尽可能降低成本。
2016令人振奋的新一年

在大数据方面，2016年将是令人振奋的一年。智能算法将接替现在由人类来完成的许多业务。我们将看到数据湖服务作为一种服务解决方案出现，帮助企业以最少的工作更多的使用数据。越来越多的行业将开始试用数据区块链技术(blockchain technology)以改变他们的行业。

组织将转向人力资源分析，以更好地激励员工，争夺稀缺人才。政府终将看到大数据的益处，并向智能化方向转变，但是组织和政府将不得不警惕黑客攻击，并采取适当措施。最后，由于智能机器将出现在各行各业，雾分析时代正式开启。