新闻

暗数据面面观,从挑战到机遇

2019-05-12e-works王阳

1855阅
某种程度上,暗数据是由于业务和IT管理人员的忽视,成为了一种未被充分利用的资产,因此企业需要用更成熟的方式收集、管理和分析这些信息。
     所谓暗数据(dark data),Splunk给出的定义是:系统、设备和交互产生的公司内所有未知和未开发的数据。作为全球第一家上市的大数据公司,Splunk早期提出了机器数据(machine data)的概念并被业界广泛采用,随后提出的暗数据也正逐渐被重视和研究。

    TRUE Global Intelligence的一份《暗数据现状报告》显示,企业机构总数据的一半以上(55%)属于暗数据,这意味着他们要么不知道这些数据的存在,要么不知道如何找到、准备、分析或使用这些数据。Splunk中国区总经理严立忠在接受e-works记者采访时甚至表示,暗数据可能是企业当今最大的未开发资源。

splunk


暗数据的挑战

    在第三方的解读中,暗数据是指那些未被发掘或理解的数据,来自于大数据的阴暗面,即信息资产企业在日常业务活动中收集、处理和存储但不具备特定用途的数据。它包括尚未应用于业务、形成有竞争力的情报或对商业决策产生帮助的所有数据对象与类型。

    随着IT技术的发展,数据正塑造着一个企业的方方面面,它赋予人以灵感、解决问题、创造利润。当今的企业运营过程,几十亿互联设备与无数云服务进行通信,积累了来自服务器日志文件、GPS网络、安全工具、调用记录、网络流量等的数据;从后端信息系统,到客户前台操作,每个数字都会被记录;从仓库货架上的货物到服务器室的温度,再到登录安全网络的时间和地点,所有一切都会被存储在某个地方。但这些数据大部分都分散和孤立,或者处于非结构状态,也没有被利用。简而言之,这些数据并没有发挥价值。

   《暗数据现状报告》在全球7个国家调研的1300名企业领导人几乎一致认为,数据是现在和未来获得成功的关键,但几乎无人表示自己的组织能够充分利用自身所有数据的价值。这意味着有大量暗数据的存在,挑战无处不在。

    在Splunk中国区总经理严立忠看来,“暗数据很难处理,是因为它正以惊人的速度增长,很难进行组织,这是其最大的挑战。因此,在这种混乱的环境中,企业很容易感到无助。而Splunk正在帮助企业应对这一挑战,帮助企业通过数据提出问题,获取答案并快速采取行动,实现业务价值。”

暗数据的机遇

     从另一角度来说,尚未被发现和利用的暗数据可能含有潜在的机遇,这些数据可能会产生新的收益或降低企业内部成本。

    严立忠以Splunk在能源电力行业的实践举例,传统MES系统管理企业的生产过程,可以实现结构化数据的管理,但期间还有很多过程数据并不能被记录和分析,这依然会引起产线的宕机或返工。Splunk的做法是将生产过程所有的数据记录下来,不仅仅是结果数据,还包括过程数据,这就包括所谓的暗数据。基于对企业业务的深刻洞察和人工智能技术,Splunk致力于帮助企业从暗数据中挖掘出更多的价值。

    某种程度上,暗数据是由于业务和IT管理人员的忽视,成为了一种未被充分利用的资产,因此企业需要用更成熟的方式收集、管理和分析这些信息。在严立忠看来,在释放暗数据价值的过程中,人工智能技术正提供着越来越重要的支撑作用。《暗数据现状报告》显示,不管是提高企业运营效率、战略决策还是提升人力资源和客户体验,大约三分之二的人看到了人工智能的潜在价值,并有10%到15%的受访者说他们的组织正在部署人工智能技术。

    另外,《暗数据现状报告》还显示,尽管受访者了解暗数据的价值,但他们承认没有可以利用这些数据的工具、专业知识或员工。因此,一个大势所趋是:企业需要培训更多的员工从事数据科学和分析,增加对数据整理的资金投入,以及部署软件,使技术水平较低的员工能够自己分析数据。

中国对暗数据认知超全球平均水平

    值得一提的是,《暗数据现状报告》报告还显示出,中国企业对暗数据的认知超过了全球平均水平。绝大多数中国受访者对人工智能表示出了极大的热情和信心,中国目前的采用率(20%)略高于全球平均水平(16%)。
 
 报告显示中国市场最热衷于数据价值和数据整理技能。大多数IT和业务经理(81%,是所有市场中最高的)认为数据技能对未来的工作极为重要或非常重要,并且有助于解决人工智能方面的挑战。

    其中:85%的中国受访者(所有市场中比例最高)认为,人工智能可以弥补IT方面的技能差距;中国是仅有的两个“绝大多数受访者(77%)都声称极为或非常了解人工智能”的市场之一;96%的中国受访者认为,人工智能是由数据推动的;91%的受访者认为,无论是现在还是将来,人类都处于人工智能的核心位置。

    另外,82%的中国受访者认为,数据与企业机构的成功息息相关,91%的受访者认为“拥有最多数据的企业机构将在竞争中获胜”;87%的受访者认为数据在未来十年将变得更有价值。
责任编辑:王阳
读者评论 (0)
请您登录/注册后再评论
相关阅读