文章

Scale+Flash,IBM释放工业数据价值

2019-07-12e-works 熊东旭

209阅
智能化实现的基础是海量的数据,而缺乏整合的数据是无法构建出功能强大的智能应用。因此在推进数字化转型过程中,企业首先需要解决的是数据整合问题。

    企业数字化转型的目标是将工业制造过程中的人、物、环境和过程实施对象数字化,将物理实体转化为数字虚体,实现物理世界与数字世界的实时联动。在这一过程中数据通过网络实现流动,以数据为生产要素,以智能为分析基础,实现生产过程的智能决策、智能控制、智能优化和智慧运营。

    从e-works调查的情况看,目前企业离这一目标普遍比较遥远,主要的挑战在于:第一,企业内部各系统之间数据割裂比较严重,数据被固化存储在分散的业务系统中无法整合;第二,企业每天采集的数据量越来越多,种类越来越繁杂,但缺乏有效的分析手段;第三,老旧的存储系统根本无法支撑起越来越快的智能化决策和分析需求。

Scale,实现数据整合与管理

    IBM认为,“智能化实现的基础是海量的数据,而缺乏整合的数据是无法构建出功能强大的智能应用。”因此在推进数字化转型过程中,企业首先需要解决的是数据整合问题。

    面对数据整合需求,企业需要一款具备强大的存储整合软件,不但能将分散、异构的存储系统整合起来统一管理。在面对多云环境时,还可以实现本地应用和云应用的数据整合。正是在这样一种需求下,IBM发布了Spectrum Scale解决方案。

    Spectrum Scale是一款面向集群部署的GPFS并行文件系统,着力解决多节点、大数据量文件并发处理需求,最大的特点是能够整合不同类型的存储系统,包括磁盘阵列、闪存系统、磁带库以云存储等。由于为所有数据提供单一文件命名空间,不管是闪存、磁盘、磁带库,只要接入到系统中都会被自动发现,并添加到全局的命名空间,形成可供集群调用的网络共享盘。这种机制能很方便的将企业中分布式的异构存储系统整合到一起,IBM Cloud或Cloud Object Storage均可作为其一个存储层使。

    在系统和硬件支持方面,Spectrum Scale不但能够兼容AIX,Linux、Windows Server等系统,还可以支持基于Power、Intel或AMD等处理器的服务器,以及IBM z Systems。除了具有良好的可扩展性、闪存加速性能,以及基于策略的自动存储分层功能,还增加了Hadoop大数据、对象等能力,具备丰富的特性、如Cache加速、生命周期管理、统一命名空间、多站点等;同时支持加密等特性和软硬件解耦部署。

Scale+Flash,释放工业数据价值

    IBM认为,“数据不能是一潭死水,通过Spectrum Scale整合数据的目的是为了更好的利用这些数据,通过AI技术充分挖掘蕴藏在其中的价值。”

    数据挖掘是一种获得知识的技术。基础是数据,手段是算法,目的是获得数据中所蕴含的知识。数据挖掘源于实践中的实际应用需求,用具体的应用数据作为驱动,以算法、工具和平台作为支撑,最终将发现的知识和信息用到实践中去,从而提供量化、合理、可行、能够产生巨大价值的信息。

    在汽车行业,IBM认知视觉系统已经利用AI和大数据分析实现对汽车喷漆质量进行实时在线检测。IBM认识视觉检测系统对产线上的产品进行全方位的立体拍照,由边线分析系统对照片进行实时的分析,以判断产品的是否存在质量问题。同时,后台的中央训练系统也会及时的获取拍摄的照片,通过对存在质量问题的产品进行标记来训练模型,将更新的模型再反馈到边缘分析系统,实现信息的闭环。

    由于挖掘大数据所蕴含的有用信息需要设计和开发相应的数据挖掘和机器学习算法,而算法的实现与应用需要高效的处理平台。IBM认知视觉系统的成功实践是构建在强大高效的存储及数据处理平台之上的。

    在基于AI的工业应用场景中,海量的基础数据是必不可少的,只有通过机器学习算法对海量的数据进行训练才能构建出最优化工业模型,从而提升生产效率并降低成本。在这一过程中,统一的数据管理系统和更快的存储系统必不可少。

    目前,在制造企业为降低存储系统的改造和实施成本,大多企业都选择对现有的老旧存储系统进行改造,利用Spectrum Scale软件对分散异构的存储系统进行整合,同时为进一步提升存储系统的整体性能,以应对不断增长的存储数据和高性能计算应用的需求,都会考虑购买闪存系统用于核心应用性能的提升。

    最近IBM通过投标参与到某制造企业的高性能计算机的存储系统搭建,系统由包含77个节点的IBM Storage Server(ESS)集群组成,并在Spectrum Scale上运行,每个节点使用两台双插槽IBM POWER9存储服务器,每个服务器配备1TB的内存及4个4U/106驱动机箱,其中每个机箱配备104个磁盘及2个NVMe SSD,每个节点的原始磁盘存储容量可达到4PB。通过一个4X EDR InfiniBand网络与集群中的其他节点相连接,网络最高可实现90GB/秒的网络带宽。

    通过对IBM Spectrum Scale和IBM Storage Server组合进行测试:每个ESS节点的顺序写入性能是16GB/秒。当扩展到77个ESS节点后,写入带宽均超过了1TB/秒。在元数据活动方面,执行了单个线程的小数据块随机读取和写入操作,分别实现了平均80µs和200µs的响应时间。对于AI和大数据应用,支撑算法运行的都是比较小的数据,提高单线程的小数据快的随机读写操作能极大的提升AI及大数据分析等应用性能。

    除此之外,Spectrum Scale提供闪存加速性能和基于策略的自动存储分层功能,可以通过自动检测服务器上的可用闪存容量并将它作为高速缓存来使用,自带的AI算法会根据数据的使用情况将数据移动到最合适的存储设备上,比如需要频繁使用的数据优先放到闪存上,其他的可根据重要性选择磁盘、磁带库以及云存储,在不影响应用的前提下实现数据的热迁移,以最高效的方式利用存储,降低存储的使用成本。

责任编辑:程玥
本文为e-works原创投稿文章,未经e-works书面许可,任何人不得复制、转载、摘编等任何方式进行使用。如已是e-works授权合作伙伴,应在授权范围内使用。e-works内容合作伙伴申请热线:editor@e-works.net.cn tel:027-87592219/20/21。
读者评论 (0)
请您登录/注册后再评论