当前位置: 首页 / 行业动态 / 正文
数据管理在智能时代的新价值

2019-12-24

BigData 大数据培训 好程序员

大数据时代,没有人能够成为旁观者,数据将“横扫一切”。如今,工业、金融、医疗、娱乐、媒体等行业每天都在产生PB级的信息量,而ML/DL、VR/AR等新兴技术的应用让数据曲线呈现了指数级的增长趋势,相对应的数据所在的环境也在向云、边、端蔓延,如何让数据更加敏捷、可视化,访问速度更快,管理更便捷,从而提升企业数据运营能力,是最大化数据价值的关键。

7月15日,Hitachi Vantara推出了其数据集成与分析平台软件Pentaho的最新版本Pentaho 8.3。该版本引入一系列支持DataOps的功能设计。DataOps是一种协同数据管理实践方案,利于充分挖掘客户数据价值。Pentaho 8.3还在确保客户数据的隐私、安全性和整体数据治理的前提下,帮助客户从边缘到多云环境(edge-to-multicloud environments)中获得更高的数据敏捷性。

事实上,从大型机时代的DB2到后来的关系型数据库,再到数据仓库、商业智能,最初就是以批处理、集中式的方式去解决结构化数据的处理需求,直到商业大数据的成熟使得数据分析有了更大的价值。不过在数据湖逐渐出现之后,传统集中化的处理开始难以应付大规模数据,于是就有了以Hadoop为代表的分布式处理技术。Google曾做过一项调查,数据科学家仅有少数时间在写代码,更多的时间放在了数据抽取、数据清洗、数据治理等“数据管道”的工作上。由此可见,一个多功能、智能化、高效易用的管道对于帮助数据科学家提升工作效率、挖掘数据价值有着关键作用,Pentaho就扮演着这样的角色。

Hitachi Vantara全球副总裁兼中国区总经理戴建平谈到,Pentaho是承载Hitachi Vantara数据分析服务的业务平台和产品,“这个产品是在两年前,准确讲是在2017年9月份和原来的HDS公司合并进来的,为什么这么做?在过去,日立数据系统专长的是对数据的存储和数据的管理。而今天越来越多的客户不仅要把数据存好、管理好,更重要的是用好。怎么样能实现到这样的高度呢?在这个契机上,新的日立数据(Hitachi Vantara)和Pentaho做了一个整合。”

在Pentaho 8.3中,加入了一系列增强功能以支持企业的数据操作运营(data operations)策略,缩小原始数据与商业洞察间的差距。例如,升级的数据管道拖拽功能,使得数据的访问及融合更便捷,借助Hitachi Vantara与SAP新的连接器,Pentaho 8.3支持从SAP ERP和Business Warehouse中,对数据进行拖拽并进行混合、增加及卸载。在AWS环境中,Amazon Kinesis可提供实时数据。通过新的Amazon Kinesis集成接口,AWS开发者能够在功能强大的Pentaho可视化环境中获取和处理流数据,而不再需要编写代码且避免了人工混合数据,工作量大幅减少。 

再如对数据可视化的提升,使得数据治理更加方便,加强了对HCP的集成,让客户能够更轻松地读取、写入和更新HCP自定义元数据,使用系统元数据查询对象,使得数据搜索、治理及分析都更加方便。同时,流式数据血缘分析也使得其对AMQP、JMS、Kafka和MQTT等主流协议的实时数据追踪将更简便。 

在多云环境应用支持方面,利用Redshift批量加载功能,Redshift可实现自动加载,显著提高客户工作效率,客户可以自行定义数据上传的策略及时间表。同时,Pentaho 8.3能够将Snowflake的数据同其他数据源进行混合、丰富并进行分析。除了Snowflake,客户还可以访问已支持Pentaho的云平台(如AWS、Google Cloud、Microsoft Azure)中的数据。

“Pentaho是企业数据分析平台建设的纽带,可以部署在很多地方。”Hitachi Vantara中国区数据与分析业务总监于希国表示。作为全球最流行的开源商务智能软件之一,Pentaho在产品层面具备了DI(Data Integration)和BI的能力,在服务层面,全面的服务套件为企业客户提供了全域解决方案。

Pentaho拥有极大的灵活性和简单易用性。据于希国介绍,在为一家企业做POC测试时,该企业起初购买了有十多个ETL数据抽取工具来做数据仓库,但在应用于业务场景时或多或少遇到了局限,而Pentaho的开放性使得客户可以访问、混合及分析所有类型和大小的数据,在基本不需要 IT 支持的情况下查看多个维度的数据,并将分析嵌入到现有应用中。在开源社区,Pentaho的相关下载量已经达到750万次,中国区的下载量排在首位。

“很多中国相当大的、具有大数据开发经验的客户,都在使用基于Kettle的开源Pentaho产品。”戴建平谈到,“我们的第一个优势是,Pentaho是开源的,对各家都有很好的兼容性,可以与任何一家厂商尤其是和本土开发商做互相迁移,第二个优势是无缝端对端,对多种数据源进行有效整合。一方面敞开,所有人都可以进来接驳,另一方面又可以把不同的孤岛、不同的链路打通。”今年以来,Hitachi Vantara的大数据业务已经取得了三位数的增长。

在于希国看来,拥抱开源是这个时代的财富,而与开源版相比,商业版Pentaho可以及时获得更新,并且具备很多高级功能,在为企业提供服务时可以带来贴近业务场景的实质性提升,“我们有一个国内厂家客户,原先就用Pentaho进行开发,做完之后就不停地打补丁,打到现在性能奇差。后来我们去了做测试,一下提升了十倍,就是推倒了重新做。后来在实施中发现最初用的是Pentaho四点几的版本做的,封闭以后就不开源了,与时代脱节了,这也是一个很大的问题。”

从AIOps到DataOps,再到Co-Creation,利用深度学习、强化学习,结合数据智能把合作创新的理念融入行业纵深,是Hitachi Vantara在2019年的重点战略之一,为此该公司在金融、教育、医疗、制造等行业均设立了专门的团队提供业务支持。Hitachi Vantara希望在每个场景中打造典型案例,一方面产生良好的标杆营销效果,另一方面则是整合内部资源将成功案例进行场景复制。

据了解,Hitachi Vantara的Pentaho在销售拓展市场方面主要聚焦于两个方向:一个是Kettle的现有用户,在此基础上挖掘深层次的高阶需求,另一个是加强合作伙伴的联系,联合ISV类的伙伴在各个行业中探索更好的平台工具和推广形式,通过产品集成的形式为客户提供更丰富的选择。

“我们要建立一个生态系统,因为在每一个行业都有一些精准的要求和前瞻性预期,而这一部分往往不是一家公司独立能做到的。我们谈到了Co-Creation(共创),这个共创不仅是Hitachi Vantara与合作伙伴来共创,还有携手客户。我们的团队、专家对于基础架构与服务都很熟悉,但是具体到每一个客户的时候,还要与行业的专家以及合作伙伴共同合作,满足客户的切实需求。”戴建平说。

好程序员公众号

  • · 剖析行业发展趋势
  • · 汇聚企业项目源码

好程序员开班动态

More+
  • HTML5大前端 <高端班>

    开班时间:2021-04-12(深圳)

    开班盛况

    开班时间:2021-05-17(北京)

    开班盛况
  • 大数据+人工智能 <高端班>

    开班时间:2021-03-22(杭州)

    开班盛况

    开班时间:2021-04-26(北京)

    开班盛况
  • JavaEE分布式开发 <高端班>

    开班时间:2021-05-10(北京)

    开班盛况

    开班时间:2021-02-22(北京)

    开班盛况
  • Python人工智能+数据分析 <高端班>

    开班时间:2021-07-12(北京)

    预约报名

    开班时间:2020-09-21(上海)

    开班盛况
  • 云计算开发 <高端班>

    开班时间:2021-07-12(北京)

    预约报名

    开班时间:2019-07-22(北京)

    开班盛况
IT培训IT培训
在线咨询
IT培训IT培训
试听
IT培训IT培训
入学教程
IT培训IT培训
立即报名
IT培训

Copyright 2011-2023 北京千锋互联科技有限公司 .All Right 京ICP备12003911号-5 京公网安备 11010802035720号