Cloudera降低大数据应用门槛
来源:用户上传
作者:
Hadoop是近几年才发展起来的一项新技术，其应用相对比较复杂。因此，它的落地需要一个过程。在Hadoop生态圈内具有极大影响力的Cloudera公司已于去年底进入中国，其目标之一是降低大数据应用的门槛。
2014年12月10日，以肯睿（上海）软件有限公司落户上海为契机，在Hadoop生态圈内具有极大影响力的Cloudera公司正式进入中国。作为Cloudera亲密的合作伙伴，英特尔放弃了自己的Hadoop软件发行版，投入7.4亿美元，全力支持Cloudera公司在Hadoop平台上的创新与应用。Cloudera公司副总裁、大中华区总经理凌琦在接受本报记者独家专访时表示：“过去几个月中，我们在中国做了一些打基础的工作，目前正按部就班地推动产品在中国的落地。”
Cloudera落地中国
凌琦所说的基础性工作主要包括以下几项：第一，拓展中国的行业应用市场，在重点关注的电信、金融、保险、证券、制造等几个行业中，Cloudera在每个行业中都至少拥有一个成功案例；第二，开展大规模技术培训，Cloudera第一轮的大数据培训正在进行中，目前已拥有一批正式的培训合作伙伴；第三，将原来基于Intel Apache Hadoop软件发行版IDH的客户应用迁移到Cloudera Apache Hadoop软件发行版CDH平台上，目前这项工作正在有条不紊地进行中；第四，理顺公司内部各种关系，建立人员培训、销售、开发支持等流程和制度。
英特尔自身将停止对IDH的研发，但是IDH的用户将继续得到支持。原来IDH产品的支持、营销和实施团队的部分人员已加入Cloudera，他们可以对IDH的用户继续提供支持。另外，从Cloudera CDH 5.0版本开始，IDH与CDH的产品开发团队将进行联合开发，IDH的所有功能都将逐步融入到新版本的CDH产品中。
Hadoop处于不断发展之中
许多用户刚刚接触Hadoop时，都把它与大数据划等号，似乎Hadoop就是一个万能的大数据工具。但是随着对大数据、Hadoop的了解日益加深，用户开始更理性地看待Hadoop。有人也曾提出质疑，Hadoop在实时处理的性能方面还有不足之处。
凌琦表示，每一个平台都有它自己的最佳实践场景。Hadoop是目前解决大数据存储、管理、分析的最有前途的高效和低成本的平台。不过需要强调的是，Hadoop本身也在发展之中，它从最初的两个核心产品――HDFS文件系统和MapReduce开始，随后逐渐扩张和延伸，又增加了许多各种各样的工具， 比如Spark。
Hadoop仍处于成长的过程中。但是不可否认，现在很多大数据解决方案的基础或核心都是Hadoop。围绕Hadoop产生的各种各样的延伸系统进一步增强了Hadoop的处理能力。
许多厂商在推出大数据解决方案时，通常都会表示其解决方案也支持Hadoop。“Hadoop是大数据处理的核心平台，是用户的必然选择，也是对传统的数据处理工具的一个必要补充。”凌琦表示。
Hadoop本身比较复杂，不具备较强技术能力的企业不适宜直接基于Hadoop进行应用开发，最好的办法还是采用各厂商推出的Hadoop软件发行版。Cloudera的主要产品也是Hadoop软件发行版。
Hadoop作为一个平台软件，本身包括很多工具，一个开发团队不仅要熟悉掌握这些工具，而且还要知道这些工具之间如何相互配合和针对具体问题的最佳选择和配置。Cloudera的Hadoop软件发行版实际上是把业界最好用的大数据工具与简单的管理界面相结合，降低了开发和使用的难度。用户没有必要以开源版本为基础自己开发和验证Hadoop平台，只要选择一个Hadoop软件发行版即可。简化大数据和Hadoop的应用是Cloudera追求的一个目标。
正因为有了像CDH这样的产品，用户可以在这个平台上更轻松地进行开发，做更多的尝试。“降低大数据应用门槛的关键是要有一个功能强大且好用易用的底层平台软件，尽量减少上层应用开发的复杂性。”凌琦表示。
Cloudera如何保持产品的差异化竞争优势呢？Cloudera具有强大的技术能力，在开源社区中对Hadoop代码的贡献量排名第一。Cloudera不仅具有强大的开发能力，而且拥有完整的测试系统，可以保证大数据产品的兼容性、稳定性和可靠性。
许多诞生于开源社区的产品，如果想进入企业应用领域，除了产品功能以外，更重要的是不断提升产品的性能、可靠性、安全性、可用性和易用性等。CDH就是经过反复测试和无数次的改进，集成了易用的管理界面和丰富的工具才逐渐赢得了企业客户的青睐。
Cloudera有一支庞大的专业技术团队和充足的资金，持续推动Hadoop产品的开发。
标准化与开放也是一个产品具有强大生命力所必须具备的特征。Cloudera的产品开发与开源社区的发展是同步的，每一个组件的开发都凝聚了社区内多个厂商的智慧。同时，Cloudera也会随时将自己的最新技术成果及时反馈给开源社区。
在中国，Cloudera与英特尔有联合的研发机构。该机构会收集中国用户的需求和反馈，一方面传递给Cloudera总部，有助于公司总部策略的制定；另一方面，Cloudera本地的研发机构也会根据用户的反馈，对产品进行适当改进，以满足个别的要求。
Hadoop有更大的发挥空间
无论是云计算还是大数据，都经历了从概念炒作到应用落地的一个过程。大数据落地的速度似乎比云计算更快，一个重要的原因是有像Hadoop这样的大数据工具。
大数据更靠近应用。“银行用户在提升客户服务质量的过程中虽然借助了大数据技术，但他们不会把‘大数据’三字挂在嘴边。只有大家都关注如何在实际应用中利用大数据工具，而不是空洞地谈论‘大数据’这三个字时，大数据市场才算真正成熟。”凌琦表示。
欧美地区的客户与中国客户所处的大数据应用阶段不同。凌琦介绍说，在欧美地区，大数据基础设施的建设已经经历了一个过程，企业客户的IT基础设施与规划相对成熟，主要考虑的是结合应用部门的需求，逐步进入大数据的深层次应用阶段。目前，中国企业正处于从讨论要不要用大数据到讨论大数据到底要由哪个部门来实施，选择什么样的大数据技术比较好的过渡过程中。中国客户在大数据应用方面落后欧美客户1～3年，而每个行业又有所不同。举例来说，英国和美国的很多医疗机构已经把大数据与医疗系统、保险系统等相结合，进行疾病流行趋势的预测和分析。而国内的医疗机构大多只是在医院内部的某个系统中应用了大数据技术。
大数据是一项系统工程，包括数据的收集、管理、分析等环节，甚至还会改变整个业务的流程。因此，大数据需要建立一个生态系统，而Hadoop是其中的核心。
Hadoop要做的是基于数据、存储和管理的平台，同时针对上层应用提供一些分析工具。Hadoop是一个通用的大数据平台。行业用户可以围绕Hadoop进行延伸，创造出新的不同的大数据处理工具，并与行业应用需求相结合，这样才能充分发挥Hadoop的价值。
未来，中国的大数据市场还有哪些热点呢？凌琦表示，金融、制造、零售业的大数据应用会走在前面。举例来说，在国外，零售业的大数据应用已经非常成熟，而国内的零售业更多还是采用拼价格的方式吸引客户，并没有通过大数据工具大规模地分析客户的使用习惯和消费行为。因此，在中国，大数据在零售业拥有更大的施展空间。
另外，中国的制造业要转型升级，就不能再依靠廉价的劳动力，而要突出“智造”，借助大量传感器对工业系统实现自动控制和柔性制造，实现设计和制造的一体化，这些都需要用到大数据。
转载注明来源:https://www.xzbu.com/8/view-11810293.htm
