应对大数据挑战
来源:用户上传
作者: 包俊君
微软的大规模数据仓库解决方案，不仅仅为客户提供后台大规模数据存储、管理与处理，同时也为客户的决策支持提供灵活、易用、可视化而且丰富的前端展现。
自云计算和大数据概念被提出后，针对该市场应运而生的解决方案层出不穷，软硬件一体化设备作为大数据解决方案中的一员，扮演着重要角色。
据微软全球PDW卓越中心数据仓库架构师乔怡介绍：“随着SQL Server2012即将发布，微软也会在今年上半年推出基于SQL Server2012版的PDW并行数据仓库一体机。”
微软并行数据仓库一体机，将多种先进的数据存储与处理技术结合为一体，成为微软大数据战略的重要组成部分。
面临挑战
企业在面对大数据的分析与应用方面，面临的主要挑战有以下几点：大数据分析：大量新技术需要学习掌握、周期长、见效缓慢，需要IT人员提前手动将数据从HDFS导入数据仓库或集市，才可进行分析。
性能和规模：数据仓库纵向扩展规模有限，无法满足需求的增长，数据仓库分析查询性能欠佳。
硬件和软件的集成：传统模式下用户必须搭建硬件环境、配置并调试软件环境。而软硬一体机则具备预装的硬件和软件，提高性价比优势。
解决方案
据悉，微软大数据战略致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力，包括隐藏在非结构化数据中的洞察力。微软大数据战略及解决方案包括（图1）：
数据管理层：可对所有类型的数据进行搜集和管理，包括结构化、半结构化、非结构化和流数据等。
扩展层：通过数据发现以丰富数据集，与来自于全球的多种类型数据互连，通过高级数据分析，将数据变成信息以及知识。
在数据丰富方面，微软提供了基于Windows Azure的数据集市，各行各业的用户都可以把自己认为有价值的数据放到数据集市上面进行分享和丰富。
洞察力层：通过用户所熟悉的类似Excel、PowerPivot、PowerView等工具，为用户提供全面、深入的洞察力，为从领导层到每个员工提供直观易用的决策支持，即实现数据以及信息的消费化。
乔怡介绍说：“微软提供了相应的软件，如大家最熟悉的Office等软件，基于（BS）结构的PowerView都可以使用户很灵活地通过拖拉拽等一些动作，对后台任何规模、任何形式的数据，进行实时的分析和互动处理。”
乔怡特别强调：“微软非常注重与社区方面的合作，比如与Hadoop社区、开源社区方面的合作。以保证微软所提供的平台和解决方案是开放的、灵活的，并可以和目前其他开源平台无缝地集成。”
据了解，为了帮助企业快速部署大数据解决方案，微软并行数据仓库一体机兼容当前最为流行的非结构化数据体系Hadoop。微软在Microsoft Windows Azure平台上提供了基于云的HDInsight服务，同时在Windows Server上提供了基于私有云的HDInsight Server。微软HDInsight解决方案100%与Apache的Hadoop标准兼容，可帮助企业从任何结构化及非结构化数据中获得业务洞察力。
突破性优势
SQL Server 2012并行数据仓库一体机及解决方案面向大数据服务设计，在数据处理方面实现了突破：
为大数据而建：SQL Server 2012并行数据仓库提供了全新的PolyBase，是数据处理突破性的技术，实现了传统关系型数据库表与非关系型Hadoop数据表的统一查询。
新一代性能与规模：采用 xVelocity列存储，查询速度大幅提升10至50倍、并可以满足实时数据仓库需求；采用高密度Direct Attached Storage，存储容量提升7倍；采用更加高效的架构设计，在大幅提升性能的同时，总体成本大幅降低。
最优化的系统价值：通过Windows Server2012虚拟化技术的一系列创新，SQL Server2012并行数据仓库一体机可使业界用户实现每TB数据分析的更低成本。
方案亮点：
微软并行数据仓库一体机前端使用广大用户所熟悉的微软Office Excel、IE、SharePoint等工具，同时可以使用多种设备，包括笔记本，移动终端等，从任何数据中随时获得所需要的信息，以提供决策支持。
随时与全球的数据互连，从而发现隐藏的价值，将内部与公用的数据和服务相结合，是微软并行数据仓库一体机说的又一亮点。
此外，通过支持任何数据的现代数据管理平台，处理任意大小和种类的数据，使得微软并行数据仓库一体机不仅具有Windows的易用性，同时兼具云的弹性和可扩展性。
据乔怡介绍，PDW2012并行数据仓库一体机在性能方面最大的亮点，是采用了列存储技术。该技术颠覆了以往传统的数据仓库模式，通过采用列存储形式的表，在进行处理查询工作的时候，只需要一两秒钟就可以对上千亿条、上PB级别的数据表单做出迅速响应，达到立即返回查询结果的速度。
为客户带来的价值
微软并行数据仓库一体机开箱即用，可以以非常快的速度安装并开始加载数据，在服务器调整和优化上也仅需很少时间，从而显著缩短部署时间、减少用户工作量并降低成本。
此外，微软并行数据仓库一体机还能够迅速运行大规模查询，企业可以运行更多报表、完成更复杂的分析、处理更大的数据集以及分析更详细的数据。
转载注明来源:https://www.xzbu.com/8/view-3952734.htm
