“互联网+”的技术元素：大数据和小数据
来源:用户上传
作者:
“技术元素”（Technium）是凯文・凯利（KK）专门创造出来的词语，他提出的是一个“大技术”的概念：“技术元素不仅仅包括一些具象的技术（例如汽车、雷达和计算机等），它还包括文化、法律、社会机构和所有的智能创造物。”借用量子力学的术语，KK认为技术元素就是从人的意识中“涌现”出来的一切。KK把这种科技的延伸面看成是一个能产生自我动力的整体。
KK曾问过：技术元素的本质是什么？人类应该拥抱它还是拒绝它？人类对它本身的未来发展究竟有多少把握？2014年笔者在与KK对话时，曾经向他、也是向我自己提出了这个问题：“如果说人工智能成立、人类知识可以独立进化，那么，人类本身是否也将成为整个技术进化链条中的一个环节？”
大数据
美国知名研究机构Gartner对于“大数据”（Big data）给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据通常用来形容一个企业创造的大量非结构化数据和半结构化数据。大数据分析常与云计算联系到一起，因为实时的大型数据集中分析需要数十、数百或甚至数千的计算机并行工作。大数据还需要特殊的技术，以便有效处理大量的可容忍时间内的数据。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，即在于提高对数据的加工能力，通过“加工”实现数据的“增值”。
从技术看，大数据与云计算就像硬币的正反面。大数据必然无法用单台的计算机进行处理，必须采用分布式云架构。要对海量数据进行分布式数据挖掘，必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术、数据挖掘电网、可扩展存储系统等。
大数据的特征经常被称为4个“V”。Volume（数据体量大），从TB级别，跃升到PB级别；Variety（数据类型繁多），网络日志、视频、图片、地理位置信息等都包括在内；Velocity（处理速度快），要求秒级范围内给出结果，这一点也是和传统的数据挖掘技术的本质不同；Value（价值密度高），合理分析及利用数据将带来很高的价值回报。大数据最核心的价值在于对于海量数据进行存储和分析，相比现有的其他技术，其综合成本最优。
大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题可借用的手段不够而尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中，发现和验证大数据的规律及其与自然界和社会活动之间的关系。
物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的种种传感器，都是数据来源或者承载的方式，包括了网络日志，RFID（射频识别），传感器网络，社会网络，社会数据，互联网文本和文件，互联网搜索索引，呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物学和其他复杂和（或）跨学科的科研，军事侦察，医疗记录，摄影档案馆视频档案，大规模电子商务等诸多方面。
小数据
第一个意识到“小数据”（Small Data）重要性的是美国康奈尔大学教授德波哈尔・艾斯汀。艾斯汀的父亲去世之前几个月，这位计算机科学教授就注意到老人的“数字社会脉动”出现了细微不同――他不再发送电子邮件，不去超级市场买菜，到附近散步的距离也越来越短。而这种逐渐衰弱的状态，即使到医院去检查心电图，也不一定能看出来。急诊检查时，不管是测脉搏还是查病历，这位90岁老人都未表现出明显异常。而事实上，追踪他每时每刻的个体化数据，他的生活已经明显与以前不同。这种日常小数据带来的生命讯息的警示和洞察，启发了这位计算机科学家――小数据可以看作是一种新的医学证据，它是属于你的数据。
小数据是什么？简单来说，大数据和别人的生意有关，但小数据却仅与你自己有关。小数据是透过各种方式，像是智能家电、计算机、手机平板、穿戴式产品等，收集人们的一举一动，透过数据整合，以可视化的方式让人们能够更了解自己。小数据迄今为止的应用还不成熟，较成熟的如运动手环、智慧手表等收集身体信息，告诉你每天的运动量如何。但小数据若透过自动化，能提供的讯息不只于此。例如饮食健康、阅读习惯及推荐，消费分析及个人财务等等，是数据智慧化的重要方向。
小数据又被称为“量化的自我”，目的与大数据相同，提供个人决策的依据。数据本身只能让人认识自己，但要怎么改变，还要看自己的决心与毅力。小数据需要想到人的惰性，提供自动化信息输入，不能要求使用者自己来；小数据需要保障隐私，数据仅供个人了解自己；小数据更需要共通标准，让数据能够整合。
大数据将改变包括当代医学在内的诸多领域，譬如基因组学、蛋白质组学、代谢组学等等。不过由个人数据跟踪驱动的小数据，也将有可能为个人医疗带来变革，特别是当可穿戴设备更成熟后，移动技术将可以连续、安全、私人地收集并分析人们的数据，这可能包括工作、购物、睡觉、吃饭、锻炼和通信，通过追踪这些数据可以得到一幅只属于个人的健康自画像。
正在被颠覆的数据观
无论是大数据还是小数据，我们的数据观已经发生了颠覆。
关系VS因果。大数据与小数据都是大量数据。与传统数据方法的区别在于，其放弃了对因果关系的渴求，而取而代之关注相关关系，即只要知道“是什么”，而无须知道“为什么”。这就颠覆了长久以来人们的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。
用途的重要区别。过去的数据很大程度上停留在说明过去的状态，拿数据说话，实际上是用过去的数据说明过去，而大数据的核心是预测。大数据将为人类的生活创造前所未有的可量化的维度，使数据从原来的说明过去变为驱动现在。
而对小数据和大数据的关系，曾任职于德意志银行美国战略科技部、休斯敦大学商学院金融系的蔡凯龙博士曾做过几项重要对比。
数据处理方式。大数据强调标准化，只有数据标准化，才能大规模采集，以后的数据处理概率统计才有了可能。可是数据一旦标准化，就失去了其数据产生时的特性和背景。而小数据的最大特点，就是来源和使用者是同一个人，只不过存和取的时间和背景不一样而已，这就让数据标准化失去存在的理由。
人的作用。在大数据模式下，数据从人身上产生被收集后，接下来的数据处理分析，就再也跟数据主人无关了。而在小数据里，所有数据都是围绕一个人的。虽然小数据里不可避免要使用人工智能来提供帮助，但是人工智能发展至今没有大的跨越，远远不能替代人脑。
其他数据性质的区别。小数据相对比大数据，数据量较小。小数据对数据不那么需要快速反应，比如说人的胆固醇，一个月收集分析一次就够了，而大数据对数据的反应要快。小数据更加注重非结构化数据之间的关联，重深度挖掘，而大数据重在包容所有个体的数据，重在广度。
小数据不是大数据的小型化，而是大数据的补充和延伸。小数据可解决大数据无法实现的个人隐私保护，同时小数据可利用全面的个人数据优势，结合外部大数据，提供给个人个性化、独特而有价值的数据服务。（作者为价值中国网创始人兼CEO、众融中国总会创始会长） □
转载注明来源:https://www.xzbu.com/3/view-12691870.htm
