基于数据挖掘技术的公共工程决策研究
来源:用户上传
作者: 曹健宁
提要传统公共工程决策是一种以决策者和参与人员的经验为导向的决策行为,正确与否很大程度上取决于参与人员的知识水平、背景、经验以及偏好。本文通过分析我国公共工程决策中存在的问题,针对工程决策中科学性和有效性等方面存在的固有不足,提出一种将数据挖掘技术和基于案例推理工具进行结合的新机制,并着重介绍这种新机制的设计及实现。该系统能够搜集、整理、分析、处理并预测所要处理的或有价值的信息,减少人的非理性因素的干扰,从而提高信息的共享和透明度,改善公共工程决策的质量。
关键词:数据挖掘;推理研究;公共工程决策
中图分类号:F27文献标识码:A
一、公共工程及决策中存在的问题
公共工程是政府为了公共利益直接或间接投资形成的基础性建设项目和社会公益建设项目,主要包括:交通、邮电、水利水电煤气等公共基础设施和科教、医疗卫生、体育场馆、文化娱乐等社会性基础设施。因此,公共工程存在投资大、建设周期长、不确定性因素多因而风险高、宏观效益和社会效益突出等特点。
改革开放以来,我国各方面的建设都取得了举世瞩目的成就。三峡大坝水利工程、青藏铁路、北京奥运场馆、载人宇宙航天项目等项目的实施为我国物质文明和精神文明建设的提高起到了巨大的推动作用,但要巩固和实现可持续发展战略,国家和企业有责任也有必要继续加大对公共基础设施建设的关注和投入。与此同时,我们还应看到,诸类大型公共工程的建设大多仍然处于初期运营阶段,其是否能够达到预期的效果仍是个未知数。另外,工程中存在诸如超预算、超工期、设计过于标新立异与周围环境不相协调、项目没有经过充分的可行性论证便草草上马等诸多问题,使得项目频繁变更,沟通和索赔方面的成本费用增加,导致效率极其低下,最终影响到项目建设的成果。分析其原因,突出表现为对公共工程项目决策的短视行为,也就是政府官员的短期任职制与公共项目的长期运作不合拍。此外,政府公共项目决策标准单一、决策程序不完善、决策缺乏约束等都是不容忽视的原因。但归根结底还是决策者对项目前期决策阶段没有清醒充分的认识。在我国,工程决策很大程度上取决于决策者的知识水平、背景、经验以及性格,人的非理性因素决定了决策的感性行为,调查研究趋于形式化,并没有或很少考虑参与、透明、民主的原则。因此,需要新的方式来提高公共工程决策的科学性和效率。
现有的工程管理系统能够对数据进行收集、储存、传输和简单分析,并为项目决策人员提供实时动态、进展报告,最终为其决策和反馈服务。但该类系统缺乏对工程数据进行深入分析和综合利用的能力,前瞻性较差,决策很大程度上还是依赖管理决策者的经验和直觉。随着工程项目日益庞大、复杂,管理难度的加大,使得现有的管理手段和工具已无法满足现代工程决策的需要。因此,研究和开发新方法来解决公共工程决策问题是工程实践的当务之急。本文在已有研究的基础上,通过数据挖掘(DM)和基于案例推理(CBR)的结合,探讨该平台在公共工程决策机制中的应用。(图1)
二、数据挖掘(DM)
(一)DM概念及阶段划分。数据挖掘是一种在大型数据库中寻找你感兴趣的或有价值的信息的过程,根据Berry and Linoff的说法:分析报告给你后见之明,统计分析给你先机,数据挖掘给你洞察力。可见,数据挖掘的影响力和价值。它是一门结合了数据库、人工智能、数理统计、信息检索、知识获取、模式识别、数据可视化等的科学,该技术已经在许多领域得到发展和应用,如商业、银行、保险、网站开发和生物信息等领域。
Berry and Linoff将一个通用的数据挖掘过程定义成了不同的阶段。在利用数据挖掘技术之前,工程管理决策人员需要明确工程项目的目标和要求,在此基础上,广泛的搜集相关数据和信息。下面就数据挖掘在银行和商业中的应用做简要描述:首先,对潜在目标客户进行分类,也就是说将办理相同储蓄或者贷款的客户分为一组,分析其消费习惯和偏好,通过应运数据处理转换和人工智能等技术有助于识别主要核心客户组,对其制定相应特色服务;同时对潜在的可能流失的客户进行跟踪分析行为特点,避免流失过多。然后,对客户感兴趣的负债和收入等数据指标进行统计,对贷款偿还可能存在风险的各因素进行识别,以确定并维护客户信用等级和规避风险。最后,通过大量客户的交易信息找出已有数据库中隐藏的关系网,并对新加入客户的收入水平、消费习惯、居住区域、文化程度以及购物类别等指标挖掘分析,进而不断的丰富数据库资源。这样银行作为客户和商品厂商的纽带,在掌握消费者需求的基础上,可以更好地为客户服务。
(二)DM主要分析方法。数据挖掘的主要分析方法包括:关联分析、聚类分析、分类、预测、时序模型、偏差模型。下面就各种分析方法及其在公共工程中的应用做简要叙述:
1、关联分析:找出数据库中隐藏的关系网。它分为简单关系、因果关系和时序关系。一般情况下,工程项目成功的标准是按时完工、节约成本、客户满意等。与传统工程项目不同的是,公共工程项目有社会效益大、生命周期长、后期影响较大等的特点,其评判标准不一。实际中,存在超预算、超工期并且在当时备受争议的项目,建成后不仅取得了成功有的还成为国家和时代的标志。这就需要分析背后成功的原因,是必然造成的还是偶然造成的,对其进行详细记录和说明。最终完善公共工程项目成功的标准以及这些标准对工程项目的影响程度。当新项目遇到类似争议时,通过关联分析比较研究后,可以提高决策的科学性。
2、聚类关系:对记录分组,把相似的记录归在一个剧集里。它和分类的区别是聚类不依赖预先定义好的类,不需要训练集。这里用Davies-Bouldin index来评判集群分离质量:DB(U)=,其中△(Xk)表示聚类Xk内部网的距离,(X,X)定义为聚类X和X的距离,c为U的组成部分的聚类数量。一般来说,值越小对应的聚类效果越好。
3、分类:找出一个类别的概念描述,代表这类数据的整体信息,一般用规则或决策树模式表示。在公共工程中,我们可以将其影响因素分为:目标层、准则层和方案层。目标层是寻求影响公共决策的主要因素,准则层影响因素的各个指标,比如决策的科学性、决策的可操作性、决策的效率和决策的稳定性等,方案层为影响公共工程决策的具体因素,包括:社会效益、经济效益、技术条件、人员素质和管理水平、国家和区域政治经济状况和筹资能力等。另外,我们还可以将项目实施期间国家的经济状况分为:过度膨胀、稳定增长、略微下滑和严重紧缩,以应对不同时期项目该采取的措施。
4、预测:利用历史数据找出变化规律,建立模型,并由此模型对未来数据的种类和特征进行预测。众所周知,对于大型公共工程来说,项目的投资方为国家或各级政府,而他们的资金和管理水平是有限的,这就需要结合社会其他各方的资源。现在常见的融资方式有:BOT、TOT、PPP、PFI和ABS等。具体选择哪种形式的融资方式或组织形式需要对比类似成功项目,结合新工程项目的特点,选择出具有可行性和可操作性强的模式。
5、时序模型:通过时间序列搜索出重复发生概率较高的模式。对于公共工程项目而言,其建设周期长,并且部分项目展现的是我国的时代特征和精神风貌,我们需要更多地关注经济发展周期和房地产市场运行周期,避免毫无目的地扎堆重复建设。例如,奥运会的举办是个复杂的系统工程,但如果能够对其经济周期各阶段(申办、筹办、举办和后期运营)所要完成的任务进行研究,才能达到事半功倍的效果。另外,对公路、桥梁和大型体育设施中出现的维修、改建、扩建情况进行追踪记录,这样有助于合理安排资源和减少资源的浪费。
6、偏差模型:发现或排除数据库中数据存在的异常情况。一方面如果数据库中存在大量异常情况的案例,那必将影响到整个样本的可信度;另一方面特殊情况下工程项目也必然会导致异常数据结果。例如,在公共工程项目中,涉及投资额巨大,如果投资方不能按时发放进度款,将会影响工期的进度计划;再如,如果项目所在区域发生各种不可预测的地质条件或气候的变化(地震、干旱),也必将影响项目的整体运行。因此,要对这部分数据进行分析处理,如实反映项目情况的应保留,否则排除。
(三)DM数据分析工具。当应用数据挖掘的分析方法来解决工程项目中的实际问题时,各种分析方式是建立在相应的数据分析工具的基础之上的。数据挖掘技术中包含了一些用于分析历史数据的分析工具,主要有决策树工具、贝叶斯分类工具、神经网络工具以及基于案例推理工具。尽管所有这些工具能够用于分类或者预测,但每个工具只有在某种特定的条件环境下才能正确地执行。例如,决策树和贝叶斯工具不能用于支持预测,而神经网络和案例推理工具能同时支持分类和预测功能;决策树和神经网络工具只需要在第一次使用时建立模型,而贝叶斯和案例推理工具在遇到一个新的案例时重新建立模型。
在公共工程项目中,这些工具可以帮助参与人员分析数据并使得决策更有效率,同时更重要的是,它对于潜在的问题更具有洞察力。它能够提供如下问题的解决方法:①项目应该选择一种什么样的结构形式?②项目适合的组织形式和融资方式?③投资额多大,工期多长?④项目中可能遇到的风险有哪些?可以采取的应对措施包括哪些?
三、基于案例推理(CBR)
基于案例的推理是为决策者提供充分利用经验、具体问题的情况和公共工程案例的专门知识,案例可以是具体的经历或者相似案例的集合。根据Aamodt and Plaza,CBR方法的中心任务是明确当前情况,寻找与新项目类似的已完成工程项目,利用该项目来寻求对新问题的解决办法、评估建议的解决办法以及通过对新项目经验的总结来更新系统。大体上一个CBR周期可分为以下四个阶段:检索与目标项目最匹配的案例;重新利用信息和知识用于新项目;修改建议的解决办法;保留案例用于解决今后问题。而检索又包括:条件分析、初步匹配和最终确定三个阶段。
(一)案例检索阶段。主要任务是应用检索工具通过比较新工程项目与历史记录的案例进行相似度的比较,如果它们之间的相似度值大于预定于的阈值,那么历史案例将被选择作为参照。因此,计算相似度就成为本阶段的关键步骤。应用这样一个工具,每个输入的参数都会被赋予相应的权重,权重的大小由专家根据参数间的两两比较分析得出,相似度可以用下面的表达式计算:
Similarity(N,O)=×100%(1)
其中,N和O分别代表新旧工程项目,n表示输入值的数量,N和O为它们各自区间的值,w则是所对应权重,f是N和O所对应的域i的函数。
对于逐项描述性参数,当相比较的案例参数具有相同的值时,相似度函数输出1,否则返回0。对于清单型参数,返回值由下面的表达式计算:
f(N,O)=(2)
其中,f(N,O)表示相似度,N∩O指在N和Oi域中由子值所构成的一个新的清单型数值,而Count(X)是X域子值的数量。
(二)案例使用阶段。用以往的解决方法来处理新工程项目的问题,通过分析历史案例的情况,借鉴其经验教训来指导本阶段的决策。
(三)案例修订阶段。调整匹配案例的解决方案来寻求问题的新解决途径。并对新的工程项目决策的质量做出评估,并及时反馈。解决方案得出的是一个清单型参数,它是由一个或者多个子值构成。可以通过下面的公式来计算出匹配案例中解决方案的值:
Score(v)=(3)
v表示一个子值,Score(v)则是v的得分,k是匹配案例的数量,O是匹配项目之一,而g(v,O)是一个判断函数,当v包含了O的一个解决方案的时候返回值1,否则返回值0。
(四)案例保留阶段。当新的工程项目被验证通过之后,它将被加入数据库中。通过这个过程可以丰富数据库资源并进一步改进系统。
四、结论
我国公共工程决策一直以来都存在诸多问题,这也迫使有关人员不断探索一套解决其问题的有效方法。数据挖掘是能够从历史数据中获取有用信息并辅助决策者进行决策的强大工具。同时,通过DM-CBR的结合可以帮助参与决策人员简化数据的利用和分析过程,以提高公共工程决策的效率。本文阐述了DM与CBR结合的理论框架,也就它们如何提高公共工程决策进行了说明。尽管本文把焦点集中于DM在公共工程决策中的运用,但更为重要的是它为其他建筑领域的研究提供了新的研究方向,如风险分析、可行性研究、人力资源研究以及价值工程等领域。
(作者单位:重庆大学建设管理与房地产学院)
主要参考文献:
[1]程龙.公共工程项目建设管理问题及对策.安徽建筑,2000.3.
[2]郭建锋,张建平,胡振中,沈岐平.基于数据挖掘的智能工程决策平台.哈尔滨工业大学学报,2006.9.
转载注明来源:https://www.xzbu.com/2/view-408662.htm
