二外德语语言测试信效度的实证分析
来源:用户上传
作者:吕亮平
摘要：文章通过介绍浙江水利水电学院二外德语期末考试的试卷设计情况，并且对其进行信效度验证，尝试为德语教师在二外德语命题方面提供建议。
关键词：语言测试;信度;效度;实证分析
中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2020）10-0114-03
一、引言
德语作为第二外语在我国发展很快，但是对德语作为第二外语的测试研究却不多。浙江水利水电学院商务英语专业从2015级学生开始实行二外德语教学，为期两个学期。由于目前还没有针对二外德语的专门测试，开发能够体现二外德语水平，向企业及高校提供真实二外德语水平的测试成为当务之急。本文将介绍浙江水利水电学院二外德语期末考试的试卷设计情况，并对其进行信效度验证，尝试为德语教师在二外德语命题方面提供建议。
二、研究方法
1.研究的理论基础。语言测试的信度即“测试结果的一致性”，即测试结果的可信度和可靠度（Bachman，1990）。语言测试的效度是指考试是否考查了所要考查的内容，是否达到了所要达到的目的（Morrow，1986）。语言测试的效度包括内容效度、表面效度、结构效度等。信度和效度作为评判测试能否真正体现测试者水平的标准，既相互独立又相互制约。没有信度就不可能存在效度，而具有信度的测试也不一定有效度。一个测试只有同时具备这两个因素，才能真正体现测试者的实际水平。
2.研究对象。本研究的调查对象为浙江水利水电学院2016级商务英语专业1—3班的学生。这些学生来自全国各地，全部为统考统招生，大部分来自浙江省，英语基础良好。这些学生学习二外德语的时间为1年。1班学生为24人，参加考试23人，有效试卷数23份;2班学生26人，参加考试26人，有效试卷数26份;3班学生23人，参加考试23人，有效试卷数23份。我院为了规范期末考试，每门课程采用A、B卷命题，每卷附有评分标准，来保证阅卷的一致性和公正性。而本研究的72份有效试卷均来自A卷。该测试定位为诊断考试，目的是测试学生的语言能力，看他们是否掌握了课程大纲所规定的内容和目标。鉴于测试对象尚处于德语学习初期，测试主要为语言知识能力，说、读、写的能力，尚未涉及口语测试部分。
3.研究方法。本研究采用定性、定量的方法来检验测试的信效度。借助SPSS软件来进行数据分析，用α指标来检验测试信度;从测试的内容效度、结构效度和表面效度等来检验测试效度。
三、结果分析
1.信度。从试题的量看，一共8个大题，共39个小题，考试时间为120分钟。考试形式为开卷。经过考试后的抽样询问，大部分学生表示能在规定时间内完成试卷，说明时间分配和试题量是相符的，具体见表1。
从图1的分数分布来看，优秀率（90分及以上）占9.7%，良好率（70—89分之间），占57%，及格率（60分及以上）占84.7%，不及格率（60分以下）占15.3%。数据基本符合正态分布的两头小、中间大的要求。
从试题的集中趋势来看，结合图2和其他数据，如均值为75分，中位数为76.75，众数为70，可以看出众数、均值和中位数存在一定的差距，说明本次测试结果总体分布存在一定的负偏态。
从试卷的离散程度看，从全距、四分位全距和标准差来看，本次测试结果的离散程度较大。
利用α系数来计算信度，计算出该试卷的信度系数为0.752。通常Cronbach系数的值在0—1之间。如果α系数不超过0.6，一般认为内部一致信度不足;达到0.7—0.8时表示量表具有相当的信度。由此可见，该测试的信度较高。
2.效度。（1）内容效度。内容效度指测量工具内容上（包括材料、题材、题目）的代表性或所选内容样本的充分性（Bachman，1990）。检测试卷的内容效度要看其考查内容是否达到了它的考查目标。从考题范围上看，该试卷的内容覆盖了该学期教学大纲所涉及的内容，考查了学生基本日常对话的口语能力以及自学能力。如对情态动词、第三格和第四格、完成时和过去时等语法的掌握，对Essen und Trinken、Wohnen in Deutschland、Kaufen und Schenken、Freizeit und Ferien主题下词汇和句式表达的运用，对以上主题的日常交际的掌握，所有材料的内容覆盖面广，不过分集中于某一主题。从被测试的技能上看，测试了说、读、写的能力以及查阅文献和自主学习的能力，都基本符合该门课程的测试目标。所选材料和技能都在大纲规定的范围内，具有内容的关联性，与教学大纲高度契合，说明了测试内容的有效性。（2）结构效度。在结构效度上，采用了分项与整体分组之间的相关系统的计算进行评价的方法。将学生总分和各个部分的成绩输入SPSS，计算出各部分之间的相关系数，得出表2。从表2可以看出，学生总体得分几乎与部分得分存在显著相关性。编写对话与其他题型相关程度不高，表明该题型与其他题型考查的语言能力存在较大差异，进一步的研究发现编写对话的短语和句式全部是课文对话练习中的句子，加上开卷考试的原因，那这部分考查的便不再是口语能力，而是运用和改写的能力。词汇填空、语法选择题、改写句子之间存在高度相关，说明这两个题型考查的都是同一种能力，即基础语言知识。对话填空和阅读理解相关度不低，说明考查的能力存在一致性。（3）表面效度。该试卷干净整洁、印刷清晰;试题编排从易到难;篇幅长短合适，布局合理;主客观题分开，便于改卷;试题题型常见，试题指令明确。因此，从卷面来看，具有表面可信度和公众的可接受度，具有良好的表面效度。（4）真实性。真实性是指某一语言测试任务与实际语言运用任务在特征方面的对应程度。在讨论语言测试时，真实性永远是一个重要方面（Carroll，1980）。在本测试中涉及说、读、写的任务的设置，需要符合交际性测试的要求。在测试中，说、读、写的词汇都是《大学德语课程教学要求》规定的范围，内容为日常生活范围中句子结构比较简单和情节不太复杂的对话和场景等，具有真實性。但是口语能力是以编写对话的形式出现，有所欠缺;阅读材料虽然来源于现实的语言内容，但是考虑到学生的词汇和语法掌握程度，做了部分改编。 四、对试卷的改进建议
1.调整题型。试卷中客观部分占了约60%，虽然是出于语言知识有限的考虑，但是适当增加主观题数量和分值，能使主客观题分布更合理，也可以避免阅卷的主观性和偏颇性。
2.增加综合性考试题型。虽然目前阶段没有针对二外德语的专业测试，但是无论是德语中的德福考试、DSH考试还是大学德语登记考试，都明确要求学生具备在篇章层面上的理解和阅读能力，考查考生对语言的整体掌握情况，而不是把某些知识作为单独的部分进行分散测试（翁震华，2016）。因此综合性考试题型应该作为语言考试中的主体，研究既有高效度又客观的综合性考试题是二外德语测试中必须加强的一方面。
3.增加口语考试。虽然口语考试组织的难度比较大，但是口语表达能力是反映学生整体语言能力的重要方面。口语考试部分的增加，会促进学生对口语的重视，促使他们主动练习，从而全面提升语言应用能力。
通过分析可以得出，该测试的信效度高，可以为其他二外德语测试提供借鉴。但是，测试本身在题型分布、设置上还存在欠缺，对口语部分的测试也需要增加。希望能够有统一的二外德语的测试标准出现，能指导教师在二外德语测验中的实践。
参考文献：
[1]Bachman L.F.Fundamental COnsideration in Language Testing[M].Oxford，UK：OUP，1990.
[2]Carrol，B.J.Testing communicative competence[J].Annual Review of Applied Linguistics，1980.
[3]Morrow K.The evaluation of tests of communicative performance[A].In Mportl（Ed）.Innovations in Language Testing[C].Londeon NFER/Nelson，1986.
[4]翁震华.德国“德语作为外语”测试的研究及其启示——以入学德国高校德语考试为例[J].中国考试，2016.
[5]全国大学德语四、六级考试委员会.大学德语四级考试大纲[M].上海：上海外语教育出版社，2010.
[6]教育部高等学校大学外语教学指导委员会德语组.大学德语课程教学要求[M].北京：高等教育出版社，2010.
[7]施俊，杨勇.基于统计软件SPSS的试卷质量分析[J].电脑知識与技术，2017.
An Empirical Analysis of the Reliability and Validity of the German Language Test
—Taking the Final Examination of German as an Example
LV Liang-ping
（Zhejiang University of Water Resources and Electric Power，Hangzhou，Zhejiang 310018， China）
Abstract：This paper introduces the design of the final examination paper of German as a second foreign language in Zhejiang University of Water Resources and Electric Power，and verifies its reliability and validity，trying to provide suggestions for German teachers in the field of German as a second foreign language proposition.
Key words：language test;reliability;validity;empirical analysis
转载注明来源:https://www.xzbu.com/9/view-15143044.htm
