一图看懂分析中「真实性&有效性」的关系

您所在的位置:网站首页 效度的概念 一图看懂分析中「真实性&有效性」的关系

一图看懂分析中「真实性&有效性」的关系

#一图看懂分析中「真实性&有效性」的关系| 来源: 网络整理| 查看: 265

效度的意义是什么?

效度是问卷调查研究中最重要的特征, 问卷调查的目的就是要获得高效度的测量与结论,效度越高表示该问卷测验的结果所能代表要测验的行为的真实度越高,越能够达到问卷测验目的,该问卷才正确而有效。

问卷的准确性或称为有效性是用问卷的效度加以刻划的,它反映了对问卷的系统误差的控制程度。

效度的分析方法

由于“真实值”往往未知,所以对效度的评价常常不可能有绝对肯定的答案。尽管我们不可能证明效度,但是可以用指标来评价效度。

一般来说,有三种类型的效度:标准效度、内容效度、结构效度和区分效度。内容效度是一种基于概念的评价指标,其它三种是基于经验的评价指标。

标准效度

标准效度 (criteria validity) 又称为效标效度, 以相对准确的测量手段或指标的测量结果作为“金标准”,考察待评测量手段或指标的测量结果是否与其一致。

例如,评价新的影像学诊断手段的效度,常以病理学检查结果作为“金标准”,考察两种诊断手段诊断结果的一致性。

内容效度

内容效度(content validity)评价测量指标的涵义是否能准确反映真实情况。内容效度是一个定性评价效度的指标,它关心测量手段是否能够测量我们所需要测量的抽象概念、领域和方面。对比事先对概念的定义和最终的测量工具,可以得到关于内容效度的评价。可以采用专家评价的方法了解内容效度的大小。

例如,对比生存质量的定义和用于测量的量表,可以得出该量表内容效度的好坏。缺乏内容效度的测量会歪曲对所关心概念的理解,就像利用不具有代表性的样本对总体进行推断会得到错误结论一样。

内容效度是指问卷内容的贴切性(relevance)和代表性(representativeness), 即问卷内容能否反应所要测量的特质,能否达到测验目的,较好地代表所欲测量的内容和引起预期反应的程度。内容效度常以题目分布的合理性来判断,属于命题的逻辑分析,所以,内容效度也称为“逻辑效度” (logical validity)、“内在效度(intrinsic Validity)”、“循环效度(circular validity)”。

内容效度的评价主要通过经验判断进行,通常考虑3方面的问题:

其一是项目所测量的是否真属于应测量的领域 其二是测验所包含的项目是否覆盖了应测领域的各个方面 其三是测验题目的构成比例是否恰当

常用的内容效度的评价方法有两种:

一是专家法,即请有关专家对问卷题目与原来的内容范围是否符合进行分析,作出判断,看问卷题目是否较好地代表了原来的内容 二是统计分析法, 即从同一内容总体中抽取两套问卷,分别对同一组答卷者进行测验, 两种问卷的相关系数就可用来估计问卷的内容效度。计算某个问题与去掉此问题后总得分的相关性情况,分析是否需要被剔除(敏感性分析)

结构效度

结构效度(construct validity)又称构想效度, 是指测量工具对某一理论概念或特质测量的程度,是在评价量表效度时最常用的指标。由于在心理学及社会学领域中一些概念的定义不是十分明确,内容效度在实际应用中存在困难,而标准效度往往因为缺乏比较的标准而难于应用。在这种情况下,可以使用结构效度。

结构效度是指测量结果体现出来的某种结构与测值之间的对应程度。结构效度分析所采用的方法是因子分析。有的学者认为,效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度。因子分析的主要功能是从量表全部变量(题项)中提取一些公因子,各公因子分别与某一群特定变量高度关联,这些公因子即代表了量表的基本结构。

通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中,用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度。

常用的确定结构效度的方法有:

根据文献、前人研究结果、实际经验等建立假设性理论建构 对问卷题目进行分析。主要是分析问卷的内容,答卷者对题目所作的反应,问卷题目的同质性以及分项目之间的关系来判断问卷的结构效度 根据建构的假设性理论编制适当的问卷 计算与同类权威问卷的相关 以统计检验的实证方法去考查问卷是否能有效解释所欲建构的特质

区分效度

如果测量的结果能区分已知的不同特征的人群,就认为该测量具有 区分效度(discriminant validity)。

例如,测量结果能够区分“健康人”和“病人”,分别调查两类人群,计算量表各领域得分和总得分,再进行t检验或方差分析,比较这两类人群得分的差别是否有统计学意义,从而判断量表是否具有区分效度。结果有统计学意义提示量表有区分不同属性人群的能力,具有区分效度。

影响效度的因素

总的说来,影响效度的因素主要有四类:

调查本身、调查实施过程、被调查对象的性质、采用的效度标准。

调查本身

调查问卷本身的质量,长度、问题的难易程度、问题的顺序和编排方式

提高的方法:

测量的问卷应不有歧义 问卷长度不应太长,太长容易造成被调查这不耐烦,配合程度下降 难易适当, 调查问卷不同于考试试题,是为了得到被调查者的真实意愿,不是为了拉开差距, 因此问题简单直接最好,最好一个问题只涉及一个调查目的,避免双向、同问、还要被调查者脑子转几个弯才能回答的问题 设计的问卷问题应有一定的顺序,最好由易到难、由浅入深、循序渐进,利于回答,也利于分析

调查的实施过程

调查者: 按照调查方案执行,突发状况的解决能力,适当的询问技巧,能否表达清楚复杂的问卷问题 实施过程: 场地的选择,根据调查时间选择调查方式,避免被调查长时间站立,或者嘈杂的环境 被调查者: 根据被调查者的人物特点,例如青少年、白领、社区居民、消费者、网络使用者等,不同的人群调查方式和问卷设计难易程度不同

最后再多说一句: 合理的调查时间非常重要

被调查对象的性质

被调查者的性质决定了调查效度的高低,如果调查对象都具有某种相同的性质,比如都是学生团体,同一时期的某类商品的消费者,某一时间段内某种软件的使用者等等,这类调查对象会对调查的问题有比较一致的观点或者态度,因此效度会较高。

采用的效度标准

对于问卷而言, 往往会有多个维度对问卷的调查目的进行支撑,而每个维度下会有若干个问题分布,因此这些问题是否真实反应了这个维度所对应的问题,显得尤为重要。但是这些问题的设计要符合信度的特点,即为有效的反应被调查者的意愿,不产生歧义。

所以综上所述,提高问卷效度的方法总结下来有如下几点:

精心编制调查问卷,避免出现较大的系统误差 妥善组织调查,控制随机误差 严格制定调查流程,提高调查的信度 选取好的调查维度,定好恰当的效度标准。 利用公式的计算方法,用结果验证问卷效度,调整效度低的问题。(反推)

效度和信度的关系

信度和效度的共同点都是以相关系数来表示其大小的。都是整个运用问卷调查技术进行科研工作的可靠性保证。

不同点主要是:

研究的对象不同

信度:答卷者

效度:组卷人

研究的角度不同

信度:测量的质量

效度:问卷的质量

涉及的误差不同

信度仅考虑随机误差占测试总变异的比例

效度则还包括与测试无关但稳定的测量误差

两者存在着必然的联系,问卷的信度是效度的必要而非充分条件, 信度越高,效度不一定越高,即如果问卷是完全可信的,那么问卷可能达到完全有效,也可能达不到,这种现象产生的原因是测量误差的存在。

现在,再看这幅图,懂了吗?

本文为中国统计网作者原创文章

转载请在公众号后台联系小编

本文为中国统计网作者原创文章

转载请在公众号后台联系小编返回搜狐,查看更多



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3