调查问卷的信度说明问卷的可靠性,可以用同一个问卷多次评测某个对象的结果的一致性程度来表示;问卷的效度说明了它是否能够反映评价的目的和要求。
针对AHP和FCE两种问卷分析一下。
1. AHP的问卷的目的是获取两两比较判断矩阵的决策数据,这些判断矩阵是根据层次模型产生的。所以,这种问卷能否反映评价的目的和要求(对应于效度),是跟问题到层次模型的抽象是否合理相关的,如果构建了合理的层次模型,问卷就是有效的。
至于问卷的信度,感觉与问卷调查法的问卷是不同类型的问卷,我想不出它的信度分析有什么必要,想不出常用的信度分析方法怎么用在AHP问卷上。
2. 对模糊综合评价法问卷可以进行信度和效度分析,可以得出问卷可靠性和有效性的度量,对于单独使用的FCE问卷设计有意义,但yaahp中没有提供这个功能。今后模糊综合评价法相关的功能可能从yaahp独立出来(类似EvaGear,提供与AHP交互的功能),到时应该会有问卷的信度和效度检验。目前如果单独设计FCE问卷,可以用SPSS自己检验一下。
对于AHP和FCE相结合的方法,FCE问卷由AHP方案层要素决定,我感觉信度和效度分析结果可以指导AHP的方案层要素设计,但对AHP模型其他结构是否合理、如何设计没有帮助。
总结一下我对这个问题的观点:对于AHP问卷,信度、效度都是源自层次模型是否合理,不好用普通的信度和效度分析方法来评判;对于FCE问卷,可以进行信度和效度分析,但对于AHP+FCE的FCE问卷,主要还是要求好的AHP模型设计(虽然结果有可能指导到AHP模型方案层要素的改进)。