2、情景和反应选项筛选。邀请2名拥有丰富教学和科研经历的教授和5名人力资源测评专业的研究生，组成7人专家小组，运用主题专家评定法对编写的情景进行进一步筛选和完善。首先，专家小组依据情景与研究生创新活动是否相关、是否典型和常见、情景间是否有重复等原则对收集的24个情景进行判断和筛选。其次，专家小组采用背靠背独立评价方式，用李克特6点量表对每一个情景下的所有反应选项进行评价，其中1表示“非常不同意”，6表示“非常同意”。汇总专家的打分评价结果，并计算出每个反应选项专家评价的平均分和标准差。删除专家评价得分不一致即标准差大于1的反应选项。至此，每个情景下筛选出了4个评分较为一致且选项间具有优劣之分的反应选项。最后请专家重新修订了保留的17个情景和68个反应选项，形成了涵盖研究生创新各个阶段主要工作任务的研究生创新情景判断测验的初步版本。
3、测验实施。测验选用行为倾向型指导语，要求被试者设想自己作为一名研究生，在科研和创新的过程中，发生题目设定的情景时会怎么做？并依据自己的做法用李克特6点量表对每个情景下列举的4个反应选项从“1非常不同意”到“6非常同意”做出判断，具体如文本框中的例题1所示。借鉴McDaniel[27]等学者的研究，采用二分法（dichotomous consensus）来计算被试在每个反应选项上的得分。





4、结果分析
以安徽省某高校的166名研究生为样本对开发的研究生创新情景判断测验进行检验。其中男性占42.2% ，女性占57.8%。从年级分布来看，研一占38.6%，研二占38.6%，研三占22.9%。通过Spss23.0对收集的样本数据进行处理。通过分析各反应选项得分和测验总分之间的相关性，对各反应选项的一致性进行了检验。结果显示，“把主要的时间和精力投入到社团活动中，并担任一定的职务”、“有了想法赶快开始写论文，争取早日发表”等4个反应选项与测验整体的相关系数小于0.4，予以删除。McDaniel[27]等学者的元分析研究表明，情景判断测验的总体信度在0.43~0.94之间。预测试中测验的总体信度值为0.73，符合以往的研究结论，表明测验量表在构思上具有一致性，测量结果较为可靠。
（二）正式研究的方法
1、测试对象
为了扩大样本范围，研究选取了山东、河南、河北等地高校的研究生进行测试。通过网上填答和实地发放两种形式共收回有效测试问卷310份。从性别来看，男性占47.1%，女性占52.9%；从年级分布来看，研一占38.7%，研二占34.2%，研三占27.1%。 
2、测量工具
（1）研究生创新情景判断测验。采用自编研究生创新情景判断测验量表，共包含17个情景和68个反应选项，每个选项用李克特 6点量表进行评价（1表示“非常不同意”，6表示“非常同意”）。
（2）知识测验。选取了研究生的考研成绩作为研究生知识测验的得分。为了便于与其他变量进行分析和比较，根据前人的研究和预测试中被试统考成绩的自填情况，用Likert 5点法对被试考研成绩进行统计和计分。其中，1表示“>300分”，2表示“300~350分”，3表示“350~370分”，4表示“370~400分”，5表示“>500分”。
（3）效标研究生创新绩效。采用了他评和客观指标两种方式，取二者等比相加后的总分作为实际创新绩效得分。他评部分，要求被试找对自己科研情况比较了解的同门师兄/师姐进行评价，量表采用了Scott和Bruce[25]编制的共11条目量表，样题项包括“在平时的科研工作中，他/她是否会与导师或师兄/师姐交流、推广自己的研究想法？”、“他/她是否会制定合适的计划和进度安排，逐步推进自己的研究想法？”等。量表的内部一致性为0.83。研究成果的客观评价部分，要求被试根据自身在攻读硕士学位期间的实际情况，如实填写发表学术论文、会议论文以及承担课题的等级和数量。参考前人的研究，根据所有被试的填写情况，将每一类客观指标划分成不同的等级，并赋予相应的分值[34]。
（4）控制变量。此外，以往的研究表明，性别、年级、专业相关度等人口统计变量可能会对研究生的创新绩效产生影响[36]。因此，我们同时测量了这些变量，并在回归分析中作为控制变量进行分析。
3、研究方法
采用Spss23.0、Amos24.0等统计软件，对测试收集的样本数据进行了描述性统计、相关性分析、多层线性回归等分析与检验，以验证研究生创新情景判断测验的预测效度、增值效度。
四、结果分析
（一）相关分析
考研分数、SJT得分、创新绩效及其他控制变量的均值、标准差和相关系数如表1所示。
表1 各变量的均值、标准差及相关性系数
变量    均值    标准差    1    2    3    4    5    6
1性别a    1.64    0.48    1                    
2年级b    2.17    0.92    -0.02    1                
3专业相关度    3.50    1.10    0.48    -0.10    1            
4 考研分数    3.31    1.28    0.15**    0.05    0.17**    0.11    1    
5 SJT得分    1.74    0.49    0.06    0.10    0.13*    0.22**    1    
6创新绩效    3.48    0.59    -0.10    0.02    0.17**    0.20**    0.37**    1
注：* P＜0. 05, **P＜0. 01；a：1=男性，2=女性；b：1=研一，2=研二，3=研三。
从相关性分析结果可以看出，考研分数（r=0.20，p<0.01）、SJT得分（r=0.37，p<0.01）与研究生实际创新绩效之间存在显著的正相关关系，且SJT得分（r=0.37，p<0.01）与创新绩效之间的相关性高于考研分数。知识测验、开发的研究生创新情景判断测验等测验方式可以通过对陈述性知识、程序性知识的测评在一定程度上预测研究生的创新能力和创新绩效水平，且研究生创新情景判断测验具有更强的预测效度。开发的研究生创新情景判断测验具有良好的效标关联效度，可以有效预测研究生的实际创新绩效。假设1得到验证。
  （二）回归分析
为了进一步探究开发的研究生创新情景判断测验是否对知识测验有增值效度，对各预测变量进行了多层回归分析。具体回归分析结果如表2所示。第一步将控制变量性别、年级、专业相关度放入回归分析的第一层，第二步将考研分数放入回归分析第二层。可以看出考研分数（对创新绩效有显著的正向影响，在考虑控制变量的情况下，考研分数对创新绩效的解释量为8%。第三步，将SJT得分放入回归分析的第三层，可以看出SJT得分（对创新绩效有显著的正向影响，在控制住考研分数的情况下，SJT得分对创新绩效的解释量增加了11%。由此可见，研究生创新情景判断测验在预测研究生创新绩效方面具有有效性和独特性，对现有的研究生统一考试的知识测验方式有增值效度。假设2得以验证。