同一个HR问题,两份AI回答采用不同措辞,却都说明了适用条件和下一步。假设评测只按一段示范文本匹配,其中一份得分更低。买方看到分数时,还需要知道:它漏了业务要求,还是仅仅没有按出题人的方式说话?
标准答案并不总是一段完整示范文字。对于事实明确的查询,它可以是确定的信息;对于依赖条件的问题,它还要说明哪些前提决定答案;涉及管理建议,则可能需要一个合理范围,以及明确不能接受的推断。
这几类任务如果共用同一种评分,结果容易失真。把所有回答都当成自由发挥,会放松事实检查;把所有回答都按一句话匹配,又可能把正确但表述不同的内容判错。评测需要先确认自己正在衡量哪种能力。
例如,查询一项已生效的内部规定,关键在于适用对象、版本和条件准确。语言可以更简洁,也可以多作一点解释,但不能丢掉会改变员工理解的限制。参考答案最好指出这些必要内容,而非要求模型复制某个段落的句式。
如果问题缺少决定性信息,合理行为还可能是继续询问。假设没有给出所属组织或适用期间,直接给出确定答案未必值得高分。评测材料应说明哪些信息已提供、哪些未提供,以及在缺少信息时允许怎样回应。
管理建议更不能把一位评审者偏好的方案直接当成唯一正确。面对同一个团队问题,可能存在几种可行安排。可以检查建议是否回应问题、承认关键约束、说明取舍和风险;不能只因为它没有推荐评审者喜欢的那一种方式,就判定能力不足。
肯耐珂萨在HR AI选型中的这一判断,可以落实为一项买方工作:业务团队参与定义“完成任务”的标准。供应商可以提供评测方法和技术工具,HR仍需核对答案的业务含义;而HR个人习惯也不能直接替代已经确认的规则。
NIST AI风险管理框架1.0的衡量部分,提出领域专家参与、记录测试集与度量、在接近部署的条件下检验表现等原则。它没有为企业写好每一道HR题的答案。任务分类、可接受范围和错误边界,仍需要结合实际场景制定。
准备评测材料时,可以同时写下应当出现的内容和不允许发生的错误。前者帮助检查完整性,后者标明关键限制。比如,解释清楚适用条件是一项要求,擅自补出未提供的个人事实则是另一类问题,不能只用文风顺不顺把两者抵消。
评审分歧也值得保留。两位有经验的HR对同一道题作出不同判断,可能是参考材料含糊,也可能是其中一人混用了旧规则。先澄清分歧,再确定标准,比投票选一段最受欢迎的答案更稳。如果业务本身尚未明确,就不应要求AI给出唯一结论。
评分维度可以分开看:事实是否正确,条件是否完整,表达是否便于理解,建议是否超出允许范围。这样即使总分相近,买方也能知道各方案的长短。不能用语言更流畅,掩盖关键事实错误;也不必把略显生硬但业务正确的回答一概视为不可用。
对于部分需要专家判断的任务,人工评审可以提供重要信息,但也应说明评审依据,并对争议样本作核对。请AI再评价一次,也不能自动产生权威答案;若评判标准本身不清,换一个评分者只会移动争议的位置。
标准形成以后,可以用一部分未参与调试的材料检查,避免只把展示过的题目反复练到高分。材料仍应符合业务用途和信息边界。这个动作检验的是在相近新任务上的表现,不应被宣传成对所有HR问题都已经可靠。
一份有用的HR AI评测报告,应让人解释高分从哪里来,也知道分数没有覆盖什么。先把任务怎样才算完成讲清楚,再谈模型之间的差距。否则,一个漂亮的排名,可能只是在精确复现一套尚未被业务确认的偏好。
立即预约免费产品演示
留言成功!
稍后工作人员将联系您。
扫码关注官方微信,
获取更多资料和活动信息
打开微信扫码
选择您的心仪职位
完成投递吧!