可判定的输出不是“写一段分析”或“做一次优化”,而是让答题者交出一份能对照标准逐项检查的产物:明确输入数据、明确要改的对象、明确交付格式,以及一组不依赖主观感受的对错判据。前提是业务已有真实数据可脱敏使用;如果连基础数据都拿不到,实操题就只能退回到纸面推演,判定标准也必须相应放宽。
这两种条件决定了实操题能否设置硬判据。把它们混在一起,是实操题变成作文题的主要原因。
此时可以设置“输入—动作—输出”三段式题目。例如给定一份脱敏的搜索词报告和落地页访问数据,要求答题者选出三个优先处理对象,并说明取舍依据。判定点可以落实到具体动作:是否标出了判断所依据的字段、是否给出了处理顺序、是否说明了放弃其余对象的理由。这样的输出可以被逐条核对,而不是靠印象打分。
此时无法验证真实转化,实操题应改为“假设条件下的推演”。例如假设某类页面跳出偏高、假设某渠道成本上升,要求答题者写出会先检查哪些指标、按什么顺序排查。判定标准转为逻辑自洽:前提是否写明、推理链条是否完整、结论是否与前提一致。不要在这种条件下要求给出具体数值结论,那会逼出编造。
无论哪种条件,一份合格的实操输出都应能被四个维度切开检查。
这四个维度可以做成评分表,每项分“满足/部分满足/未满足”,比笼统的“分析是否深入”更容易执行。
假设题目是“为一组搜索词设计内容处理方案”。
在有脱敏数据时,判定看的是:答题者是否圈定了具体词、是否按意图分组、是否为每组指定了对应的页面类型,以及是否说明了先做哪一组。输出可以是一张分组清单加一段处理顺序说明。
在只有公开信息时,同一道题应改为:给定若干公开可见的搜索词,要求写出分组逻辑和判断依据,并标注哪些结论需要真实数据才能确认。判定看的是分组逻辑是否自洽、是否主动标出了不确定项。后者的合格线是“知道自己不知道什么”,而不是给出一个看似确定的答案。
这个例子的意义在于:同一知识点,条件不同,判据的严格程度和方向都不同。设置实操题时先确认条件,再写判据。
常见的错误顺序是先出题、再想怎么打分,结果判据只能迁就题目,变得模糊。更有效的做法是先列出你希望看到的三到五个可观察行为,再倒推题干需要提供哪些输入。
例如你希望看到“能区分品牌词与非品牌词的处理差异”,那么题干就必须提供带有词性标注或可推断词性的输入;否则答题者无从体现这一行为,判据也就落空。写完判据后,用一份自己写的参考答案走一遍:如果参考答案在某些判据上无法明确判定,说明判据还需要收紧或拆细。
这个动作的结果会直接影响下一步:判据过松,评分会变成印象分;判据过细,答题者会把精力花在猜格式而不是做判断。合适的粒度是——每一条判据都能用“是/否/部分”回答,且不要求答题者猜测出题人的偏好。
当知识点本身处于快速变化中,或涉及需要长期验证的策略判断时,不宜设置非对即错的判据。此时可以改为“决策记录”式输出:要求答题者写下当时的假设、依据和预期观察指标,判定重点放在记录是否完整、假设是否可被后续数据检验。
另外,涉及具体机构、课程或证书的题目,不要设置“是否推荐某机构”这类判据,因为这类信息需要逐项核实,且容易过时。可改为“列出评估该资料时需要查证的三个信息点”,判定看的是查证方向是否合理,而不是结论是否唯一。这样既保留了实操性,也避免了把未经核实的信息当成标准答案。