核心做法是把自动评分降级为筛选器,而不是裁决者:先定义哪些判断必须由人完成,再规定自动分数只负责排序和提示,最终结论由人工依据证据链给出。如果做不到这一点,就应该把这类项目从评分流程中移出,改为人工清单管理。
自动评分擅长处理规则明确、口径统一的判断,例如某个字段是否填写、某个数值是否落在设定区间。它不擅长处理需要结合业务阶段、资源约束和外部环境才能下的结论,例如“这个选题现在做是否值得”“这个词的竞争是否可接受”。
把项目送进自动评分之前,先做一次分类:如果一个判断换一个业务阶段答案就会改变,或者两个经验不同的人会给出不同结论,它属于情境判断,不能只靠分数决定。这个分类动作本身就会改变下一步——分类结果决定该项目是走评分流程还是走人工评审流程。
当业务目标、目标人群和资源投入没有发生变化时,自动评分可以作为初筛工具,但必须设置人工终审环节。具体做法:
这个动作的结果会直接影响资源分配:中间档项目越多,说明评分维度设置得越模糊,应该先调整维度,而不是增加人工复核量。
当关键前提发生变化,例如目标市场调整、内容方向转向、可用资源大幅增减,原有评分维度和权重往往已经失效,此时继续用旧分数排序会产生系统性误导。
判断前提是否已变的可观察信号包括:过去评分靠前的项目连续多次落地效果不理想;团队对同一批项目的人工判断与评分排序明显不一致;评分维度里有若干项已经无法获取真实数据。出现其中任意一条,就应暂停用该评分做决策。
此时的实际动作是:把需要判断的项目转入人工清单,逐项记录判断依据和预期结果,等新的前提稳定后重新设计评分维度,而不是在旧模型上打补丁。例外情况是,如果某个维度仍然稳定可测,可以保留该维度作为参考,但不得用它单独决定项目去留。
防止自动评分替代人工判断,最有效的手段是要求每个结论都能追溯到具体证据。假设一个场景:某关键词被工具评为高优先级,人工复核时需要回答三个问题——这个判断基于哪些数据、这些数据在当前业务下是否仍然有效、如果数据有误结论会怎样变化。三个问题中任何一个答不上来,该项目就不能仅凭评分进入执行。
证据链的格式可以很简单:一条判断对应一条可核对的依据,加上一句“如果该依据不成立,结论改为……”。这样做的结果是,评分从结论变成了线索,人工判断有了明确的落脚点,后续复查也能定位到是哪一环出了问题。
人工判断最怕的是“这次特殊,先按分数来”。要减少这种情况,需要在流程里明确写出例外条件:哪些类型的项目一律不进自动评分、哪些评分结果必须附人工意见才能流转、哪些情况下暂停使用评分排序。例外写得越具体,自动评分越不容易越界替代判断。
同时要接受一个现实:人工判断会带来不一致。解决办法不是重新依赖分数,而是统一判断时使用的证据清单和记录格式,让不同人的结论可以比较、可以复盘。评分可以统一口径,但替代不了对具体情境的权衡,这两件事需要分开管理。