开玩笑的是,您需要数学GCSE来计算政府采取考试成绩后过去几周被迫掉头的次数。

关于“预测考试结果的算法”传奇的争论主要集中在算法是否公平,准确和系统公正的方面。但是,我想探索的是,对于每天使用面向消费者算法的我们这些人来说,可以从整个灾难中吸取更多的教训。

简单往往是最好的选择

为争辩起见,让我们假设,正如Ofqual在其报告中声称的那样,已经开发出了最佳的算法,几乎可以完美地预测考试结果,而没有系统的偏差。想象一下,您在紧张了几个月之后就打开了考试成绩,而关键科目的成绩却被降级了。如果不了解算法的工作原理,您将不知道为什么,并且注定会感到失望和愤怒。毫不奇怪,Ofqual发布的长达319页的解释器要求描述整个9个步骤的过程,包括对“帮助进一步理解”的复杂表示法,没有帮助。

较简单的算法会不会准确性较低,而会有更多偏见吗?也许。但是我们可以肯定地说,无法解释和无法再现的模型永远不会赢得错过成绩的学生的信心。

为了公平起见,他们还向学校发布了“标准化”报告,以解释他们如何达到这些年级。只是这似乎引发了更多的问题而不是答案。

这里的教训是,有时候,比“更好”的方法更简单的方法更可取。为了让学生和老师都接受这种方法,它必须易于解释和理想地复制。不是。

在整个过程中保持透明

在构建一种算法来预测Ofqual论文中提到的考试结果时,需要进行多个折衷。例如,对于过去,现在和将来的学生来说,怀疑的好处与公平的好处是相对的。

准确地夸大两个人的成绩,还是不准确地缩小一个人的成绩,会更好? Ofqual的立场是自相矛盾的,声称“已决定寻求维持总体资格标准”,同时还规定“有几个决策点提供了使学生受益于疑问的机会。”

对平衡的位置缺乏明确的认识只会引起人们对Ofqual试图寻求的结果的怀疑。

这里的教训是,最好事先商定什么才是“好”结果。在重要性上对不同的“权衡”进行排名,并确定哪种方案更可取。然后在实施之前,确保每个需要了解的人都清楚您的决定以及原因。

始终尝试回测模型并共享结果

如果将算法结果与实际结果进行比较,然后再将其应用于去年的数据中,然后将其应用于各种用例,将有助于解决许多问题。询问算法可能在何处产生意外结果以及原因;这些“边际案例”有多普遍?以及在减轻这种预付款方面可以达成的共识。

对我来说,这应该在Ofqual论文的第一段中,如果算法相对准确,那将是一个简单的PR故事。对于任何怀疑者都可以公平地反驳:“如果我们去年使用了该算法,那么98%的人将获得正确的成绩”。甚至更好:“该算法在以下x种情况下不起作用,因此我们确保所有这些学生都将从怀疑中受益,并获得可以达到的最高现实成绩”。

以这种方式进行回测可以避免过去几周来发生的混乱,愤怒和情绪动荡。最终,它完全提醒我们任何面向消费者的算法都必须透明且清晰,才能真正可信。

James Addlestone是RAPP数据策略主管。

//本文精选

拉普

RAPP是一个全球性的,数据驱动的创意社区,可以在品牌与人之间建立直接,有意义和高价值的关系。在RAPP,我们在第一方咨询方面拥有无与伦比的专业知识…

了解更多



Source link