为什么在英国考试结果之后算法计算需要透明

开玩笑的是，您需要数学GCSE来计算政府采取考试成绩后过去几周被迫掉头的次数。

关于“预测考试结果的算法”传奇的争论主要集中在算法是否公平，准确和系统公正的方面。但是，我想探索的是，对于每天使用面向消费者算法的我们这些人来说，可以从整个灾难中吸取更多的教训。

简单往往是最好的选择

为争辩起见，让我们假设，正如Ofqual在其报告中声称的那样，已经开发出了最佳的算法，几乎可以完美地预测考试结果，而没有系统的偏差。想象一下，您在紧张了几个月之后就打开了考试成绩，而关键科目的成绩却被降级了。如果不了解算法的工作原理，您将不知道为什么，并且注定会感到失望和愤怒。毫不奇怪，Ofqual发布的长达319页的解释器要求描述整个9个步骤的过程，包括对“帮助进一步理解”的复杂表示法，没有帮助。

较简单的算法会不会准确性较低，而会有更多偏见吗？也许。但是我们可以肯定地说，无法解释和无法再现的模型永远不会赢得错过成绩的学生的信心。

为了公平起见，他们还向学校发布了“标准化”报告，以解释他们如何达到这些年级。只是这似乎引发了更多的问题而不是答案。

这里的教训是，有时候，比“更好”的方法更简单的方法更可取。为了让学生和老师都接受这种方法，它必须易于解释和理想地复制。不是。

在整个过程中保持透明

在构建一种算法来预测Ofqual论文中提到的考试结果时，需要进行多个折衷。例如，对于过去，现在和将来的学生来说，怀疑的好处与公平的好处是相对的。

准确地夸大两个人的成绩，还是不准确地缩小一个人的成绩，会更好？ Ofqual的立场是自相矛盾的，声称“已决定寻求维持总体资格标准”，同时还规定“有几个决策点提供了使学生受益于疑问的机会。”

对平衡的位置缺乏明确的认识只会引起人们对Ofqual试图寻求的结果的怀疑。

这里的教训是，最好事先商定什么才是“好”结果。在重要性上对不同的“权衡”进行排名，并确定哪种方案更可取。然后在实施之前，确保每个需要了解的人都清楚您的决定以及原因。

始终尝试回测模型并共享结果

如果将算法结果与实际结果进行比较，然后再将其应用于去年的数据中，然后将其应用于各种用例，将有助于解决许多问题。询问算法可能在何处产生意外结果以及原因；这些“边际案例”有多普遍？以及在减轻这种预付款方面可以达成的共识。

对我来说，这应该在Ofqual论文的第一段中，如果算法相对准确，那将是一个简单的PR故事。对于任何怀疑者都可以公平地反驳：“如果我们去年使用了该算法，那么98％的人将获得正确的成绩”。甚至更好：“该算法在以下x种情况下不起作用，因此我们确保所有这些学生都将从怀疑中受益，并获得可以达到的最高现实成绩”。

以这种方式进行回测可以避免过去几周来发生的混乱，愤怒和情绪动荡。最终，它完全提醒我们任何面向消费者的算法都必须透明且清晰，才能真正可信。

James Addlestone是RAPP数据策略主管。

//本文精选