Un juge d’accord avec les humains dans 90 % des cas peut être inutile : si 90 % des sorties sont bonnes, dire toujours « réussi » atteint 90 %. Mesurez donc les deux sens, par rapport aux annotations humaines.

Implémentez calibrate(labels). Chaque élément est { human, judge }, deux booléens où true veut dire réussi. Renvoyez :

agreement : part des éléments où ils concordent,
tpr : parmi les réussites humaines, la part validée par le juge,
tnr : parmi les échecs humains, la part recalée par le juge,
trustworthy : vrai si tpr et tnr atteignent threshold (second argument, 0,9 par défaut).

Un taux sans élément à mesurer vaut null, et trustworthy est alors faux.

Exercices de ce module

Terminal