Jev Can't Be Calibrated
Jev est un "System One Model" de TypeSafe qui prend un texte non structuré et renvoie des décisions typées avec des probabilités associées. Le modèle est utile pour la classification sans données d'entraînement et agit comme un classifieur universel sans nécessiter de fine-tuning. L'article soutient que la revendication de "probabilités calibrées" ne peut pas tenir en général parce que la calibration dépend de la distribution des données d'utilisation. Des expériences et exemples montrent des écarts manifestes (par exemple une probabilité de 0,92 pour une pièce équilibrée) et des différences selon les primitives, ce qui questionne la signification des probabilités annoncées. Il est recommandé de recalibrer les scores de Jev sur vos propres données (quelques centaines d'exemples suffisent pour une calibration de type Platt) et de traiter ses sorties comme des scores plutôt que comme des probabilités absolues quand des valeurs numériques précises sont nécessaires.