Evaluation - Intervalle de confiance




1. Intervalle de confiance pour modèles de Régression

Si nous avons 50 points, une MAE de 129 et un écart-type de 30.
Quel est l'intervalle de confiance de 95% ?
Erreur standart : SE = 30 / sqrt(50) = 4.2
Intervalle de confiance : [MAE - Z . SE, MAE + Z . SE] = [120 - 1.96 * 4.2, 120 + 1.96 * 4.2] = [111.6, 128.3]
Confiance : La véritable erreur moyenne a 95% de chance d'être située entre 111.6 et 128.3
La question Business : Etes-vous prêt à jouer cette partie là ?



2. Intervalle de confiance pour modèles de Classification

Si nous avons 20 points, dont 4 points mal classés
Quel est l'intervalle de confiance de 95% ?
Accuracy : 40 / 50 = 0.8
probabilité de bonne réponse : p = 0.8
Erreur standart : SE = sqrt(p(1-p)/n) = sqrt(0.8*0.2/20) = 0.09
Intervalle de confiance : [p - Z . SE, p + Z . SE] = [0.8 - 1.96 * 0.09, 0.8 + 1.96 * 0.09] = [0.625, 0.975]
Confiance : La véritable Accuracy a 95% de chance d'être située entre 62.5% et 97.5%
La question Business : Etes-vous prêt à jouer cette partie là ?