Y için bir tahmin olarak Yˆ'nin doğruluğu
, indirgenebilir hata ve indirgenemez hata olarak adlandıracağımız iki niceliğe bağlıdır . Genel olarak, indirgenebilir hata
İndirgenemez hata
ˆf, f için mükemmel bir tahmin olmayacaktır ve bu yanlışlık
bazı hatalara neden olacaktır . Bu hata azaltılabilir çünkü
f'yi
tahmin etmek için en uygun istatistiksel öğrenme tekniğini kullanarak ˆf'nin doğruluğunu potansiyel olarak geliştirebiliriz .