La probabilidad es lo contrario a la estadística. Las dos disciplinas tienen una relación complementaria.
Mientras con la estadística estamos infiriendo causas a partir de datos, en probabilidad estamos pronosticando datos a partir de descripciones de causas.
Para entender la probabilidad, en especial la probabilidad condicional y la regla de Bayes, mi recomendación es el curso ST101 de Udacity.