Jego rodzina nie była z tego zadowolona. Kiedy późniejszy doktor Kościoła był jeszcze w nowicjacie, krewni podobno namawiali go do porzucenia powołania. Istnieje legenda opowiadająca o tym, że pewnego dnia podsunęli mu opłaconą prostytutkę, aby go uwiodła. Tomasz oparł się jednak pokusie, choć nie bez trudności. Tę scenę pokazuje obraz Velázqueza.