Annulation achat immobilier

Bonjour,
J'ai signé un contrat de réservation VEFA il y a quelques mois ( passé la période de rétractation ) . Il y a marqué dans le contrat que je perdrais la caution en cas de rétractation.
J'ai signé une offre de prêt il y a une semaine.
J'ai également fait appel à un courtier pour trouver le prêt et signé un contrat de courtage.
Je souhaite désormais pour une raison qui m'appartient revenir en arrière et tout annuler.
Quelles sont les conséquences pour moi , les possibilités et à quoi dois je m'attendre de la part de la banque et du courtier ?
J'ai déjà appelé le promoteur et pas de soucis à part la caution de leur côté.