Compromis - annulation de prêt Immo

bonjour,
Je me permets de me tourner vers vous au sujet d'une situation juridique très compliquée :
Nous avons signé un compromis de vente pour l'achat d'un terrain le 13/12/2016.
Nous avons accepté l'offre de prêt en janvier 2017.
Le Maitre D'oeuvre nous a lâché il y a 1 mois juste avant le dépôt du permis de construire. Il a sous évalué les travaux et tous les autres maîtres d'œuvre que nous avons vus nous demandent 20000-50000€ de plus !
Nous voulons nous désengager du compromis car impossible de financer le surplus.
La notaire nous demande une attestation de refus de prêt.
La banque ne peut nous fournir qu'une attestation d'annulation de prêt ...
Que pouvons nous faire ?
Une attestation d'annulation de prêt suffit elle a nous désengager du compromis sans indemnités pour le vendeur?
Mille mercis .... !
S68

Le prêt a-t-il été consenti avec clause suspensive d'obtention du permis de construire ?

Bonjour Tisuisse1 merci de votre réponse.
Oui le prêt a été consenti avec cette clause.