Restitution dépôt de garantie car bail non conclu

Bonjour,

Je souhaitais louer un local professionnel qui devait etre rénové par le bailleur car non conforme.

Le mandataire du bailleur m'a demandé de lui verser une partie du dépôt de garantie (correspondant à 1 mois de loyer) en vue de la rédaction du bail professionnel.

Au final, je n'ai pas signé le bail professionnel car il y avait trop de discordances entre le bail proposé et nos précédents accords (notamment charges mensuelles différentes, date d'entrée dans les locaux plus tôt que prévu).

Au vue de cette confiance rompu, j'ai décidé de ne pas m'
engager dans cette location et j'ai prévenu le mandataire par mail et message vocal de ce refus.

A savoir que je n'ai signé aucun document m'engageant sur ce bail au préalable.

Je viens de recevoir un mail + lettre recommandée AR une mise en demeure de signer le bail professionnel et menace de ne pas nous restituer le dépôt de garantie voire solliciter des dommages et intérêts (car le bailleur a entrepris des travaux dans les locaux) au vue de l'article 1103 du code civil.

Est-il dans son droit? Si oui, quelle démarche entreprendre?
Merci par avance.