Plainte pour diffamation

Membre d'une association de propriétaire, j'ai rencontré à plusieurs reprise le président de cette association qui a tenu en présence de mon mari des propos racistes au sujet de nos locataires.
J'ai souhaité quitté cette association pour différentes raisons dont celle là .Le président m' a appellé me menaçant d'huissiers , tenant des propos incorrects à mon égard et finissant par me raccrocher au nez.
Je n'ai émis durant ces moments aucun propos ni menaçant ni injurieux.
J'ai ensuite téléphoné au siège de l'association où j'ai eu la directrice et le conseiller juridique à qui j'ai expliqué que je ne pouvais continuer à adhérer à une association dont le présidents traités ces membres de façon odieuse, inconvenante et qui de plus tenaient des propos s"sociaux"(je n'ai pas parlé de racisme) auxquels je ne pouvais adhérer.Ces deux personnes m'ont soutenu dans mon propos disant qu'eux meme souffraient de ce comportement de leur président .La directrice m'a demandé de faire un courrier qu'elle garderait ; courrier dans lequel j'expliquerais les raisons de ma démission.
J'ai fait ce courrier dans lequel en gardant de la retenue, j'ai expliqué qque je ne pouvais rester au sein d'une association avec laquelle je ne partageais pas les visinons"sociales et dont le président se comportaient mal envers ses adhérents.
Aujourd'hui mon mari a reçu un coup de fil de ce président lui posant un ultimatum: où je m'excusais d'avoir tenu ces propos demain matin à 9heures où il portait plainte pour diffamation contre moi: pour des propos tenus , à ses employés, contre lui demain à midi et que nous paierons"bonbon".
Me plier à cette exigence n'est pas en accord avec mes idées en même temps nous ne pourrons pas supporter le poids
d'une amende financièrement.
Que risquons nous?
Sa plainte peut elle aboutir

Bonsoir Madame,

Avant toute chose je pense que la menace de déposer plainte vise à vous faire plier.

Si effectivement vous n'avez eu à son égard aucun propos injurieux et ne l'avez nullement accusé d'être raciste ou autre, je ne vois pas pour quel motif ce monsieur pourrait déposer plainte. Nous sommes en République et vous avez quand même le droit d'avoir un avis divergeant et de ne pas partager sa vision des choses.

De plus en cas de dépôt de plainte pour diffamation:
la diffamation non publiques est une infraction contraventionnelle punie d'une peine d'amende ne pouvant excéder 38 euros (art. R. 621-1 et R. 621-2 du Code pénal)(donc déjà sur ce point soyez rassurée sur le montant éventuel de ce que vous auriez à payer en cas de condamnation).
Par ailleurs pour cette infraction il existe ce que l'on nomme l'exception de évité. Autrement dit la preuve des faits diffamatoires met fin aux poursuites. En l'espère, d'après ce que vous m'avez dit, il semblerait que les propos que vous avez pu tenir à son encontre son vrai puisque confirmer par la directrice et le conseiller juridique.

Le mieux est sans doute de tenter de calmer les choses en lui expliquant que vous avez le droit d'exprimer votre opinion et que les propos que vous avez tenus n'avaient aucun caractère diffamatoire ou injurieux.

Je reste à votre entière disposition.
Cordialement