Refus ABF pour matériaux des menuiseries - sans covisibilité

Bonjour à tou.te.s,

Dans le cadre de notre projet de rénovation, nous souhaitons remplacer les menuiseries qui sont en très mauvais état (simple vitrage et la moitié des vitres sont cassées). Notre maison est une maison de village dans le sud de la France, elle se situe à moins de 500m d'un monument historique (privé).

Nous avons fait une déclaration préalable de travaux, dans laquelle nous avons indiqué choisir des menuiseries en aluminium, teinte grise. Ce matériaux nous semble plus noble que le PVC, tout en exigeant moins d'entretien que le bois. Nous pensions que cela ne poserait pas de soucis, puisque plusieurs maisons autour de la notre ont été rénovées avec des menuiseries identiques.

Cependant, nous avons reçu aujourd'hui l'avis de l'architecte des bâtiments de France (ABF), qui exprime un refus net. L'ABF n'est pas d'accord avec l'aluminium, et nous demande de reproduire les menuiseries originales, si nécessaire (nous avons pourtant bien indiqué et illustré la vétusté de l'ensemble des menuiseries actuelles).

Visiblement cet avis n'est pas final, il est indiqué: "Cette décision sera prise par l’autorité compétente chargée
de délivrer les autorisations de travaux". Cependant, face à un refus aussi net, à quoi pouvons nous nous attendre ?

Nous sommes dans l'incompréhension puisque, les maisons voisines à la nôtre ont pu installer des menuiseries PVC, Alu, et bois, dans des coloris très diversifiés. Par ailleurs, le recours aux ABF se justifie par le périmètre de 500m autour du monument, mais il n'y a aucune covisibilité entre notre maison et le monument historique. Il me semblait que dans ce cas, l'ABF n'exprimait qu'un avis consultatif ? Il me semblait également que l'ABF ne pouvait imposer un avis que sur l'aspect, et non sur les matériaux ?

Quelles sont nos voies de recours ? Devrions-nous contacter la mairie pour avoir des précision ?

Merci d'avance pour votre aide !