Construction sur clôture mitoyenne

Bonjour,

Nous avons acheté une maison il y a 7 ans avec un terrain délimité par un petit muret en béton et barrières bois, avec de l'autre côté, le terrain de notre voisin.
Quelques mois après notre installation, il nous a fait savoir que cette clôture était mitoyenne, chose que nous n'avions pas su à l'achat de la maison. Le cadastre ne nous donne pas plus d'informations.
Il y a 2 ans, afin d'avoir un peu plus d'intimité (car la clôture était ajourée et peu haute), nous avons décidé de placer des planches de bois sur ce muret en s'appuyant de notre côté, sur les barrières présentes. La hauteur de cette palissade est d'environ 1.20m aux points les plus hauts (elle est faite en escalier).
Notre voisin est venu nous voir dès que nous avons commencé les petits travaux, et a exprimé son mécontentement quant à la manière dont la palissade bois était posée.
Il se plaint aujourd'hui que cette palissade abîme la barrière. Selon ses dires, cette dernière a été construite par lui il y a plusieurs années. Mais la barrière n'est pas endommagée.
A noter que le terrain est en pente, le nôtre surplombant celui du voisin.
Il nous dit que nous n'avions pas le droit de construire cette palissade.
Merci d'avance pour les précisions que vous pourrez nous apporter.