Servitude et droit de passage

Bonjour,
Propriétaire d'un terrain enclavé, je souhaiterais utiliser un passage privé existant (pour créer un lotissement de 4 lots), qui est déjà accordé à un fond dominant par le propriétaire du fond servant (servitude de passage et de tréfonds réalisée par un acte notarié).
Cette servitude vient jusqu'à la limite séparative de mon terrain.
A noter ce chemin privé est utilisé pour le ramassage des ordures ménagères et pour les éventuels véhicules de secours.

Le propriétaire du fond servant peut-il me refuser cette servitude? si oui quelles raisons peut-il invoquer?

Merci d'avance pour vos retours