Servitude de passage

Bonjour.
Pour accéder à leur maison, mes voisins empruntent un chemin qui m'appartient car ils sont enclavés. J'ai découvert que la servitude n'a jamais été établie sur les actes de vente successifs. Cela n'avait jamais posé de problème mais depuis quelques temps nous sommes en désaccord (assez grave quand même car mon voisin est violent). Notre litige porte sur le fait que mes voisins prétendent maintenant utiliser le chemin sur toute sa longueur pour accéder à l'arrière de leur maison et non plus seulement à l'entrée principale comme avant. Cela me pose problème pour différentes raisons. Je le leur ai signifié par courrier, à plusieurs reprises, rappelant qu'aucune servitude n'avait été définie, mais ils passent outre et aucune autorité ne veut prendre la peine d'intervenir. Ils ont même détruit une barrière que j'avais installée. Est ce que malgré mes courriers ils finiront par bénéficier d'une prescription puisqu'ils y passent de fait, par la force ?
Merci d'avance.