Location maison avec partie de terrain

Bonjour,
je vais louer une maison avec terrain mais pour des raisons de vis-à-vis, je ne souhaite pas laisser l'usage de la totalité du terrain.

Est ce que c'est légal ? même si c'est écrit sur le bail, le locataire pourrait me reprocher de payer la taxe d'habitation pour la totalité du terrain (je suppose que la valeur locative prend en compte la surface du terrain) mais de ne pas pouvoir en profiter.

Sinon, faut il passer par une division de la parcelle par un géomètre pour faire ça dans les règles ?

Merci pour vos avis.