Bonjour,
Le versement des loyers pour un bâtiment concerné par l'arrêté peut bien être suspendu :
https://www.legifrance.gouv.fr/codes/article_lc/LEGIARTI000042342990/2021-01-01
Pour les locaux visés par un arrêté de mise en sécurité ou de traitement de l'insalubrité pris en application de l'article L. 511-11 ou de l'article L. 511-19, sauf dans le cas prévu au deuxième alinéa de l'article L. 1331-22 du code de la santé publique ou lorsque la mesure est prise à l'encontre de la personne qui a l'usage des locaux ou installations, le loyer en principal ou toute autre somme versée en contrepartie de l'occupation du logement cesse d'être dû à compter du premier jour du mois qui suit l'envoi de la notification de l'arrêté ou de son affichage à la mairie et sur la façade de l'immeuble, jusqu'au premier jour du mois qui suit l'envoi de la notification ou l'affichage de l'arrêté de mainlevée.
Les loyers ou toutes autres sommes versées en contrepartie de l'occupation du logement indûment perçus par le propriétaire, l'exploitant ou la personne ayant mis à disposition les locaux sont restitués à l'occupant ou déduits des loyers dont il devient à nouveau redevable.
Dans votre cas, vous parlez d'un bâtiment "se trouvant dans votre jardin".
Si vous avez encore la possibilité d'habiter dans le logement, autrement dit si vous êtes seulement privés du jardin vous devez continuer à payer les loyers. Vous pouvez simplement demander une réduction parce que vous êtes privé du jardin.
Vous n'êtes dispensé du paiement des loyers que si votre logement lui-même est concerné par l'arrêté (ce qui est logique puisqu'il est jugé inhabitable).