Bonjour,
Si le permis de construire a été accordé, il n'y a pas de raison de penser à une infraction.
Avez-vous vérifié le PLU ? Il n'est pas interdit de construire des immeubles de 3 ou 4 étages à plusieurs mètres de votre limite de propriété.
Concernant les bruits des chantiers, les entreprises doivent respecter les horaires légaux et un niveau maximum de décibels, sinon vous avez des recours :
Lire ce lien :
https://www.service-public.fr/particuliers/vosdroits/F31117/personnalisation/resultat?lang=&quest0=1&quest=
Vous pouvez également saisir le tribunal pour le trouble anormal de voisinage si vous craignez une perte d'ensoleillement. Mais selon ce que vous décrivez (distance et hauteur semblent assez classiques), vous avez peu de chance d'avoir une indemnisation à ce titre.