Autorité exclusive et droit de visite

Bonjour,
Il y a deux ans j'ai divorcé et j'ai obtenu l'autorité parentale de ma fille qui a maintenant 6 ans suite au désintérêt du papa pour sa fille depuis sa naissance (il a eu un droit de visite "à volonté commune" et une pension alimentaire à payer) Il ne s'est pas présenté au jugement ni à la conciliation d'avant.
Le papa de ma fille, qui a refait sa vie avec une femme qui a une fille du même âge que ma fille, voudrait désormais aller en justice pour avoir ma fille un we sur deux et la moitié des vacances. Il n'a jamais payé la pension alimentaire. Mais depuis un an il voit ma fille que de temps en temps afin de ne pas perturber ma fille et car je ne lui fais pas confiance (il a des comportements irresponsables envers ma fille)
Je voudrais savoir s'il a des chances d'obtenir ce qu'il veut?
Merci de vos réponses