Séparation des biens en union libre

Bonjour,je voudrais votre avis à propos de ce qu'il m'arrive.
Voilà je vis en union libre avec mon ami et lorsque nous nous sommes installés,nous avons acheté une maison. Lui avait un apport correspondant à 60% de la valeur, tandis que moi j'ai fait un emprunt à mon nom correspondant au 40% restant le tout étant acté devant un notaire.
Or depuis peu mon compagnon me fait valoir que le prêt ayant été payé avec le compte commun, il est en droit de réclamer une part supplémentaire correspondant à 20% du prix total de la maison!
Est-ce possible?