Achat à 2 - prêt relai seul

Bonjour,
Nous achetons à 2 avec mon conjoint une maison à 50-50.
Nous ne sommes ni marié ni pacsé.
Lui achète sa part comptant avec ses fonds propres.
De mon côté, je finance ma partie en prêt relai sur un appartement dont il n’y a pas d’emprunt et dont je suis la seule propriétaire.
il était convenu avec mon banquier et, avant signature du compromis, que le prêt relais soit uniquement en mon nom, me permettant ainsi de financer ma moitié de la maison.
Seulement aujourd’hui, après signature du compromis ces derniers me disent que mon conjoint doit aussi apparaître! Et ainsi le prêt relai doit être au nom de Mr et de Mme... l’argent transiterai ensuite sur un compte commun pour être ensuite verser au notaire...
je ne suis vraiment pas en adéquation avec se système. Pour moi si le prêt relai est à nos 2 noms cela signifie que l’argent devient commun...
Quelqu’un pourriez t-il m’éclairer ? Je ne suis vraiment pas rassuré et me sens bloqué par mon banquier qui ne tient pas sa parole.
Cdt
Julie