C'est bon je suis tombé sur la solution.
Il faut éditer ce fichier en admin avec un "sudo gedit ou sudo nano" :
/etc/pulse/default.pa
Trouvez cette ligne et la commenter avec "#" devant comme ceci :
load-module module-switch-on-port-available
#load-module module-switch-on-port-available
Rechargez en tapant :
pulseaudio -k
Elle ne désactive pas la sortie mais ça ne switch plus dessus par défaut .
Je pense que ça fonctionne pour d'autre versions d'Ubuntu que la 19.10.
Source