bon ben après test, en fait il est possible d'utiliser conjointement virtualbox et kvm, la peuve en image :

Cependant il faut lancer virtualbox en premier, kvm démarrera alors sur tcg accelerator et sera très lent (ça peut être suffisant pour un serveur, il faut que je pousse les tests)
Et il n'y a absolument pas besoin de charger ou décharger les modules (enfin peut être que ça joue sur les perfs..)