Ça, par contre, c'est pas forcément une bonne idée : en supprimant des paquets installés par défaut, ça peut supprimer le méta-paquet du bureau et entraîner des problèmes lors de futures mises à niveau.
Dans le doute, donne le retour de :
dpkg -l | grep xubuntu-desktop