Il y a deux choses à prendre en compte :
1) la config ;
2) les paquets.
La config : tout ce qui est config perso (apparence des applis et autre) est géré dans ton dossier perso, pas par les paquets (càd que les supprimer ne va rien changer à ta config perso). Si sur MATE tu as changé des paramètres, il faut les rechanger dans XFCE et/ou faire le tri dans les fichiers de config, ce qui ne va pas forcément être simple mais je peux au moins te donner des indications.
Les paquets : si autoremove n'a pas tout supprimé, il faut les enlever à la main, en connaissant le nom des éléments de MATE. Par exemple, le gestionnaire de fichiers est Caja, donc tu peux supprimer tous les paquets en rapport avec. L'éditeur de texte est Pluma, idem. Mais certaines applis peuvent être utilisées aussi sur XFCE, je crois que c'est notamment le cas d'engrampa (gestionnaire d'archives) ou d'evince (lecteur PDF), par exemple.
Personnellement, je suis sur XFCE mais après être passé par MATE. J'ai fait du nettoyage mais c'est possible que j'aie gardé certaines applis. Néanmoins, si j'essaie de réinstaller ubuntu-mate-desktop, j'ai les paquets suivants sui vont être réinstallés. Tu peux t'inspirer de cette liste pour savoir quoi virer (de préférence avec Synaptic). Note : quand tu supprimes des paquets avec autoremove, utilise l'option --purge pour supprimer aussi les fichiers de config système correspondants. Dans Synaptic, c'est l'option "suppression complète".
a11y-profile-manager-indicator appmenu-registrar bogofilter bogofilter-bdb bogofilter-common caja caja-admin caja-common caja-eiciel caja-extensions-common caja-gtkhash caja-mediainfo caja-open-terminal caja-rename caja-seahorse caja-sendto caja-wallpaper cheese cryptsetup cryptsetup-bin cryptsetup-initramfs cryptsetup-run deja-dup deja-dup-caja eom eom-common evolution evolution-common evolution-data-server evolution-ews evolution-plugin-bogofilter evolution-plugin-pstimport evolution-plugins evolution-rss folder-color-caja gdebi gdebi-core geoclue-2.0 gir1.2-caja-2.0 gir1.2-eom-1.0 gir1.2-gtksource-3.0 gir1.2-keybinder-3.0 gir1.2-mate-panel gir1.2-matedesktop-2.0 gir1.2-matemenu-2.0 gir1.2-matepanelapplet-4.0 gir1.2-pluma-1.0 glew-utils gnome-mpv gnome-video-effects gtkhash iio-sensor-proxy indicator-datetime indicator-notifications liba11y-profile-manager-0.1-0 liba11y-profile-manager-data libayatana-appindicator3-1 libayatana-indicator3-7 libb2-1 libchamplain-0.12-0 libchamplain-gtk-0.12-0 libcheese-gtk25 libconfuse2 libcryptui0a libebook-1.2-20 libebook-contacts-1.2-3 libecal-2.0-1 libedata-book-1.2-26 libedata-cal-2.0-1 libedataserverui-1.2-2 libevolution libexempi8 libgeocode-glib0 libgnome-autoar-0-0 libgnome-autoar-gtk-0-0 libgweather-3-15 libgweather-common libmarco-private2 libmate-desktop-2-17 libmate-menu2 libmate-panel-applet-4-1 libmate-sensors-applet-plugin0 libmate-slab0 libmate-window-settings1 libmatedict6 libmatekbd-common libmatekbd4 libmatemixer-common libmatemixer0 libmateweather-common libmateweather1 libmpv1 libpeas-1.0-python2loader libplank-common libplank1 libpst4 librda-common librda0 libxcb-ewmh2 libxcb-xrm0 libytnef0 lightdm-settings magnus marco marco-common mate-accessibility-profiles mate-applet-appmenu mate-applet-brisk-menu mate-applets mate-applets-common mate-control-center mate-control-center-common mate-desktop mate-desktop-common mate-desktop-environment-core mate-dock-applet mate-hud mate-indicator-applet mate-indicator-applet-common mate-media mate-media-common mate-menu mate-menus mate-netbook mate-netbook-common mate-notification-daemon mate-notification-daemon-common mate-optimus mate-panel mate-panel-common mate-polkit mate-polkit-common mate-power-manager mate-power-manager-common mate-screensaver mate-screensaver-common mate-sensors-applet mate-sensors-applet-common mate-session-manager mate-settings-daemon mate-settings-daemon-common mate-system-monitor mate-system-monitor-common mate-terminal mate-terminal-common mate-themes mate-tweak mate-user-guide mate-utils mate-utils-common mate-window-applets-common mate-window-buttons-applet mate-window-menu-applet mate-window-title-applet mozo mpv orca phantomjs plank pluma pluma-common plymouth-theme-ubuntu-mate-logo plymouth-theme-ubuntu-mate-text python-caja python-caja-common python-mediainfodll python3-configobj python3-pyxattr python3-unidecode python3-xapp python3-xlib qt5-style-platform-gtk2 redshift redshift-gtk rhythmbox rhythmbox-plugin-alternative-toolbar rhythmbox-plugins rofi seahorse seahorse-daemon shotwell shotwell-common slick-greeter tilda ubuntu-mate-artwork ubuntu-mate-core ubuntu-mate-default-settings ubuntu-mate-desktop ubuntu-mate-guide ubuntu-mate-themes ubuntu-mate-wallpapers ubuntu-mate-wallpapers-common ubuntu-mate-wallpapers-eoan ubuntu-mate-wallpapers-photos ubuntu-touch-sounds vala-panel-appmenu-common youtube-dl
Supprime ces paquets petit à petit avec Synaptic, ce qui devrait aussi marquer les dépendances à supprimer et vérifie qu'il ne vire rien qui n'est pas dans la liste (à moins que tu identifies ce que c'est et que tu n'en aies plus besoin). Ça va être un peu long mais je n'ai pas de meilleure méthode à proposer. Et bien sûr, s'il y en a que tu veux garder, ne les désinstalle pas (par exemple, si tu utilises Rhythmbox, tu pourrais vouloir garder certains plugins qui n'étaient pas là d'origine mais qui sont pratiques).