Bonjour Icekurimu.
Personnellement, je gère également des serveurs à distances mais j'ai jamais eu l'idée de le faire avec un environnement graphique. Aussi je ne suis pas spécialement qualifié pour te répondre. Néanmoins, si il y a une chose dont je suis sûr, c'est que un serveur ne s'installe pas exactement comme une distribution classique c'est-à dire en installant le paquet "ubuntu-desktop" comme tu semble l'avoir fait si je me fie à ton post original.
voici ici un tuto de quelqu'un qui semble avoir fait ce que tu souhaite faire sur un VPS Debian. En espérant qu'il t'aide:
https://www.sky-future.net/2013/02/04/installer-lxde-vnc-desktop-sur-un-vps-debian/
Tu me diras que dans le tuto, c'est sur une base Debian qui est un peu différent de Ubuntu. Néanmoins entre Debian et UBUNTU, il y a beaucoup de simiiltudes.
Note, à la fin du tutoriel la dernière phrase qui dit:
"Vous pouvez ensuite vous connecter en utilisant
le logiciel VNC de votre choix sur
votre ordinateur."