Salut,
Ce que tu souhaites, c'est un serveur mail. Pas besoin de puissance pour ça, surtout si c'est un usage familial, ça tourne sans problème sur un raspberry, y compris les versions plus anciennes que le 4.
Tu peux regarder du côté de Postfix/Dovecot pour monter le serveur. Cependant si tu n'as aucune expérience dans le domaine, je te conseille de te tourner vers une solution toute faîte comme
Yunohost qui embarque un serveur mail par défaut et permet la création des utilisateurs à travers une interface web.
Par contre si tu souhaites l'héberger à domicile, tu peux être confronté à quelques problèmes dû aux limitations des FAI (pour faire simple).
Quand tu parles de serveur virtuel, tu penses à quoi?
Si ma réponse te parait correspondre à ta demande, le sujet serait mieux placé dans la section serveur. Demande dans ce cas à un modérateur de déplacer.