Salut,
Il n'y a pas de truc comme "le système de mail linux".
Sous Linux, de nombreuses solutions de messagerie sont disponibles, à toi de faire un choix.
Tu as par exemple :
- le MTA Postfix
- le MTA Exim
- le MTA Sendmail
- le MDA Dovecot
- le MDA Courier
- le MDA Cyrus
- le serveur de messagerie collaborative OpenXchange
- le serveur de messagerie collaborative Zimbra
- le serveur de messagerie collaborative Kolab
... et ce ne sont que des exemple parmi des dizaines d'autres.
Concernant les protocoles, tous utilisent les protocoles standard, comme n'importe quel logiciel de messagerie normal.
Il y a quelques infos dans la doc d'Ubuntu-fr, dans cette page par exemple, mais c'est très très très loin d'être complet et plutôt superficiel :
http://doc.ubuntu-fr.org/serveurs_messagerie