Pour cela j'ai pensé qu'il était peut-être possible de générer une paire asymétrique comme pour SSL/TLS ou a l'installation on entrerait les données pour générer une clef publique et une clefs privée permettant de crypter les fichiers de paires Key / IV sur chaque machine ou même utiliser cette méthode pour s'échanger des fichiers.
je crois qu'il faut que tu laisses openssl enc à ce qu'il a été prévu qu'il fasse; c'est à dire du chiffrement symétrique des datas et pas de l'authentification des machines. En plus, cela suppose quel protocole, quel service, vas-tu utiliser pour "échanger des fichiers", dans le contexte de l'authentification des machines ?!
Tu peux t'inspirer de cryptonit, une application qui exploitait les x509 client (certificat ssl client), pkcs12, hors connexion, hors protocole, en utilisant openssl smime, sans l'option de sortie output smime, permettant des datas pkcs7.
D'ailleurs, cela n'empêche pas, d'exploiter, avec connexion, avec protocole, les x509; openssl x509, openssl s_client ...