Quand un client externe il a donc accès au répertoire .ssh et donc potentiellement à la clef privée.
Les clefs privées ne sont normalement que lisibles par le propriétaire du fichier.
Si tes utilisateurs externes se connectent tous sur le même utilisateur, alors là c'est problématique et il faut revoir le fonctionnement de leur truc.
S'ils se connectent chacun à son compte, alors chacun doit avoir sa clé, alors il ne devrait pas y avoir de problème.
Ou alors j'ai mal compris ton problème...
En tout cas le .ssh ne peut pas être "caché" à l'utilisateur qui en est propriétaire...