Si tu regardes la clef utilisée depuis le PC du boulot, il me semble que c'est normal qu'elle soit différente de celle en local (le ssh user@127.0.0.1) car tu utilises deux clefs différentes. Et le PC de la maison qui connait la clef ssh du PC du boulot.
Pour la commande tracert, tu l'as fait depuis où?. Ca sert juste à indiquer par où tu passes (par quelle routeur) pour aller sur l'IP 80.236.9.181. Si c'est l'IP de ta box chez toi et que tu fais ça de chez toi, ça ne passe par aucun routeur...
Enfin, pour sécuriser ton ssh, tu peux ajouter fail2ban
http://doc.ubuntu-fr.org/fail2ban et voir si tu as des tentatives de connexion intempestive.
Tu peux aussi changer le port ssh (le mettre sur autre chose que 22).