À mon tour de m'excuser pour le retard, mais je suis bien embêté par une tablette que j'ai transformée en "dessous de plat" et je désespère de pouvoir y réinstaller quelque chose, mais c'est une autre histoire...
Pour ton problème, je pense que les versions "virtualbox-5.0" ou "virtualbox-5.1" (ce que je vois dans Synaptic) sont des versions externes, identifiées comme "Oracle VM VirtualBox" et ilo doit y avoir une incompatibilité avec la version installé via le dépôt qui est seulement "virtualbox" sans indication de version et qui en est (mise à jour aujourd'hui chez moi) à la 5.0.32.
Du coup, je ne vois pas comment désinstaller cette virtalbox-5.1 qui fait de la résistance...
Qu'est-ce que tu as dans l'info de var et dans usr :
ls -l /var/lib/dpkg/info/virtualbox*
ls -l /usr/lib/virtualbox/
ou
ls l /usr/lib/virtualbox-5.1/
pour voir si les scripts d'installation/désinstallation de vistualbox-5.1 apparaissent quelque part ?