Il est effectivement installé en deb (depuis le PPA), tout a l'air ok. Tu peux éventuellement supprimer les paquets en rc (= désinstallés mais fichiers de config restés derrière) :
sudo apt-get remove --purge libreoffice-java-common libreoffice-sdbc-firebird libreoffice-sdbc-hsqldb
À part ça, je pense que tout est bon.