Dans le moniteur système, tu utilises bien l'option "tuer" ("kill") sur le processus ? Je n'ai pas de moniteur système autre que celui de XFCE sous la main, donc l'option a peut-être un nom différent.
Sinon, tu peux essayer en terminal :
ps -A | grep vlc
Ça t'affichera une ou plusieurs ligne(s) de processus vlc. À gauche, tu as un numéro, c'est l'identifiant. Tu peux alors tuer le processus correspondant avec :
kill -9 [identifiant]
(Sans les crochets.)