[dPluzz+] Télécharger les vidéos Pluzz, C+ et TNT sous Ubuntu

Mmelixgaro · 29 mai 2014

et attends, essayes-tu le script que j'ai posté il y a trente minutes ? si oui, c'est normal que ça ne marche pas, c'est pour canal+.

tu dois aller chercher le script ici

f.x0 · 29 mai 2014

effectivement j'ai essayé avec le script posté il y a trente minutes,
et en prenant celui que tu indiques ici
cela fonctionne.

mais toujours pas les .deb

Mmelixgaro · 29 mai 2014

ok on y voit un peu plus clair.
bon c'est vraiment bizarre car l'interface graphique ne fait pas autre chose qu'exécuter le script bash. es-tu sûr que 1/ tu as bien la place nécessaire sur la partition 2/ tu as bien les droits d'écriture ? Dans ton message, le dossier de destination est /home/Pluzz. C'est correct ?

bishop · 29 mai 2014

Salut !
Je viens de tester la version dPluzz 0.5.1.deb sur Ubuntu Trusty 14.04 64 bits.
Test par défaut avec avconv => pas de problème.
Test avec ffmpeg v1.2 du PPA Jon Severinsson's => pas de problème.

Gaara · 29 mai 2014

Waouh merci melixgaro pour ton script canal+. J'ai installé uni2ascii, car le paquet ascii2uni n'existe pas. ivconv est bien installé par défaut. (14.04)
En lançant le script,

./dCplus.sh -d /vidéos/dPluzz http://www.canalplus.fr/c-divertissement/pid3350-c-salut-les-terriens.html?vid=1068115

le JSON n'est pas récupéré. J'ai essayé en modifiant ascii2uni par uni2ascii, pareil.

Mais bon, c'est très grave pour l'instant. Le problème de f.x0 est bizarre, car bishop confirme que ça marche sous 14.04.
Je ne vois qu'une seule différence dans mon script, ce sont les imports qui sont dans 0.5.1 et pas dans 0.4.3

@f.x0: que renvoie les commandes suivantes: (si ça ne renvoie rien c'est que c'est bon)

python
>>> import stat
>>> import os.path

(Ctrl-D pour quitter python)

De mon côté je vais voir si je ne peux pas essayer de ne pas les utiliser.

Gaara · 29 mai 2014

@f.x0:Sinon, tu dis:

En fait il y a eu un message "annulation du téléchargement" juste avant les 100% '→à 80%),

Encore plus bizarre car dans la version 0.5.1, à aucun moment il y a ce message "annulation du téléchargement" dans les scripts...
Maintenant c'est juste noté "Annulé" dans la barre de progression.

Gaara · 29 mai 2014

@melixgaro:
J'ai enlevé l'option -q de uni2ascii pour voir:

guillaume@guillaume-m2n:~/.dPluzz$ ./dCplus.sh -d /vidéos/dPluzz http://www.canalplus.fr/c-divertissement/pid3350-c-salut-les-terriens.html?vid=1068115
DEBUT DU TRAITEMENT
-->RECUPERATION DU JSON
Total input characters                   514
Characters converted to escapes            0
Characters replaced with ASCII             0
Characters deleted                         0
-->TRAITEMENT DU JSON
-->RECUPERATION DU FICHIER VIDEO
avconv version 10.1, Copyright (c) 2000-2014 the Libav developers
  built on May 19 2014 18:22:22 with gcc 4.8 (Ubuntu 4.8.2-19ubuntu1)
: No such file or directory
FIN DU TRAITEMENT
Votre Fichier Final Est :
/vidéos/dPluzz/_068115
068115
1068115.mkv
ARRÊT DU PROGRAMME

-> essai en enlevant "?vid=1068115" de l'adresse:

guillaume@guillaume-m2n:~/.dPluzz$ ./dCplus.sh -d /vidéos/dPluzz http://www.canalplus.fr/c-divertissement/pid3350-c-salut-les-terriens.html
DEBUT DU TRAITEMENT
-->RECUPERATION DU JSON                                                                                                                
Total input characters                  1829                                                                                           
Characters converted to escapes            0                                                                                           
Characters replaced with ASCII             0                                                                                           
Characters deleted                         0                                                                                           
-->TRAITEMENT DU JSON                                                                                                                  
-->RECUPERATION DU FICHIER VIDEO
avconv version 10.1, Copyright (c) 2000-2014 the Libav developers
  built on May 19 2014 18:22:22 with gcc 4.8 (Ubuntu 4.8.2-19ubuntu1)
[h264 @ 0x3433740] non-existing SPS 0 referenced in buffering period
    Last message repeated 1 times
[mpegts @ 0x3432780] max_analyze_duration reached
[mpegts @ 0x3432780] Estimating duration from bitrate, this may be inaccurate
[h264 @ 0x354ab40] non-existing SPS 0 referenced in buffering period
[hls,applehttp @ 0x3417080] max_analyze_duration reached
Input #0, hls,applehttp, from 'http://us-cplus-aka.canal-plus.com/i/1405/SALUT_LES_TERRIENS_EMISSION_140510_AUTO_24424_169_video_,MOB,L,H,HD,.mp4.csmil/index_3_av.m3u8':
  Duration: 00:13:06.50, start: 0.100511, bitrate: 0 kb/s
  Program 0 
    Metadata:
      variant_bitrate : 0
    Stream #0.0: Video: h264 (High), yuv420p, 640x360 [PAR 90:90 DAR 16:9], 25 fps, 90k tbn, 50 tbc
    Stream #0.1: Audio: aac, 44100 Hz, stereo, fltp, 116 kb/s
    Stream #0.2: Data: [21][0][0][0] / 0x0015
/vidéos/dPluzz/Salut_Les_Terriens_du_10_05_14_1068098.mkv: No such file or directory
FIN DU TRAITEMENT
Votre Fichier Final Est :
/vidéos/dPluzz/Salut_Les_Terriens_du_10_05_14_1068098.mkv
ARRÊT DU PROGRAMME

Mais pas de fichier .mkv dans le répertoire.

-> essai sans l'option -d /vidéos/dPuzz: Réussite

guillaume@guillaume-m2n:~/.dPluzz$ ./dCplus.sh http://www.canalplus.fr/c-divertissement/pid3350-c-salut-les-terriens.html
DEBUT DU TRAITEMENT
-->RECUPERATION DU JSON
Total input characters                  1829
Characters converted to escapes            0
Characters replaced with ASCII             0
Characters deleted                         0
-->TRAITEMENT DU JSON
-->RECUPERATION DU FICHIER VIDEO
avconv version 10.1, Copyright (c) 2000-2014 the Libav developers
  built on May 19 2014 18:22:22 with gcc 4.8 (Ubuntu 4.8.2-19ubuntu1)
[h264 @ 0x2aaa740] non-existing SPS 0 referenced in buffering period
    Last message repeated 1 times
[mpegts @ 0x2aa9780] max_analyze_duration reached
[mpegts @ 0x2aa9780] Estimating duration from bitrate, this may be inaccurate
[h264 @ 0x2bc1b40] non-existing SPS 0 referenced in buffering period
[hls,applehttp @ 0x2a8e080] max_analyze_duration reached
Input #0, hls,applehttp, from 'http://us-cplus-aka.canal-plus.com/i/1405/SALUT_LES_TERRIENS_EMISSION_140510_AUTO_24424_169_video_,MOB,L,H,HD,.mp4.csmil/index_3_av.m3u8':
  Duration: 00:13:06.50, start: 0.100511, bitrate: 0 kb/s
  Program 0 
    Metadata:
      variant_bitrate : 0
    Stream #0.0: Video: h264 (High), yuv420p, 640x360 [PAR 90:90 DAR 16:9], 25 fps, 90k tbn, 50 tbc
    Stream #0.1: Audio: aac, 44100 Hz, stereo, fltp, 116 kb/s
    Stream #0.2: Data: [21][0][0][0] / 0x0015
Output #0, matroska, to '/home/guillaume/Salut_Les_Terriens_du_10_05_14_1068098.mkv':
  Metadata:
    encoder         : Lavf55.12.0
    Stream #0.0: Video: H264 / 0x34363248, yuv420p, 640x360 [PAR 90:90 DAR 16:9], q=2-31, 1k tbn, 90k tbc
    Stream #0.1: Audio: aac, 44100 Hz, stereo, 116 kb/s
Stream mapping:
  Stream #0:0 -> #0:0 (copy)
  Stream #0:1 -> #0:1 (copy)
Press ctrl-c to stop encoding
frame=19662 fps= 22 q=-1.0 Lsize=  142276kB time=786.44 bitrate=1482.0kbits/s    
video:129571kB audio:12297kB global headers:0kB muxing overhead 0.287203%
FIN DU TRAITEMENT
Votre Fichier Final Est :
/home/guillaume/Salut_Les_Terriens_du_10_05_14_1068098.mkv
ARRÊT DU PROGRAMME

Le fichier est bien dans la racine du home.
Super!

Edit: L'option -d fonctionne bien, j'avais mal indiqué le dossier de réception.
Génial!

Reste plus qu'à intégrer ça dans mon code :p

f.x0 · 29 mai 2014

J'ai passé les commandes et cela n'affiche rien, donc cela doit être bon.

python
Python 2.7.3 (default, Feb 27 2014, 19:58:35) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import stat
>>> import os.path
>>>

Sinon :
1) place nécessaire sur la partition → OUI
2/ tu as bien les droits d'écriture ? → OUI
Dans ton message, le dossier de destination est /home/Pluzz. C'est correct ? → OUI

En ce qui concerne le message d'erreur "annulation du téléchargement"
je n'ai pas eu le temps de bien voir mais cela semble bien que c'était "annulé" dans la barre de progression

Est-il possible que j'ajoute une commande dans le script du .deb
pour faire une pause et afficher le contenu des variables
afin de tenter de comprendre pourquoi le téléchargement s'arrête avant la fin ?
Si oui laquelle ? ou lesquelles ?

Gaara · 29 mai 2014

@f.x0:
Ok. Donc voilà ce que tu vas faire:
1) edite /usr/share/dPluzz/dPluzz.py (si gedit est ton editeur)

gksudo gedit /usr/share/dPluzz/dPluzz.py

2) Commente (ajouter #) la ligne 345

          self.v.connect ("child-exited", lambda term: self.verif(self, a))

devient

#         self.v.connect ("child-exited", lambda term: self.verif(self, a))

3)Enregistre, ferme gedit, et relance dPluzz.

Tu n'auras pas le message "Terminé" quand ce sera téléchargé, ni le message "Annulé" quand tu annulera.
L'annulation va marcher, et le fichier ne sera pas détruit si tu annules.
En fait, toute la partie du code "def verif(self, dPluzz, donnees=None):" de la ligne 119 jusqu'à 146 ne sera pas appelée.

Une fois téléchargé, regarde si ton mkv est entier, et dis moi si le % va jusqu'à 100%. Sinon, c'est qu'il y a eu une coupure.

Edit: la case "utiliser ffmpeg" restera grisée. Cette fonction "def verif" est normalement appelée quand le script est terminé. Donc tout ce qui doit être activé après le téléchargement ne marchera pas.

Gaara · 29 mai 2014

Autre solution:
Pour ne pas désactiver toute cette fonction "def verif" et garder le fichier téléchargé, même s'il n'est pas terminé:
édite /usr/share/dPluzz/dPluzz.py, et commente la ligne 144

os.remove(emission)

devient

#os.remove(emission)

Tu auras quand même le message "Annulé" si ça coupe, car si le fichier n'est pas complet et que cette fonction est appelée, elle vérifie si c'est à 100%

f.x0 · 29 mai 2014

en faisant

#         self.v.connect ("child-exited", lambda term: self.verif(self, a))

ou

#os.remove(emission)

j'ai bien la vidéo téléchargée à 100% et qui fonctionne.

Par contre le programme crash et ferme d'un coup
avec le message dans le terminal

dPluzz
Erreur de segmentation

j'ai refait le test avec ffmpeg et cela donne la même chose.

Je pense que le script est OK mais qu'il y a peut-être un souci avec ffmpeg ou avconv sous Ubuntu 12.04.

Gaara · 29 mai 2014

Pour le savoir, essaye ça:

ffmpeg -sameq -i vidéo_d'entrée.mkv -f flv vidéo_sortie.flv

sinon, un conflit entre ffmpeg et avconv?
peut-être essayer d'un supprimer un pour voir..

f.x0 · 29 mai 2014

Apparemment ffmpeg fonctionne très bien.

Je continue les tests avec dPluzz pour essayer de comprendre...

Mmelixgaro · 29 mai 2014

à Gaara

Effectivement, ça beuguasse un peu.J'ai codé ça vite fait. Voilà une version corrigée.

#!/bin/bash

kill_jobs()
{
    pkill -TERM -P "$BASHPID"
    echo "ARRÊT DU PROGRAMME"
}

trap kill_jobs EXIT

usage()
{
    cat << EOF
usage: $(basename $0) [OPTIONS] URL

OPTIONS:
-f        utilise ffmpeg au lieu de avconv
-d DIR    dossier de destination
-u URL    adresse de la vidéo
-h        affiche cette aide
EOF
}

if [[ $# == 0 ]]
then
    usage
    exit 1
fi

IsFFMPEG="False"

while getopts "fd:hvu:" opt; do
    case $opt in
        "f")
            IsFFMPEG="True"
            ;;
        "d")
            Directory="${OPTARG%%/}"
            ;;
        "h")
            usage
            exit 1
            ;;
        "u")
            URL="${OPTARG}"
            ;;
	"v")
            set -x
	    ;;
	"?")
	    echo "Invalid option: -$OPTARG"
	    usage
	    exit 1
	    ;;
    esac
done

shift $(($OPTIND-1))

if [[ -z "${URL}" ]]
then
    URL="${1}"
fi

if [[ "x${Directory}" == "x" ]] 
then
    Directory="${HOME}"
fi

#COULEUR
VERT="\\033[0;32m"
ROUGE="\\033[7;0;31m"
ROSE="\\033[0;35m"
BLEU="\\033[1;34m"
JAUNE="\\033[0;33m"
NORMAL="\\033[0;39m"

echo -e "$VERT""DEBUT DU TRAITEMENT""$NORMAL"

#Recuperation de l' ID de l' emission
UserAgent='Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:19.0) Gecko/20100101 Firefox/19.0'
ID=$(wget -q -U "${UserAgent}" "${URL}" -O - | grep -E "videoId=.*CanalPlayerEmbarque" | sed 's+.*videoId=.\([0-9]*\).*+\1+g')

#wget du json conteant les infos
echo -e "$ROSE""-->RECUPERATION DU JSON""$NORMAL"
JSON="$(wget -q -U "${UserAgent}" "http://service.canal-plus.com/video/rest/getVideos/cplus/${ID}?format=json" -O - | sed 's+\\/+/+g' | ascii2uni -q -a "U")"

#Recuperation des infos
echo -e "$ROSE""-->TRAITEMENT DU JSON""$NORMAL"
DATE="$(echo "${JSON}" | sed 's+.*DATE..\"\([^\"]*\)\".*+\1+g')"
PROG="$(echo "${JSON}" | sed 's+.*\"TITRE..\"\([^\"]*\)\".*+\1+g' | iconv -f utf8 -t ascii//TRANSLIT//IGNORE | sed -e 's/[^A-Za-z0-9._-]/_/g')"
M3U="$(echo "${JSON}" | sed 's+.*HLS..\"\([^\"]*m3u8\)\".*+\1+g')"

#Recuperation du master M3U et traitement
echo -e "$BLEU""-->RECUPERATION DU FICHIER VIDEO""$NORMAL"
M3U2="$(wget -q -U "${UserAgent}" "${M3U}" -O - | grep m3u8 | tail -1)"

if [[ "${IsFFMPEG}" == "False" ]]
then
    avconv -i "${M3U2}" -vcodec copy -acodec copy "${Directory}/${PROG}_${ID}.mkv"
else
    ffmpeg -i "${M3U2}" -vcodec copy -acodec copy "${Directory}/${PROG}_${ID}.mkv"
fi

echo -e "$ROUGE""FIN DU TRAITEMENT""$NORMAL"
echo -e "$JAUNE""Votre Fichier Final Est :""$NORMAL"
echo -e "$VERT""${Directory}/${PROG}_${ID}.mkv""$NORMAL"

exit 0

f.x0 · 29 mai 2014

BONNE NOUVELLE !!!

le script dPluzz-cli.sh fonctionne nickel
lorsque je le lance en ligne de commande

/usr/share/dPluzz$ ./dPluzz-cli.sh -u http://pluzz.francetv.fr/videos/image_du_jour_roland_garros_,102812610.html -f

DEBUT DU TRAITEMENT
-->RECUPERATION DU JSON
-->TRAITEMENT DU JSON
-->RECUPERATION DU FICHIER VIDEO
ffmpeg version 0.8.10-4:0.8.10-0ubuntu0.12.04.1, Copyright (c) 2000-2013 the Libav developers
  built on Feb  6 2014 20:56:59 with gcc 4.6.3
*** THIS PROGRAM IS DEPRECATED ***
This program is only provided for compatibility and will be removed in a future release. Please use avconv instead.
[applehttp @ 0x18ee9c0] max_analyze_duration reached
[applehttp @ 0x18ee9c0] Estimating duration from bitrate, this may be inaccurate
Input #0, applehttp, from 'http://ftvodhdsecz-f.akamaihd.net/i/streaming-adaptatif_france-dom-tom/2014/S22/J1/102812610-20140526-,398,632,934,k.mp4.csmil/index_2_av.m3u8?null=':
  Duration: 00:00:49.00, start: 10.106000, bitrate: N/A
    Stream #0.0: Video: h264 (Main), yuv420p, 704x396 [PAR 1:1 DAR 16:9], 25 tbr, 90k tbn, 50 tbc
    Stream #0.1: Audio: aac, 48000 Hz, stereo, s16
    Stream #0.2: Data: [21][0][0][0] / 0x0015
Output #0, matroska, to '/home/fred/image_du_jour_roland_garros_102812610.mkv':
  Metadata:
    encoder         : Lavf53.21.1
    Stream #0.0: Video: libx264, yuv420p, 704x396 [PAR 1:1 DAR 16:9], q=2-31, 1k tbn, 25 tbc
    Stream #0.1: Audio: libvo_aacenc, 48000 Hz, stereo
Stream mapping:
  Stream #0.0 -> #0.0
  Stream #0.1 -> #0.1
Press ctrl-c to stop encoding
frame=  983 fps=180 q=-1.0 Lsize=    4300kB time=39.31 bitrate= 896.1kbits/s    
video:3960kB audio:320kB global headers:0kB muxing overhead 0.481008%
FIN DU TRAITEMENT
Votre Fichier Final Est :
/home/Pluzz/image_du_jour_roland_garros_102812610.mkv

Donc le problème doit se situer dans le script dPluzz.py
mais je ne sais pas encore d'où vient le message "erreur de segmentation".

Je continue mes recherches, mais je pense qu'avec cette bonne nouvelle
vous pourrez mieux situer l'origine du problème.

Edit : le script dPluzz-cli.sh fonctionne aussi nickel (avec avconv)
lorsque je le lance en ligne de commande

/usr/share/dPluzz$ ./dPluzz-cli.sh -u http://pluzz.francetv.fr/videos/image_du_jour_roland_garros_,102812610.html

Gaara · 29 mai 2014

Tiens, tu mets l'option "-f" à la fin de la ligne? Si ça marche mieux comme ça, pourquoi pas.
Mais dans tes lignes de commandes, il n'y a pas le dossier de destination. Dans mon code, "dest" est le chemin voulu. Il faut que tu le mettes là ou ça marche le mieux...

gksudo gedit /usr/share/dPluzz/dPluzz.py

-> ligne 63 à modifier:

                  self.child_pid = self.v.fork_command(None, ['/bin/bash', 'dPluzz-cli', '-f', dest, '-u', adresse])

à changer par: (c'est un exemple, car ici je ne change pas la position de "dest") -> a toi de voir ou c'est mieux de le placer. J'ai seulement mis '-f' à la fin

                  self.child_pid = self.v.fork_command(None, ['/bin/bash', 'dPluzz-cli', '-d ', dest, '-u', adresse, '-f'])

-> et la ligne 65 à modifier aussi:

                  self.child_pid = self.v.fork_command(None, ['/bin/bash', 'dPluzz-cli', dest, '-u', adresse])

ici, je ne change rien, c'est à toi de voir où placer dest (dest est une variable, donc sans ' ')

                  self.child_pid = self.v.fork_command(None, ['/bin/bash', 'dPluzz-cli', '-d ', dest, '-u', adresse])

Edit: Ajout de l'argument '-d ' (ne pas oublier l'espace)

Gaara · 29 mai 2014

D'ailleurs ça me donne une idée pour n'avoir qu'une seule ligne à la place de deux... TODO pour 0.5.2 !

Mmelixgaro · 29 mai 2014

à Garaa,
il manque un "-d" devant la variable dest ?
tu as vu ma maj pour c+ ?

Mmelixgaro · 29 mai 2014

oui l'ordre des options n'a pas trop d'importance
donc

./script.sh -f -d /dossier -u http://adresse.html

ou

./script.sh -u http://adresse.html -d /dossier -f

devrait donner la même chose

Par contre

./script.sh http://adresse.html -d /dossier

téléchargera bien la vidéo mais ça ne sera pas dans le dossier demandé.

Gaara · 29 mai 2014

@melixgaro:
Ah oui, c'est pas faux !
Je modifie le post #196, ça marchera surement mieux sous 12.04
Pour ton script, ça marche impeccable, avec "?vid=1068115" à la fin de l'adresse. Et les vidéos sont entières.
Vu que c'est à peu près la même chose, ce sera pas trop difficile de l'intégrer à dPluzz. (a part peut-être mon moteur de recherche, j'ai commencé à regarder comment ça marche sur le site de canal.