Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[script/bash] Télécharger de nombreuses quotidiennes de canal+

philpep-tlse

Ok,

Mes problèmes :
-Avec zenity 2.20 ça ne machait pas sur ma gentoo + problème d'encodage UTF-8, mais je suis passé à zenity 2.22 et là ben tout marche super.

En tous cas félicitation, il y a de grandes chances que j'utilise ce script quotidiennement 😃

Juste une remarque, traditionnellement on fait des options comme ça :

--config
ou
-c
mais pas
-config

Mais c'est juste pour fignoler.
Je vais jeter un oeil à ton script et je suis sur que je vais beaucoup apprendre sur Zenity.
Donc double merci :cool:

jean bono

idem
ca m'a cree plein de dossiers avec des noms genre "de" "mode" "script"...

Ras'

arg :\
j'ai pas le temps de regarder ça ce soir, je venais juste manger un morceau et j'en profitais juste pour passer voir si ça allais, je suis en plein festival ...
Si quelqu'un peut upper l'ancienne version pour que ceux qui ont fait la mise à jour foireuse ait quand même accès aux émissions (j'ai pas gardé de backup :)
Je corrigerais ça demain, promis

jean bono

voila une version qui marche tres bien

#!/bin/bash                                                                                                                                                   
#                                                                                                                                                             
# But: Telecharger des videos de canalplus.fr et les mettre dans une playlist                                                                                                   
# Auteur : Ras' 
#
#
# TODO :
# Téléchargement des émissions de plusieurs jours simultanément ( en cas d'absence prolongée ^^ )
# Ne pas télécharger des émissions déja présentes
# Rajouter un mode de gestion des émissions hebdomadaires
# Mettre une barre de progression
# Mettre une icone de lancement dans Applications/Internet
# Mettre au point un système pour les guignols (téléchargement quotidien / téléchargement du best of hebdomadaire / les deux)
# Mettre au point un système de mise à jour du script
#

if ! [[ -e .canal_config ]]
then
set "config"
fi


# Si l'option d'appel est 'config' le script est lancé uniquement pour la création/modification du fichier canal_config
if [[ $1 == "config" ]]
then
{
rm -f .canal_config
echo "Configuration en cours..."


# Choix du répertoire de téléchargement
zenity --info --title="Choix du répertoire" --text="Choisir un répertoire pour le téléchargement des émissions
(un sous répertoire \"Canal+/\" sera automatiquement créé)"
REP=$(zenity --title="Choisir un répertoire pour le télécharchement des émissions" --file-selection --directory)
echo $REP > .canal_config


# Choix du mode de fonctionnement
zenity --list --checklist --height=200 --width=200 \
    --title="Lecteur vidéo" \
    --text="Choix du lecteur de vidéos"\
    --column="" --column="" --column="mode" \
    --hide-column=2 \
    --separator=" " \
    FALSE vlc "vlc media player"\
    FALSE mplayer "mplayer movie player"\
    FALSE totem "totem" >> .canal_config


# Choix du mode de fonctionnement
zenity --list --checklist --height=200 --width=750 \
    --title="Mode de fonctionnement" \
    --text="Choix du mode de fonctionnement"\
    --column="" --column="" --column="mode" \
    --hide-column=2 \
    --separator=" " \
    FALSE QUO "Quotidien : les anciennes vidéos sont supprimées et remplacées par les nouvelles"\
    FALSE HIS "Historique : un dossier est créé pour chaque jour, les anciennes vidéos ne sont pas supprimées" >> .canal_config


# Choix des émissions à télécharger
zenity --list --checklist --height=555 --width=400\
    --title="Quotidiennes (ou presque)" \
    --text="Choix des émissions à télécharger"\
    --column="" --column="" --column="Emissions" \
    --hide-column=2 \
    --separator=" " \
    TRUE ZAP "Le zapping"\
    TRUE PJA "Le petit journal actu de Yann Barthès"\
    TRUE GUI "Les guignols de l'info"\
    TRUE MET "La météo de Louise Bourguoin"\
    TRUE PJP "Le petit journal people de Yann Barthès"\
    TRUE TOP "Le top 5 de Thomas Ngijol"\
    TRUE SAV "Le service après vente d'Omar et Fred"\
    TRUE BAQ "La boite à questions"\
    TRUE RDP "La revue de presse de Chris Esquerre"\
    TRUE STO "La chronique de Sebastien Tohen"\
    TRUE ADM "L'avis de Mouloud"\
    TRUE DSH "Le daily show"\
    TRUE SGU "La chronique de Stephane Guillon"\
    TRUE GRO "Le Groland"\
    TRUE TAC "Les têtes à claques"\
    TRUE PEP "Les Pépites du net" \
    TRUE MDH "Le meilleur du hier (semaine courante)" >> .canal_config

}

# Choix de la qualité des vidéos
zenity --list --checklist --height=200 --width=650 \
    --title="Qualité des vidéos" \
    --text="Choix de la qualité de lecture des vidéos"\
    --column="" --column="" --column="mode" \
    --hide-column=2 \
    --separator=" " \
    FALSE HIGH "High : Optimisation de la qualité d'image, vidéos plus lourde "\
    FALSE LOW "Low : Optimisation de la vitesse de téléchargement, qualité d'image moins bonne" >> .canal_config

echo "Configuration terminée"
exit
fi
#Fin de la configuration, le script est arreté






touch .canal_log
parent_dir=$(pwd)
REP=$(head -1 .canal_config)
mkdir -p $REP/Canal+
cd $REP/Canal+


# Vérification de la date de téléchargement choisie
# Si le script est lancé avec l'option "date"
if [[ $1 == "date" ]]
then
date=$( zenity --calendar --date-format=%d/%m/%y --text="Choix de la date" )
    if [[ "$date" == "`date +%d/%m/%y`" ]]
    then date=$( date +%d/%m/%y --date '1 days ago' )
    fi

# Sinon
else 
if [[ -z $1 ]]
then d="1"
else d=$1
fi
date=$( date +%d/%m/%y --date ''$d' days ago' )
fi
echo "Téléchargement des émissions du $date en cours...
"


# Définition du mode de fonctionnement
if ( grep -q QUO $parent_dir/.canal_config )
then
rm -f *.flv
rm -f playlist.m3u
else
folder=$( date +%Y-%d-%m -d $date )
mkdir -p $folder
cd $folder
fi


# Détection de la qualité
if ( grep -q HIGH $parent_dir/.canal_config )
then
quality="H"
else
quality="L"
fi


# création de la playlist
echo "# http://vod-flash.canalplus.fr/" > playlist.m3u



# Fonction qui vérifie dans le fichier de config si la vidéo doit être téléchargée ou non, puis lance le téléchargement si nécessaire
function download
{
    if ( grep -q $1 $parent_dir/.canal_config )
    then
    get_http "$2"
    get_video "$3" "$4"
    fi
    rm -f .menu_src_code
    rm -f .video_src_code
    unset video_id
}


function download_2
{
dd=${date:0:2}
mm=${date:3:2}
yy=${date:6:2}
date_us="$mm/$dd/$yy"
day=$( date +%A -d $date_us )
date=$( echo $day | tr 'a-z' 'A-Z' )
    if [[ $date == "SAMEDI" ]] || [[ $date == "DIMANCHE" ]]
    then
    date="WEEK-END"
    fi
    if ( grep -q $1 $parent_dir/.canal_config )
    then
    get_http "$2"
    get_video "$3" "$4"
    fi
    rm -f .menu_src_code
    rm -f .video_src_code
    unset video_id
date="$dd/$mm/$yy"
}


# fonction qui récupère le code source de la page contenant la vidéo dans un fichier ".menu_src_code"
function get_http
{
    wget -q --save-cookies cookie.txt --keep-session-cookies $1 -O .menu_src_code 
    rm -f .menu_src_code 
    wget -q --load-cookies cookie.txt --keep-session-cookies $1 -O .menu_src_code
    rm -f cookie.txt    
}


# Fonction qui récupère le nom de la page de téléchargement de la vidéo dans le fichier ".video_src_code", récupère ensuite l'url direct de la vidéo, puis la télécharge
function get_video
{
    if [[ -z $2 ]]
    then 
    {
    aVideos=$( cat .menu_src_code | grep "$date"  | cut -f2 -d [ | cut -f1 -d ] ) # Majorité des émissions
    if ! [[ -z $aVideos ]]
    then
    video_id=$( cat .menu_src_code | grep "aVideos\[$aVideos\]" | grep "CONTENT_ID" | cut -f2 -d '"' | head -n 1 )
    fi
    }
    else video_id=$( cat .menu_src_code | grep "$date" | grep chooseVideo | cut -f2 -d "'" | head -n 1 ) # Pepites sur le net, têtes à claques et meilleur du hier
    fi
    if [[ -z $aVideos ]] && [[ -z $video_id ]]
    then 
    echo "L'émission '$1' n'a pu être téléchargée"
    echo "_$1" >> $parent_dir/.canal_log
    else
    {
    page="http://www.canalplus.fr/flash/xml/module/embed-video-player/embed-video-player.php?video_id=$video_id"
    wget -q -O .video_src_code "$page"
    url=$( cat .video_src_code | grep -o "http://[^ ]*$quality.flv" )
    wget -q $url
    echo "Fin du téléchargement de l'émission : $1"
    VIDEO=$( echo $url | cut -c 31- )
    echo $VIDEO >> playlist.m3u
    }
    fi
    set --
}




#Téléchargement des émissions :

# Zapping
nom="le zapping"
url="http://www.canalplus.fr/index.php?pid=1830"
download ZAP "$url" "$nom"

# Petit Journal Actu
nom="le petit journal actu"
url="http://www.canalplus.fr/c-humour/pid2397-c-le-petit-journal.html?catId=608"
download PJA "$url" "$nom"

# Guignols
nom="les guignols de l'info"
url="http://www.canalplus.fr/index.php?pid=1784"
download GUI "$url" "$nom"

# Météo
nom="la météo de Louise Bourguoin"
url="http://www.canalplus.fr/index.php?pid=2028"
download MET "$url" "$nom"

# Petit Journal People
nom="le petit journal people"
url="http://www.canalplus.fr/c-humour/pid2397-c-le-petit-journal.html?catId=613"
download PJP "$url" "$nom"

# Top 5
nom="le top 5 de Thomas Ngijol"
url="http://www.canalplus.fr/c-humour/pid2053-c-encore-de-rire.html?catId=1282"
download TOP "$url" "$nom"

# SAV des emissions
nom="le Service Après Vente des émissions"
url="http://www.canalplus.fr/index.php?pid=1782"
download SAV "$url" "$nom"

# Boite à questions
nom="la boite à questions"
url="http://www.canalplus.fr/index.php?pid=1786"
download BAQ "$url" "$nom"

# Revue de presse
nom="la revue de presse de Chris Esquerre"
url="http://www.canalplus.fr/c-humour/pid2053-c-encore-de-rire.html?catId=2582"
download RDP "$url" "$nom"

# Sebastien Tohen
nom="la chronique de Sebastien Tohen"
url="http://www.canalplus.fr/c-humour/pid2053-c-encore-de-rire.html?catId=2584"
download STO "$url" "$nom"

# L'avis de Mouloud
nom="l'avis de Mouloud"
url="http://www.canalplus.fr/c-humour/pid2053-c-encore-de-rire.html?catId=622"
download ADM "$url" "$nom"

# Le daily show
nom="le daily show"
url="http://www.canalplus.fr/c-humour/pid2053-c-encore-de-rire.html?catId=722"
download DSH "$url" "$nom"

# La chronique de Stephane Guillon
nom="la chronique de Stephane Guillon"
url="http://www.canalplus.fr/c-humour/pid2053-c-encore-de-rire.html?catId=682"
download SGU "$url" "$nom"

# Groland
nom="le Groland"
url="http://www.canalplus.fr/index.php?pid=1787"
download GRO "$url" "$nom"

# Tetes à claques
nom="les têtes à claques"
url="http://www.canalplus.fr/index.php?pid=2170"
download TAC "$url" "$nom" 42

# Pépites sur le net
nom="les pépites du net"
url="http://www.canalplus.fr/index.php?pid=1778"
download PEP "$url" "$nom" 42

# Le meilleur du hier
nom="le meilleur du hier"
url="http://www.canalplus.fr/index.php?pid=1831"
download_2 MDH "$url" "$nom" 42



# Fin des téléchargement, affichage des logs, diffusion dans lecteur vidéo si demande exprimée par l'utilisateur (via fenetre Zenity) 
log=$(cat $parent_dir/.canal_log)
if ! [[ -z $log ]]
then
erreur="Les vidéos suivantes n'ont pas été diffusées ce jour là :"
fi
lecteur_video=$( cat $parent_dir/.canal_config | head -2 | tail -1 )
zenity --question --title="Fin du script" --text="Les vidéos du $date ont été téléchargées
$erreur
$log

Voulez vous lancer la lecture dans $lecteur_video ?"

if [[ $? == "0" ]]
then
if [[ $lecteur_video == mplayer ]]
then $lecteur_video -playlist playlist.m3u
fi
"$lecteur_video" playlist.m3u
fi

rm -f $parent_dir/.canal_log

Ras'

Merci, je viens d'upper la nouvelle version en remplaçant -config et -date par config et date

Donc le même mode de fonctionnement qu'avant.
C'est la seule défaillance que je vois là de suite mais j'ai pas le temps de tester, si quelqu'un veut essayer (gardez un backup tout de même)

Merci 🙂

Malizor

Problème résolu pour moi.
Merci!

jean bono

ca marche mais je pense qu'il faudrait améliorer la gestion des dossiers
je m'explique dans mon home j'ai un dossier canal+ pour ton script
donc j'ai telecharge le script
et une fois que les videos sont arrivees il y a un dossier script dans mon dossier
et dans ce dossier il y a un dossier canal+ ou il y a les videos
ca serait mieux d'avoir seulement un dossier "videos" dans le dossier d'origine pour éviter de naviguer trop longtemps

Ras'

La j'imagine que c'est toi qui te sert mal du script, je réexplique le fonctionnement 😉
D'abord tu range le script ou tu veux sur ton disque (moi c'est dans /home/ras/scripts)

Ensuite dans la config tu choisis ton dossier de vidéos et DANS ce dossier, il va créer un sous dossier Canal+ (avec une majuscule).
Pour moi, pendant la config je choisis le dossier /home/ras/Videos, il créé /home/ras/Videos/Canal+ et si je suis en quotidien il met les vidéos directement dedans, sinon il met les vidéos dans /home/ras/Videos/yyyy-mm-jj

Il n'y a jamais de création de dossier script ni rien d'autre que ce que j'ai décris...

La seule restriction est :
En mode Quotidien, le script efface toutes les vidéos au fomat .flv du dossier "dossier_parent/Canal+", c'est pour ça qu'il faut être vigilent et si on veut mettre d'autres vidéos flv dans son dossier "dossier_parent/Canal+" les mettre dans un sous dossier.

philipe-tlse a écritJe vais jeter un oeil à ton script et je suis sur que je vais beaucoup apprendre sur Zenity.

Je pense que tu peux trouver d'autre script ou en apprendre bien plus sur Zenity, je ne connaissais pas Zenity avant que weedfast me propose d'utiliser ça pour mettre un peu de graphique dans le deuxième post du topic ...

EDIT : Dans l'empressement j'ai oublié mais j'aurais pu poster la mise à jour d'hier sous le numéro de version 1.01, au moins la mise à jour automatique aurait servi à quelque chose ><
J'essairais d'y penser la prochaine fois 😉
Y'aura une mise à jour dans la journée pour l'implémentation de l'option help, et aussi une surprise ^^
RE EDIT : j'avais oublié mais pour mato78 je pense pas faire la même chose pour m6replay...
Du moins pour l'instant, vu que je suis en suède j'ai même pas accès au site (réservé à la France), je regarderais peut être ça en rentrant si c'est pas trop trop compliqué 🙂

Daniel17

Bonjour,

Ton script marchait bien jusqu'a hier. Je viens de la lancer et j'obtiens l'erreur :

/home/daniel/.gtkrc-2.0:1: Impossible de trouver le fichier à inclure : « .gtkrc-2.0-gnome-color-chooser »

J'ai chercher sur synaptic, impossible de trouver ce fichier.
Que ce passe t-il ? est-ce ma config ou un bug ?

Merci

PS : en reconfigurant le script et en désactivant la barre de progression ça remarche.

Ras'

Ce n'est pas un problème lié à mon script mais un bug chez toi...
Certainement du au thème, je te conseille de mettre un message dans la section générale avec le résultat que tu obtiens sur ce script (que tu trouve dans Système > Aide et soutien en cherchant Zenity et en allant dans la section barre de progression)

#!/bin/sh
(
echo "10" ; sleep 1
echo "# Mise à jour des journaux de mail" ; sleep 1
echo "20" ; sleep 1
echo "# Remise à zéro des paramètres" ; sleep 1
echo "50" ; sleep 1
echo "Cette ligne est ignorée" ; sleep 1
echo "75" ; sleep 1
echo "# Redémarrage du système" ; sleep 1
echo "100" ; sleep 1
) |
zenity --progress \
  --title="Mise à jour des journaux système" \
  --text="Analyse des journaux de mail..." \
  --percentage=0

if [ "$?" = -1 ] ; then
  zenity --error \
    --text="Mise à jour annulée."
fi

C'est juste un script d'exemple d'utilisation de Zenity, mais les gens qui t'aideront serons moins perdu si tu leur met le résultat d'un script simple plutôt que de mon script un peu bordélique 🙂
Désolé de pas pouvoir t'aider ... :\

[supprimé]

Raskal a écritY'aura une mise à jour dans la journée pour l'implémentation de l'option help, et aussi une surprise ^^
RE EDIT : j'avais oublié mais pour mato78 je pense pas faire la même chose pour m6replay...
Du moins pour l'instant, vu que je suis en suède j'ai même pas accès au site (réservé à la France), je regarderais peut être ça en rentrant si c'est pas trop trop compliqué 🙂

tiens dans ta prochaine release avec la surprise tu peux mettre :

set -- "-config"

sinon chez moi ça génère une erreur :

bash: set: -c: invalid option

Pour m6replay ça à l'air plus difficile (ça ne marche que avec IE/WMP et il faut accepter une licence sur la vidéo) et moins intéressant aussi donc pas de soucis 😃

Daniel17

J'ai résolu mon pb en renommant mon répertoire caché ".gnome-color-chooser" en ".gtkrc-2.0-gnome-color-chooser"

Ras'

mato78 a écrit

set -- "-config"

sinon chez moi ça génère une erreur :

ah merci 🙂
Enfin provisoirement j'avais remis à "config" et "date" mais je changerais ça dans la prochaine en --config et -date grâce à ton aide 🙂

Par contre j'ai eu la flemme de regarder ça aujourd'hui donc ce sera plus tard (j'ai fait mumuse avec inkscape, je fais un logo ^^)

EDIT : d'ailleurs j'ai fini et je l'ai mis sur le premier post ^^

jean bono

salut
aujourd'hui j'ai eu la video "blocage" qui disait que la video n'est pas accessible depuis mon pays

Ras'

Ok donc c'est pareil que chez moi 🙂

Je viens de me rendre compte qu'il y avait un problème pour les mises à jour si on lançait le script directement (genre depuis un lanceur sur le bureau).
Dans la "fonction" de mise à jour auto, le script télécharge la nouvelle version et va la mettre dans `pwd`
Sauf que si on lance le script depuis le bureau par exemple, 'pwd' c'est /home/user, alors que le script peut être (comme chez moi) dans /home/user/scripts ou un autre dossier. Donc le script dis qu'il est à jour alors qu'il ne l'est pas.

Je cherche donc un moyen de trouver la localisation du script sur le disque quelque soit l'endroit depuis lequel on l'apelle... Si quelqu'un à une idée ?
(j'ai pensé récupérer $0 et si il ne commence pas par "./" le bidouiller avec des "cut" pour récupérer le chemin vers le script, mais c'est sacrément sale, donc si quelqu'un à mieux je suis preneur ^^ )

theoxyd

+1 j'avais remarqué ce problème (mais c'est pas bien grave).
Par contre désolé je ne peux pas t'aider en programmation de script (ou si peux que ca vaut pas le coup) :rolleyes:

Ras'

C'est pas vraiment un problème, mais le script ne peux se mettre à jour automatiquement si vous le lancez directement :\
un peu bête quand même...

NicoA380

Raskal a écritJe cherche donc un moyen de trouver la localisation du script sur le disque quelque soit l'endroit depuis lequel on l'apelle... Si quelqu'un à une idée ?

dirname $0

Ras'

Merci beaucoup Nico 🙂

La nouvelle version est donc en ligne.
Si vous voulez réellement faire la mise à jour, il faut lancer le script depuis sont emplacement, c'est à dire :
cd le_dossier_ou_le_script_est_rangé
./canal

la mise à jour se fera de façon automatique, les mises à jour suivante se feront automatiquement quelque soit l'endroit depuis lequel vous lancez le script.

Dans les nouveautés on à juste un système de mise à jour qui marche pour de vrai (merci Nico) et des modifications d'option :

config devient -c ou --config
date devient -d ou --date
et j'ai rajouté -h ou --help pour l'aide (assez brève quand même)

y'a aussi la possibilité de voir directement quelles sont les nouveautés lors d'une mise à jour mais vous ne verrez ça qu'à la prochaine mise à jour ^^

utodeb

Du coup faudrait corriger la doc 😃

Raskal a écritEn graphique : lancez le script avec l'option date

./canal date

« Page précédente Page suivante »