Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Télécharger la série du "Donjon de Naheulbeuk"

Yannick_LM

#!/usr/bin/perl -w
use strict;
use LWP::Simple;

print "Téléchargement des addresses ...\n";
my $source = "source" ;
my $url = "http://www.penofchaos.com/warham/download/";
getstore($url,$source) or die ("get : $!");   # On stocke la page donnant les liens.
print "O.K.\n";

# La page donne un ensemble de liens vers des .zip. Il y a plusieurs liens par épisode...


open(FIC,$source); #On ouvre la page

my $i = 0;
my $j = 0;

#Deux indices utiles plus tard.


my $content = "donjon"; #Pour stocker les .zip
while (<FIC>) #On lit les lignes une par une.
{
	my $ligne = $_;
	if ($ligne =~ m/donjon(\d\d).zip/) {   #On regarde si la ligne contient la chaîne 'donjon' suivie de deux chiffres.
		$i = $1; #On stocke ainsi le numéro de l'épisode.
		$content = "donjon".$i.".zip"; # On définit le fichier sur lequel on va sauver l'archive
		$url = $ligne; # On transforme la ligne (en html) pour obtenir l'URL.
		$url =~ s/.*href=\'//; #On enlève toute la partie : <a href= ...
		$url =~ s/\'.*$//; #On enlève la fin de la ligne
		if ($i != $j ) {  #Petit test pour savoir si on n'est pas en train de télécharger deux fois le même épisode
			print "Téléchargement de l'épisode $i ... \n";
			getstore($url,$content) and $j +=1;	# On met à jour le deuxième indice.
			print "O.K. : décompression de l'archive : ...\n";
			open(FILE,"|unzip $content"); # On décompresse
			close(FILE);
			unlink $content; # On supprime le .zip dont on n'a que faire
			print "O.K. !\n\n" ;
		} ;
	};	
}

unlink $source;  # On efface le fichier source maintenant qu'on ne s'en sert plus.

close(FIC);

Note 1. : vous avez besoin du module LWP pour Perl. Vous pouvez l'obtenir avec :

perl -MCPAN -e shell

suivi de

install LWP::Simple

Note 2. : les moins feignants d'entres vous transcriront ce script en Bash...

EDIT : Ajout de commentaires

Le Psykopat

O mais c'est très bon ça!!! 😃
Mais depuis quelque temps on aurait que les épisodes sont en pauses.....:/

[supprimé]

[Lien supprimé]

Yannick_LM

C'est quoi le rapport ? (ou alors c'est du spam)

Ju.

@Yannick_LM

Pas besoin de passer par CPAN, mieux vaut rester en paquet

liblwp-protocol-http-socketunix-perl
ou libwww-perl

Yannick_LM

Ah, merci.
(je débute avec Perl)

Syrion

Ma parole, il a réinventé le RSS 😛

vilraleur

tiens je vais le tester ce soir ....

Yannick_LM

@vilraleur :
Oh mon dieu, un utilisateur !
Bon, je croise les doigts.

P.S. Ça me fait tout bizarre de retomber là-dessus. J'ai envie de tout réécrire en ruby, tiens, avec au moins le choix du répertoire de destination, et le test de l'existence des fichiers avant de télécharger, tout ça...

vilraleur

heu ca a po marché ....
faut dire que je suis un tout neuf de Linux ...
on fait comment pour lancer ton script ?
et pourquoi ce code ci dessous me demande plein de truc bizzare ?

install LWP::Simple

Yannick_LM

Arf !

Je l'savais.

Bon d'abord, il faut installer un ch'tit paquet, comme l'a précisé l'ami Ju : libwww-perl.

Ensuite, pour lancer le script. (en supposant que tu as enregistré le code dans un fichier naheul.pl, dans le dossier où tu comptes voir arriver les épisodes)
Se mettre dans le dossier en question, et faire :

chmod u+x naheul.pl
./naheul.pl

Voilà

vilraleur

humhum ...
tagazok Ju.

leto-ii@Oasis:~$ sudo apt-get install libwww-perl
Lecture des listes de paquets... Fait
Construction de l'arbre des dépendances       
Lecture de l'information d'état... Fait
libwww-perl est déjà la plus récente version disponible.
Les paquets suivants ont été automatiquement installés mais ne sont plus nécessaires :
  binutils-static docker tk8.4
Utiliser "apt-get autoremove" pour les supprimer
0 mis à jour, 0 nouvellement installés, 0 à enlever et 0 non mis à jour.
leto-ii@Oasis:~$ sudo chmod u+x naheulbeuk.pl 
leto-ii@Oasis:~$ ./naheulbeuk.pl 
syntax error at ./naheulbeuk.pl line 46, at EOF
Execution of ./naheulbeuk.pl aborted due to compilation errors.

bon bah ca marche po
j'essaye avec les autre lib
edit 1
ca change rien ...

Yannick_LM

Hmm. Apparemment, le problème vient du script lui-même.
Il te met une erreur sur la dernière ligne du fichier, c'est bizarre.
Comme ça compile* chez moi, je suis obligé de te poser la question :
es-tu sûr d'avoir bien fait le copier-coller ?

*aux puristes : oui ; on peut pinailler

vilraleur

je te dirais ça se soir ..
Au pire je vais tout recopier !

Oubountou

Marche nickel ! Merci pour le script 🙂

vilraleur

(ouais c'est vrai que ca marche (j'ai oublié de le dire :p )

Yannick_LM

Bon, j'étais pas content de ce script, j'en ai fait un autre.
(en bash)

#!/bin/bash

wget -c http://www.penofchaos.com/warham/download/ -O source
grep Episode -A4 source | grep zip | cut -d "'" -f 2 > urls

i=0
while read url ; do 
    let "i = i +1"
    wget -c $url -O $i.zip 
    unzip $i.zip
done < urls

(Vous noterez que j'ai plus progressé en Bash qu'en perl ...)

Ju.

Joli ...

En one liner gruik :

  wget `wget --quiet http://www.penofchaos.com/warham/download/ -O- |grep Episode -A4  | grep zip | cut -d "'" -f 2`

A utiliser avec moderations....

Yannick_LM

En fait, il se trouve que le script en Bash présente un défaut.
Si le premier lien proposé échoue pour un épisode échoue, on a perdu.
(ce qu'il faudrait, c'est essayé de télécharger à partir du second lien dans le cas où le premier n'a pas fonctionné)

C'est ce qui est fait dans le script en perl (avec l'inconvénient que celui-ci considère que les liens pointent tous vers des fichiers donjonxx.zip, ce qui est faux : il y a des fichiers comme donjon21-1.zip, donjon21-2.zip, des épisodes en deux parties, qui ne seront pas téléchargés par le script en perl.
D'ailleurs, si je me souviens bien, il plante parce qu'il y a maintenant un lien vers donjon28.zip en début de page :lol:

Bon, de toutes façons, maintenant que j'ai tout récupéré, je ne suis pas très motivé pour bosser dessus, et c'est pas non plus la mort de faire à la main pour les deux trois fichiers qui posent problème ...

J'essaierai de regler ce bug un de ces quatre, si personne ne se motive.

@Ju : c'est pas pour critiquer, mais il manque l'extraction des archives

HS : Pourquoi ont-ils tenus à compresser les mp3 dans des .zip?
Mystère et boule de gomme...
Juste pour info le mp3 est DEJA compressé, donc ça ne sert pas à grand chose de le compresser une deuxième fois :

zip donjon.zip donjon01.mp3 
  adding: donjon2zip.mp3 (deflated 3%)

:lol:

Ju.

Ah oui exact... Faut dire en effet pourquoi compresser du mp3 ?

Pas de soucis, je ne vois pas de critique

Page suivante »