Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[info] Aspirer un site avec wget

systemex2

merci beaucoup Wido

zilnim

Bonjour

j'ai un soucis avec wget
pour les -reject
si je mets par exemple index*, il rejette bien index mais si j'ai une page du style www.nomdedomaine.com/truc.html?table=12

si je veux rejetter ?table*, c'est ne fonctionne pas

merci de votre aide
Zil...

vigny

Vous pouvez utiliser :

wget -c -np -r -p -k [lien_du_site]

consulter le ce blog pour plus d'info

Cristian

zilnim a écritj'ai un soucis avec wget
pour les -reject
si je mets par exemple index*, il rejette bien index mais si j'ai une page du style www.nomdedomaine.com/truc.html?table=12

si je veux rejetter ?table*, c'est ne fonctionne pas

C'est specifié dans la doc que c'est impossible :
Note, too, that query strings (strings at the end of a URL beginning with a question mark ('?') are not included as part of the filename for accept/reject rules, even though these will actually contribute to the name chosen for the local file. It is expected that a future version of Wget will provide an option to allow matching against query strings.

Cristian

systemex2 a écritsalut les amis
je veux savoir si on peut filtrer les fichiers telecharger avec wget
par exemple je ne veux telecharger que les pages qui commencent par tutoreil*
c'est fesable non??

Je pense que tu as trouvée depuis la solution, mais ça peut aider quelque d'autre:
j'aurais plutôt utilise cette commande :
wget --recursive -l inf --page-requisites --wait=1 --random-wait --accept "tutoreil*" http://www.host.com

à savoir que wget te téléchargera toutes les pages, même si elles ne commencent pas par "tutoriel", pour vérifier qu'aucun lien de ne se trouve à l'intérieur.

spinoziste

Salut à tous . J'ai une requete bien specifique .

L'on m' a recemment demandé de recolter tous les titres mp3 live d'un artiste .
Ceux ci sont disponibles sur un site et libres d'etres telechargés . J'aimerais donc télécharger uniquement les fichiers .mp3 de ce site Or ils sont tres nombreux et l'idéal serait qu'ils se telechargent dans des dossiers respectifs à leur origine .
ex : Live 99 = dans dossier_1 (ou "ideal" : Live_99)

Bon ça n'a pas l'air tres clair tout ça mais c'est assez logique .

Comment puis je proceder .? Ayant deja utilisé l'interface navigateur de httrack (celle ci ne donnant pas de resultats satisfaisants)

Merci d'avance aux contributeurs et contributrices ubunteros .

EDIT J'ai plus de precisions . Le site est ainsi fait : " /event/1/audios " correspond au live 1 et ainsi de suite jusqu'au " /event/222/audios " .

wido

Pourquoi ne pas donner le lien du site pour que l'on teste?

spinoziste

Ouais pas con .
C'est saezlive.net

spinoziste

A mon humble avis va falloir fonctionner par script .

Natim

Essaye :

for i in {1..1731}
do
    wget  -O ${i}.mp3 http://www.saezlive.net/download/audio/${i}
done

fox1988

Bonjour à tous,

j'ai suivi le fil de cete discussion avec grand intérêt parce que j'essaye de monter un serveur de mises à jour Ubuntu mais sur un serveur Windows.
Pour faire ca, il faudrait que je télécharge tous les dépots Ubuntu disponibles sur archive.ubuntu.com, et j'aimerais le faire avec wget, vu que ca existe sur Windows, avec les mêmes options que sous Linux. Mais je rencontre un problème, je n'arrive plus à tout télecharger. J'ai réussi une fois à télecharger le dépot (215Go), mais je manquais de place et je n'ai du coup pas pu tout télecharger.
J'ai maintenant un disque plus gros, mais je n'arrive pas à me souvenir de la commande que j'ai tapée.
J'ai essayé avec:

wget -r -P F:\LinuxUpdates http://archive.ubuntu.com

Mais il ne me télecharge qu'une partie des fichiers (Uniquement les dossiers et leurs fichiers index.html dans certains dossiers, mais tout dans d'autres. Je ne comprends pas trop

wido

Si tu veux faire un miroir du dépôt autant utiliser rsync.

https://wiki.ubuntu.com/Archive/Mirroring

fox1988

La version windows de rsync ne marche pas chez moi, je ne sais pas pourquoi

spinoziste

@Natim . Merci pour le script mais ça ne fonctionne pas .

Asma Hadjer

Bonjour,
SVP comment fait l'aspiration du contenu des pages du VIDAL (médicaments par nom commercial et par nom de substance) avec SHELL-BASH (wget+lynx). Merci d'avance

nadjouanen

bonjour,

Question au sujet de Wget et aspiration d'un site avec login

1- j'ai saisi : wget -m -p -k le répertoire est bien créé, mais dans le fichier index il y a uniquement la page de login avec le message: "Cookies may not be enabled in your browser. You will need to enable them in order to continue."

2- vérification faite: les cookies sont bien acceptés dans mon navigateur.

3- Suis allée sur le forum et trouvé une info que j'ai appliqué : wget --post-data="login=<nadine.jouanen@gmail.com>&password=<aohnadjou>" --keep-session-cookies --save-cookies cookies.txt [url]http://www.aoh-ap.ning.com/login.php

je reçois bien un fichier cookies.txt mais ensuite... je dois faire quoi? là je sais plus; merci de votre aide; je suis vraiment mais alors vraiment débutante dans linux. 😃
sous linux mint 16 petra - firefox 30.0

C'est assez important pour moi, car le site va fermer dans quelques jours et de nombreux contenus m'intéressent vraiment.

Merci merci merci de bien vouloir m'aider

« Page précédente