Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

surveiller en CLI un téléchargement de Captvty

k3c

j'adore weboob, chercher une recette de cuisine sur plein de sites en même temps, une location sur plein de sites immobiliers, récupérer ses comptes bancaires et envoyer une alerte si un mouvement dépasse un montant ou un compte est en dessous de..., chercher des radios et leurs url avec radioob...

k3c

pour améliorer l'affichage, la taille par milliers

$ lsof -p $(pgrep Captvty) | awk '/Profilage/ { printf("%'"'"'d   %s\n",$7,$NF)}'

ce qui peut afficher

215 898 636   /home/gg/Vidéos/Captvty/Profilage_RTBF.be_2020_03_21_22_53.tmp.ts

k3c

pour faire un watch régulier

watch -n 10 "lsof -p $(pgrep Captvty) | awk '/titre-de-la-vidéo/ { printf(\"%'\"'\"'d   %s\n\",\$7,\$NF)}'"

kamaris

C'est pas mal comme ça 🙂
On peut éventuellement remplacer « \"'\" » par « \' », pour gagner un peu en lisibilité :

watch -n 10 "lsof -p $(pgrep Captvty) | awk '/titre-de-la-vidéo/ { printf(\"%'\''d   %s\n\",\$7,\$NF)}'"

Sinon j'ai regardé un peu videoob, et c'est pas mal du tout, mais il y a un truc qui est dommage : la fonction search ne prend pas un pattern générique, du style . ou .* en regex.
Du coup, je n'ai pas réussi à lui faire afficher tous les programmes, filtrés seulement sur des critères de date et de durée par exemple, avec un truc comme ça :

videoob -f multiline -b francetelevisions -c 'date>2020-03-10 19:00:00 AND date<2020-03-12 05:00:00 AND duration>48m' search '.*'

Si on ne passe pas d'argument à search, ça ne va pas non plus, il sort en erreur : c'est vraiment dommage.
Tu sais s'il est possible de faire ça avec videoob ?

k3c

@kamaris

merci pour l'amélioration

il me reste à passer ce que je cherche en paramètre, par exemple, lancer ce qui suit dans un .sh avec en paramètre $1 le nom de la vidéo cherchée, sur le modèle de

lsof -p $(pgrep Captvty) | awk -v vid=$1 '$0 ~ vid {print $7}'

Pour videoob, je l'ai utilisé tel quel, il faudrait regarder sur

https://git.weboob.org/weboob/weboob/issues

et

https://git.weboob.org/weboob/weboob/-/wikis/home

La communauté autour de weboob est active et dynamique.

kamaris

Oui j'avais jeté un coup d'œil au gitlab, sans succès, donc j'en avais déduit que ça n'était pas possible, et du coup j'avais commencé à essayer de rentrer dans le code, mais finalement ça m'a découragé 😃 (pas de réel besoin aussi, donc voilà…)
Je voulais juste te demander au cas où je serais passé à côté de quelque chose, mais sinon tant pis (j'essaierai peut-être de remettre le nez dans le code une autre fois, sait-on jamais…)

k3c

@ kamaris

Si je regarde

https://github.com/ytdl-org/youtube-dl/blob/master/youtube_dl/extractor/francetv.py

je vois entre autres

class FranceTVIE(InfoExtractor):
    _VALID_URL = r'''(?x)
                    (?:
                        https?://
                            sivideo\.webservices\.francetelevisions\.fr/tools/getInfosOeuvre/v2/\?
                            .*?\bidDiffusion=[^&]+|
                        (?:
                            https?://videos\.francetv\.fr/video/|
                            francetv:
                        )
                        (?P<id>[^@]+)(?:@(?P<catalog>.+))?
                    )
                    '''

Effectivement les infos sur une vidéo sont à
sivideo.webservices.francetelevisions.fr/tools/getInfosOeuvre/v2/...

exemple

http://webservices.francetelevisions.fr/tools/getInfosOeuvre/v2/?idDiffusion=101119506&catalogue=Pluzz&callback=webserviceCallback_101119506

est une adresse valide

ça affiche

webserviceCallback_101119506({"id":"101119506","ref_source":"PLURIMEDIA","code_programme":"la_parenthese_inattendue","titre":"La parenth\u00e8se inattendue","sous_titre":"","synopsis":"Lambert Wilson n'a jamais choisi la facilit\u00e9. En se lan\u00e7ant sur les traces d'un p\u00e8re com\u00e9dien qui ne lui a jamais fait de cadeau, il savait le jeu risqu\u00e9. Mais il ignorait qu'il s'apparenterait \u00e0 un vrai chemin de croix, malgr\u00e9 une carri\u00e8re riche et tr\u00e8s diversifi\u00e9e. La chanteuse Rose s'est fait conna\u00eetre en 2006 gr\u00e2ce \u00e0 son tube \u00abLa Liste\u00bb. En se faisant un nom dans la musique, elle r\u00e9alisait son r\u00eave, mais aussi celui de sa meilleure amie, qui avait per\u00e7u avant tout le monde le talent de cette chanteuse atypique. Thierry Marx, ancien vigile et convoyeur de fonds, est devenu un chef \u00e9toil\u00e9 connu du grand public, apr\u00e8s un parcours chaotique et atypique. Peu de gens peuvent s'enorgueillir d'\u00eatre partis de si bas pour arriver si haut.","genre":"Magazine de d\u00e9couvertes","genre_pluzz":"magazine","genre_pluzz_antenne":"magazine","type":"INTEGRAL","episode":null,"saison":2,"diffusion":{"timestamp":1398889500,"date_debut":"30\/04\/2014 22:25"},"texte_diffusions":"","duree":"02:10:00","real_duration":null,"image":"\/staticftv\/ref_emissions\/2014-04-30\/EMI_498834.jpg","image_secure":"https:\/\/sivideo.webservices.francetelevisions.fr\/staticftv\/ref_emissions\/2014-04-30\/EMI_498834.jpg","chaine":"France 2","mediamat_id_chaine":825,"credit":null,"region":null,"url_site":"","url_guidetv":null,"personnes":[{"nom":"Wilson","prenom":"Lambert","fonctions":["Invit\u00e9"]},{"nom":"Lopez","prenom":"Fr\u00e9d\u00e9ric","fonctions":["Pr\u00e9sentateur"]},{"nom":"Marx","prenom":"Thierry","fonctions":["Invit\u00e9"]},{"nom":"Rose","prenom":"","fonctions":["Invit\u00e9"]}],"videos":[{"format":"hds_akamai","url":null,"url_secure":null,"statut":"OFFLINE","drm":false,"embed":false,"geoblocage":["FR","AD","MC","GF","PF","GP","MQ","YT","NC","RE","BL","MF","PM","WF"],"droits_lecture_hors_connexion":true,"plages_ouverture":[{"debut":null,"fin":null,"direct":false,"startover":null}]},{"format":"m3u8-download","url":null,"url_secure":null,"statut":"OFFLINE","drm":false,"embed":false,"geoblocage":["FR","AD","MC","GF","PF","GP","MQ","YT","NC","RE","BL","MF","PM","WF"],"droits_lecture_hors_connexion":true,"plages_ouverture":[{"debut":null,"fin":null,"direct":false,"startover":null}]},{"format":"hls_v5_os","url":null,"url_secure":null,"statut":"OFFLINE","drm":false,"embed":false,"geoblocage":["FR","AD","MC","GF","PF","GP","MQ","YT","NC","RE","BL","MF","PM","WF"],"droits_lecture_hors_connexion":true,"plages_ouverture":[{"debut":null,"fin":null,"direct":false,"startover":null}]}],"url_reference":"http:\/\/pluzz.francetv.fr\/videos\/la_parenthese_inattendue_,101119506.html","direct":null,"id_aedra":"F21929910592381620143004","semaine_diffusion":null,"droit":{"type":"tvr","csa":"CSA1"},"subtitles":[{"type":"accessibilite","url":"http:\/\/static.francetv.fr\/sous-titres\/france2\/101119506-1398708902.smi","format":"smi"},{"type":"accessibilite","url":"http:\/\/static.francetv.fr\/sous-titres\/france2\/101119506-1398708902.ttml","format":"ttml"}],"sequences":[],"lectures":{"id":null,"nb_lectures":0},"lectures_groupes":[],"votes":null,"indexes":[],"ordre":null,"tag_OAS":null,"id_emission_plurimedia":76928098,"audiodescription":false,"spritesheet":null,"spritesheet_secure":null,"cue_points":null})

par contre, tout le catalogue est où ?

c'est du JSON, avant c'était du XML

kamaris

k3c a écritpar contre, tout le catalogue est où ?

Bonne question ! 😃
melixgaro doit connaitre ces trucs-là, pour avoir développé dpluzz : peut-être que s'il passe par là, il pourra nous dire…

k3c

petite évolution du script, je l'ai adapté pour surveiller plusieurs téléchargements avec get_iplayer, qui active Perl, donc

l'utilisation de xargs
awk cherche le nom de la vidéo ET ts, sinon j'ai une 2 ème ligne de sous-titres sans intérêt
les tailles des 2 fichiers étaient décalées (si les téléchargements avaient démarrés à des moments différents), pas joli, 20d, et c'est mieux cadré

watch -n 10 "pgrep perl | xargs -n 1 lsof -p  | awk '/Mallorca/ && /ts/ { printf(\"%'\''20d   %s\n\",\$7,\$NF)}'"

ce qui peut afficher

Toutes les 10,0s: pgrep perl | xargs -n 1 lsof -p  | awk '/Mallorca/ && /ts/ { printf("%'\''20d   %s\n",$7,$NF)}'                   gg-UX305UA: Sat Mar 28 18:41:03 2020

     502337713   /home/gg/bbc/The_Mallorca_Files_Series_1_-_09._Mallorcas_Most_Wanted_m000bz1x_original.video.ts
     154610128   /home/gg/bbc/The_Mallorca_Files_Series_1_-_10._Ex_Factor_m000bytn_original.video.ts

reste à passer en paramètre le nom de la vidéo, et ça sera parfait

edit

un petit .sh contenant ce qui suit fonctionne

vid=$1
watch -n 10 "pgrep perl | xargs -n 1 lsof -p | awk -v vid=\"vid\" '\$0 ~ vid && /.m4/ { printf(\"%'\''20d   %s\n\",\$7,\$NF)}' "

en passant en paramètre une partie du nom de la vidéo

exemple si je lance

./v.sh Beyond

ça affiche

Toutes les 10,0s: pgrep perl| xargs -n 1 lsof -p | awk -v vid="vid" '$0 ~ vid && /.m4/ { printf("%'\''20d   %s\n",$7,$NF)}'                  gg-UX305UA: Sun Mar 29 11:08:23 2020

     235757643   /home/gg/bbc/The_Place_Beyond_the_Pines_-__m000ggdh_original.video.m4v

kamaris

Quelques remarques :

concernant la lisibilité, dont je parlais en #24, une autre manière de faire (pour éviter autant que possible les antislashs) est la suivante :

prog_awk='/Mallorca/ && /ts/ { printf("%"q"20d   %s\n",$7,$NF)}'
watch -n 10 "pgrep perl | xargs -n 1 lsof -p  | awk -vq=\' '$prog_awk'"

il doit être possible d'éviter l'utilisation de xargs, car lsof -p accepte plusieurs pid séparés par des virgules, et pgrep accepte un délimiteur, donc :

lsof -p $(pgrep -d',' perl) | awk …

tu as une petite erreur dans ce qui suit : c'est

awk -v vid=\"$vid\" …

car là, il trouve tes lignes parce qu'elles contiennent « vid », et pas parce qu'elles contiennent « Beyond » 😉

k3c

@kamaris

merci pour tes remarques, et effectivement, coup de bol pour mon vid sans le $

« Page précédente