Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Uploader sur votre Freebox Révolution à distance

Zakhar

15 décembre 2012
Version 1.0.3
Ajout de l'option -d (--display) qui permet de régler la fréquence de rafraîchissement de l'affichage de la progression d'upload.
Par défaut c'est 2 secondes (comme l'interface Free standard), l'idée de l'option est de mettre un chiffre supérieur, 30 pour 30 sec par exemple, ainsi la mise à jour de l'affichage de progression est moins fréquent, mais on sauvegarde de la bande passante utile pour l'upload.

En effet, supposons que la requête de mise à jour fasse environ 500 octets en upload (headers essentiellement), on consomme alors 2Kbps moyen de bande passante sur notre upload, juste pour avoir un affichage fréquent. Ainsi, si la limite d'upload est de 120K, on plafonnera plutôt autour de 118K.

Cette option est donc un "compromis" entre un affichage fréquent et une meilleure optimisation de la bande passante. Elle est bien sûr d'autant plus utile que votre ligne est à faible débit.

root

Bonjour Zakhar,

J'utilise ton script depuis 1 semaine, et il est parfait 🙂 (exactement ce dont j'avais besoin)
Mais depuis 2 jours, patatra, plus moyen de le faire marcher. Visiblement la dernière mise a jour freebox pose quelque problème.

Travailles-tu toujours sur ce script, comptes-tu le maintenir ou faut-il se mettre a activement a trouver une autre solution ?

Merci encore pour ton investissement et bravo pour ton boulot (car pour moi ça marchait impec' )

Zakhar

Bonjour Root, et merci de ton retour.

Oui, je travaille toujours sur ces scripts (upfree et dlfree) et effectivement, la 1.1.9 oblige à insérer un jeton CSRF qui n'existait pas auparavant. Donc sans cela, on a une erreur 403 (Forbidden) et le script ne fonctionne plus.

Je vais faire la modification adéquate, mais pour l'instant la Freebox qui me sert de test étant celle de ma mère, je n'ose pas lui couper internet "en soirée" comme ça... ça risque de lui foutre en l'air une conversation téléphonique ou sa télé.

... il faudra donc être un peu patient (ou modifier le script toi-même si tu t'en sens le courage). En attendant, le mieux est que tu utilises l'interface standard de Free via la page Web... sauf si bien sûr tu utilises le serveur Web intégré au script... là c'est un chouia plus compliqué. 😉

Dis-moi ton degré d'urgence, et je vois si j'embête ma mère avec un reboot. Car sans ça, je ne peux pas tester (vu qu'elle est en 1.1.8) et faire des modifications "en aveugle"... c'est pas facile !

root

Merci pour la reponse rapide.

Je n'ai aucune urgence et ne veux pas te mettre de pression (vu le prix manquerais plus que ça). Je voulais juste savoir si tu utilisais toujours ce script et si il fallait s'attendre a une mise a jour prochainement.

Si tu pense le mettre a jour c'est cool, sinon j'aurais mis les mains dans ton script. Je fais un peu de scripting, mais j'avoue volontiers que tout ce qui est parsing XML/JSON et ce genre de format, ça m'horipile. Je vais donc attendre un mise a jour, ça m'évitera de m'arracher les cheveux 🙂

Merci encore !

Zakhar

Oui, je l'utilise une ou deux fois par semaine pour mettre des trucs sur la Freebox de ma mère.

Donc au passage en 1.1.9 je ferai la modif.

Pour info, la modification à faire a été explorée le W.E. dernier, l'échange sur le forum est là : http://forum.ubuntu-fr.org/viewtopic.php?id=448343&p=2

Donc comme on dit... yaka fokon ! 😃 :lol:

root

J'ai essayé ce matin. Y'a pas moyen ...

Voila ce que j'ai fait. J'ai crée 2 variables globales

FBSID=''										
FBCSRF=''

Une fonction curlget, appelé lors du login pour recuperer le token et l'id et set les variables :

curlget()
{
  local err=0            # Erreur retournÃ©e par la fonction appelÃ©e
  local hcode
  
   if printf '%s' "${1}" | grep -q 'FBXSID='; then
	hcode=$(printf '%s' "${1}" | grep "FBXSID")
	FBSID=$(printf '%s' "${hcode}" | sed 's/.*FBXSID="//;s/".*$//')
   else
	exit 2
   fi
   
   if printf '%s' "${1}" | grep -q 'X-FBX-CSRF-Token'; then
	hcode=$(printf '%s' "${1}" | grep "X-FBX-CSRF-Token")
	FBCSRF=$(printf '%s' "${hcode}" | sed 's/.*X-FBX-CSRF-Token: //;s/\r//')
   else
	exit 2
   fi
  
  if printf '%s' "${1}" | grep -q '_ERR='; then
    err=$( printf '%s' "${1}" | sed 's/.*_ERR=//' )
    exiterr "${err}" "${eMSG_CURL_ERR}${err}"
  fi
  
  return $?
}

et j'ai mis a jour la fonction ccurl appelé a chaque lancement de curl en ajoutant le SID et CSRF

ccurl()
{
  curl -b FBXSID="${FBSID}" --data-urlencode "csrf_token=${FBCSRF}" "${@}" -w "%{http_code}" -s || printf "_ERR=${?}"

Au final, j'ai bien le token et le CSRF passé au server freebox, mais celui ne les supporte pas apparement :

Erreur=85
** Erreur JSON avec la Freebox.
{"jsonrpc":"2.0","error":{"message":"parse error: bad starting element 'c' (should be '[' or '{')","code":-32700}}

Zakhar

Non, là ton token a marché !

En effet, tu as une erreur de parsing JSON "applicative" qui te dit que le message JSON ne commence pas par ce qu'il faut.

Si le token n'avait pas marché, tu aurais eu une erreur http_code 403 (et donc le JSON serait non défini !).

Donc ta modification de token est OK, il faut juste regarder soit avec WIreshark, soit en faisant un print sur le ccurl, ce que tu envoies exactement qui n'est pas du JSON, ou alors tu rajoutes -v au curl et ça va te spammer l'écran des messages exacts envoyés et reçus par curl !.. 😛
Et si tu ne vois pas, il faut comparer à ce que fait un navigateur quand il envoie son JSON.

root

J'ai creusé un peu

la commande lancé semble bonne :

curl --data-urlencode csrf_token=tXQKJVrzrZW+K0INRWMJBtODajfwdlCQkb/55nno9x0kQQSIZHrolX/4rmTBKQMC -b FBXSID=zRNHF1pkZ+hRA9nP+s2ajwFeGVZvX2Cw88uDvpFZJ5dq3IkknpHPtS7ip
v7Q3O67 http://MONIP/download.cgi -o /tmp/tmp.p8kedmPdN8 -b /tmp/tmp.p8kedmPdN8.c --data {"jsonrpc":"2.0","method":"download.config_get"} -H Content-Type: application/json; charset=utf-8 -w %{http_code}  -s

Par contre je pense que ce qui est interpreté par curl est bizarre. J'ai fait un --trace-ascii car -v affiche juste les commandes pas les data :

=> Send header, 408 bytes (0x198)
0000: POST /download.cgi HTTP/1.1
001d: User-Agent: curl/7.22.0 (x86_64-pc-linux-gnu) libcurl/7.22.0 Ope
005d: nSSL/1.0.1 zlib/1.2.3.4 libidn/1.23 librtmp/2.3
008e: Host: <MONIP>:8080
00a9: Accept: */*
00b6: Cookie: FBXSID="MPcfAQ0G1eZ/VRSH9PlPMsV/roR1ROjQWJrpv8MQkO2BaOTX
00f6: iSDlUoCQUkCXPoDM"; FBXSID=MPcfAQ0G1eZ/VRSH9PlPMsV/roR1ROjQWJrpv8
0136: MQkO2BaOTXiSDlUoCQUkCXPoDM
0152: Content-Type: application/json; charset=utf-8
0181: Content-Length: 126
0196:
=> Send data, 126 bytes (0x7e)
0000: csrf_token=NNjdYGJAwemGTOZI4yl3kQe0vOqjRzJewOvL%2BASJQbfzKFg3CbE
0040: fFZT3kZhd062k&{"jsonrpc":"2.0","method":"download.config_get"}
== Info: upload completely sent off: 126out of 126 bytes
<= Recv header, 17 bytes (0x11)
0000: HTTP/1.1 200 OK
<= Recv header, 15 bytes (0xf)
0000: Server: nginx
<= Recv header, 37 bytes (0x25)
0000: Date: Thu, 24 Jan 2013 08:02:29 GMT
<= Recv header, 32 bytes (0x20)
0000: Content-Type: application/json
<= Recv header, 28 bytes (0x1c)
0000: Transfer-Encoding: chunked
<= Recv header, 24 bytes (0x18)
0000: Connection: keep-alive
<= Recv header, 2 bytes (0x2)
0000:
<= Recv data, 125 bytes (0x7d)
0000: 72
0004: {"jsonrpc":"2.0","error":{"message":"parse error: bad starting e
0044: lement 'c' (should be '[' or '{')","code":-32700}}
0078: 0
007b:

Ce que je comprend, c'est que le csrf_token est mal donné, mais je ne sais pas si il faudrait qu'il se trouve la dans une enveloppe json ou alors ailleurs ...
Je ne peux pas faire de wireshark pour le moment. J'essaierais peut-etre ce weekend histoire d'avoir une idée clair de ce a quoi il faut parvenir.

Vinky41

Salut 🙂

Tu as essayé avec ces indications ? http://forum.ubuntu-fr.org/viewtopic.php?pid=12259041#p12259041

De mon côté ça marche impec 😉

root

Yes,

ça semble marcher un peu mieux (j'avais pas les meme argument que toi sur la commande curl). Mais il y a encore pas mal de boulot pour integrer tout ça au script de Zakhar.

Reste a voir, si j'arriverais a faire quelque chose avec qu'il ai a le faire lui-même 🙂
Je vous tiens au courant bien sur. Merci pour l'aide !

Vinky41

PAs de soucis 😉

Tiens pour automatiser le tout : http://forum.ubuntu-fr.org/viewtopic.php?pid=12327011#p12327011

C'est le script que j'utilise personnellement 🙂

Zakhar

Excellente la photo du chien !..

@Vinky41, en fait le script objet du présent post est un cas fonctionnel un peu différent. Ce qu'on fait ici c'est fonctionnellement "uploader" sur la Freebox. C'est en théorie impossible, du moins via l'interface web, donc on "contourne" l'impossibilité en installant un serveur web local (à moins qu'il n'y en ait déjà un installé) et en demandant à la Freebox de venir chercher le fichier.

Cependant, effectivement, le gros du truc c'est rajouter un lien sur l'interface de download de la Freebox, et ça c'est pareil que dans le script dlfree, même si ce n'est pas le même but. Donc en réutilisant ce que tu as découvert en reverse-engineerant le protocole, on doit s'en sortir !

Ensuite l'autre partie du script c'est juste pour faire un affichage sympa... mais elle nécessitera probablement aussi le CSRF token.

@root, effectivement le CSRF et les arguments JSON ont l'air "collés" et ça n'a pas l'air de plaire à la Freebox.

Je ferai la MàJ ce week-end (ça approche), faut juste que je m'arrange avec ma mère pour rebooter sans la gêner... par exemple quand elle est sortie promener le chien (il est presque de la même couleur que celui de la photo... mais nettement moins doué en shell :lol: )

Vinky41

@Zakhar : hum ok... Tu veux dire : uploader depuis une freebox et non pas uploader sur une freebox ? (Dans le second cas je comprend que mon ordinateur va envoyer un fichier sur la freebox, c'est peut-être pour ça que j'avais mal compris ^^ Mea culpa)

Donc de ce que j'ai compris : tu telecharges le fichier sur la freebox (depuis un serveur web local) qui suite à ce dl, laisse le fichier en partage (comme un torrent qu'on a téléchargé donc ? ) et donne la possibilité de télécharger un fichier disponible sur la freebox depuis n'importe où ?

Zakhar

Non non, c'est exactement comme dlfree, sauf que au lieu que le téléchargement se fasse depuis un site public (dlfree) vers la Freebox, ça se fait de ton PC vers la Freebox. Donc vu de ton PC c'est un "upload" (et pour la Freebox, c'est un "download").

Et côté seedbox, on n'utilise pas le torrent, mais le "download direct HTTP" (sur la Freebox), donc le fichier n'est pas partagé au monde entier !..

Le cas d'usage c'est par exemple :
- j'ai pris un film des mes enfants, et je veux que la grand-mère puisse le voir tranquillement dans son fauteuil devant la télé.
- le film de mes enfants est sur mon PC à Paris, la grand-mère est à l'autre bout de la France (chez Free avec une Freebox 6).
- je dois donc mettre le film qui se trouve sur un PC à Paris dans le répertoire Vidéos de la Freebox distante à l'autre bout de la France.

La commande est alors (je simplifie en supposant que tu as réglé une fois pour toute le fichier paramètres par défaut qui contient le IP, les ports, les mots de passe -sinon le script demande tout ça de toute façon):

upfree "Film_des_enfants.mkv" -t "/Disque dur/Vidéos"

Le script s'occupe alors de tout :
- démarrer un serveur web s'il n'en détecte aucun
- "uploader" le fichier ("up" par rapport au PC émetteur, et donc "down" par rapport à la Freebox)
- une fois le fichier totalement uploadé, il fait le "rename" depuis Téléchargements vers Vidéos (et accessoirement il nettoie aussi la liste de téléchargement).
- lorsqu'on utilise un serveur web qui le supporte (Apache par ex.) le script peut être interrompu et on peut donc faire l'upload en autant de fois qu'on veut (ce qui est bien pour les GROS fichiers parce que l'upload ADSL c'est super lent !... Genre 1G ça met 2h30).
Cette fonction de "reprise" de l'upload est en réalité "non documentée" et impossible à activer à partir de l'interface web, mais à partir du moment où on part d'un serveur qui supporte les "range" ça fonctionne parfaitement.

Et une fois tout ceci fini, la grand-mère peut regarder le film tranquillement sur son canapé, sans avoir à faire aucune manipulation "informatique".

... c'est bien sûr un exemple, ça marche avec plein d'autres choses (la musique de ton dernier concert, etc...)

Cerise sur le gâteau, si tu as bien réglé le fichier des paramètres et mis le script dans les scripts de Nautilus, tu peux même le faire sans taper de commande, directement depuis Nautilus !

Conclusion des manipulations (une fois configuré) :
- l'émetteur = 1 clic sur Nautilus
- la mamie = 0 manipulation (sauf la télécommande, mais ça elle maîtrise)

Vinky41

Hum ok, donc en gros ça à la même fonctionnalité point de vue freebox. La différence étant qu'on part d'un ordinateur qui initialement n'a aucun serveur web ? C'est ça ? Si oui, cela voudrait dire que le script que j'ai précédemment montré n'est qu'une étape parmis les autres. Mais il semble que son intégration dans le tiens rendra ton script à nouveau fonctionnel. Je me trompe ?

PS : je suis intéressé par cette fonctionnalité de reprise de téléchargement. Tu peux me donner quelques pistes (nom ou autre) pour que j'implemente ça sur mon serveur web ?

Zakhar

Oui absolument, c'est bien une "étape".

Mais le script upfree prévoit aussi plein de cas, comme par exemple il va aller regarder où tu as mis tes téléchargements, il vérifie qu'il peut écrire la cible, il vérifie qu'il y a assez de place sur la Freebox avant de commencer le téléchargement (tu l'aurais mauvaise de passer 10 heures sur un upload pour qu'il se plante après 4G !), etc...

Pour ce qui est de la reprise... regarde dans upfree (tu peux récupérer le code sur le 1er post). J'ai mis plein de commentaires... aussi pour moi, parce que quand on relit plusieurs mois plus tard, on ne se souvient pas forcément de ce qu'on a fait.
Tu verras alors que l'étape en question n'est que quelque lignes parmi... tout un tas d'autre lignes très largement plus nombreuses ! :rolleyes:

Ce qui fait l'astuce c'est la fonction fbx_dlremove.
On retire le téléchargement de la liste quand on sort du programme.
- Soit le téléchargement est fini, et comme ça la liste est "propre"
- Soit le téléchargement a été interrompu et le fait de le retirer de la liste ne supprime pas ce qui a déjà été téléchargé.

... du coup, la fois suivante, il y a déjà un bout de fichier, et la Freebox va juste demander la suite en faisant une requête "range".

... en fait j'ai écrit trop vite plus haut, tu peux tout à fait le faire "à la main" sur ton navigateur pour expérimenter. 😃

root

J'ai réussi a lancer une requête sur le freebox apres le login (pour récupérer le répertoire de téléchargement sur la freebox et l'espace disque), en utilisant la commande donnée par Vinky41. Du coup il faut changer tout les appel ccurl, mais aussi le traitement du message de retour visiblement.

Au final, je suis pas sur que ce que je suis en train de faire sera utile : car il y a peut-être une meilleur façon de faire, et que je suis un peu bourrin avec ton script, mais j'apprend des trucs.

Si tu bosse sur ton script ce weekend, je ferais un point sur ce que j'ai fait ce soir.

root

Yeepee. J'ai réussi en envoyer un téléchargement sur la freebox.
Voici comment :

J'ai crée 2 variable globale

FBSID=''										
FBCSRF=''

on set les 2 variables lorsque on fait le login sur la freebox. Dans la fonction fbx_login(), a la place de la fonction curlcheck j'appelle curlget

curlget()
{
  local err=0            # Erreur retournée par la fonction appelée
  local hcode
  
   if printf '%s' "${1}" | grep -q 'FBXSID'; then
	hcode=$(printf '%s' "${1}" | grep "FBXSID")
	FBSID=$(printf '%s' "${hcode}" | sed 's/.*FBXSID="//;s/".*$//')
   else
	exit 4 
   fi
   
   if printf '%s' "${1}" | grep -q 'X-FBX-CSRF-Token'; then
	hcode=$(printf '%s' "${1}" | grep "X-FBX-CSRF-Token")
	FBCSRF=$(printf '%s' "${hcode}" | sed 's/.*X-FBX-CSRF-Token: //;s/\r//')
   else
	exit 6 
   fi
  
  if printf '%s' "${1}" | grep -q '_ERR='; then
    err=$( printf '%s' "${1}" | sed 's/.*_ERR=//' )
    exiterr "${err}" "${eMSG_CURL_ERR}${err}"
  fi
  
  return $?
}

Ensuite je custumise les appels curl qui suivent. En modifiant la commande curl en elles-meme dans la fonction ccurl

ccurl ()
{  
  curl --data-urlencode "csrf_token=${FBCSRF}" -b FBXSID="${FBSID}" "${@}" -w "%{http_code}" -s -H "Accept: application/json, text/javascript, */*"  || printf "_ERR=${?}"

et dans tout les appels a la fonction ccurl. A chaque fois que du JSON était passé en parametre :

	  jsoncatch "$( ccurl http://"${fbxIPPort}"/storage.cgi\
                      -o "${TMPLOG}" \
                      -b "${TMPLOG}.c" \
                      -data "${JSONRPC}\"storage.list\"}" \
                      -H 'Content-Type: application/json; charset=utf-8')"

J'ai du remplacer de cette facon :

	  jsoncatch "$( ccurl http://"${fbxIPPort}"/storage.cgi\
                      -o "${TMPLOG}" \
                      -b "${TMPLOG}.c" \
                      -d "method=storage.list" \
                      -H 'X-Requested-With: XMLHttpRequest')"

Enfin, j'avais un souci avec la fonction jsoncatch qui partait en erreur alors que tout semblait ok. j'ai été un peu bourrin et j'ai du supprimé une boucle 😃

Au final, c'est pas très clean (comme vous pouvez le voir dans le code que j'ai copié), c'est surtout de la bricole de ton script mais ça marche.
Si tu n'as pas le temps de reprendre ton script ce weekend, j'essaierais de reprendre tout ça proprement la semaine prochaine.

Zakhar

Pas de problème, je vais reprendre vos 2 contributions et faire ça "propre" dans le script.

Comme tout le travail de "débroussaillage" est déjà fait, il en me restera plus que le "propre" !

Merci à vous deux, je reposte ici quand c'est fait.

Zakhar

Changelog
Version 1.1.0 du 26 janvier 2013 :

Licence changée en WTFPL V2
Compatibilité avec le firmware 1.1.9 de la Freebox Server (CSRF Token)
Fréquence de rafraichissement par défaut non opérationnelle : corrigé.
Crédits à Vinky41 et root pour les recherches sur le CSRF

----------------------------------------------

Note: en réalité, seule la fonction de postage pour "downloader" sur la Freebox (donc pour ce script, "uploader" depuis votre PC) nécessite le token. L'ensemble des autres fonctions du script n'en ont absolument pas besoin. C'est donc encore une "sécurité" (*) bizarre qu'à mis Free... on peut supprimer/renommer des fichiers sur le NAS sans aucun problème même si on n'est pas en possession du jeton mais on ne peut pas télécharger !..

(*) "sécurité" avec des guillemets... puisque le mot de passe persiste à circuler complètement en clair. Franchement c'est assez nul de prétendre "sécuriser" quand on a une faille aussi béante. :rolleyes:

@Vinky41 et root, en fait le header Accept JSON n'est pas du tout utile, par contre celui du HTTPRequest si (mais il était déjà requis auparavant).

Donc en résumé, les modifications sur le script étaient assez mineures (2 lignes dans le login pour récupérer le CSRF et 1 ligne dans l'upload pour le fournir !).
Après il restait un micro bug de la 1.0.3 sur le rafraîchissement de l'affichage que j'ai corrigé au passage -par défaut 2sec, mais si on veut économiser un peu de bande passante pour la conserver pour l'upload, on peut monter par exemple à 30 = 30sec, ainsi on fait moins de requêtes et on évite de consommer trop de bande passante juste pour mettre à jour l'affichage !-.

N'hésitez cependant pas à tester et à bien "secouer" ou cas où des erreurs m'auraient échappées.

« Page précédente Page suivante »