Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

tuXtremMerge (XtremSplit TURBO !) - Recoller vos fichier .xtm

Zakhar

Impeccable, je rajoute ça à la liste de NAS supportés dès que j'ai un moment dans le développement de mon filesystem pour Freebox. 😃

Merci pour ton témoignage... et bon Bambi !

Zakhar

21 janvier 2012

Version 1.7.1

(Signalé par Hizoka) Correction du calcul du nom de la destination lorsque le nom du fichier source contient des caractères tels que {}
Crédit à Josh63 pour le témoignage sur Synology DS211
Crédit à McMyst pour le témoignage sur DLink DNS 325 (Le premier NAS non-Synology !)

Stef500

Bonsoir! J'ai lu avec beaucoup d'intérêt ce post. Toutefois, J'ai un problème que je ne comprends pas et je tiens à préciser que je suis novice de chez novice en LINUX.
Tout d'abord, Je suis possesseur d'un Syno DS211j sous DSM 3.2. Donc tout devrait fonctionner avec le script tuXtremMerge d'après le post 2.

Après avoir lu un tuto sur internet, j'ai réussi à me connecter en telnet via mon mac.

Ensuite, j'ai fait :
cd /bin
wget http://xslt2.0.free.fr/tuXtremMerge
chmod +x tuXtremMerge
puis j'ai fait : tuXtremMerge /chemin/fichier.xtm

Résultat = ash/not found

J'en ai donc conclu que c'était parce qu'il y avait le fameux !/bin/bash en début de fichier.
Après 2h de galère ( et parce que je sais pas faire autrement ) j'ai tapé :

vi tuXtremMerge et viré la première ligne.

Là qd je tape tuXtremMerge il me met les commandes d'aide.
Donc là je me dis Youpi ca va marcher.

Je retape la commande ds le bon repertoire et j'obtiens le log suivant :

DiskStation> tuXtremMerge arthur.avi.001.xtm
/bin/tuXtremMerge: line 381: declare: not found
/bin/tuXtremMerge: line 386: declare: not found
/bin/tuXtremMerge: line 389: declare: not found
BusyBox v1.16.1 (2011-11-26 14:58:46 CST) multi-call binary.

Usage: readlink FILE

Display the value of a symlink

sh: 1: unknown operand
Vérifications ... /bin/tuXtremMerge: line 411: declare: not found
\E[1;31mErreur\E[0m
arthur.avi.001.xtm non trouvé, vide ou erreur
\E[1;34mAstuce :\E[0;34m il faut le premier et le dernier fichier, corrects et complets, pour que le script puisse fonctionner.
Vous pouvez optimiser le résultat en récupérant ces deux fichiers en priorité.\E[0m

Une idée????

PS: je suis vraiment un NOOB de chez NOOB en linux. Tout ce que j'ai mis ds ce post, je l'ai lu à droite/à gauche et je ne fais qu'appliquer...

Merci d'avance à quiconque souhaitera m'aider.

Stef500

PS: je précise que les xtm en question fonctionnent parfaitement...

Zakhar

Hello Stef500, et bravo pour essayer en tout cas. Chapeau aussi pour avoir réussi à éditer le fichier avec vi !

Personnellement, quand je n'ai pas d'éditeur graphique sous la main, j'utilise nano, c'est juste ce qu'il faut et sans commune mesure bien plus facile que vi !

Bref, ton problème semble simple : tu n'as pas installé les compléments qu'il te faut pour faire tourner tuXtremMerge.

Va voir au post numéro 2.

Il faut :
-1) installer l'installeur de paquets (ipkg), ça je ne sais pas comment on fait (j'ai pas de Synology) mais c'est certainement très bien décrit sur les forums communautaires de Synology.
-2) Une fois ceci fait, tu as un paquet indispensable à rajouter, c'est coreutils.

ipkg install coreutils

-3) Et tant que tu y es, ça ne mange pas de pain de prendre aussi bash

ipkg install bash

Et comme c'est des farceurs chez Synology, et que les trucs que tu installes ainsi se mettent dans opt, tuXtremMerge ne va toujours pas trouver /bin/bash (puisqu'on l'a mis dans /opt !)
Et donc tu rajoute un lien symbolique:

ln -s /opt/bin/bash /bin/bash

Ensuite, en reprenant le tuXtremMerge comme tu l'avais fait (ou en remettant le #!/bin/bash au début), ça devrait marcher.

Du reste, si tu n'as pas bash, la façon correcte de faire n'est pas d'enlever la ligne, mais de la remplacer par
#!/bin/sh
Ca dira à ton système de faire tourner la chose avec le shell par défaut (Ash sur un synology).

Tout cela est au post #2 en détail.

Bonnes installations !

Stef500

Merci Zakhar pour ta patience et ta gentillesse!

En fait, à la lecture du post 2, j'avais cru comprendre que rien d'autre n'était nécessaire que le script ( en éditant la première ligne ) sur un ds211j. Je te cite :

"Sur certains NAS, le script principal fonctionnera directement (Synology DS211J, témoignage Moonface).
Dans ce cas, vous n'avez besoin de rien de plus, une fois le script principal (voir post #1) copié sur votre NAS, simplement :

Ouvrez donc une session ssh ou telnet vers votre NAS
Lancez le script comme indiqué dans le post précédent (#1)"

J'avais probablement mal compris... ( noob power ;-) ).

Sinon, connaîtrais tu un autre moyen que d'installer ipkg sur le Syno? Effectivement j'avais trouvé un tuto très clair et très simple pour ce faire. Toutefois, j'ai cru comprendre que cela faisait aussi sauter la garantie. Or, je m'en sers pour stocker des données sensibles ainsi que celles d'autres personnes. C'est ce qui m'embête réellement si je dois faire sauter la garantie. J'ai regardé sur le net pour acheter un disque USB pour faire un BackUp de mes données mais avec les inondations en Thaïlande les prix sont devenus déraisonnables ( en tout cas hors de ma portée pour le moment pour un simple BackUp de 2To ).

Si tu n'en connais pas ou si c'est impossible tant pis pour le moment! Je garde précieusement ton post et le jour ou je peux me libérer de la garantie ou que j'arrive à stocker les données ailleurs, j'appliquerai à la lettre tes recommandations.

En tout cas, je te remercie encore d'avoir pris la peine de me répondre , tous le ne font pas et encore moins à ceux qui en ont le plus besoin...

@+!
Stef500

Zakhar

Je doute qu'ils puissent faire sauter la garantie hardware parce que tu as installé un truc !..

Par contre il est certain que pour tes données, installer des choses supplémentaires te fait encourir le risque -faible- de les casser, comme à chaque fois que l'on tape des commandes nécessitant des "privilèges" (le mot de passe "root", celui qui permet de tout faire... y compris tout casser !).
Tu es utilisateur de Mac, et c'est très bien. Mais saches cependant que si les gens dont tu sauvegardes les données ont des Windows, ils ont bien plus de chance de casser leurs propres données avec des Virus, ou autres malware que ce tu as de casser ton Syno avec un truc installé par ipkg !

Hélas, il n'y a pas moyen de faire tourner tuXtremMerge sans avoir au moins un od à jour. Et ça nécessite donc a minima la mise à jour de textutils (inclus dans coreutils, et je recommande plutôt coreutils car il semble que le paquet texutils des Syno soit assez ancien, contrairement au coreutils qui est récent, et contient lextutils de toute façon).

Tu peux essayer avec busyXTremMerge (voir lien post 1 ou 2) qui "contourne" un certain nombre de choses non installées sur les Synology, mais de mémoire il va buter sur od.

P.S.: en y réfléchissant, très probablement Moonface avait dû installer préalablement (pour d'autres besoins) les paquets coreutils et bash. Ce sont de toute façon deux trucs de base très utiles pour tout un tas de truc. Je vais retirer cette affirmation, car tu as raison, elle est probablement fausse !

Stef500

Ce que tu dis n'est pas faux ;-).

Toutefois, le tuto le précisait bien: installer ipkg faisait sauter la garantie. Si cela te semble douteux je vais envoyer un mail à Syno pour en être certain.

J'ai essayé d'installer busyXtremMerge( en enlevant les mêmes lignes ) et j'ai exactement les mêmes problèmes.

Toutefois, je viens de penser à quelque chose: j'ai également à ma disposition un Syno USBSTATION 2 dont j'ai très peu l'utilité ( c'est à la suite de celui ci que j'ai acheté avec bonheur un Ds211j ). Faire sauter la garantie m'importe peu et j'ai vu que je pouvais installer ipkg dessus. Crois tu que ton scrirpt marcherait dessus?
Après je n'aurais plus qu'à monter un dossier virtuel vers mon ds211j pour avoir le meilleur des deux mondes, non?

Encore merci!
@+!

Zakhar

Eh bien, tu peux toujours essayer sur le USBStation... ça fera un matériel de plus dans la liste si ça marche.

Si c'est un matériel sur lequel tu te sens confiant d'installer des packages provenant des dépôts de la communauté Synology, ça devrait marcher.... enfin à vérifier ! 😉

Stef500

Zakhar,

J'ai réussi à installer le firmaware alternatif sur USBStation 2 ( cf http://syno.haeflinger.com/index.php/USBStation2 )
J'ai réussi à installer ipkg et à le mettre à jour
J'ai réussi à installer coreutils
J'ai retelechargé tuXtremMerge et busyXtremMerge ( wget )
Je les ai rendus executables et j'ai remplacé /bin/bash par bin/sh ( un petit coup de vi, je deviens expert ;-)
Problème : qd je lance le script j'obtiens : /bin/sh: XtremMerge: not found.
Je pense qu'il s'agit d'un problème de lien symbolique parce que sur le firmware alternatif on ne peut pas écrire sur /bin?? ( arrete moi si je dis des bêtises ).
j'ai donc fait ln -s /volume1/@optware bin/sh et j'obtiens : File exists
Je recommence tuXtremMerge et busyXtremMerge et c'est la même chose :not found.
J'ai copié tuXtremMerge sur optware ( cp tuXtremMerge /volume1/@optware ) et même punition : not found.
Avant d'installer bash je pense qu'il s'agit d'un bête problème de lien symbolique mais je suis incompétent pour ce genre de manip. Donc avant de faire plus d'âneries je me tourne vers toi.

D'avance merci.

Stef500

Ps: j'ai tenté un ln -s /volume1/tuXtremMerge /bin mais j'obtiens
ln: creating symbolic link `/bin/tuXtremMerge': Read-only file system.
Je crois que c'est cela la limitation dont je te parlais.

PS2: ok c bon , j'ai fait cp tuXtremMerge /volume1/@optware/bin et maintenant ca à l'air de se lancer.
je vais faire un test avec un fichier

PS3: résultat avec tuXtremMerge
/opt/bin/tuXtremMerge: line 380: declare: not found
/opt/bin/tuXtremMerge: line 385: declare: not found
/opt/bin/tuXtremMerge: line 388: declare: not found
sh: 1: unknown operand
Vérifications ... /opt/bin/tuXtremMerge: line 410: declare: not found
/opt/bin/tuXtremMerge: line 501: syntax error: bad substitution

Avec la commande -vtt

tuXtremMerge -vtt arthur.avi.001.xtm
/opt/bin/tuXtremMerge: line 380: declare: not found
/opt/bin/tuXtremMerge: line 385: declare: not found
/opt/bin/tuXtremMerge: line 388: declare: not found
14:40:55.422221000
*** Vérification d'existence du premier fichier source...
/opt/bin/tuXtremMerge: line 410: declare: not found
*** Premier fichier source trouvé : arthur.avi.001.xtm
*** Vérification d'existence du dernier fichier source...
*** Dernier fichier source trouvé: arthur.avi.007.xtm
*** Tailles premier et dernier fichier cohérentes.
/opt/bin/tuXtremMerge: line 501: syntax error: bad substitution

PS4: résultat avec busyXtremMerge :
busyXtremMerge arthur.avi.001.xtm
/opt/bin/busyXtremMerge: line 199: can't open 1.7.0: no such file
/opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 380: declare: not found
/opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 385: declare: not found
/opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 388: declare: not found
sh: 1: unknown operand
Vérifications ... /opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 410: declare: not found
/opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 434: command: not found
sh: 0: unknown operand
/opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 447: command: not found
/opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 448: command: not found
/opt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 448: command: not found
sh: : invalid number
\E[1;31mErreur\E[0m
Fichier arthur.avi.sh: : invalid number
000.xtm non trouvé ou vide
\E[1;34mAstuce :\E[0;34m il faut le premier et le dernier fichier, corrects et complets, pour que le script puisse fonctionner.
Vous pouvez optimiser le résultat en récupérant ces deux fichiers en priorité.\E[0m

Merci

Zakhar

Là il te dit par exemple:

tuXtremMerge a écritopt/bin/busyXtremMerge: /opt/bin/tuXtremMerge: line 385: declare: not found

et que voit-on à la ligne 385 en question :

declare -i OPTION_t=0

Ca veut donc dire, en clair, que le shell que tu exécutes (ash) ne connait pas la commande declare.
En l'occurrence c'est pas trop dramatique car on peut ignorer cela sans trop de dommage, c'est juste une optimisation.
Mais à la ligne 501 il y a un "bashism" que ton shell ne comprend pas, et là ça plante !

Il semblerait donc que le ash de ton USBStation ne comprenne pas ce bashism qui ne posait pas de problème ailleurs (sans doute des versions de Ash plus récentes sur les autres Syno).

Peux-tu essayer d'installer bash, ça sera le plus simple.

Comme tu as pris coreutils, l'installation de bash se fait de la même façon.

Ensuite tu remets la ligne où il y a /bin/bash, et tu fais le lien symbolique comme indiqué sur le post 2.

Si tu n'arrives pas à faire le lien symbolique, de toute façon, tu peux toujours "forcer" à utiliser bash, simplement en le précisant avant tuXtremMerge.
Ca donne:

bash tuXtremMerge [options] fichier001.xtm

(en se plaçant avant dans le répertoire où tu as mis tuXtremMerge, sinon tu indiques son chemin en entier)

Si tu ne trouves pas bash pour ton USBStation, il faudra supprimer les "bashisms"... mais je ne sais même pas si c'est totalement possible parce que celui de la ligne 501 est celui qui te fait planter, mais il y en a d'autres derrière !

Stef500

Re-Salut Zakhar!

Tout d'abord, TU ES UN GENIE!

Voilà ce que j'ai fait :
ipkg install bash
L'install s'est faite sans aucun problème.

J'ai renommé tuXtremMErge en xtm parce je faisais faute d'orthographe sur faute orthographe ( avec mv ).

J'ai rechangé la ligne #/bin/sh en #/bin/bash ( avec vi )

Effectivement le lien symbolique ne marchait pas ( cf post précédent ).

J'ai donc fait bash xtm - vtt arthur.avi.001.xtm

Voilà le résultat :
bash xtm -vtt arthur.avi.001.xtm
21:12:55.533308000
*** Vérification d'existence du premier fichier source...
*** Premier fichier source trouvé : arthur.avi.001.xtm
*** Vérification d'existence du dernier fichier source...
*** Dernier fichier source trouvé: arthur.avi.007.xtm
*** Tailles premier et dernier fichier cohérentes.
*** Détermination de l'emplacement du résultat...
*** Emplacement du résultat : Arthur.avi
*** Vérification de la possibilité d'écrire le résultat : existence, autorisation d'écriture, espace disponible, etc...
*** 0 fichiers déjà traités.
*** Vérifications pour le fichier résultat terminées.
21:12:55.803065000
Traitement optimisé des 7 fichiers
==================================
Traitement de arthur.avi.001.xtm ... OK
21:13:17.876669000
Traitement de arthur.avi.002.xtm ... OK
21:13:44.060797000
Traitement de arthur.avi.003.xtm ... OK
21:14:15.400908000
Traitement de arthur.avi.004.xtm ... OK
21:14:49.815802000
Traitement de arthur.avi.005.xtm ... OK
21:15:23.168285000
Traitement de arthur.avi.006.xtm ... OK
21:15:57.863842000
Traitement de arthur.avi.007.xtm ... OK
21:17:31.707696000
==================================================
Toutes les opérations sont terminées avec succès !

Pour le fun, j'ai monté un dossier distant de l'Usbstation2 ( en cifs ) sur le DS211j et maintenant je prends les xtm sur l'usbstation2, je les decompresse en ligne de commande et automatiquement les fichiers apparaissent sur le DS211j et ce sans risquer de compromettre les données sur le DS211J.

JE SUIS HEU-REUX!!! Merci, c'est vraiment sympa de ta part de m'avoir aidé.

Tu peux donc rajouter l'usbstation 2 sur la liste des NAS qui fonctionnent avec ton script.

Merci encore.

PS: sinon, connaitrais tu un bon livre pour me débrouiller en linux? en commençant de zéro, donc :-).

Zakhar

Bravo !..

En réalité, là tu ne profites pas à fond du parallélisme puisque tu as du temps réseau. Mais si ton seul ordinateur chez toi est un mac, au moins ça te fait une solution pour décompresser les htm !..
Cela dit, je crois bien que Mac utilise bash comme shell par défaut (depuis Jaguar?) et on devrait trouver l'équivalent des utilitaires GNU pour faire tourner tuXtremMerge.... à voir (j'ai pas plus de Mac que je n'ai de Syno !)

Je rajouterai donc le USBStation 2 dans la liste des machins confirmés, merci donc pour ton test.

Pour ce qui est de commencer par une lecture "simple" et qui donne quand même des bases de Linux, je ne saurais trop te recommander l'ouvrage de Didier Roche qui se trouve là : http://framabook.org/2-simple-comme-ubuntu
Certes ça parle d'Ubuntu (et après tout on est sur un forum Ubuntu !) mais ça donne aussi des bases générales GNU-Linux.

Par exemple, pour ton problème de "complexité" du nom du script qui fait que tu l'as renommé, il y a un "truc" génial c'est l'auto-complétion. Dans la ligne de commande, tu tapes les premières lettres puis la touche TAB et il devine le reste. S'il y a plusieurs possibilités, en insistant il te les donne toutes de façon que tu puisses préciser en tapant davantage de lettres.
Ca marche pour les commandes, les noms de fichiers, les répertoires,.... bref c'est un vrai bonheur car c'est contextuel !..

L'ouvrage de Didier Roche est disponible à l'achat, ou aussi directement et gratuitement en pdf depuis le lien indiqué (bouquin libre). Si tu achètes, une partie va à l'auteur, et une partie à la communauté libre. Personnellement j'en ai acheté 5 avec une assoce, ma modeste contribution financière au libre.

Après, selon tes centres d'intérêts et ce que tu veux creuser, le mieux est de chercher sur le Web, une fois lu le bouquin agréable de Didier.

Lapogne71

Merci pour ce script ! à marché du 1er coup .. 🙂

Zakhar

De rien... c'est un vieux bazar que je ne maintiens plus guère, car je ne vais plus sur des forums qui recommandent ce format de découpage complètement dépassé.

olvrrp

Bonjour. J'ai suivi toute la procédure d'install. Toutefois lorsque je lance le script, un message m'indique que les fichiers xtm n'existent pas ... or ils sont bien là et complets je ne comprends pas. Cf. message joint.
En regardant les messages d'erreur, je me rends compte que le script rajoute un "r" dans le nom du fichier. C'est extrêmement curieux (Perter.001.xtm non trouvé). Auriez-vous une explication à cette bizarrerie ?

DiskStation> ls
Peter.001.xtm Peter.002.xtm Peter.003.xtm Peter.004.xtm
DiskStation> tuXtremMerge Peter.001.xtm
BusyBox v1.16.1 (2015-05-11 02:52:35 CST) multi-call binary.

Usage: readlink FILE

Display the value of a symlink

Vérifications ... Erreur
Perter.001.xtm non trouvé, vide ou erreur
Astuce : il faut le premier et le dernier fichier, corrects et complets, pour que le script puisse fonctionner.
Vous pouvez optimiser le résultat en récupérant ces deux fichiers en priorité.

Zakhar

Bonjour olvrrp,

ravi de voir que mon script d'un autre âge sert encore...

En fait, sur Synology, readlink est buggé, ou plutôt il ne se comporte pas comme le readlink standard de GNU car c'est un module de busybox.

Il faut donc que tu utilises le script qui se trouve au post #2, spécial pour les Synology. Ce script remplace toutes les commandes "foireuses" des Syno, dont précisément readlink.

Ainsi au lieu de lancer

./tuXtremMerge

Tu lanceras à la place

./busyTuXtremMerge

(qui a son tour va lancer la premier, mais en ayant remplacé les commandes défectueuses).

Si ça ne fonctionne toujours pas, n'hésite pas à poster en donnant des détails, notamment sur quelle Syno / Version de DSM tu tournes.

... et si ça marche, un petit retour aussi, que je rajoute dans la liste des machines testées !

olvrrp

Merci beaucoup pour ta réponse rapide. En revanche j'avais bien lu le message #2 et j'avais choisi l'option qui me permettait d'utiliser GNU directement. En tout cas je crois avoir suivi convenablement les étapes proposées (afin d'éviter d'utiliser le second script). Toutefois je viens d'installer le second script pour essayer. Le message d'erreur perdure (j'ai renommé mes fichiers xtm en Perter au lieu de Peter pour inclure le "r" qu'il me rajoute dans le message d'erreur : mais rien n'y fait).

DiskStation> ls
Perter.001.xtm Perter.002.xtm Perter.003.xtm Perter.004.xtm
DiskStation> busyXtremMerge Perter
Vérifications ... Erreur
Perter001.xtm non trouvé, vide ou erreur
Astuce : il faut le premier et le dernier fichier, corrects et complets, pour que le script puisse fonctionner.
Vous pouvez optimiser le résultat en récupérant ces deux fichiers en priorité.

olvrrp

Je suis sur un DS112 pour info

Zakhar

Ok, et tu avais bien fait

ipkg install coreutils

... pour récupérer les coreutils contenant les utilitaires GNU ?

Parce que selon ton premier message, le readlink qui a tourné est bien celui de base de la Syno (busybox) et pas du tout le readlink GNU qui se trouve dans coreutils !
Comme tu le vois, en effet, le message concernant readlink est précédé d'une entête busybox.

Ca veut donc dire : soit tu n'as pas fait ce qui est marqué, soit il y a eu une erreur et tu es passé outre. Quelle version de DSM tu as ?

Sinon on peut toujours debugger avec les remplacements contenus dans busyXtremMerge.

Bizarre également qu'il t'aie rajouté un 'r'... j'avais pas vu le détail !

Donc tu les renommes tels qu'ils étaient (parce que c'est ça qu'on attend : Nom001.xtm Nom002.xtm etc...)

Et tu fais :

sh -x ./busyXtremMerge Peter.001.xtm

Et tu nous colle le résultat dans une jolie balise <Code> pour que ce soit lisible !

olvrrp

Oui j'avais bien fait ipkg install coreutils
Par contre maintenant quand je tape ipkg : il me dit qu'il ne reconnait plus la commande bizarre.
Et quand je tape "sh -x ./busyXtremMerge Peter.001.xtm" il me dit "/bin/sh: /bin/sh: cannot execute binary file"

J'avais installé bash en remplacemnt et utiliser le lien symbolique vers bin/sh (tu en parles dans le post 2).

Je crois que j'ai du me louper à plusieurs endroits ou que tout part en vrille 🙂

« Page précédente Page suivante »