YoBoY
Je me suis penché sur la question de la génération de notre documentation dans une version offline, j'ai eu beau chercher tout seul (comme un grand) avec quoi fonctionnait okawix, je ne sais toujours pas, et ensuite comment générer de l'openZIM (vu que je crois que c'est peut être ça) et bien au bout de quelques jours j'ai laissé tomber.
Une procédure serait tout de même très appréciée, ainsi nous aurions des éléments clé pour une éventuelle automatisation de la chose. Parce que bon sang, on écrit de la documentation pour aider tout le monde, on demande pas la lune quand on veux avoir une documentation minimale pour pouvoir faire les choses nous même.
Personnellement, je suis parti sur une autre piste, qui comme certains le réclame, serait d'avoir un paquet .deb à installer, et d'avoir la doc directement accessible avec les outils de gnome ou de kde. Chose qui est tout à fait envisageable à mon avis, et qui demande presque moins d'efforts. Mais je suis là aussi confronté à des soucis pour trouver de la documentation explicite sur certains formats utilisé par notre cher système.
Bref c'est un projet, c'est pas pour tout de suite...
pm27
Bonjour,
Notre mode de création des fichiers de données reposent sur notre moteur de recherche
http://www.wikiwix.com par voie de fait ce processus n'est pas utilisable directement sur les serveurs d'Ubuntu.
Mais je n'ai toujours pas eu de retour concernant la fréquence des mises à jours auquel les administrateurs nous tolèrent pour une gestion externe des données, donc je ne colporte pas de fausses rumeurs.
Cordialement
Pascal
Mohegan
Ce moteur est-il opensource également ?
Comment fonctionne-t-il ? (vous aspirez le site puis vous l'indexez / ou votre moteur est un fureteur qui fait ça tout seul)
Sinon, ce projet m'a l'air sérieux (et à priori libre). Il est dommage que les administrateurs du site ne soient pas plus enthousiaste. Tout ce qui peut permettre d'améliorer la documentation mérite qu'on s'y attarde. Libre à autrui de créer sa propre solution si cela ne lui convient pas (c'est ça aussi le libre). (peut être avec yelp : outil d'aide intégrer à gnome)
Quelques détails sur le fonctionnement de votre logiciel permettrait peut être de solutionner vos différents avec le site.
pm27
Wikiwix n'est pas opensource et je n'ai actuellement aucun intérêt à le faire. Le principal intérêt serait une plus grande visibilité mais Google offre des solutions d'intégration tellement simple que même les bastions opensource (cf :
http://ubuntu-fr.org 🙂 ) l'utilise plutôt qu'un des moteurs de recherches opensource.
Il fait tout tout seul
http://my.wikiwix.com/.
Ce projet est tout à fait sérieux
http://download.wikipedia.org/dvd.html et est tout à fait libre puisque il reçoit le soutien de translatewiki
http://translatewiki.net/wiki/Translating:Okawix.
Il n'y a pas plus que çà de différents avec ce site.
didrocks
ok, ce ne sont pas des rumeurs mais de fausses informations (comme quoi on ne se serait jamais intéressé à ton système).
Après, vu le ton évasif sur une procédure "c'est libre", "ah bah non, il faut notre moteur, donc c'est libre mais vous ne pouvez pas le faire tourner", etc. je ne vois pas pourquoi on changerait un système priorio (google) par un autre (le tien). Autant changer vers une solution libre, et tant que le moteur de rechercher de fluxbb ne nous permet plus, vu la volumétrie des données, de faire une recherche interne fonctionnelle avec une charge serveur raisonnable, nous attendons toujours de l'aide (c'est à dire du temps) sur l'implémentation de Sphinx au forum/doc.
On en a déjà parlé moultes fois que le fait que cela ne puisse pas tourner sur nos serveurs nous gènent. Aujourd'hui, on peut faire au moins tourner la recherche de la doc, et sa mise hors ligne quand un membre de la communauté s'en occupe (pour info, j'ai fait une procédure pour ça). Ne régressons pas en terme de liberté, même si le fait que la recherche globale du forum se fasse par google nous gêne autant que vous.
Ensuite pour la doc hors ligne, un paquet dans ubuntu directement et une intégration avec yelp serait le top. Si qqn est intéressé par le sujet (je peux m'occuper du sujet "packaging")
Concernant la fréquence, vu que la doc a environ une trentaine de modif réelles par jour (si on enlève tous les enregistrements intermédiaires), je pense qu'une fois tous les mois devraient suffir (mais il faudrait des paramètres sur "combien de temps pour crawler complètement le site" auquel nous n'avons pas accès).
PS: ubuntu n'est pas opensource mais Libre, ce n'est pas la même chose.
mr_pouit
(je ne suis plus admin, mais je viens poster aussi, ça a l'air marrant)
pm27 a écritWikiwix n'est pas opensource et je n'ai actuellement aucun intérêt à le faire. Le principal intérêt serait une plus grande visibilité mais Google offre des solutions d'intégration tellement simple que même les bastions opensource (cf :
http://ubuntu-fr.org 🙂 ) l'utilise plutôt qu'un des moteurs de recherches opensource.
Donc pour récapituler, okawix (le client) est libre, mais il ne sait lire qu'un blob pas libre pas documenté, généré avec une procédure inconnue, par un moteur qui n'est pas libre et qui en plus ne peut pas tourner sur les serveurs ubuntu-fr...
Si wikiwix n'est pas opensource, pourquoi irait-on perdre du temps (et de la "main d'oeuvre", qui est déjà suffisamment limitée sur ubuntu-fr) à essayer de l'adapter, alors que tu n'as pas été très réceptif aux demandes des admins ?
Comme l'a dit didrocks, il y avait eu des débuts d'implémentation d'une recherche avec sphinx par un ancien admin (en pause depuis pour cause de paternité je crois) il y a un an. Et depuis, ça n'a pas bougé... A l'heure actuelle, je pense même que le forum n'a plus aucun admin pour s'occuper de le mettre à jour, toussa. Et c'est pas en disant "gniagniagnia les admins m'écoutent pas, ne me répondent pas, sont des intégristes d'un bastion opensource, tiens je vais aller colporter des pitreries pour montrer combien ils sont vraiment méchants plus qu'orangina rouge surtout didrocks" que ça va s'arranger.
tshirtman
Tiens salut pm27...
Bon apparemment ta question a enfin été répondue pour la fréquence de mises (une fois par mois ce serait pas mal), mais il sera difficile d'intégrer plus avant sans procédure pour la génération du fichier, et cette procédure demanderait l'ouverture de wikiwix, ce qui serait gênant bien sur, pour ton business model, donc on est probablement en situation de blocage. Comme le dit didrocks, pourquoi remplacer la solution google (pas libre) par une autre solution pas libre non plus?
Enfin si tu veux parler de tout ça plus directement, irc marche toujours hein 😉.
pm27
Bonjour et bonne année,
Mr pouit
Okawix, lit aussi bien le html que le zeno [urk]
http://openzim.org/Zeno_File_Format[/url]
,et va bientôt lire les Zim
http://openzim.org
.
Je vais pas expliquer les avantages de partir sur un format de données compressées utilisable sans décompression pour pouvoir récupérer les données.
Wikiwix quant à lui est un aspirateur, indexeur , avec une option pour générer du zenos et bientôt du zim grâce à un dump de la RAM concernant la partie indexation et à un dump des fichiers html que nous conservons pour pouvoir afficher les résumers.
Okawix contient également un lecteur opensource de nos fichiers d'indexation du moteur.
Le processus n'est pas obscur, c'est juste qu'il ne correspond pas aux attentes des administrateurs, et que nous allons pas implémenté d'autre solution que l'existant pour la génération des fichiers zeno ou zim.
Si le projet de monter un moteur de recherche en opensource de type Sphynx vous demande plus d'un an alors que le projet Sphynx est architecturé pour être utilisable.
Le projet Wikiwix n'est pas quant à lui architecturé en tant que tel, et que c'est pour çà que je doute que même si wikiwix était en opensource, il serait plus visible.
Je continuerai ce post demain, ma femme et ma fille m'attendent 🙂
Cordialement
Pascal
Tomzz
Bonjour,
Bon, je n'ai pas tout compris dans le débat Open ou non, mais je me permet un petit retour utilisateur sur Okawiki.
Je viens de l'installer et de télécharger les archives wikibooks, wikinews, wikiquote, wikiversity, wikitionary, wikisource, wikipedia, et la doc Ubuntu.
Bon, dans l'ensemble, j'adore, l'interface est claire et la recherche efficace...
Ce qui m'a un peu gêné, (mais c'est peut être moi):
- J'ai installé Okawiki sur un disque externe, ce point n'est pas vraiment un problème mais j'ai remarqué que le chemin des archives locale est déclaré comme un chemin absolu, mettre un label sur le disque permet de garder le même chemin partout.
Mais si ce chemin avait été relatif par rapport au répertoire du logiciel ça aurai simplifié (ça c'est un détail et peut être pas adapté à toutes les utilisations).
- Je ne parviens pas à accéder à wikipédia, j'ai retéléchargé 3 fois (8Go avec les images) l'archive et quand je clique dessus j'obtiens une page blanche.
Si je tente une recherche dans ces conditions j'obtiens des résultats fantasques, dans les autres archives, sans rapport avec le mot clef. (les autres archives fonctionnent correctement).
- Lorsqu'une archive est en cours de téléchargement/installation depuis l'interface d'Okawiki, si je fais une recherche, le logiciel plante et se ferme, du coup il faut tout recommencer.
- je peux me tromper mais il me semble qu'Okawiki ne gère pas la reprise d'un téléchargement après une interruption.
Dans la même idée il me semble que les mises à jour se font par écrasement de l'archive précédente et semble t'il même si il n'y a pas eu de modifications.
Je ne sais pas si c'est possible, mais une mise à jour incrémentielle serait bien pratique.
Ceci dit, merci pour Okawiki
Guillaumito
Bonjour,
Je suis l'un des développeurs d'Okawix et je vais tenter de répondre à quelques unes des questions...
Pour l'histoire des chemins absolus / relatifs, Okawix offre les deux possibilités :
* par défaut, les contenus sont installés en "local" (chemins absolus), c'est à dire sur la machine ; si vous utilisez deux installations d'Okawix, elles verront toutes les deux ces fichiers.
* Okawix permet aussi d'installer les contenus en "embed" (chemins relatifs), c'est à dire avec le logiciel ; dans ce cas, chaque installation d'Okawix ne peut voir que ses propres contenus.
Il est possible de copier un contenu de local vers embed (et inversement) en effectuant un glisser-déposer dans la barre latérale d'Okawix.
Pour le problème avec Wikipédia, je vais vérifier que tout est ok avec le dump et je donnerais des nouvelles ensuite.
Pareil pour la recherche lors du téléchargement, c'est sensé fonctionner ; je vérifie, corrige au cas ou et je vous tiens au courant.
Pour la reprise de téléchargement et pour les mises à jour incrémentale, nous sommes conscients de ces problèmes et avons l'intention de les corriger dans le futur.
J'ai aussi pris bonne note du retour de Mohegan sur la compilation et je vais tenter de corriger les problèmes rapidement.
En tous cas, merci à tous pour vos retours ! 🙂
Tomzz
Merci Guillaumito pour tes réponse.
Je viens de tester Okawiki sous windows avec Wikipedia et je retrouve sensiblement le même problème:
La fin de l'installation de l'archive c'est soldée par un plantage de Xulrunner.
Après redémarrage, j'arrive aussi sur une page blanche, je sélectionne l'archive Wikipédia, et les recherches me sortent aussi des résultats fantasques mais sur Wikipedia cette fois ci car je n'ai téléchargé que ça.
Par exemple une recherche sur polystyrene me retourne (ente autre): Dimitrios Vikélas ... Guerre du Kippour ... Charles de Gaulles, mais aucun résultat en rapport avec la recherche (le mot n'est pas dans le texte des articles).
Une recherche avec Charles de Gaulle me retourne: Troisième République... Théorème spectral ... Nationalisme Breton... mais pas de trace de l'article Charles de Gaulle précédemment trouvé avec "polystyrene".
Ce problème d'indexation ne semple toucher que Wikipédia et pas les autres archives.
[edit] correction "résultats fantasques mais sur Wikipedia cette fois ci" et pas Ubuntu comme j'avais écrit précédemment.
pm27
Bonjour Tomzz,
Tomzz, il s'agit d'Okawix pas d'Okawiki 🙂
Tshirtman , comment se passes ta nouvelle vie ?
Cordialement
Pascal
Tomzz
Bonjour Tomzz,
Tomzz, il s'agit d'Okawix pas d'Okawiki
Oups, Wikipédia, Wiki, Kiwi, Kiwix, Kaki, Okawix... je m'y perds et comme j'écris comme je parle :rolleyes:
Guillaumito
Mohegan: je viens de commiter quelques corrections pour les problèmes que tu rencontrais lors de la compilation. Si tu as le temps, pourrais tu vérifier que cela améliore les choses pour toi ?
Tomzz
Bonjour, et merci,
Je vais regarder ça, mais pourrais tu me dire si les corrections que tu as effectués ont été faites sur Okawix ou sur l'archive Wikipedia.
Guillaumito
Les modifications sont sur le SVN d'Okawix, mais... je ne pense pas que cela va changer grand chose aux problèmes que tu rencontrais. Comme je le disais, cela corrige simplement des problèmes de compilation.
Mohegan
- La compilation de libzeno me renvoie (avec la commande make) :
/home/jack/Logiciels/Compil Okawix/okawix/trunk/libzeno/bk-deps g++ -c -o zeno_directory.o -I. -g -O2 ./src/cxxtools/directory.cpp
make: /home/jack/Logiciels/Compil : commande introuvable
make: *** [zeno_directory.o] Erreur 127
- Pour zenocomponent, il n'y a toujours pas de configure. Donc, utilisation de autoconf pour créer le fichier de configure. (il faudrait le créer ou modifier le fichier install)
- Le make me renvoie :
g++ -o IZeno.so -fshort-wchar -I/usr/include/xulrunner-1.9.1.6/stable -I/usr/include/xulrunner-1.9.1.6/stable/nspr -I/usr/include/nspr \
-fno-rtti -shared -D_POSIX_ -O3 -g -O2 -fPIC zenocomponent.cpp -Wl,-Bstatic -lzeno -lbz2 -Wl,-Bdynamic \
-L/usr/lib/xulrunner-devel-1.9.1.6/lib -lxpcomglue_s -lxul -lxpcom -lplds4 -lplc4 -lnspr4 -lpthread -ldl
/usr/bin/ld: /usr/lib/gcc/x86_64-linux-gnu/4.4.1/../../../../lib/libzeno.a(zeno_article.o): relocation R_X86_64_32 against `.bss' can not be used when making a shared object; recompile with -fPIC
/usr/lib/gcc/x86_64-linux-gnu/4.4.1/../../../../lib/libzeno.a: could not read symbols: Bad value
collect2: ld returned 1 exit status
make: *** [IZeno.so] Erreur 1
😃
-Pour minitar et minisearch, le compilation fonctionne parfaitement.
Tomzz
Et le problème de recherche sur Wikipedia, je suis le seul à l'avoir ?
Parce que ci c'est le cas je ne comprend pas trop étant donné qu'il se produit aussi bien avec la version Linux que Windows.
J'ai voulu tenter le téléchargement de l'archive Wikipedia par torrent mais il ne trouve pas de pair.
Guillaumito
@Tomzz> Non, tu n'es pas le seul. Après vérification, les archives des Wikis français viennent d'être régénérées et les index du moteur ne sont pas corrects. Nous sommes en train de corriger et nous allons relancer la génération des contenus français.
@Mohegan> Pour la première erreur, ça ressemble à un bug de bakefile... il n'a pas l'air d'aimer les espaces dans les noms de fichier vu qu'il tente d'exécuter "/home/jack/Logiciels/Compil" à la place de "/home/jack/Logiciels/Compil Okawix/okawix/trunk/libzeno/bk-deps". Comme solution temporaire, remplace la ligne:
BK_DEPS = /home/jack/Logiciels/Compil Okawix/okawix/trunk/libzeno/bk-deps
par
BK_DEPS = /home/jack/Logiciels/Compil\ Okawix/okawix/trunk/libzeno/bk-deps
dans le Makefile. Je vais contacter les gens de Bakefile à ce sujet (voir leur proposer un patch...)
Pour le problème de compilation du zenocomponent, je pense que le problème vient de la libzeno et je viens de commiter un correctif, normalement ça devrait corriger le problème.
Mohegan
Pour libzeno, la compilation puis l'installation sont Ok après la modification du makefile.
Par contre, le make de zenocomponent me renvoie toujours :
/usr/lib/xulrunner-devel-1.9.1.6/bin/xpidl -m header -I /usr/share/idl/xulrunner-1.9.1.6/stable IZeno.idl
g++ -o IZeno.so -fshort-wchar -I/usr/include/xulrunner-1.9.1.6/stable -I/usr/include/xulrunner-1.9.1.6/stable/nspr -I/usr/include/nspr \
-fno-rtti -shared -D_POSIX_ -O3 -g -O2 -fPIC zenocomponent.cpp -Wl,-Bstatic -lzeno -lbz2 -Wl,-Bdynamic \
-L/usr/lib/xulrunner-devel-1.9.1.6/lib -lxpcomglue_s -lxul -lxpcom -lplds4 -lplc4 -lnspr4 -lpthread -ldl
/usr/bin/ld: /usr/lib/gcc/x86_64-linux-gnu/4.4.1/../../../../lib/libbz2.a(bzlib.o): relocation R_X86_64_32S against `.text' can not be used when making a shared object; recompile with -fPIC
/usr/lib/gcc/x86_64-linux-gnu/4.4.1/../../../../lib/libbz2.a: could not read symbols: Bad value
collect2: ld returned 1 exit status
make: *** [IZeno.so] Erreur 1
Sinon, j'ai remaqué un léger problème de mise en page sur les bases de wikipedia et consorts. En effet, il manque des espaces entre le texte et les bords de la fenêtre comme sur les sites originaux.
La documentation ubuntu n'a pas ce problème.
