Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Alternative libre au moteur de recherche Google ?

dudumomo

mika a écritPour le reste, YaCi c'est bien, mais être obligé d'installer un client (autre que mon navigateur) pour faire une recherche, très peu pour moi.

Tu n'es pas du tout obligé d'installer quoi que ce soit pour utiliser la fonction recherche. Tu peux juste installer un client pour participer à l'indexation du Web.

mika

dudumomo a écrit
mika a écritPour le reste, YaCi c'est bien, mais être obligé d'installer un client (autre que mon navigateur) pour faire une recherche, très peu pour moi.
Tu n'es pas du tout obligé d'installer quoi que ce soit pour utiliser la fonction recherche. Tu peux juste installer un client pour participer à l'indexation du Web.

Oui donc quel est l'intérêt de participer au projet sans indexer de son coté ?

dudumomo

Je n'ai surement pas compris le sens de ta phrase....

Sans participer à l'indexation ? Le même que d'utiliser Yauba, Seeks, et co.

Les personnes utilisant simplement la fonction recherche de Yauba ou Seeks etc.. ne participe pas vraiment au développement du moteur de recherche, mais participe néanmoins à sa promotion, à effectuer des recherches sans ce soucier de la censure (Pas vrai avec les meta-moteurs mais bon), etc...

Bref, utiliser une alternative libre au moteur de recherche Google.

piti

Bonjour à tous,
J'ai lu rapidement les messages de chacun, j'aurais aimé avoir plus de temps pour répondre de manière plus précise.

Basiquement, le fonctionnement classique d'un moteur de recherche passe par le parcours et l'indexation de la plus grande quantité possible de pages web.

Quand une recherche à lieu, on parcours ensuite l'index pour retrouver les termes de la recherche: Cela donne des listes d'urls qui contiennent les termes recherchés.
Il faut ensuite faire l'intersection des listes (une liste par mot clé en gros) pour proposer les résultats à l'utilisateur. (c'est vraiment une description basique)

Appliquer cette méthode sur un réseau distribué générerait une très grande quantité de flux réseaux, en plus d'obtenir des résultats très lentement.[1]

C'est pourquoi Seeks n'est pas construit autour du paradigme classique des moteurs de recherche. En effet, l'idée est de s'intéresser directement aux requêtes, plutôt que de faire un travail d'indexation.

Seeks cherche donc à rapprocher les utilisateurs par leur requêtes, pour leur permettre de collaborer sur les résultats.

En fait, il s'agit d'une coquille vide, nourrie par l'activité des utilisateurs. C'est la raison pour laquelle seeks s'appuie sur d'autres moteurs de recherches:
il faut proposer un contenu sans quoi les utilisateurs s'ennuieraient, et
il faut des utilisateurs pour que la collaboration puisse avoir lieu.

En effet, pour l'instant, il n'y a que le metamoteur de disponible, la collaboration des utilisateurs étant pour plus tard[2][3].

J'en profite pour vous signaler la sortie d'une nouvelle version[4][5] aujourd'hui même[6], avec l'ajout de la recherche d'image, et quelques fonctionnalités Seeksy.

[1] http://juban.free.fr/projects/seeks/sci/search_feasibility.pdf
[2] http://seeks-project.info/wiki/index.php/Roadmap
[3] http://redmine.seeks-project.info/projects/seeks/roadmap
[4] http://sourceforge.net/projects/seeks/files/
[5] http://www.seeks-project.info/site/releases/ChangeLog-0.2.4
[6] http://linuxfr.org/2010/08/19/27262.html
[edit]
J'avais oublié que j'avais lu scroogle un peu plus haut.
Seeks a tout simplement le même pouvoir d'anonymisation que scroogle, la licence AGPL en plus (donc déployable où l'on veut), en l'utilisant sous la forme de "node": http://www.seeks-project.info/wiki/index.php/List_of_Web_Seeks_nodes propose un liste de node publics, mais à vous de déployer le votre 🙂
[/edit]

Airballman

[abonnement]
pas mal ce topic 🙂

dudumomo

Merci pour ces nouvelles et explications.
En effet l'indexation est une tache très longue et si elle est présente sur un réseau distribué elle peut être très lente comme tu l'indique, mais je pense tout de même que plus il y aura de participant dans un réseau distribué, plus la tache sera rapide.
Les temps de réponse devrait tout de même diminuer dans une structure adéquate j'imagine.

Seeks est un metamoteur très prometteur, mais va t'il devenir un jour un moteur ?
Car il faut vraiment faire la différence entre anonymat, respect de la vie privé, etc... et indépendance de l'information, lutte contre la censure, etc...

geenux

Pour que seeks devienne un vrai moteur, je pense qu'il faudra beaucoup d'utilisateurs interressés.
Je sais pas exactement où en est le côté programmation du projet, mais une fois tout en place, c'est les utilisateurs qui feront vivre ce type de projet. Il risque d'avoir un démarrage lent et difficile en tant que moteur à part entière, mais si le métamoteur fonctionne efficacement, ça ne devrait pas trop déranger d'utiliser seeks à la place de google.
Il faut que je teste...

piti

dudumomo a écritLes temps de réponse devrait tout de même diminuer dans une structure adéquate j'imagine.

Le pdf que j'ai mis dans mon précédant post présente justement les problèmes dans un réseau distribué.
(ça n'est pas tant la constitution de l'index qui pose souci, mais plutôt la recherche en son sein.)

dudumomo a écritSeeks est un metamoteur très prometteur, mais va t'il devenir un jour un moteur ?
Car il faut vraiment faire la différence entre anonymat, respect de la vie privé, etc... et indépendance de l'information, lutte contre la censure, etc...

Seeks ne se borne justement pas à être un métamoteur.
C'est uniquement la première étape, celle qu'il fallait faire en premier pour que les utilisateurs n'aient pas qu'une coquille vide.

Selon la roadmap[1] pour solo, il n'y a qu'un méta moteur: une base solide que les utilisateurs peuvent adopter d'un coté, et sur laquelle on peut par la suite accrocher la dht (la partie p2p), en enrichissant au fur et à mesure les fonctionnalités disponibles.

Il faudra attendre fin octobre[2] pour avoir une collaboration basique, si la roadmap est respectée.

Ça n'est pas une raison pour ne pas adopter tout de suite le moteur, qui n'attend que des utilisateurs (et des contributeurs, bien évidement )

[1] http://seeks-project.info/wiki/index.php/Roadmap
[2] http://redmine.seeks-project.info/projects/seeks/roadmap

piti

geenux a écrit[…]
Il faut que je teste...

tester le moteur n'est pas compliqué:
Il suffit de choisir un node sur la liste[1], et depuis sa page, l'ajouter aux moteurs par défaut dans firefox (avec la petite flèche qui ouvre la liste des moteurs).

[1] http://www.seeks-project.info/wiki/index.php/List_of_Web_Seeks_nodes

bloublou

Mais pour seeks, comment vous comptez vous y prendre pour avoir un vrai moteur, qui ne soit pas sur un réseau distribué ?

piti

Seeks ne compte pas reprendre le concept classique des moteurs de recherche (crawl/indexation), si c'est ce que tu entends par «vrai moteur».

Au lieu de ça, il s'appuie directement sur les recherches effectuées par les internautes, pour les rapprocher et leur permettre de collaborer sur les résultats (ils forment alors des «groupes de recherche»).

Les informations résultantes de ces collaborations sont stockées dans une DHT[1] (table de hachage distribuée), et sont consultées lorsque la recherche correspondante est réalisée.

En fonctionnant de cette manière, Seeks s'évite le complexe travail d'indexation d'une part, et permet un travail de qualification intelligent des résultats, comme celui-ci est réalisé par les utilisateurs.

[1] http://fr.wikipedia.org/wiki/Table_de_hachage_distribu%C3%A9e

dudumomo

Donc aucune protection niveau censure...?! (Je suis parano peut être mais qui peut le plus peut le moins)

psychederic

@piti-pablo

4 questions ou peut être des idées :

Est ce que vous pensez intégrer des algorithmes de routage évolué : algorithme de fourmi ( mute )

Est ce que vous pensez ajouter/intégrer un service de bookmark : ( ce qui permettrait d'enrichir rapidement le moteur, en partant de l'existant ) tout en promouvant un outil toujours présent dans le navigateur , pour utilisation régulière du moteur.

Quid de la sécurité des connections ?

Quid de l' "anonymat" ? ( a tous les niveaux )

En tout cas merci pour votre travail.

piti

dudumomo:
Dans un premier temps, les résultats provenant de différents moteurs de recherches, il risque en effet d'être difficile de se prémunir contre l'éventuelle censure pratiquée par ceux ci. Bon, le coté méta permet quand même d'obtenir des résultats de la part d'autres moteurs si seulement un pratique cette soit disante censure.

L'étape Dandelion de la roadmap[1] précise qu'il s'agira principalement de la possibilité de publier de nouvelles url associées à une requête. C'est à ce moment là que le contrôle sur les recherches est pleinement rendu à l'utilisateur: De nouveaux résultats pourront être présentés aux groupes de recherches sans provenir des moteurs traditionnels.

[1] http://seeks-project.info/wiki/index.php/Roadmap

piti

psychederic a écritEst ce que vous pensez intégrer des algorithmes de routage évolué : algorithme de fourmi ( mute )

Seeks ne partage pas directement les requêtes, mais travaille à partir de leur hash.
ainsi, les requêtes des utilisateurs ne sont pas transmises en clair.
pour ce qui est du protocole utilisé, c'est basé sur chord:
http://seeks-project.info/wiki/index.php/FAQ#Which_existing_peer-to-peer_software_did_you_start_from_.3F_And_why_.3F

psychederic a écritEst ce que vous pensez ajouter/intégrer un service de bookmark : ( ce qui permettrait d'enrichir rapidement le moteur, en partant de l'existant ) tout en promouvant un outil toujours présent dans le navigateur , pour utilisation régulière du moteur.

Comme je l'ai précisé dans mon post précédant, il sera possible de publier des url associées à des recherches.
Les formes que cela pourra prendre ne sont pas encore décidées, ça reste donc ouvert.

psychederic a écritQuid de la sécurité des connections ?

L'accès, par exemple au nodes publiques peut se faire via ssl (certains le propose)
Quant à la connexion des nodes entre eux, il n'est sans doute pas judicieux de passer par des connexions chiffrées, les recherches ne circulant pas en clair, et le chiffrement ralentissant sensiblement le temps d'établissement des connexions (ce qui est génant car l'utilisateur souhaite tout de même obtenir sa réponse au plus vite.)

psychederic a écritQuid de l' "anonymat" ? ( a tous les niveaux )

On peut par exemple utiliser Seeks conjointement avec tor:
Using Seeks with tor

Aussi, il y a la note que j'ai ajouté au bas de mon post de la page précédente

psychederic

piti-pablo a écritSeeks ne partage pas directement les requêtes, mais travaille à partir de leur hash.
ainsi, les requêtes des utilisateurs ne sont pas transmises en clair.
pour ce qui est du protocole utilisé, c'est basé sur chord:
http://seeks-project.info/wiki/index.php/FAQ#Which_existing_peer-to-peer_software_did_you_start_from_.3F_And_why_.3F

Je pense qu'il y a possibilité d'amélioration pour les divers type de communication dans seek. (MAJ de la DHT, et requêtage : auto répartation de la charge, adaptation, convergence, et émergence)

https://secure.wikimedia.org/wikipedia/en/wiki/Ant_colony_optimization#Application

https://secure.wikimedia.org/wikipedia/fr/wiki/Algorithme_de_colonies_de_fourmis#Applications

bloublou

piti a écritSeeks ne compte pas reprendre le concept classique des moteurs de recherche (crawl/indexation), si c'est ce que tu entends par «vrai moteur».

DONC ça restera une sorte de meta moteur (appalez ça comme vous voulez, mais un moteur de recherche qui utilise les résultats d'autres moteurs, c'est un meta moteur).

Donc pas intéressé…

pilooch

@psychederic : Seeks implémente une DHT (http://fr.wikipedia.org/wiki/Table_de_hachage_distribuée) basée sur le protocol Chord (http://fr.wikipedia.org/wiki/Chord) modifié pour Seeks.
Dans ce contexte, la charge est automatiquement répartie, une conséquence de l'uniformité de la fonction de hachage. Ensuite, le principe de réplication des données d'un noeud chez ses voisins fournie directement un allègement de charge sur le réseau en mettant à disposition les mêmes données par plusieurs noeuds.
Pour un réseau P2P basé sur une DHT, la convergence revient à la stabilité du réseau (à quelle vitesse se stabilise-t-il par exemple, ou encore, combien de noeuds sont-ils affectés par la disparition d'un autre noeud sur le réseau). L'émergence n'a à ma connaissance aucune application avec les DHT.

@louiz’ : l'architecture crawler/indexer pour construire un moteur de recherche n'est qu'une architecture parmi d'autres. Le fait qu'elle nécessite le recopiage complet de l'intégralité du Web afin de pouvoir fonctionner, signe son arrêt de mort à long terme, sans parler du coût écologique faramineux en serveurs etc...
Seeks propose un modèle collaboratif qui utilise le Web lui-même, dans lequel les serveurs Web indexeront leurs propres contenus tout en gardant le contrôle de celui-ci et en le servant aux client du moteur. Que le projet survive ou pas, il constitue une alternative rationnelle à l'architecture crawler / indexer, et qui utilisera DIRECTEMENT le contenu des sites Web, sans le recopier.
La roadmap du projet est disponible ici :
http://seeks-project.info/wiki/index.php/Roadmap
Le meta-moteur est une première étape, pour se détacher graduellement, et à long terme des indexes et des crawlers, sans perte de qualité de résultats pour les utilisateurs, c'est à dire pour toi.

geenux

Non, pas d'après ce que j'ai compris.
C'est un méta-moteur d'abord, le temps que les nodes aient assez de contenu utilisé pour tourner par elles-mêmes.
Mais avec un système comme ça, les site quasiment pas visités seront quasiment introuvable, non ?

dudumomo

louiz' a écrit
piti a écritSeeks ne compte pas reprendre le concept classique des moteurs de recherche (crawl/indexation), si c'est ce que tu entends par «vrai moteur».
DONC ça restera une sorte de meta moteur (appalez ça comme vous voulez, mais un moteur de recherche qui utilise les résultats d'autres moteurs, c'est un meta moteur).

Oui j'ai le même sentiment. Seeks est un très bon meta moteur mais ne constitue pas à mes yeux une alternative entière à Google car il n'est pas indépendant à celui ci.

Mais malheureusement YaCy n'est pas encore assez mature pour être une alternative immédiate. (Seeks en revanche, n'a pas besoin de cette même maturité)

Bref, je vais essayer de fouiner dans le forum allemand de YaCy, car la documentation en anglais ou français manquent crutialement et est très regrettable.

« Page précédente Page suivante »