Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Unbound - liste Ads

Degenesis

Actuellement entrain de monter mon serveur DNS en local je cherche à créer un script pour construire un fichier complet contre les ads et trackers à l'aide plusieurs sources fiables.

#!/bin/bash

wget https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt -O /home/User/Desktop/Sources/simple_ad.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malware.txt -O /home/User/Desktop/Sources/simple_malware.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_tracking.txt -O /home/User/Desktop/Sources/simple_tracking.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malvertising.txt -O /home/User/Desktop/Sources/simple_malvertising.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/hosts -O /home/User/Desktop/Sources/hostsStevenBlack.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/alternates/fakenews-gambling-porn/hosts -O /home/User/Desktop/Sources/AlternStevenBlack.txt
wget https://raw.githubusercontent.com/adaway/adaway.github.io/master/hosts.txt -O /home/User/Desktop/Sources/AdAway.txt

cat /home/User/Desktop/Sources/*.txt > /home/User/Desktop/Sources/Listing.txt
cat /home/User/Desktop/Sources/Listing.txt | grep '^0\.0\.0\.0' | awk '{print "local-zone: \""$2"\" redirect\nlocal-data: \""$2" A 0.0.0.0\""}' >  /home/User/Desktop/Sources/domains-blacklist.conf

Cependant après un test, le fichier Listing.txt est complètement vide, ce qui coupe la procédure du script.
Une idée ? :/ Cela reste à optimiser comme par exemple avec un tri 'uniq' avant la dernière commande du script.

bruno

Bonjour,

cat /home/User/Desktop/Sources/*.txt > /home/User/Desktop/Sources/Listing.txt

Si le fichier Listing.txt existe déjà, cela va provoquer une erreur et la concaténation va échouer.

Degenesis

bruno a écritSi le fichier Listing.txt existe déjà

Bonjour, ce n'est pas le cas. Ce fichier et tous les autres dans le dossier Sources sont effacés à la fin du script. Et j'effectue mes tests sans rien laisser.

vv221

Commence par interrompre ton script après les wget pour vérifier que les fichiers .txt contiennent bien les infos que tu veux avant de tenter la concaténation.

Degenesis

C'est la 1ere chose à laquelle j'ai pensé mais non les wget fonctionnent 😐

bruno

Essaie déjà en enlevant les choses inutiles (cat) :

#!/bin/bash

wget https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt -O - >> listing.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malware.txt -O - >> listing.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_tracking.txt -O - >> listing.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malvertising.txt -O - >> listing.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/hosts -O - >> listing.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/alternates/fakenews-gambling-porn/hosts -O - >> listing.txt
wget https://raw.githubusercontent.com/adaway/adaway.github.io/master/hosts.txt -O - >> listing.txt

grep '^0\.0\.0\.0' listing.txt | awk '{print "local-zone: \""$2"\" redirect\nlocal-data: \""$2" A 0.0.0.0\""}' >  domains-blacklist.conf

Degenesis

grep : listing.txt: Aucun fichier ou dossier de ce type

En tout cas le listing.txt est bien créer et rempli mais ça ne semble pas donner le résultat que j'avais en tête.
En prenant modèle sur Simple DNS Crypt, je pensais uniquement pouvoir extraire les url dans un fichier unique sous cette forme, sans doublons.

101com.com
101order.com
123found.com
140proof.com
180hits.de
180searchassistant.com
1x1rank.com
207.net
247media.com
24log.com
24log.de
24pm-affiliation.com
2mdn.net
2o7.net
360yield.com
...
...

Et ensuite appliquer la dernière ligne du script que tu a corrigé pour directement le mettre dans Unbound 🙁

vv221

Tu peux nous donner quelques lignes du fichier Listing.txt ?
Je pense que c’est le motif que tu donnes à grep ou awk qui pose souci.

Degenesis

Je pense plutôt avoir trouver la bonne solution, j'ai réussi à trouver le script Python qui est utilisé dans DNSCrypt; il suffit juste de l'adapter en y ajoutant le grep puis la possibilité d'un fichier 'source' qui servirait à regrouper tous les urls et ça devrait fonctionner.

Degenesis

Après quelques jours, je me ravise car je ne suis pas expert python 😐
Si quelqu'un est tenté par ma suggestion, un peu d'aide serait apprécier.🙁