Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Bash ne garder que les valeurs numériques d'un csv [RÉSOLU]

paulwoisard

Bonjour,

Je veux supprimer d'un fichier csv (avec ; comme séparateur) les valeurs non numériques.
J'ai donc voulu utiliser sed :

sed -i 's/[^[:digit:]]/;/g' temp2.csv

Mais cela supprime les retours à la ligne.

Je conserve les valeurs numériques et les points-virgules, mais pas les retours à la ligne.

Comment faire pour que ça marche correctement ?

pingouinux

Bonjour,
Pour préciser ce que tu demandes, montre quelques lignes du fichier temp2.csv de départ, et le résultat que tu veux

paulwoisard

c'est que cela décomposait les dates cela a donc décalé les infos que je chercher à traiter.

erresse

Bonjour,
J'ai fait un petit essai sur ces données. Fichier entrée :

abc;12/01/2018;def;xxx
erf;01/01/2011;xyz;
fin;123;termine

Avec la commande que tu as donnée, j'obtiens en fichier sortie :

;;;;12;01;2018;;;;;;;;
;;;;01;01;2011;;;;;
;;;;123;;;;;;;;

Il semble donc que les retours à la ligne n'aient pas été supprimés par le "sed", mais qu'il remplace chaque caractère non numérique par un ";".
Ce n'est pas ce que tu voulais faire ?

paulwoisard

Moi mon csv était un top 10 minutes de mesures par un appareil avec lequel je voulais traiter des données.
du coup le csv avait cette forme

2018/08/29 17:10:15;machin4;2018/08/29 18:10;15u;25u;36u;48u 
2018/08/29 17:00:23;machin 4;2018/08/29 18:00;14u;10u;76u;42u

du coup la sortie données ceci

2018;08;29;17;10;15;;4;2018;08;29;18;10;15;;25;;36;;48;
2018;08;29;17;00;25;;4;2018;08;29;18;00;14;;10;;76;;42;

Du coup par exemple, je ne devais plus traiter la colonne 7 mais la 20.
du coup je ne comprenais pas ce qui se passait.

erresse

Ah bien sûr, si tu remplaces tous les caractères non numériques par autant de point-virgules, dans un fichier csv ça va te générer autant de colonnes que de caractères non numériques, du coup !
Je comprend que ça te décale le format...
Ne peux-tu trouver autre chose que le remplacement des caractères non numériques ? Quel avantage en retires-tu pour le traitement de ton fichier ?

paulwoisard

le truc c'est que mon fichier est donc un top 10 minutes, mais les valeurs qui m'intéressent on des unités attenantes du coup additionner des chaînes de caractères n'a pas le même résultat que d'additionner des nombres entiers.

paulwoisard

sinon on peut juste enlever les unités ?

pingouinux

Je t'ai demandé en #2 de montrer un exemple et un résultat. Maintenant que tu as donné l'exemple, tu peux montrer le résultat que tu souhaites.

paulwoisard

2018/08/29 17:10:15;machin4;2018/08/29 18:10;15;25;36;48
2018/08/29 17:00:23;machin 4;2018/08/29 18:00;14;10;76;42

sachant que les unités diffèrent selon les colonnes

Watael

ET le résultat attendu !!!

pingouinux

Essaye ceci :

sed -r 's/([[:digit:]]+)[[:alpha:]]/\1/g' temp2.csv

paulwoisard

C'est ça les colonnes ou il y a des unités (ce que j'avais appelé "u" dans l'exemple), voici un exemple concret

Date;type;autre date;longueur de truc;longueur de machin;longueur de bidules
2018/08/29 17:10:15;machin4;2018/08/29 18:10;15m;10km;76cm

qui deviennent :

Date;type;autre date;longueur de truc;longueur de machin;longueur de bidules
2018/08/29 17:10:15;machin4;2018/08/29 18:10;15;10;76

avec le même ordre de colonne, le but étant d'additionner des valeurs numériques.

pingouinux

Évidemment, si les données changent à chaque fois…

sed -r '1!s/([[:digit:]]+)[[:alpha:]]+/\1/g' temp2.csv

paulwoisard

Merci, je viens de tester et ça marche parfaitement bien, merci.

Watael

traiter un fichier csv avec sed c'est de la maltraitance.

pour le CSV, le mieux c'est awk.