Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

AIDE sur le filtrage de données

MicP

Pas de problème, je fatigue un peu moi aussi 🙂

Je viens de mettre à jour le fichier numéroté en fonction de ta modification.

Postmortem

Salut,
J'espère avoir bien compris...
Je recherche une ligne contenant « TOTO MIN REAL GOOD » et j'affiche les colonnes 1 et 3 à 5 quand la ligne commence par un chiffre.
J'arrête d'afficher à la première ligne vide qui suit au moins une ligne commençant par un chiffre.
Et j'ai posé que tes colonnes faisait 15 caractères.

$ cat /tmp/test.txt
Nlignes
TOTO MIN 1

Tot1    min1    max1    abs1    int1    
Tic1
1         2          3           4         5

Nlignes (non vides)

TOTO MIN 2 PLUS

Tip2    tec2    mec2    mon2    lyp2    
11       22       33         44         55


TOTO MIN REAL GOOD

T1                            T2                           T3                        T4                 T5
x1

103            203            303            403            503
104            204            304            404            504
153            253            353            453            505          

n’importe quoi
autre chose
….
Fin fichier

$ awk 'BEGIN{FIELDWIDTHS="15 15 15 15 15"}
/TOTO MIN REAL GOOD/ { i=1 }
i && /^[0-9]/ { j=1; print $1,$3,$4,$5 }
i && j && /^$/ {i=j=0}' /tmp/test.txt 
103             303             403             503
104             304             404             504
153             353             453             505

MicP

@benji1525
J'ai jeté un œil à ton texte d'exemple, mais j'ai trouvé 10 caractères "espace" en fin de ligne (juste après le nombre "505")
Dois-je tenir compte de ces espaces après le dernier nombre de la série, ou est-ce une erreur de copié/collé.

Les 12 espaces séparant les champs ne seraient-ils pas (à l'origine) une série de caractères de tabulation ?

ichigo33kurosaki

voila c'est exactement ce style de fichier
http://femci.gsfc.nasa.gov/modal_wtc/mmp.html
l'objectif est de rechercher "MODAL EFFECTIVE MASS" et de stocker les données situées dessous les colonnes suivantes "mode no" T1 T2 T3 R1 R2 R3
le nombre d'espace, les lignes vides , c'est exactement sa.
Comme on peut le voir il y a plusieurs lignes qui commencent par MODAL EFFECTIVE

Postmortem

Salut,

awk '/^[ \t]*MODAL EFFECTIVE MASS[ \t]*$/ { i=1 }
      i && $1 ~ /^[0-9]+$/ { j=1; print $1,$3,$4,$5 }
      i && j && $1 !~ /^[0-9]+$/ {i=j=0}' fichier

J'ai pas testé par contre.

ichigo33kurosaki

Merci @Postmortem sa marche super 😃:D:D:D
serait-il possible d'expliquer cette commande s'il te plait afin que je comprenne , en la découpant. Il y a des morceaux que je comprend et d'autre pas

Postmortem

Salut,
/^[ \t]*MODAL EFFECTIVE MASS[ \t]*$/ { i=1 } : quand awk croise une ligne ne contenant que la chaîne "MODAL EFFECTIVE MASS", éventuellement entourée par des espaces et/ou des tabulations, on donne la valeur 1 à la variable i.

i && $1 ~ /^[0-9]+$/ { j=1; print $1,$3,$4,$5 } : si la variable i est non nulle et que le 1er champ de la ligne est composé d'au moins un chiffre (et que de chiffres), on donne la valeur 1 à j et on affiche les champs voulus.

i && j && $1 !~ /^[0-9]+$/ {i=j=0} : si les variables i et j sont non nulles et que le 1er champ de la ligne n'est pas composé que de chiffres, on donne la valeur 0 à i et j.

Pour mieux comprendre, voilà une autre façon d'écrire la commande awk :

awk '$0 ~ /^[ \t]*MODAL EFFECTIVE MASS[ \t]*$/ { i=1 }
(i != 0) && ($1 ~ /^[0-9]+$/) { j=1; print $1,$3,$4,$5 }
(i != 0) && (j != 0) && ($1 !~ /^[0-9]+$/) { i=0; j=0 }' fichier

Et je viens de m'apercevoir que pour le dernier pattern, il n'y a pas besoin de tester la valeur de i étant donné que j ne pourra valoir 1 que lorsque i vaut 1.
Ça donne donc :

awk '$0 ~ /^[ \t]*MODAL EFFECTIVE MASS[ \t]*$/ { i=1 }
(i != 0) && ($1 ~ /^[0-9]+$/) { j=1; print $1,$3,$4,$5 }
(j != 0) && ($1 !~ /^[0-9]+$/) { i=0; j=0 }' fichier

MicP

J'avoue que je suis un peu paumé quand au format du fichier source, et que je vois que benji1525 trouve que ça fonctionne bien.

Le premier champ de l'exemple donné dans la page web http://femci.gsfc.nasa.gov/modal_wtc/mmp.html
ressemble plutôt à une numérotation de ligne plutôt qu'à une représentation d'une donnée de type réel.

Si c'est l'exemple donné dans http://femci.gsfc.nasa.gov/modal_wtc/mmp.html qui est utilisé,
ne faudrait-il pas incrémenter les valeurs des indexs des champs à extraire => commencer par $2 ?

ichigo33kurosaki

@MicP le fichier que j'ai présenté au début a exactement la même forme que celui du lien que j'ai donné. Le représenter comme j'ai fait était un peu différent pardon.
Sur le lien il faut bien évidement s'imaginer les numéros de lignes
@Postmortem merci pour ces explications

MicP

Merci pour la précision,
Désolé : je suis sans doute un peu fatigué.

ichigo33kurosaki

En tout cas merci à tout le monde
savez vous si ces méthodes peuvent être réalisées en python??

pingouinux

Bonsoir,

benji1525 #31 a écritsavez vous si ces méthodes peuvent être réalisées en python??

Oui… 🙂

Ajouté : Plus sérieusement, voici script.py

#! /usr/bin/python
# -*- coding: utf-8 -*-

import sys, re

titre='TOTO MIN REAL GOOD'
rec=re.compile('\n[ \t]*%s.*?\n([ \t]*?[\d.].*?)\n\n'%titre,re.S) 

with open(sys.argv[1],'r') as f: fic=f.read()

k=rec.search(fic)
if(k) :
   for lig in k.group(1).split('\n') :
      ligspl=lig.split()
    # Pour avoir les champs 1, 3 et 4 (commencent à 0)
      print('%s %s %s'%(ligspl[0],ligspl[2],ligspl[3]))

à appeler ainsi, après l'avoir rendu exécutable, et y avoir choisi les champs à écrire

./script.py fichier_a_lire

ichigo33kurosaki

bonjour et merci pingouinux.
Je voudrais appliquer ces méthodes sur un autre fichier, je ne sais pas si je continue de poster dans cette discussion ou si je le met autre part?

pingouinux

Si le problème est similaire, tu peux continuer ici.

ichigo33kurosaki

le fichier est du type:
http://www.lacan.upc.edu/software/castem/doc/tools/n2c/node29.html
je voudrais faire les choses suivantes:
extraire certaines données d'une ligne qui contient le mot GRID

Je comprend le problème, je me suis marqué mes étapes dans une sorte d'organigramme de résolution, mais mon niveau débutant en python me ralentit:
chaine1="GRID"
chaine2="700"
1) ouvrir le fichier texte
fichier=open('toto.txt','r')
resultat= open('resultat.txt','w')

2) parcourir ligne à ligne le fichier
lignes = fichier.readlines()

3) rechercher le mot GRID(première colonne)
for chaine1 in lignes

4) rechercher dans la deuxième colonne un numéro à partir duquel je veux extraire d'autre données par exemple 700
dc à ce stade j'ai une double condition de recherche , je doit trouver le mot GRID et mon indice voulue (700) ,l'extraction de donnée devra s'arrêter lorsque l'indice vaudra 800
la je voudrais faire une boucle "tant que mon indice de la deuxième colonne commence par '7' "
stocker mes colones 2 4 5 6
while chaine2[0] in lignes??? pour ne rechercher que le caractère "7" l'extraction s'arrêtera quand on rencontrera un 8 par exemple (800) et commencera avec la présence du 7 (700)
donc dans l'exemple, stocker:
700 -4.5679 48.1890 0.00000
…etc incrément de 1 en 1
791 -18.9499 48.6821 0.00000
793 -27.2832 48.6821 15.0000
795 -27.2832 48.6821 0.00000
797 -35.6166 48.6821 15.0000
799 -35.6166 48.6821 0.00000
5) stocker les colones 2 4 5 6 (jusqu'à mes indices voulues)
x2=lignes[j][13:17] pour m'afficher 700 701.....
jeme ligne trouvées et la "place de la chaine recherchée"
de même pour x4 x5 x6
6) mettre ces colonnes dans un fichier résultat
resultat.write(x2\n,x4\n,x5\n,x6\n)
7) fermer mon fichier
fichier.close()
je ne veux pas de solutions toutes faites mais des indications qui m'aideront à avancer si possible

pingouinux

Tu lis les lignes une par une, et tu regardes si elles commencent par GRID, suivi d'au moins une espace ou tabulation, suivi du chiffre 7, suivi de 2 chiffres, suivi d'une espace ou tabulation. Si c'est le cas, tu isoles les différentes colonnes, et tu écris celles qui t'intéressent.

for lig in lignes :
    if re.match('GRID\s+7\d{2}\s',lig) :
       c1,c2,c3,c4,c5,c6 = lig.split()
       resultat.write("%s %s %s %s\n"%(c2,c4,c5,c6))

Tu devrais t'en sortir avec ça, sinon montre ton script et le message d'erreur.

ichigo33kurosaki

j'ai le message d'erreur suivant
c1,c2,c3,c4,c5,c6 = lig.split()
ValueError: need more than 4 values to unpack
en fait la double recherche que je voulais s'effectue avec le module regexp c'est sa?
et le split sert a partitionner les données contenues dans lig afin d'en extraire les données voulues?

ichigo33kurosaki

if re.match('GRID\s+7\d{2}\s',lig) :
si la condition existe lig contiendra 100 lignes de 6 colonnes normalement

pingouinux

Tu traites sans doute une ligne qui n'a pas le même format que les autres (4 colonnes au lieu de 6).
Tu peux remplacer

c1,c2,c3,c4,c5,c6 = lig.split()
resultat.write("%s %s %s %s\n"%(c2,c4,c5,c6))

par

lig_spl = lig.split()
print(lig_spl)     # Pour voir la ligne traitée
resultat.write("%s %s %s %s\n"%(lig_spl[1],lig_spl[3],lig_spl[4],lig_spl[5]))

Pour répondre à ton nouveau message : lig ne contient qu'une seule ligne.

ichigo33kurosaki

oui parce que avant et après il y a d'autre données n'ayant pas le même format

« Page précédente Page suivante »