Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

RAID1, EXT4 et badblocks

polochon777

Bonjour tout le monde,
je rencontre un souci sur un serveur et je ne sais pas trop comment résoudre les choses, je viens donc vous demander conseil:

Le Setup: un raspberrypi avec l'OS installé sur une carte SD et un RAID 1 (logiciel donc) via un boitier USB et 2 disques dedans. Le RAID est fait via mdadm, il y a 3 partitions dessus (LVM). Les partitions sont montées sur /home /tmp et /var. => il n'y a donc aucune écriture sur la carte SD pour tout ce qui est journaux, logs, etc...

Le partitionnement est donc le suivant:

NAME                MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sda                   8:0    0   1.8T  0 disk  
└─sda1                8:1    0   1.8T  0 part  
  └─md0               9:0    0   1.8T  0 raid1 
    ├─vg--raid-tmp  253:0    0    10G  0 lvm   /tmp
    ├─vg--raid-home 253:1    0   900G  0 lvm   /home
    └─vg--raid-var  253:2    0 952.9G  0 lvm   /var
sdb                   8:16   0   1.8T  0 disk  
└─sdb1                8:17   0   1.8T  0 part  
  └─md0               9:0    0   1.8T  0 raid1 
    ├─vg--raid-tmp  253:0    0    10G  0 lvm   /tmp
    ├─vg--raid-home 253:1    0   900G  0 lvm   /home
    └─vg--raid-var  253:2    0 952.9G  0 lvm   /var
mmcblk0             179:0    0  14.9G  0 disk  
├─mmcblk0p1         179:1    0  43.9M  0 part  /boot
└─mmcblk0p2         179:2    0  14.8G  0 part  /

MDADM me dit globalement que mon RAID est OK:

admin@polochon:~ $ sudo mdadm --detail /dev/md0
/dev/md0:
           Version : 1.2
     Creation Time : Mon Jun 15 18:35:14 2020
        Raid Level : raid1
        Array Size : 1953382464 (1862.89 GiB 2000.26 GB)
     Used Dev Size : 1953382464 (1862.89 GiB 2000.26 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Wed Mar 10 15:01:19 2021
             State : clean 
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : bitmap

              Name : xxxxxxxxx:0  (local to host xxxxxxxxx)
              UUID : 5f6fc4d7:74110a6f:c6bd0643:8fa1f3bb
            Events : 264890

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1

Le problème
Voici ce que je rencontre dans dmesg

[  315.369415] EXT4-fs (dm-2): error count since last fsck: 27
[  315.369440] EXT4-fs (dm-2): initial error at time 1609485436: ext4_dx_find_entry:1525: inode 15597569: block 3
[  315.369482] EXT4-fs (dm-2): last error at time 1615187739: ext4_validate_block_bitmap:390
[86808.041056] EXT4-fs (dm-2): error count since last fsck: 27
[86808.041128] EXT4-fs (dm-2): initial error at time 1609485436: ext4_dx_find_entry:1525: inode 15597569: block 3
[86808.041212] EXT4-fs (dm-2): last error at time 1615187739: ext4_validate_block_bitmap:390
[173316.092558] EXT4-fs (dm-2): error count since last fsck: 27
[173316.092609] EXT4-fs (dm-2): initial error at time 1609485436: ext4_dx_find_entry:1525: inode 15597569: block 3
[173316.092708] EXT4-fs (dm-2): last error at time 1615187739: ext4_validate_block_bitmap:390

Déjà, je n'ai aucune partition répondant au nom de dm-2. Qu'est ce que ça pourrait bien être?
Ensuite, j'ai fait un fsck sur la carte SD, le résultat est OK.
Enfin, j'ai fait un test de badblock -sv /dev/md0, le résultat est OK et aucun badblock de trouvé.

Du coup, qu'est ce que c'est que cette erreur dans dmesg? J'aimerais bien tenter un fsck sur le raid, mais déjà je ne sais pas si ça fonctionnera vu que c'est du RAID, et en plus je ne peux pas démonter les points de montage vu qu'ils sont busy (logique, le serveur tourne).
Bref, j'ai plus trop de piste là! 🙁

Si quelqu'un en a, je suis preneur! 🙂

Polochon

geole

Bonjour
En premier, on va regarder l'état physique de tes deux disques durs avec l'application smartmontools https://doc.ubuntu-fr.org/smartmontools
1) Installation

sudo apt-get install --no-install-recommends smartmontools

et tu postes le retour de ces deux commandes

sudo smartctl -s on -a /dev/sda

sudo smartctl -s on -a /dev/sdb

en second, peux-tu donner ce retour

journalctl  | grep "(dm-2)"

polochon777

Impossible d'installer smartmontools sur le Pi (pas de candidat à l'installation), j'ai donc temporairement pluggé le boîtier USB sur mon ordi principal: sda est devenu sdc, sdb est devenu sdd dans les logs ci-dessous:

pol@pol-MacBook:~$ sudo smartctl -s on -a /dev/sdc
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-66-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Seagate Barracuda 2.5 5400
Device Model:     ST2000LM015-2E8174
Serial Number:    WDZPJ4Q0
LU WWN Device Id: 5 000c50 0cd269b83
Firmware Version: 0001
User Capacity:    2000398934016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Form Factor:      2.5 inches
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-3 T13/2161-D revision 3b
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Mar 10 18:28:19 2021 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF ENABLE/DISABLE COMMANDS SECTION ===
SMART Enabled.

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
See vendor-specific Attribute list for marginal Attributes.

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x71) SMART execute Offline immediate.
                                        No Auto Offline data collection support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 333) minutes.
Conveyance self-test routine
recommended polling time:        (   2) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   081   064   006    Pre-fail  Always       -       127156115
  3 Spin_Up_Time            0x0003   099   099   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       17
  5 Reallocated_Sector_Ct   0x0033   100   100   036    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   078   060   045    Pre-fail  Always       -       59046491
  9 Power_On_Hours          0x0032   093   093   000    Old_age   Always       -       6434 (43 160 0)
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       16
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   099   000    Old_age   Always       -       8590065670
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   054   023   040    Old_age   Always   In_the_past 46 (Min/Max 36/63 #428)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       14
193 Load_Cycle_Count        0x0032   001   001   000    Old_age   Always       -       228978
194 Temperature_Celsius     0x0022   046   077   000    Old_age   Always       -       46 (0 20 0 0 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       6273 (230 95 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       5794634016
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       37550550370
254 Free_Fall_Sensor        0x0032   100   100   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

pol@pol-MacBook:~$ sudo smartctl -s on -a /dev/sdd
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-66-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Seagate Barracuda 2.5 5400
Device Model:     ST2000LM015-2E8174
Serial Number:    WDZPJ6LX
LU WWN Device Id: 5 000c50 0cd263e0b
Firmware Version: 0001
User Capacity:    2000398934016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Form Factor:      2.5 inches
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-3 T13/2161-D revision 3b
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Mar 10 18:28:25 2021 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF ENABLE/DISABLE COMMANDS SECTION ===
SMART Enabled.

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
See vendor-specific Attribute list for marginal Attributes.

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x71) SMART execute Offline immediate.
                                        No Auto Offline data collection support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 329) minutes.
Conveyance self-test routine
recommended polling time:        (   2) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   078   064   006    Pre-fail  Always       -       60609330
  3 Spin_Up_Time            0x0003   099   099   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       17
  5 Reallocated_Sector_Ct   0x0033   100   100   036    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   077   060   045    Pre-fail  Always       -       55865238
  9 Power_On_Hours          0x0032   093   093   000    Old_age   Always       -       6434 (45 126 0)
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       16
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       3
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   055   025   040    Old_age   Always   In_the_past 45 (Min/Max 36/61 #321)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       14
193 Load_Cycle_Count        0x0032   001   001   000    Old_age   Always       -       247927
194 Temperature_Celsius     0x0022   045   075   000    Old_age   Always       -       45 (0 21 0 0 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       6266 (18 135 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       13548715026
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       25333812302
254 Free_Fall_Sensor        0x0032   100   100   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Le retour de journalctl avant l'extinction du serveur donne ceci:

Mar 09 07:55:30 polochon.nohost.me kernel: EXT4-fs (dm-2): error count since last fsck: 27
Mar 09 07:55:31 polochon.nohost.me kernel: EXT4-fs (dm-2): initial error at time 1609485436: ext4_dx_find_entry:1525: inode 15597569: block 3
Mar 09 07:55:31 polochon.nohost.me kernel: EXT4-fs (dm-2): last error at time 1615187739: ext4_validate_block_bitmap:390
Mar 10 07:57:18 polochon.nohost.me kernel: EXT4-fs (dm-2): error count since last fsck: 27
Mar 10 07:57:18 polochon.nohost.me kernel: EXT4-fs (dm-2): initial error at time 1609485436: ext4_dx_find_entry:1525: inode 15597569: block 3
Mar 10 07:57:18 polochon.nohost.me kernel: EXT4-fs (dm-2): last error at time 1615187739: ext4_validate_block_bitmap:390

Et après redémarrage (puisque j'ai du débrancher le raid pour tester les disques sur mon ordi principal):

Mar 10 17:24:18 polochon.nohost.me kernel: EXT4-fs (dm-2): warning: mounting fs with errors, running e2fsck is recommended
Mar 10 17:24:18 polochon.nohost.me kernel: EXT4-fs (dm-2): mounted filesystem with ordered data mode. Opts: (null)

Ça sent pas bon....

geole

Bonjour
Les compteurs de tes deux disques sont en bon état hormis un seul.

193 Load_Cycle_Count        0x0032   001   001   000    Old_age   Always       -       228978
193 Load_Cycle_Count        0x0032   001   001   000    Old_age   Always       -       247927

je connais mal les conséquences d'une valeur à 001 annonçant une usure importante..

https://en.m.wikipedia.org/wiki/S.M.A.R.T. a écrit 193
0xC1 Cycle de charge Count ou de chargement / déchargement Cycle Count (Fujitsu)
Faible
Lower
Nombre de cycles de chargement / déchargement en position de la zone d'atterrissage tête. [47] Certains lecteurs utilisent à la place 225 (0xE1) pour le nombre de cycles de chargement.

Western Digital évalue ses disques VelociRaptor pour 600 000 cycles de chargement / déchargement, [49] et les disques WD Green pour 300 000 cycles; [50] ces derniers sont conçus pour décharger souvent les têtes pour économiser l'énergie. D'autre part, le WD3000GLFS (un lecteur de bureau) est spécifié pour seulement 50 000 cycles de chargement / déchargement. [51]

Certains lecteurs d'ordinateurs portables et lecteurs de bureau «à alimentation verte» sont programmés pour décharger les têtes chaque fois qu'il n'y a pas eu d'activité pendant une courte période, pour économiser de l'énergie. [52] [53] Les systèmes d'exploitation accèdent souvent au système de fichiers quelques fois par minute en arrière-plan, [54] provoquant au moins 100 cycles de chargement par heure si les têtes se déchargent: le cycle de chargement peut être dépassé en moins d'un an . [55] Il existe des programmes pour la plupart des systèmes d'exploitation qui désactivent les fonctionnalités de gestion avancée de l'alimentation (APM) et de gestion automatique de l'acoustique (AAM) provoquant des cycles de charge fréquents. [56] [57]

J'explique rapidement. La tête de lecture fait beaucoup trop d'aller et retour depuis son garage vers les pistes à lire. Cela use le mécanisme de déplacement.
Le paramètre est modifiable. Mais la bonne valeur à mettre n'est pas aisée à définir.

EXT4-fs (dm-2): warning: mounting fs with errors, running e2fsck is recommended

Il est clair qu'il est préférable de faire un e2sck
A mon avis, les volumes sont notés à partir de zéro donc dm-2 correspond à
└─vg--raid-var 253:2 0 952.9G 0 lvm /var
Est-il démontable sur le raspberrypi? Si oui c'est parfait.
Dans le cas contraire, il faudra de nouveau plugger
Probablement installer mdadm si pas encore fait. https://doc.ubuntu-fr.org/raid_logiciel
Peut-être aussi le LVM https://doc.ubuntu-fr.org/lvm
et si le RAID1 ne se refabrique pas automatiquement, il faudra l'assembler
1) Cette commande pour surveiller

watch -n 60  cat /proc/mdstat

2)Probablement cette commande pour refabriquer

sudo mdadm --assemble /dev/md66  --run   /dev/sdc1  /dev/sdd1

3) Donc certainement

sudo e2fsck -f -y -v /dev/mapper/vg--raid-var

4) Tu peux en profiter pour faire aussi

sudo e2fsck -f -y -v /dev/mapper/vg--raid-home

sudo e2fsck -f -y -v /dev/mapper/vg--raid-tmp

polochon777

Merci geole,
je suis sur le c*l de lire "old age" alors que ce sont des disques quasi neufs! Ils ont moins d'un an! :o Certes on est sur un serveur allumé 24/7 mais c'est un truc familial avec yunohost dessus et une utilisation franchement "lite"...

Merci pour l'origine du "dm2", effectivement ça pourrait bien être ça. Je vais voir si j'arrive à le démonter proprement, sinon effectivement il va falloir que je réinstalle mdadm sur mon PC perso pour recréer le raid... F*ck! :mad:

Bon en tout cas maintenant j'ai des pistes donc merci encore, je vous tiens au jus!