Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Ubuntu 18.04 LTS Server Process Kworker remplit la mémoire

adgenodux

Bonjour à tous,

J'ai remarqué depuis un moment une dizaine de processus "Kworker" dont 8 occupent plus de 97% de la mémoire, j'ai vu par hasard la jauge de mémoire à fond en permanence (100%) dans le dashbord de webmin.

Donc ma mémoire est continuellement full, et tous les autres processus sont donc relégués derrière, ce qui ralentis naturellement les choses, c'est un dédié en Data Center sous Ubu 18.04 LTS.

Cependant, dans mes recherches, je n'ai trouvé que des publications faisant état d'un usage excessif du processeur, et rien relativement au remplissage excessif de la mémoire.

Quelqu'un aurait-il des infos voire une solution ?

Merci de votre éclairage...

Adgenodux

bruno

Bonjour,

Le problème c'est que kworker correspond à un processus du noyau quelconque. Cela peut être dû à une infinité de choses : un disque défaillant, un service, un périphérique, une sonde de température, un module du noyau qui bogue, etc.

La première chose à faire après avoir examiné les disques (espace occupé, smartctl) , c'est de redémarrer le serveur pour voir si le problème persiste. On peut aussi mettre à jour le noyau et redémarrer.
Si cela ne suffit pas il faudra arrêter tous les services et les relancer un à un pour tenter de trouver le coupable.

moko138

Salut,
Dans un terminal agrandi, tu peux exécuter (c'est un outil de diagnostic purement descriptif) :

top -b -n1 | head -25 ; echo -e "\n\tCharge RAM en % décroissant :" ; ps aux | awk '{print $1,$2,$4,$11,$12 | "sort -k3Vr | column -t | head -25"}'

puis, si tu le désires, anonymise le retour,
Enfin, poste le retour entre balises-code.

adgenodux

Bonjour et merci de vos réponses, pardon pour le délais à répondre.

@bruno : c'est en effet ce que j'ai aussi appris à travers mes recherches, ce qui n'aide pas à trouver facilement le problème

@moko : voici le retour, et là je vois que le gros mangeur de ressources est... XMRIG, je crains donc d'avoir été piraté :/

top - 12:02:08 up 2 days, 22:31,  1 user,  load average: 6,51, 6,07, 5,72
Tasks:  47 total,   2 running,  44 sleeping,   0 stopped,   1 zombie
%Cpu(s):  0,5 us,  0,0 sy,  0,0 ni, 99,5 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem :  2097152 total,       48 free,  2084504 used,    12600 buff/cache
KiB Swap:  4194304 total,  3466616 free,   727688 used.    12648 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
 2180 root      20   0 2432848 1,932g      0 S 800,0 96,6   2461:24 xmrig
 2162 root      20   0   22788   1688    912 R 200,0  0,1   2868:27 d627649cb
  473 mysql     20   0 2145248   2280      0 S 200,0  0,1  74:42.76 mysqld
28454 adgenod+  20   0   40380   3524   3092 R 100,0  0,2   0:00.03 top
    1 root      20   0  225168   1968    680 S   0,0  0,1   5:21.47 systemd
   47 root      19  -1  232340    972    476 S   0,0  0,0  92:55.49 systemd-journal
  157 systemd+  20   0   70656      0      0 S   0,0  0,0   0:26.26 systemd-resolve
  158 root      20   0   47680      0      0 S   0,0  0,0   0:38.62 rpcbind
  180 root      20   0  169096      4      4 S   0,0  0,0   0:00.09 networkd-dispat
  181 message+  20   0   50152    440     40 S   0,0  0,0   2:45.58 dbus-daemon
  185 root      20   0   70604    196      0 S   0,0  0,0   0:29.75 systemd-logind
  190 root      20   0   30024     60      0 S   0,0  0,0   0:43.64 cron
  191 root      20   0  286248    544      0 S   0,0  0,0  12:51.16 accounts-daemon
  193 syslog    20   0  458692    256      0 S   0,0  0,0  12:56.76 rsyslogd
  197 root      20   0  502444    400      0 S   0,0  0,0   0:12.83 udisksd
  240 root      20   0  288880    224      0 S   0,0  0,0   3:49.97 polkitd
  273 root      20   0   14860    352      0 S   0,0  0,0  16:10.93 GCMR_OFFICIAL
  367 root      20   0  185944      0      0 S   0,0  0,0   0:00.07 unattended-upgr

        Charge RAM en % décroissant :
USER      PID    %MEM  COMMAND
root      2180   96.4  [kworker/1:1]
root      391    0.5   /usr/bin/python3                          /usr/bin/fail2ban-server
mysql     473    0.1   /usr/sbin/mysqld                          --daemonize
adgenod+  28432  0.1   -bash
adgenod+  28457  0.1   ps                                        aux
root      2175   0.0   [sh]                                      <defunct>
root      2138   0.0   [kworker/3:3]
root      2162   0.0   [kworker/3:3]
root      2174   0.0   [kworker/3:3]
root      465    0.0   /usr/sbin/xinetd                          -pidfile
root      382    0.0   /usr/sbin/vsftpd                          /etc/vsftpd.conf
root      416    0.0   /usr/sbin/sshd                            -D
syslog    193    0.0   /usr/sbin/rsyslogd                        -n
root      428    0.0   /usr/sbin/dhcp6c                          -Pdefault
root      190    0.0   /usr/sbin/cron                            -f
root      2350   0.0   /usr/sbin/apache2                         -k
www-data  22375  0.0   /usr/sbin/apache2                         -k
www-data  22376  0.0   /usr/sbin/apache2                         -k
www-data  22377  0.0   /usr/sbin/apache2                         -k
www-data  22378  0.0   /usr/sbin/apache2                         -k
www-data  22379  0.0   /usr/sbin/apache2                         -k
www-data  22586  0.0   /usr/sbin/apache2                         -k
www-data  25201  0.0   /usr/sbin/apache2                         -k
root      197    0.0   /usr/lib/udisks2/udisksd

Comment dois-je aborder le problème ?

Merci...

bruno

En effet il semble que xmrig soit un mineur de cryptomonnaies.
Si ce n'est pas toi qui m'a installé, ton serveur a été compromis et doit être mis hors ligne puis complètement réinstallé.
Avant de réinstaller il faudra trouver comment cela a pu se produire afin de ne pas refaire la même erreur.

adgenodux

c'est ce que je suis occupé à faire, pourrais-tu dès lors me dire comment je peux retrouver les fichiers sources depuis le pid du proccess ?

bruno

readlink /proc/pid_number/exe

où pid_number est le numéro du processus (2180 d'après le message #4). Cela te donnera l'emplacement complet de l’exécutable.

Attention tu as au moins un autre processus louche dans le retour du top :

 2162 root      20   0   22788   1688    912 R 200,0  0,1   2868:27 d627649cb

adgenodux

bien j'ai localisé... un simple remove suffirait à ton avis ?

bruno

Non absolument pas.
Ton serveur a été compromis et tu ne sais pas jusqu'à quel point. Le mineur de cryptomonnaie n'est qu'un symptôme et il y a peut être bien d'autres problèmes et des données qui ont fuité. Et la personne qui a installé cela à très certainement eu un accès root, puisque le processus était exécuté par root.

La seule solution viable est de réinstaller complètement. Les données hébergées devront être analysées, avant restauration à partir des sauvegardes, pour s'assurer qu'elles n'ont pas été compromises. Bine sûr tous les mots de passes, les clés et les certificats doivent être changés.

adgenodux

ben oui, de toutes façons je présume bien qu'il y a un système de réplication donc inutile d'effacer, j'imagine...

bon c un serveur proto que je délaissais un peu faute de temps sinon j'aurais vu ça plus tôt, voire l'aurais évité, bref c'est pas un serveur de prod donc c pas bien grave...

j'ai commencé à me renseigner sur ce type d'infection pour avoir une idée d'où et comment chercher mais c'est lourd, j'ai trouvé par ex une analyse de Sophos qui explique l'attaque qu'ils ont pu étudier et ce n'est pas de la tarte à remonter :/

Bref j'ai commencé à réinstaller un autre serveur en 20.04 et là je vais être plus rigoureux sur la sécurité et surtout garder un oeil plus régulier dessus...

Merci pour les messages et pour l'aide apportée, je clôture le sujet, je reviendrai éventuellement ajouter un commentaire ou l'autre si cela est opportun...

Au plaisir...