Lenteur du site et problèmes de base de données

[phil95300]

Alors ceci est peut-être un fonctionnement normal de phpBB sur le passage entre "réponse rapide" et "éditeur avancé", qui devrait être "instantané" et que la lenteur certaines fois de la base de données met en évidence le processus. Je n'y connais rien.
Mais ceci expliquerait les messages vides un court moment quand le contributeur passe directement en "éditeur avancé" sans rien taper en "réponse rapide".
J'espère ne pas mener sur de mauvaises pistes.

[yann]

Salut Phil,

Merci pour le retour. Je pense que ce que tu décris, ce sont des symptômes. La cause racine est, je pense, la charge du serveur de base de données.
À confirmer, car la requête qui semble poser soucis était déjà présente avant le changement de forum, et n'est pas liée au forum. Elle sert à la liste des espèces dans l'encyclopédie et dans les listes d'espèces des membres.
Mais si ça se trouve, ça vient d'autre chose. Je vais déjà optimiser ça car ça fera de toutes façons un gain, puis on verra.

[aurore91]

Juste pour info, lorsque ça allait mieux, je n'étais pas déconnectée sur le téléphone, depuis le retour des ralentissements, je suis régulièrement déconnectée.
Si ça peut donner des pistes.

[yann]

Bonjour,

J'ai pu faire quelques investigations ces jours-ci, et les 2 actions ci-dessous devraient améliorer les choses :
1. Une des requêtes du CF prenait pas mal de ressources, mais elle n'aurait dû être exécutée qu'une fois par jour. Or elle était exécutée de nombreuses fois (pour l'encyclo, la génération d'une liste des espèces). C'est réglé.
2. La table des sessions de phpBB contenait près de 2 millions de lignes ! Or nous sommes quelques centaines de membres à utiliser le forum au maximum dans les semaines passées. J'ai donc creusé : il y avait les 2 tiers des lignes pour le seul robot d'indexation de facebook (pour son IA). Et encore des centaines de milliers pour le bot GPT. J'ai fait un gros ménage, on verra si ça va mieux. Je vais mettre en place une purge régulière de ces sessions inutiles. La difficulté est de supprimer les sessions des robots sans supprimer les votres (sinon vous devrez vous reconnecter).

Affaire à suivre

[aurore91]

Merci pour les nouvelles Yann et pour le travail accompli.

[adrechan]

Bravo Yann. Je me demandais si cela venait de ma connexion, cookies ou autres causes. Merci aussi à marau qui t'a écrit à ce propos.

[dole]

Il y a en permanence des robots crawler visibles dans 'Qui est en ligne?'. On ne les voyait pas avant. Est-ce que cela peut expliquer les ralentissements (qui ce soir sont toujours là)

[yann]

Bonsoir,
Je viens de mettre en ligne une 3ème amélioration, sur une requête pour les liens automatiques. Cette requête est exécutée au moins une fois par message du forum et par semaine, donc ça fait un paquet de fois.
Elle prenait environ 10 ms quand tout allait bien, et parfois plus. Maintenant elle met 0,5 à 1 ms (toujours quand tout va bien).
Donc signalez-moi si vous constatez des problèmes liés aux liens automatiques.
Merci pour votre patience

[yann]

Salut

Il y a en permanence des robots crawler visibles dans 'Qui est en ligne?'. On ne les voyait pas avant. Est-ce que cela peut expliquer les ralentissements (qui ce soir sont toujours là)

On ne les voyait pas, mais ils étaient bien là. Cette visibilité est une fonctionnalité de phpBB, ce que ne faisait pas le forum précédent.
Oui ça peut expliquer le ralentissement, mais juste un peu.
Voici plus d'infos sur ces robots : https://fr.wikipedia.org/wiki/Robot_d%27indexation
Et il faut aussi ajouter ceux qui servent à alimenter les IA comme chatGPT & Co : ce sont eux qui étaient à l'origine des gros soucis fin 2023, j'ai dû mettre en place un script qui vérifie toutes les 10 minutes s'ils ont "embousé" le serveur avec des requêtes non fermées, et je redémarre.

[enzo84]

Les messages ne s'affichent pas là

[adrechan]

Non finalement ça ne fonctionne pas mieux. Presque une minute pour accéder au Forum Principal, deux à trois minutes pour atteindre une discussion (quand elle s'ouvre). Aléatoirement la discussion s'ouvre mais les messages sont vides.
Je précise que j'ai vidé historique, cookies et cache.

[gilles83]

Même chose pour moi.

[mrc12]

Lenteur chez moi également.

Marc (dvallees)

[azwing]

Je confirme les ralentissements observés. On en arrive à un point où le site devient tout simplement inaccessible.

[marau]

Bonsoir,
Pour ce jour, il est carrément impossible de se connecter quand on y arrive, il est impossible de lire les messages postés. Sporadiquement, il y a une fenêtre et quelques instants, on peut naviguer, mais c'est vraiment rare. De ce matin j'ai dû y arriver trois quatre fois sans compter les moments ou sa plante. Le problème se manifeste aussi dans la messagerie ou là, je craque correspondre avec un membre deviens un véritable challenge, du coup, j'abandonne mes correspondances, voir la recherche et lecture du forum qui est, devient inaccesible.
Yann je suis sur d'autres forums quotidiennement: botanique Ophrys, ornithologie, photos qui ont migrés, eux aussi, récemment, il y a peu de temps, quelques jours, soit en phpBB où SMF 2.1.4 © 2023, Simple Machines. Il n'y a pas et j'en suis désolé tous ces problèmes, ces latences, ces plantages, ces bugs. Incriminer les robots, certes, ils bouffent un peu de bande passante, mais ils sont de partout dans tous les forums sans que cela génère quoi que ce soit.
Cela ne viendrait-il pas de la bande passante qui serait étroite riquiqui, voir le serveur complètement à l'ouest ?? Car outre le forum, il encaisse un (sur) voir d'autres sites commerciaux et le site CF par lui-même avec ses bibliothèques gigantesques.
Sur certains forums, les membres qui le désirent participe financièrement au forum/serveur suivant leurs moyens et leur volonté. Peut-être que c'est bien là le problème, parce qu'il n'y a pas beaucoup de sponsors, pour avoir un bon serveur avec une large bande passante, il faut peut-être mettre des euros, pour notre confort ?
Bonne soirée à tous
Cordialement
Eric

[yann]

Je vais regarder pour passer sur un autre serveur.

[cloo]

Il y a en permanence des robots crawler visibles dans 'Qui est en ligne?'. On ne les voyait pas avant. Est-ce que cela peut expliquer les ralentissements (qui ce soir sont toujours là)

Le travail de ces robots est essentiel... ce sont eux qui collectent les données nécessaires pour que le forum soit référencé, et que ses données soient affichées quand on fait une requête dans Google, par exemple.

[cloo]

Ici, ça va bien pour le moment, temps de réponse pas super rapide, mais ok

[cactus26]

Je ne sais pas ce qui se dit, mais pour moi, ce soir, aucun message ne s'affiche sur le forum (ce message inclus).

[eosman]

Forum quasiment inutilisable. C'est lent, il faut réactualiser la page 20 ou 30 fois pour qu'elle s'ouvre. Et parfois, la page s'ouvre mais les messages ne s'affichent pas.