Myriad Blog 1.3.0 Monday, Oct 20th, 2014 at 06:28am 

Wednesday, Nov 26th, 2008 at 05:42pm
Pic de trafic

 
Nous avons reçu hier un e-mail de notre hébergeur Web, qui nous avertissait que le serveur de myriad-online.com avait été surchargé à la mi-journée, sans que le volume de données téléchargées ne montre rien de particulier.
 
Pensant qu'il pouvait s'agir d'un bug dans un de nos script, il nous a donc prévenu, en nous conseillant de vérifier le journal des erreurs de notre serveur.
 
Nous nous sommes donc empressés de le faire, et rien de spécial n'a pu être mis en évidence. Intrigués (et un peu inquiétés) par ceci, nous nous sommes alors résolus à examiner le fichier-journal quotidien, qui garde trace de tous les accès ayant été faits sur le serveur depuis minuit une.
Nous étions en début d'après-midi et ce fichier faisait déjà un bon poids (43 Mo).
 
En examinant les données enregistrées aux alentours de 13 heures, nous avons alors remarqué un nombre anormalement élevé d'accès aux pages du forum.  
Pendant à peu près 10 mn, entre 12h55 et 13h05, plusieurs personnes (avec différentes adresses IP) faisaient plusieurs dizaines d'accès au forum chaque seconde.  
Etant donné qu'à chaque accès, le script du forum doit recréér dynamiquement la page devant apparaître sur le navigateur de l'utilisateur, cela expliquait la saturation du serveur au bout de quelques minutes.
 
Mais qui étaient ces personnes? Plusieurs internautes équipés d'un aspitateur de site? A moins qu'ils ne soient de mêche, leur arrivée était trop simultanée pour  être un simple hasard. Les pages consultées également : ils alternaient tous une lecture de fil de discussion, la consultation d'un profil, et une tentative de réponse à un fil ou une création d'un nouveau fil. N'ayant pas passé le stade de l'enregistrement de leur pseudo et de l'image "captcha", ils n'avaient pas le droit de poster, donc le forum n'avait pas souffert.
 
Nous avons donc commencé à rechercher les adresses IP de ces internautes sur Google. Dès les trois premières, nous nous sommes rendus compte que, depuis ces adresses, du spam était couramment envoyé.
 
Nous supposons donc qu'il s'agit de PC "zombies" (dont un pirate peut prendre le contrôle à l'insu de son propriétaire) ou des relais proxy ouverts (serveur mal configuré dont les pirates se servent pour masquer leur adresse IP) utilisés simultanément pour mener une attaque au spam sur le forum.
 
L'attaque, un peu trop violente, a donc conduit à la saturation temporaire du serveur.  
 
Dans ce genre de cas, nous avons malheureusement peu de solutions, mis à part désactiver momentanément le forum. Si ce genre de mésaventure se produit trop souvent, nous devrons mettre en place un système automatique qui, lors d'accès répétés trop rapides au forum, couoera purement et simplement le script du forum pendant quelques minutes afin de tout laisser refroidir en attendant que ça passe.
by Olivier Guillion
Comments

Comment from lala Thursday, Nov 27th, 2008 at 09:17am
Cache
Quote:

Etant donné qu'à chaque accès, le script du forum doit recréér dynamiquement la page devant apparaître sur le navigateur de l'utilisateur, cela expliquait la saturation du serveur au bout de quelques minutes.  

Sérieusement ?   même pas un petit cache ? Si le CPU a été saturé et pas la bande passante faudrait peut être essayé de cacher le HTML plutôt que de le recréer à chaque fois si c'est le cas.

Comment from Olivier Guillion Thursday, Nov 27th, 2008 at 10:02am
Re: Cache
Ce serait une bonne idée, mais maintenir en cache les pages des profils de 3000 membres, 8400 sujets et 60000 messages, tout ceci en deux langues, risque de prendre un peu de place sur le disque dur..
 
Il y a probablement des moyens d'améliorer cela, comme par exemple ne pas relancer une nouvelle instance du script à chaque accès, mais ce genre de procédé est plutôt réservé aux gros forums, avec une charge importante. Le nôtre n'entre pas dans cette catégorie, et la mise en place de tout ceci juste pour éviter quelques attaques de spammers me paraît un peu disproportionné pour l'instant.
 
Il serait certainement plus facile pour nous, à ce moment-là, de repérer les abus, et de "blacklister" les IPs, au moins temporairement, dès que ceci est détecté.

Comment from Sylvain Machefert Thursday, Nov 27th, 2008 at 09:52pm
visiteurs bourrins
Depuis quelques jours, j'ai mis un outil statistiques sur mon site... puis je l'ai amélioré... ça me donne la liste des robots (msn, voilà, yahoo, google), et le nombre de visites pour une IP.
 
Et en observant les chiffres bouger (un petit rafraichissement de la page de temps en temps), je vois une IP avec 1200 !!! pages visitées.
Blacklisté direct dans le .htaccess.
Un robot légal, le plus bourrin, et surtout le plus con (qui référence les pages qui servent à rien) c'est voilà, avec 300 pages par IP du robot (sachant qu'il en a plusieurs) en 24h. C'est déjà pas mal, mais ça serait mieux 20 pages mais utiles FH

Comment from Thursday, Nov 27th, 2008 at 09:59pm
(No subject)
Tiens, et à l'instant ! j'en ai pris un en flagrand délit d'aspiration du site (merci le "HTTrack" dans le user-agent !), une page toutes les 4 secondes en moyenne, 700 pages en 50 minutes. Il a eu droit a son petit "Deny"

Comment from Olivier Guillion Thursday, Nov 27th, 2008 at 10:49pm
Honeypot
Pour contrer les aspirateurs de site, nous avons mis un "pot de miel" sur le forum, qui les bannit immédiatement.
 
En lisant le source de la page, vous pouvez aller voir comment ça marche (premier lien dans le "body"). Attention, cependant, un clic de trop, et paf, blacklist sur le firewall du serveur!
Si ça arrive, contactez-moi par e-mail pour que je sorte votre IP de la liste des bannis
 
Pour éviter que les indexeurs de moteurs de recherche s'y fassent prendre, on a interdit l'accès au pot de miel par le fichier "robots.txt". Devinez qui s'y fait prendre quand même ? MSN...

Comment from Sylvain Machefert Thursday, Nov 27th, 2008 at 11:51pm
MSN
ah ah ! très fort chez Microsoft !
 
Sur mon site, MSN fait comme Voila, mais en moins bourrin (mais avec beaucoup d'IP différentes, faudrait que je cumul le total de toutes les IP MSN pour voir) : il parcours les pages qui ont peut d'intérêt, et pour leur éviter ça, j'ai fait en sorte de ne pas avoir les liens vers ces pages pour un visiteur non connecté (comme les bottes de MSN et Voila), mais ils se souviennent encore de ces liens et continuent à référencer...

Comment from Olivier Guillion Friday, Nov 28th, 2008 at 10:09am
BOTS
Et pourquoi n'interdis-tu pas ces pages dans robots.txt ? En deux-trois jours, tous les moteurs de recherche (excepté MSN ) devraient s'arrêter de les indexer.

Comment from Sylvain Machefert Friday, Nov 28th, 2008 at 03:07pm
(No subject)
j'vais essayer, mais je ne sais pas ce que ça va donner comme résultat, vu qu'en fait...
 
www.tousauxbalkans.net/XYZ
est transformé en .../index.php?title=XYZ
 
donc les liens .../Special:Browse/TRUC sont transformés en .../index.php?title=Special:Browse/TRUC
 
savoir si robot.txt prend en compte, le fichier physique, l'adresse avant rewriting, l'adresse après rewriting...


Most recent first
Oldest first

Top of page
Last update:  (c) Myriad 2013