Myriad Blog 1.3.0 Sunday, Apr 20th, 2014 at 06:41pm 

Dev News Monday, Nov 3rd, 2008 at 05:07pm
ScanToMusic Etape 21

 
Afin de simplifier les comparaisons de caractères , nous avons travaillé sur la squelettisation.  
Ce procédé permet de transformer des formes pleines en "fil de fer". Grâce à cela, on pourrait s'affranchir des épaisseurs de caractères, pour ne conserver que les données constituant effectivement la forme.
 
A partir de notre texte d'exemple:
 

 
nous avons appliqué l'algorithme de Zang-Suen, assorti d'un amincissement maximal. Sur un squelette, on pourrait appeler ça une décalcification :
 

 
Un autre algorithme de squelettisation, morphologique, celui-là, suivi de la "décalcification", donne des résultats légèrement différents :
 

 
Certains détails sont mieux conservés, mais de petites barres matérialisent l'épaisseur d'origine du caractère à certains endroits.
 
Peut-être qu'avec un bon élagage de ces petites branches, nous pourrons nous en servir, en conjonction avec le squelette précédent.
 
Nous nous attaquons maintenant aux méthodes de discrimination, c'est-à-dire le coeur de la reconnaissance proprement dite. Cela risque d'être plus difficile de montrer  les résultats ici, de manière graphique.
by Olivier Guillion

Dev News Thursday, Nov 6th, 2008 at 05:07pm
ScanToMusic Etape 22

 
Nous sommes maintenant capables de faire à peu près ce que nous voulons sur l'aspect du caractère : en extraire un squelette, détecter les trous et les bosses, les parties indépendantes au sein d'un même caractère (par exemple les point et la virgule d'un point-virgule, ou le "e" et  son accent dans "é") et diverses données statistiques.
 
Il nous reste maintenant à choisir l'algorithme qui va déterminer la nature de ce caractère, par comparaison avec un jeu de référence (algorithme de discrimination).
 
Nous avons déjà exploré plusieurs possibilités, allant de la simple comparaison de matrice à un filtre bayesien, un réseau de neurones, la construction d'un arbre de décision, ou les modèles de Markov cachés (HMM)
 
Plusieurs de ces techniques s'avèrent efficaces, mais le résultat de l'apprentissage est difficile à vérifier à posteriori. On obtient une série de chiffres dont la signification n'est pas évidente pour l'observateur humain. En résumé, ça marche, mais c'est une boîte noire.
 
Or la pertinence des données que nous extrayons de la forme du caractère et qui servent à alimenter l'algorithme de discrimination  est cruciale. Il faut fournir à cet algorithme les données permettant de différencier le mieux possible chacun des caractères. Si nous envoyons ces données vers une boîte noire, nous ne pouvons pas savoir quel paramètre mériterait d'être affiné ou remplacé par un autre pour de meilleurs résultats. On peut simplement essayer, et voir si le résultat s'améliore. Cela revient un peu à tirer des flèches les yeux bandés en essayant de s'approcher du centre de la cible.  
 
Nous travaillons donc dans ce sens, en expérimentant et en recherchant de la documentation. Cela risque de prendre un peu de temps...
by Olivier Guillion

Dev News Monday, Nov 10th, 2008 at 05:00pm
ScanToMusic Etape 23

 
Toujours à la recherche de l'algorithme parfait de reconnaissance de caractère, l'intuition rejoint les conclusions de la documentation disponible à ce sujet : un tel algorithme n'existe pas.
 
Certains sont efficaces, d'autres un peu moins, mais les meilleurs résultats finaux sont produits par des programmes qui utilisent plusieurs algorithmes à la fois.
 
Chacun analyse le dessin du caractère avec ses propres méthodes, s'attache plus précisément à tels ou tels aspects, le compare avec des caractères de référence qui lui sont propres.
 
A la fin, les résultats de tous les algorithmes sont comparés, et l'issue finale de la reconnaissance de ce caractère est soumise au vote.  Le gagnant est celui qui a été reconnu par le maximum d'algorithmes. Les taux globaux de reconnaissance sont, par ce principe, grandement améliorés.  
 
De là à généraliser, et avancer que l'union et la démocratie sont préférables à l'individualisme et la dictature...
by Olivier Guillion

Dev News Friday, Nov 14th, 2008 at 05:04pm
ScanToMusic Etape 24

 
Pour reconnaître un caractère, il faut pouvoir le comparer à un ou plusieurs caractères de référence, afin d'en déduire un niveau de similarité.
 
Mais quelles données comparer? La présence de pixels allumés ou éteints à tel ou tel endroit ? Cela est trop sensible à la fonte utilisé, la taille, le "bruit" dû aux imperfections du papier ou du scan...
 
Il faut donc fournir à l'algorithme de classification des données sur le caractère scanné à reconnaître, qui soient à la fois peu nombreuses, pour faciliter et accélérer les comparaisons, mais également qui décrivent bien la forme du caractère, pour que l'algorithme ait suffisamment de matériel pour discriminer.
 
Si l'extraction des caractéristiques de l'image du caractère scanné fournit des données qui, quelle que soit la manière dont on les représente, ne permettent pas à un observateur humain de savoir de quel caractère il s'agissait, il y a fort à parier qu'un algorithme ne le pourra pas non plus (ou mal).
 
Dans cette optique, nous avons essayé de "vectoriser" l'image, c'est-à-dire, à partir du dessin du caractère, trouver le nombre minimal de formes graphiques (droites, arcs de cercle, etc) qui permettent de redessiner ce caractère, et suffisantes pour qu'un observateur humain puisse déterminer de quel caractère il s'agissait.
 
Le travail est complexe, mais nous sommes arrivés à d'assez bon résultats. En voici quelques exemples, en utilisant seulement des lignes droites :
 
A gauche un petit "a" extrait d'un texte scanné.
A droite, l'image décomposée (vectorisée) par l'algorithme en seulement 5 lignes droites
 

 
Avec un peu d'imagination, on peut aisément reconnaitre le "a" dans le dessin de droite. Cela ressemble à un petit "a" tracé à la main par un allergique aux courbes
 
Même chose avec un petit "d" (4 lignes) :
 

 
Un "M" donne ceci (5 lignes, dont une pour le serif à gauche):
 

 
et enfin un grand A, décomposé en seulement trois lignes:
 

 
Les premiers résultats sont donc encourageants, car il réduisent grandement la quantité d'information fournie à l'algorithme. Il faut maintenant vérifier la stabilité de l'extraction des vecteurs, puis trouver comment comparer deux jeux de vecteurs afin de reconnaître la lettre.
 
Il n'est cependant pas encore certain que ce type de traitement sera retenu dans la version finale. Nous avons jusqu'ici développé une vingtaine d'algorithmes différents, avec plus ou moins de succès. Nous en conserverons, au final, un maximum de 3 ou 4. Tous les autres finiront à la poubelle
by Olivier Guillion

Dev News Monday, Nov 17th, 2008 at 05:01pm
ScanToMusic Etape 25

 
Pour faire suite au dernier billet, nous avons amélioré la recherche de formes élémentaires dans les images scannées.
 
En plus des segments de droites, nous avons ajouté des arcs de cercle. Voici ce que cela donne avec les caractères pris en exemple la dernière fois.
 
A gauche, l'image originale du caractère scanné, au centre, les primitives graphiques qui en ont été extraites, dessinées en lignes fines, et à droite, les mêmes, dessinées en lignes épaisses:
 

 
Certaines lignes dépassent, car les calculs prennent en compte les bords extérieurs de la forme d'origine. Les formes extraites sont donc généralement trop longues d'une demi-épaisseur du tracé du caractère scanné. Ce sera ajusté, si besoin est.
 
Il nous reste maintenant à trouver une manière efficace de comparer ces données à un jeu de référence. Nous planchons toujours là-dessus.
by Olivier Guillion
 5 comments.

Dev News Monday, Nov 24th, 2008 at 04:44pm
ScanToMusic Etape 29

 
Les extractions de formes élémentaires (lignes, arcs) du caractère scanné s'étant avérées suffisamment stables, nous avons commencé à implémenter un module de reconnaissance proprement dit.
 
Une série de caractères connus (16000 caractères issus de diverses fontes) est envoyée à l'extracteur, et les formes élémentaires ainsi obtenues sont stockées.  
 
Une fois cet apprentissage terminé, une autre série de caractères, issus d'une page scannée cette fois, est envoyée au programme, qui, en les comparant à ce qu'il a stocké lors de l'apprentissage, essaie de déterminer de quels caractères il s'agit.
 
Premiers essais. Le programme n'est pas aveugle, mais un peu myope. Il commet des erreurs, mais donne généralement comme résultat un caractère assez proche (Q au lieu de O, c au lieu de e, etc.)
Il faut maintenant essayer d'améliorer tout cela.
by Olivier Guillion

Technical Wednesday, Nov 26th, 2008 at 05:42pm
Pic de trafic

 
Nous avons reçu hier un e-mail de notre hébergeur Web, qui nous avertissait que le serveur de myriad-online.com avait été surchargé à la mi-journée, sans que le volume de données téléchargées ne montre rien de particulier.
 
Pensant qu'il pouvait s'agir d'un bug dans un de nos script, il nous a donc prévenu, en nous conseillant de vérifier le journal des erreurs de notre serveur.
 
Nous nous sommes donc empressés de le faire, et rien de spécial n'a pu être mis en évidence. Intrigués (et un peu inquiétés) par ceci, nous nous sommes alors résolus à examiner le fichier-journal quotidien, qui garde trace de tous les accès ayant été faits sur le serveur depuis minuit une.
Nous étions en début d'après-midi et ce fichier faisait déjà un bon poids (43 Mo).
 
En examinant les données enregistrées aux alentours de 13 heures, nous avons alors remarqué un nombre anormalement élevé d'accès aux pages du forum.  
Pendant à peu près 10 mn, entre 12h55 et 13h05, plusieurs personnes (avec différentes adresses IP) faisaient plusieurs dizaines d'accès au forum chaque seconde.  
Etant donné qu'à chaque accès, le script du forum doit recréér dynamiquement la page devant apparaître sur le navigateur de l'utilisateur, cela expliquait la saturation du serveur au bout de quelques minutes.
 
Mais qui étaient ces personnes? Plusieurs internautes équipés d'un aspitateur de site? A moins qu'ils ne soient de mêche, leur arrivée était trop simultanée pour  être un simple hasard. Les pages consultées également : ils alternaient tous une lecture de fil de discussion, la consultation d'un profil, et une tentative de réponse à un fil ou une création d'un nouveau fil. N'ayant pas passé le stade de l'enregistrement de leur pseudo et de l'image "captcha", ils n'avaient pas le droit de poster, donc le forum n'avait pas souffert.
 
Nous avons donc commencé à rechercher les adresses IP de ces internautes sur Google. Dès les trois premières, nous nous sommes rendus compte que, depuis ces adresses, du spam était couramment envoyé.
 
Nous supposons donc qu'il s'agit de PC "zombies" (dont un pirate peut prendre le contrôle à l'insu de son propriétaire) ou des relais proxy ouverts (serveur mal configuré dont les pirates se servent pour masquer leur adresse IP) utilisés simultanément pour mener une attaque au spam sur le forum.
 
L'attaque, un peu trop violente, a donc conduit à la saturation temporaire du serveur.  
 
Dans ce genre de cas, nous avons malheureusement peu de solutions, mis à part désactiver momentanément le forum. Si ce genre de mésaventure se produit trop souvent, nous devrons mettre en place un système automatique qui, lors d'accès répétés trop rapides au forum, couoera purement et simplement le script du forum pendant quelques minutes afin de tout laisser refroidir en attendant que ça passe.
by Olivier Guillion
 8 comments.

Technical Friday, Nov 28th, 2008 at 04:51pm
Pénurie de Spam ?

 
Par hasard, nous sommes tombés sur une information qui a affecté la vie de millions de gens, et était pourtant passée presque inaperçue.
 
Il y a quelques jours, une importante source de Spam a été localisée, et ses accès ont été coupés.
Cela n'aurait pas mérité la une des journaux si, à la suite de cette action, la quantité de spam émise dans le monde n'avait chuté de 30 à 50% !
 
En résumé, entre le tiers et la moitié du spam envoyé chaque jour dans le monde aurait été originaire de ce point précis de Californie.
 
Circonspects, nous avons alors regardé nos statistiques, et avons effectivement remarqué une baisse sensible (environ 35%) du nombre de spams que nous recevons, à partir du 12 novembre:
 

 
Ceci correspond bien à la date à laquelle le serveur Californien a été mis hors service.
 
La machine à pourriel n'est donc pas si multicéphale que ça. Bien sûr, les ordinateurs qui envoient physiquement les messages sont probablement des millions, la plupart le faisant à l'insu même de leur propriétaire. Mais il pourrait bien n'y avoir que quelques poignées de personnes à les contrôler.
 
Le répis ne sera que de courte durée, il ne faudra certainement pas beaucoup de temps pour que les malfaisants (probablement liés à la mafia russe) montent un nouveau serveur pour reprendre le contrôle de leur armée de PCs. En attendant, tous les serveurs de courrier du monde profitent d'un peu de répis...
 
Pour plus de renseignements sur cette affaire, voir ici, et, beaucoup plus détaillé mais assez technique et en anglais, .
by Olivier Guillion


Full view
Reduced view
Most recent first
Oldest first
All
Didier Guillion
Olivier Guillion
Sylvie Ricard
All
Dev News
Technical
Mood
Memories
Myriad Life
To be seen
30 previous days
Apr 2006
May 2006
Jun 2006
Jul 2006
Aug 2006
Sep 2006
Oct 2006
Nov 2006
Dec 2006
Jan 2007
Feb 2007
Mar 2007
Apr 2007
May 2007
Jun 2007
Jul 2007
Aug 2007
Sep 2007
Oct 2007
Nov 2007
Dec 2007
Jan 2008
Feb 2008
Mar 2008
Apr 2008
May 2008
Jun 2008
Jul 2008
Aug 2008
Sep 2008
Oct 2008
Nov 2008
Dec 2008
Jan 2009
Feb 2009
Mar 2009
Apr 2009
May 2009
Jun 2009
Jul 2009
Aug 2009
Sep 2009
Oct 2009
Nov 2009
Dec 2009
Jan 2010
Feb 2010
Mar 2010
Apr 2010
May 2010
Jun 2010
Jul 2010
Aug 2010
Sep 2010
Oct 2010
Nov 2010
Dec 2010
Jan 2011
Feb 2011
Mar 2011
Apr 2011
May 2011
Jun 2011
Jul 2011
Aug 2011
Sep 2011
Oct 2011
Nov 2011
Dec 2011
Jan 2012
Feb 2012
Mar 2012
Apr 2012
May 2012
Jun 2012
Jul 2012
Aug 2012
Sep 2012
Oct 2012
Nov 2012
Dec 2012
Jan 2013
Feb 2013
Mar 2013
Apr 2013
May 2013
Jun 2013
Jul 2013
Aug 2013
Sep 2013
Oct 2013
Nov 2013
Dec 2013
Jan 2014
Feb 2014
Mar 2014
Apr 2014
Apr 19th, 2014 at 08:20pm 
Comment from Grorom
bravo !
Apr 19th, 2014 at 08:04am 
Comment from Antoine Bautista
et un optimiste...
Apr 19th, 2014 at 08:04am 
Comment from Antoine Bautista
et un optimiste...
Apr 18th, 2014 at 05:58pm 
Comment from Bubu42
Apr 18th, 2014 at 05:58pm 
Comment from Bubu42
Apr 18th, 2014 at 04:57pm 
Article from Olivier Guillion
Acam Winter, étape 14
Apr 17th, 2014 at 04:42pm 
Article from Didier Guillion
Harmony 9.6 étape 665
Apr 16th, 2014 at 04:56pm 
Article from Olivier Guillion
Acam Winter, étape 13
Apr 16th, 2014 at 03:24pm 
Comment from Olivier Guillion
Et pour savoir si un site est compromis
Apr 16th, 2014 at 02:07pm 
Comment from Sylvain
Sites impactés - changer son mot de passe

Top of page
Last update:  (c) Myriad 2013