 Les échanges de document musicaux ont toujours été une de nos préoccupations. Chaque logiciel de musique utilise son propre format de fichier, et il est difficile de partager des documents quand on travaille sur des logiciels différents.
En général, le format le plus reconnu est le MIDI. Mais, c'est un format maintenant ancien, que l'on peut qualifier de spartiate et plus destiné aux synthétiseurs qu'aux ordinateurs. Par exemple, le format MIDI ne comporte aucune information de mise en page et l'on se retrouve vite limité car un export puis un import ne redonne pas le même aspect de la partition.
Grâce à MyrScript, le langage intégré à Harmony Assistant, il est possible d'importer des documents musicaux provenant de toutes sortes de logiciels : Finale, Noteworthy, Encore, GuitarPro, Tabledit, etc. Depuis deux ans, une bonne partie de notre temps a été passée à écrire des scripts d'importation, mais il y a tellement de logiciels différents que je ne pense pas que nous en verrons un jour la fin. Il faut en effet, pour chaque logiciel, concevoir un script spécifique, parfois même avec des variantes car les formats ont évolués dans le temps.
Nous réfléchissons depuis quelque temps à une autre approche du problème. L'idéal serait d'avoir un format de fichier qui soit commun à tous les logiciels. Il y a bien l'initiative très intéressante du MusicXML mais cela suppose qu'un exporteur MusicXML existe pour le logiciel. Or, très souvent, les nouveaux utilisateurs de Melody/Harmony utilisaient un programme dont le développement a été arrété, et voudraient bien récupérer les partitions créées avec celui-ci. Ils se retrouvent bloqués.
C'est alors que nous est venue une idée. Un format d'échange existe : c'est le PDF. Que ce soit sur Mac OS X, où l'exportateur en PDF est intégré au système, sur Mac OS 9 où des pseudo pilotes d'impression existent, ou sur Windows avec des programmes gratuits comme PDFCreator, il est aisé de créer un document PDF à partir de n'importe quel logiciel. De plus on trouve une grande quantité de partitions en PDF sur l'Internet notamment sur Choral Public Domain Library.
Si l'on pouvait lire ces fichiers PDF avec Harmony/Melody nous disposerions alors d'un format d'importation universel. La description du format a été publiée par son créateur, Adobe. Une pré-étude a été lancée cette semaine pour voir si ce format est lisible et si l'on peut faire quelque chose de ces données.
Dès que la nouvelle version d'Harmony et de Melody sera publiée (normalement Mardi prochain 9 Mai) nous approfondirons la question. |
|
|
| by Didier Guillion |  |
|
| |
|
 L'étude du PDF a débuté (voir le billet "On échange ?"), une première ébauche du parseur (analyseur ou butineur qui balaye un fichier pour en extraire les informations) a été écrite et l'on commence à extraire les différents éléments des fichiers PDF. Il apparaît que, du point de vue de l'utilisation que nous voulons en faire, trois catégories de documents se dégagent.
La catégorie 0 (zéro): Ce sont les PDF n'incluant qu'une seule image de la partition par page du document. Ils ont vraisemblablement été générées directement depuis un scanner. La seule chose que l'on pourrait faire de ces documents serait d'exporter les images de manière séparée et de les faire traiter par OMeR.
La catégorie 1 : Ce sont les PDF, incluant des objets graphiques (lignes, rectangles, etc), et les objets musicaux (tête de note, nuance, etc) dessinés à partir d'une police de caractère. Ce sont des fichiers issus de l'exportation directe depuis un logiciel de musique, comme ce que l'on obtient depuis Harmony Assistant par exemple. L'interprétation des objets semble possible. Le problème est que la police incluse dans le document PDF est "remappé" (seuls les caractères utilisés dans le document sont présents) et ne semble pas utilisable directement.
La catégorie 2 : Ce sont les PDF n'incluant que des objets graphiques : les objets musicaux sont dessinés avec des primitives graphiques simples et non avec des polices. Je n'ai aucune idée de la façon dont ces fichiers ont été générés. Il va falloir isoler ces objets et construire un système expert de reconnaissance de forme ? Probablement.
La catégorie 1 semble la plus répandue. La catégorie 2 vient ensuite nettement moins souvent. La catégorie 0 est très rare à ma connaissance. La pierre d'achoppement de la catégorie 1 va être l'extraction des données brutes des fichiers de polices inclus dans le document et leur analyse. Apparemment, la plupart de ces fichiers sont des polices au format TrueType qui est un format public. Bon point. Cela va être la prochaine étape de l'analyse : serons-nous capables d'extraire ces données et de reconnaître la forme que ces données dessinent ?
|
|
|
| by Didier Guillion | |
|
| |
|
Nous sommes dans l'étape qui consiste à analyser les polices de caractères présentes dans un fichier PDF.
Cette étape de l'étude vise à extraire les données graphiques d'une police au format TrueType. Heureusement, la documentation est disponible. En première analyse, le format a l'air très complet et complexe. Mais avons-nous besoin de toutes ces informations ? Nous nous intéressons en premier lieu à la manière dont les glyphes (rendu graphique d'un caractère d'une police) sont encodés. Après quelques tatonnements, nous arrivons à extraire les données des glyphes et à tracer les caractères pour vérification. Cette phase est donc validée, même si nous laissons plusieurs problèmes dans l'ombre : rencontrerons-nous des polices non TrueType ? Des polices qui encoderaient les formes en passant par le bytecode TrueType ?
Maintenant que nous avons les données qui définissent la forme des caractères, il faut associer le caractère mémorisé dans le document PDF au numéro de glyphe. En effet le format PDF ne stocke pas toute la police mais uniquement les caractères présents dans le document. Ceci passe par les "Cmaps" du fichier TrueType.
Quelques recherches sur l'Internet nous font découvrir un site présentant des centaines de partitions au format PDF. Il apparaît qu'une bonne proportion de ces fichiers utilisent une police de type "Adobe Type1C". La prochaine étape sera l'analyse de ce format. |
|
|
| by Didier Guillion | |
| |
|
Nous sommes dans l'étape qui consiste à analyser les polices de caractères présentes dans un fichier PDF.
Le format de police "Adobe Type 1C" (C pour compacté) est public. A partir de cette documentation, un extracteur et interpréteur de commande graphique a été écrit pour pouvoir dessiner grossièrement les caractères. En effet, nous avons progressé dans la reflexion sur l'association "numéro de caractère" vers "signification du caractère". Une solution serait de procéder en deux étapes :
1- Rechercher des données similaires dans une base de données, pour savoir si le caractère à déjà été rencontré.
2- Si le caractère est nouveau, tracé du caractère et reconnaissance automatique de celui-ci. S'il est reconnu, alors nous alimenterons la base de donnée utilisée en étape 1.
La reconnaissance de caractère passera peut-être par des réseaux neuronaux. Un réseau neuronal a été écrit (en MyrScript, c'est un excellent langage pour faire rapidement des maquettes) et donne des résultats intéressants...
Entretemps un nouveau type de police est rencontré, le format "Adobe Type 1". La prochaine étape sera l'analyse de ce format. |
|
|
| by Didier Guillion | |
|
| |
|
Nous sommes toujours dans l'étape qui consiste à analyser les polices de caractères présentes dans un fichier PDF.
Comme le format "Adobe Type 1C", le format "Adobe Type 1" utilise un interpréteur PostScript pour dessiner les formes de caractères. La différence entre les deux formats est que le "Adobe Type 1C" est compacté, le "Adobe Type 1", est au format texte, non compacté. Par contre, le format "Adobe Type 1" est encrypté (certaines polices peuvent être protégées). Heureusement, l'algorithme d'encryptage/décryptage est public. Après quelques tatonnements et fausses pistes, le format "Adobe Type 1" est décodé. Nous écrivons alors un interpréteur PostScript rudimentaire pour tracer les caractères. Le résultat semble correct et utilisable.
Maintenant, il va falloir analyser un autre type de police : le type 3, c'est un format où les caractères sont dessinés avec des commandes PDF. L'intention générale est d'uniformiser tout ceci et de convertir "Type 1", "Type 1C", "Type 3" en un format de description commun et homogène qui permettra un tracé plus uniformisé.
Parallèlement à ceci, Olivier a essayé d'autres voies que le réseau neuronal pour la reconnaissance et obtient des résultats prometteurs... |
|
|
| by Didier Guillion | |
| |
|
|
