Myriad Blog 1.3.0 Monday, Jan 26th, 2015 at 09:32am 

Dev News Tuesday, Nov 30th, 2010 at 05:09pm
Kooplet tape 82

 
Nous avons mis au propre pas mal de choses, et notamment l'aspect des rsultats de la recherche sur le Web, et la prsentation des dtails sur chaque morceau.
 
Un classement des rsultats selon divers critres a t mis en place. Il fonctionne dj dans Harmony Assistant, et fonctionnera dans la version Web ds que nous aurons permis l'utilisateur de slectionner l'ordre de tri.
 
En parallle, nous avons commenc crer le formulaire qui permettra aux ayant-droits de signaler notre attention les oeuvres non libres de droits qui pourraient avoir t indexes par le moteur.
Une loi (la LCEN quelque chose) impose aux hbergeurs de supprimer les contenus litigieux dans les plus brefs dlais aprs signalement.  
 
Bien que n'tant pas hbergeur, mais simple collecteur de liens sur des fichiers hbergs ailleurs, nous nous sentons moralement tenus de faire le mnage dans notre base de donnes, aussi appliquerons-nous le mme principe Kooplet.
by Olivier Guillion

Dev News Monday, Nov 29th, 2010 at 04:53pm
Kooplet tape 81

Ce week end nous avons lanc une collecte d'une nouvelle base. Une session d'Harmony et une de PDFtoMusic on trait 8000 fichiers. Ceci nous a permis de localiser des petites irrgularits et de les corriger.
Par exemple, la page choisie pour l'aperu n'est pas automatiquement la premire du document puisque si la partition comporte de nombreuses portes, cette page ne comporte que le titre.
La fentre prsentant les rsultats a t amliore.
 

 
On peut faire des tris selon un critre choisi, croissants ou dcroissants.
Nous nous sommes un peu amus avec cette base et nous nous sommes rendus compte que l'on avait oubli de collecter la dure de la musique, ce qui est tout de mme important !
 
Toutes ces petites choses font que nous allons redmarrer une base zro cette nuit.
by Didier Guillion
 2 comments.

Dev News Friday, Nov 26th, 2010 at 05:00pm
Kooplet tape 80

 
En local, tout fonctionne maintenant. Encore quelques tests et nous pourrons lancer une reconstruction de la base, trs certainement Lundi.
Dans la base de donne, nous allons mmoriser le nombre de fois o un fichier a t tlcharg et un indicateur de sa complexit. Ceci nous permettra terme de prsenter les fichiers les plus intressants en premier.
 
Nous avons implment une boite de configuration de la recherche.
 

 
On peut y paramtrer la liste des types de fichiers prendre en compte et ceux exclure, le nombre maximal de fichiers dans les rsultats, le mode de recherche dans les textes, la liste des sites explorer et ceux exclure et enfin, le dossier o se tlchargent les documents.
 
Cela couvre tout les paramtres que l'on peut saisir dans le champ de recherche dans la version Web.
by Didier Guillion

Dev News Thursday, Nov 25th, 2010 at 04:50pm
Kooplet, tape 79

 
La structuration des donnes stockes dans les bases a t reprise. Nous avons pas mal rflchi aux nouvelles options qui seraient intressantes pour l'utilisateur, et nous nous posons encore quelques questions.
 
Tout d'abord, la date et l'heure laquelle le fichier a t dcouvert par Kooplet sera stocke. Bien entendu, la premire construction de la base, cela n'aura que peu d'intrt, puisque tous les fichiers seront mis en base dans un intervalle de quelques jours.
Mais par la suite, les fichiers musicaux nouvellement trouvs pourront tre mis graphiquement en vidence, et les recherches pourront tre limites un intervalle de temps, afin de ne montrer que les nouveaux fichiers.
 
Une option possible, qui pourrait tre mise en place avec peu de difficults technique serait un systme d'alerte par mail. Par exemple, vous cherchez un morceau dont le texte contient le mot "Beethoven" et qui contient une certaine squence de notes (par exemple, Pom pom pom pom ). Si vous ne trouvez pas votre bonheur, vous pouvez poser une alerte sur cette recherche. Lorsque Kooplet trouve un nouveau morceau qui correspond vos critres, il vous previent par e-mail.
Mais cela serait-il bien utile? Si on ne trouve pas tout de suite le morceau qui nous intresse, aura-t-on envie d'tre prvenu la semaine suivante s'il est enfin trouv ? Zatizecouechtion.
 
Nous avons galement mis en place la structure gnrale permettant de grer une note de qualit attribue chaque morceau. Les utilisateurs pourraient valuer la qualit des morceaux et ainsi modifier l'ordre d'apparition lors d'une recherche, ou permettre de restreindre la recherche aux morceaux au-dessus d'une certaine valeur de qualit. Mais nous hsitons galement. Par exprience, il y a toujours un petit malin qui essaie de truquer le systme pour voter plusieurs fois et faire monter artificiellement la note de tel ou tel morceau. Techniquement, nous pouvons difficilement mettre en place un systme efficace pour contrer ces pratiques. Faut-il pour autant prsenter les rsultats dans un ordre indtermin? Ici galement, on est un peu dans le flou...
by Olivier Guillion
 4 comments.

Dev News Wednesday, Nov 24th, 2010 at 04:57pm
Kooplet tape 78

 
Tout d'abord, la recherche via Kooplet a t intgr dans PDFtoMusic, et les premiers rsultats de recherche ont t mens avec succs.
Bien entendu, seuls les documents au format PDF sont affichs dans ce cas.
 
 

 
Ensuite, les codes sur lesquels nous travaillions de manire spare depuis la semaine dernire ont t fusionns.  
Lors du traitement par Harmony des fichiers envoys par le serveur, une petite image de la premire page est gnre, comprime (voir billet prcdent), retourne et mmorise sur le serveur. Cette image est ensuite fournie par le serveur comme un lment d'information dans les rsultats de la recherche et affiche dans la bote de Kooplet.
 

 
Nous avions quelques doutes sur l'utilit de cette prvisualisation mais en fait, c'est indniablement indispensable : en un coup d'oeil on voit le nombre d'instruments, la complexit de l'instrumentation... Et en cas de doute, en un seul click, le document est charg dans Harmony pour une consultation complte.
Tout fonctionne donc bien, mais mauvaise nouvelle, il va trs certainement falloir effacer notre base (82 000 documents) et repartir zro puisque jusqu' prsent nous ne collections pas cet aperu...
by Didier Guillion
 5 comments.

Dev News Tuesday, Nov 23rd, 2010 at 05:02pm
Kooplet tape 77

 
Le stockage les aperus graphiques des partitions collectes par Kooplet risquant de demander pas mal de place sur le disque cot serveur, nous avions besoin d'un compactage/dcompactage efficace de ces images.
 
Cet algorithme devait tre disponible aussi bien en C, pour crer l'aperu lors du traitement des fichiers collects par notre version d'Harmony/PDFtoMusic qu'en Perl, pour afficher l'aperu dans la recherche Kooplet sur le Web.
 
Nous avons donc mis au point un algorithme de compactage spcifique combinant un RLE (run-length encoding, encodage des rptitions d'une mme couleur) et un encodage de rsidu, inspir du codage de Rice.
 
Ce compactage non destructif semble plus efficace que d'utiliser le format PNG ou que de ZIPper des donnes brutes.
 
Il a t test en Perl, et est en cours d'implmentation en C.
by Olivier Guillion
 4 comments.

Dev News Monday, Nov 22nd, 2010 at 04:59pm
Kooplet tape 76

 
Cet t nous avions crit le frontal Web de Kooplet en C, intgr dans le Myriad Music Plug-In. Puis nous avons chang de fusil d'paule et rcrit le tout en ActionScript dans un plug-in Flash. Mais le code n'tait pas perdu puisque nous l'avons entirement utilis pour intgrer Kooplet dans Harmony.
On peut maintenant considrer que la recherche Kooplet est maintenant quasiment intgre Harmony.
 

 
Ce n'est plus une fentre modale, ce qui veut dire qu'aprs un tlchargement de fichier elle reste ouverte. Ceci permet de voir et d'couter rapidement un rsultat de la recherche sans perdre les autres. La fentre est retaillable.
 
Il reste grer maintenant les images d'aperu des documents. Ces images seraient, terme galement affiche dans la recherche Web de Kooplet.
 
A noter qu'une nouvelle icne fait son apparition dans la palette d'dition.
by Didier Guillion
 2 comments.

Dev News Friday, Nov 19th, 2010 at 05:03pm
Kooplet, tape 75 et autres

 
L'intgration de la recherche Kooplet dans Harmony Assistant commence fonctionner.  
Cot serveur, les scripts ont t adapts de manire accepter des requtes de la part d'Harmony, et fournir en retour les rsultats sous une forme facilement traitable par le programme.
Nous en avons profit galement pour mettre en place un systme de popularit, qui altrera l'ordre des rsultats de recherche.
 
Cot Harmony, la bote de recherche est fonctionnelle :
 
 
L'aspect graphique et l'organisation peuvent encore changer, mais la logique est dj l. Le clic sur "Rechercher" fait apparatre les rsultats dans la liste, et il est possible d'en slectionner une ligne puis cliquer sur un des boutons du bas pour soit visiter la page du site original qui propose le fichier, soit directement tlcharger la partition et l'diter dans Harmony.
 
La zone de droite, pour l'instant blanche, est destine accueillir l'aperu du fichier slectionn, si nous parvenons mettre cela en place. Cela supposerait alors de recommencer la collecte de la base depuis le dbut.
by Olivier Guillion
 4 comments.

Dev News Thursday, Nov 18th, 2010 at 04:59pm
Kooplet, tape 74 et autres

 
Nous avons quasiment termin (mais cela peut-il tre compltement termin ?) la partie de Kooplet qui tourne sur le serveur distant. Nos bases de donnes se dfragmentent en tche de fond afin de conserver en permanence des performances optimales. Il nous reste maintenant reprendre la partie "administration", qui nous permettra facilement d'ajouter ou enlever des sites, supprimer des partitions signales comme non conformes aux droits d'auteur, et surveiller tous les processus.
 
En parallle, nous avons rflchi ce que Kooplet pourrait apporter aux utilisateurs de nos produits. Par exemple, pourquoi ne pas pouvoir slectionner une squence de notes dans Harmony Assistant, et la rechercher dans Kooplet grce un navigateur ?
 
De l, l'utilisateur pourrait tlcharger les fichiers trouvs et les visualiser dans Harmony Assistant.
 
Mais alors, pourquoi ne pas lui simplifier la tche et intgrer la recherche Kooplet dans Harmony ? Ainsi plus besoin de navigateur, et les fichiers seraient tlchargs de manire transparente, pour apparatre directement dans Harmony...
 
Ce principe pourrait s'appliquer galement PDFtoMusic, avec une recherche sur le contenu des PDFs.  
 
Cela se prsenterait ainsi :  
Une bote, avec des boutons de configuration de la recherche, un champ de texte et une zone de saisie de notes. Cette zone serait automatiquement pr-remplie avec le contenu de la slection lors de l'ouverture de la bote. Aprs appui sur le bouton de recherche, les partitions trouves apparatraient dans la zone du bas (avec, pourquoi pas, un aperu graphique de leur premire page).
Il suffirait de cliquer sur la partition pour la tlcharger et la voir apparatre dans Harmony Assistant. On pourrait galement cliquer sur un lien au-dessous de la partition pour ouvrir dans un navigateur la page du site sur laquelle la partition avait t trouve.
 
A notre connaissance, nos produits deviendraient alors les premiers logiciels de musique accder directement la gigantesque bibliothque de fichiers musicaux disponibles sur Internet. Combien d'heure de travail conomises lorsqu'il suffira d'un clic pour choisir sa version de l'Ave Verum plutt que de devenir la dix millime personne l'avoir saisie en intgralit !
by Olivier Guillion
 6 comments.

Myriad Life Wednesday, Nov 17th, 2010 at 04:57pm
Rclame

 
Une chose est sre, la partie de notre travail qui nous rebute le plus c'est de faire la promotion de nos produits. Nous avons toutefois dcid de commencer btir une section de notre site qui prsentera nos solutions logicielles de manire transversale, au travers de cas-type d'utilisateur.
Ce n'est pas vraiment de la publicit, plutt de l'information. En tout cas cela nous permettra de rediriger les personnes intresses vers un ensemble de rponses toutes prtes.
Le premier article est consacr aux chefs de choeur qui constituent une part non ngligeable de nos utilisateurs. La rdaction en a t longue : il fallait viter toute confusion, rester comprhensible, et fuir au maximum les superlatifs.
 
En avant-premire c'est ici :
http://www.myriad-online.com/fr/info/choirs.htm
 
Nous pensons le texte presque abouti, les illustrations travailler et toute suggestion est bienvenue !
by Didier Guillion
 17 comments.

Dev News Tuesday, Nov 16th, 2010 at 05:04pm
Harmony, et Kooplet tape 126

 
Correction de l'importateur Tabledit.
Correction de l'importateur Finale.
Sur Mac, nos extensions de fichier propritaire taient associes nos installateurs, ce qui pouvait tre gnant, surtout que maintenant on ne peut plus associer manuellement une extension de fichier un programme. Cela a t corrig.
by Didier Guillion

Dev News Monday, Nov 15th, 2010 at 05:05pm
Kooplet, tape 73

 
La recherche de fichiers musicaux sur Internet a plutt bien tourn ce week-end, sous une surveillance constante. Le nombre rond de 65536 partitions a t dpass dimanche, et nous en sommes maintenant environ 76000.
 
Quelques fichiers font encore "planter" Harmony Assistant, nous les avons conservs, et nous tenterons de corriger a ds que possible.
 
Il semble y avoir quelques petits problmes dans la recherche, les squences entres ne semblent pas toujours tre retrouves dans les morceaux. Nous y travaillons, partir de plusieurs cas-test.
Ds que tout ceci sera corrig et valid, nous remettrons en ligne une version beta de Kooplet.
by Olivier Guillion

Dev News Wednesday, Nov 10th, 2010 at 05:00pm
Harmony, et Kooplet tape 125

 
L'importateur Tabledit ne traitait pas les tablatures pour Dulcimer, c'est maintenant fait.
Corrections mineures sur l'importateur Finale.
Quelques corrections d'affichage des tablatures guitares.
Nous avons rflchi l'implmentation de tablature pour piano :
 
http://fr.wikipedia.org/wiki/Tablature_de_piano
 
Franchement (ou alors quelque chose nous chappe) nous n'en voyons pas l'intrt.
 
Enfin, comme nous faisons le pont, nous allons laisser tourner le traitement de Kooplet pendant ces quatre jours.
Nous en sommes 34 307 documents, on verra le rsultat Lundi !
by Didier Guillion
 5 comments.

Dev News Tuesday, Nov 9th, 2010 at 05:13pm
Kooplet, tape 72

 
Quelques problmes dans Harmony Assistant, pouvant entraner une instabilit et des crashs inopins ont t mis en vidence par le traitement des fichiers extraits par Kooplet.
Il reste encore un crash, qui se produit trs rarement, mais nous ne dsesprons pas de le localiser.
 
D'une manire gnrale, toutes les tapes de Kooplet, de la collecte la mise en base de recherche, sont maintenant beaucoup plus solides.
 
Des traitements longs, permettant l'indexation des morceaux et donc leur recherche ultrieure, bloquaient le traitement pendant plusieurs secondes, et ralentissaient l'ensemble.
Nous exprimentons une nouvelle mthode pour grer cela, le lancement d'un "daemon" sur notre serveur Web.
 
Ce daemon tourne en permanence sur le serveur, et traite en tche de fond les oprations de mise jour de la base.
 
La mise en oeuvre est trs simple (une seule ligne de Perl), et ce principe pourrait tre utilis ultrieurement pour d'autres tches que Kooplet. Il faudra que nous rflchissions aux autres applications possibles d'un tel systme.
by Olivier Guillion

Dev News Monday, Nov 8th, 2010 at 04:55pm
Harmony, PDFtoMusic et autres tape 124

 
Aujourd'hui, pour commencer, traitement des emails du week end.
Ensuite, des corrections sur les importateurs :
Correction d'un crash en import S3M (dbordement d'index)
Correction de l'import NoteWorthy (problme sur les nuances)
 
PDFtoMusic tourne maintenant sans crash depuis trs longtemps et les 30 000 fichiers ont t dpasss.
by Didier Guillion
 1 comment.

Dev News Friday, Nov 5th, 2010 at 04:47pm
Harmony, PDFtoMusic et autres tape 123

 
Une irrgularit d'export en MusicXML des tuplets sur les silences, comme dans le cas suivant :

nous a t signal. Ceci est maintenant corrig que ce soit dans Harmony ou PDFtoMusic.
 
Par ailleurs, une fois l'export corrig nous nous sommes rendu compte que l'import ne grait pas ce cas de figure, cela a t corrig.
 
Toujours en export MusicXML commun Harmony et PDFtoMusic, la localisation des silences remplissant la mesure tait dfectueuse ce qui pouvait engendrer des silences de dure illgale dans les mesures non vides. Cela a t corrig.
 
Bon week end !
by Didier Guillion

Dev News Thursday, Nov 4th, 2010 at 04:44pm
Kooplet, tape 71

 
Alors que l'indexation se poursuit tranquillement, nous mettons au point quelques algorithmes permettant de mieux rpartir la charge de travail sur notre serveur.
 
En effet, lorsqu'un script utilisant une base de donnes est lanc, il se rserve l'accs cette base, empchant d'autres scripts (ou une autre instance du mme script) d'y accder en criture dans le mme temps. Si l'opration est longue, on risque d'obtenir un effet d'accordon avec quelques secondes de calme entre deux afflux de demandes.
 
Nous sommes donc en train d'implmenter un systme permettant de lisser tout cela, afin que le fonctionnement du serveur et donc de notre site ne puisse pas tre perturb par le moteur d'indexation de Kooplet.
by Olivier Guillion

Dev News Wednesday, Nov 3rd, 2010 at 04:57pm
Harmony, Melody et autres tape 122

 
Correction d'un problme de calcul de tablature pour accordon sur les appoggiatures.
On nous a demand plusieurs fois de pouvoir appliquer un dcalage en demi ton aux voix Virtual Singer. C'est fait.
Lors de la transformation d'une porte avec instrument transpositeur en porte avec paroles, l'alerte expliquant que la transposition est impossible n'apparatra plus et le dcalage en demi-ton et octave sera appliqu la nouvelle voix humaine.
Sinon, Kooplet progresse doucement avec 20 021 documents dans la base.
by Didier Guillion

Dev News Tuesday, Nov 2nd, 2010 at 05:10pm
Kooplet, tape 70

 
Nous avons fait tourner le crawler ce week-end, en l'interrompant assez souvent pour vrifier l'intgrit des diffrentes bases.  
Aucun problme majeur signaler.
 
Nous n'avons pas vraiment collect la vitesse maximale, car il nous a fallu quelques fois renvoyer la totalit des bases de donnes vers le serveur, et 300 Mo avec une liaison montante 1 Mbits/seconde, a prend un peu de temps (je vous laisse le soin de calculer). Vivement la fibre !
De plus, certains fichiers tlchargs faisaient planter Harmony Assistant. Nous avons corrig la majorit de ces problmes.
 
Entre autres effets de bord, Kooplet nous aura donc permis d'amliorer notre connaissance du langage Perl, et de corriger quelques sources possibles de plantage dans Harmony et PDFtoMusic.
by Olivier Guillion


Full view
Reduced view
Most recent first
Oldest first
All
Didier Guillion
Olivier Guillion
Sylvie Ricard
All
Dev News
Technical
Mood
Memories
Myriad Life
To be seen
30 previous days
Apr 2006
May 2006
Jun 2006
Jul 2006
Aug 2006
Sep 2006
Oct 2006
Nov 2006
Dec 2006
Jan 2007
Feb 2007
Mar 2007
Apr 2007
May 2007
Jun 2007
Jul 2007
Aug 2007
Sep 2007
Oct 2007
Nov 2007
Dec 2007
Jan 2008
Feb 2008
Mar 2008
Apr 2008
May 2008
Jun 2008
Jul 2008
Aug 2008
Sep 2008
Oct 2008
Nov 2008
Dec 2008
Jan 2009
Feb 2009
Mar 2009
Apr 2009
May 2009
Jun 2009
Jul 2009
Aug 2009
Sep 2009
Oct 2009
Nov 2009
Dec 2009
Jan 2010
Feb 2010
Mar 2010
Apr 2010
May 2010
Jun 2010
Jul 2010
Aug 2010
Sep 2010
Oct 2010
Nov 2010
Dec 2010
Jan 2011
Feb 2011
Mar 2011
Apr 2011
May 2011
Jun 2011
Jul 2011
Aug 2011
Sep 2011
Oct 2011
Nov 2011
Dec 2011
Jan 2012
Feb 2012
Mar 2012
Apr 2012
May 2012
Jun 2012
Jul 2012
Aug 2012
Sep 2012
Oct 2012
Nov 2012
Dec 2012
Jan 2013
Feb 2013
Mar 2013
Apr 2013
May 2013
Jun 2013
Jul 2013
Aug 2013
Sep 2013
Oct 2013
Nov 2013
Dec 2013
Jan 2014
Feb 2014
Mar 2014
Apr 2014
May 2014
Jun 2014
Jul 2014
Aug 2014
Sep 2014
Oct 2014
Nov 2014
Dec 2014
Jan 2015
Jan 23rd, 2015 at 04:53pm 
Article from Didier Guillion
ACAM sur Mac tape 18
Jan 22nd, 2015 at 04:53pm 
Article from Olivier Guillion
Acam Winter tape 32
Jan 21st, 2015 at 04:54pm 
Article from Didier Guillion
ACAM sur Mac tape 17
Jan 20th, 2015 at 04:58pm 
Article from Olivier Guillion
Acam Winter tape 31
Jan 19th, 2015 at 04:55pm 
Article from Didier Guillion
ACAM sur Mac tape 16
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input

Top of page
Last update:  (c) Myriad