Myriad Blog 1.3.0 Monday, Jan 26th, 2015 at 01:31pm 

Dev News Tuesday, Nov 2nd, 2010 at 05:10pm
Kooplet, Útape 70

 
Nous avons fait tourner le crawler ce week-end, en l'interrompant assez souvent pour vÚrifier l'intÚgritÚ des diffÚrentes bases.  
Aucun problŔme majeur Ó signaler.
 
Nous n'avons pas vraiment collectÚ Ó la vitesse maximale, car il nous a fallu quelques fois renvoyer la totalitÚ des bases de donnÚes vers le serveur, et 300 Mo avec une liaison montante Ó 1 Mbits/seconde, ša prend un peu de temps (je vous laisse le soin de calculer). Vivement la fibre !
De plus, certains fichiers tÚlÚchargÚs faisaient planter Harmony Assistant. Nous avons corrigÚ la majoritÚ de ces problŔmes.
 
Entre autres effets de bord, Kooplet nous aura donc permis d'amÚliorer notre connaissance du langage Perl, et de corriger quelques sources possibles de plantage dans Harmony et PDFtoMusic.
by Olivier Guillion

Dev News Thursday, Nov 4th, 2010 at 04:44pm
Kooplet, Útape 71

 
Alors que l'indexation se poursuit tranquillement, nous mettons au point quelques algorithmes permettant de mieux rÚpartir la charge de travail sur notre serveur.
 
En effet, lorsqu'un script utilisant une base de donnÚes est lancÚ, il se rÚserve l'accŔs Ó cette base, empŕchant d'autres scripts (ou une autre instance du mŕme script) d'y accÚder en Úcriture dans le mŕme temps. Si l'opÚration est longue, on risque d'obtenir un effet d'accordÚon avec quelques secondes de calme entre deux afflux de demandes.
 
Nous sommes donc en train d'implÚmenter un systŔme permettant de lisser tout cela, afin que le fonctionnement du serveur et donc de notre site ne puisse pas ŕtre perturbÚ par le moteur d'indexation de Kooplet.
by Olivier Guillion

Dev News Tuesday, Nov 9th, 2010 at 05:13pm
Kooplet, Útape 72

 
Quelques problŔmes dans Harmony Assistant, pouvant entraţner une instabilitÚ et des crashs inopinÚs ont ÚtÚ mis en Úvidence par le traitement des fichiers extraits par Kooplet.
Il reste encore un crash, qui se produit trŔs rarement, mais nous ne dÚsespÚrons pas de le localiser.
 
D'une maniŔre gÚnÚrale, toutes les Útapes de Kooplet, de la collecte Ó la mise en base de recherche, sont maintenant beaucoup plus solides.
 
Des traitements longs, permettant l'indexation des morceaux et donc leur recherche ultÚrieure, bloquaient le traitement pendant plusieurs secondes, et ralentissaient l'ensemble.
Nous expÚrimentons une nouvelle mÚthode pour gÚrer cela, le lancement d'un "daemon" sur notre serveur Web.
 
Ce daemon tourne en permanence sur le serveur, et traite en tÔche de fond les opÚrations de mise Ó jour de la base.
 
La mise en oeuvre est trŔs simple (une seule ligne de Perl), et ce principe pourrait ŕtre utilisÚ ultÚrieurement pour d'autres tÔches que Kooplet. Il faudra que nous rÚflÚchissions aux autres applications possibles d'un tel systŔme.
by Olivier Guillion

Dev News Monday, Nov 15th, 2010 at 05:05pm
Kooplet, Útape 73

 
La recherche de fichiers musicaux sur Internet a plut˘t bien tournÚ ce week-end, sous une surveillance constante. Le nombre rond de 65536 partitions a ÚtÚ dÚpassÚ dimanche, et nous en sommes maintenant Ó environ 76000.
 
Quelques fichiers font encore "planter" Harmony Assistant, nous les avons conservÚs, et nous tenterons de corriger ša dŔs que possible.
 
Il semble y avoir quelques petits problŔmes dans la recherche, les sÚquences entrÚes ne semblent pas toujours ŕtre retrouvÚes dans les morceaux. Nous y travaillons, Ó partir de plusieurs cas-test.
DŔs que tout ceci sera corrigÚ et validÚ, nous remettrons en ligne une version beta de Kooplet.
by Olivier Guillion

Dev News Thursday, Nov 18th, 2010 at 04:59pm
Kooplet, Útape 74 et autres

 
Nous avons quasiment terminÚ (mais cela peut-il ŕtre complŔtement terminÚ ?) la partie de Kooplet qui tourne sur le serveur distant. Nos bases de donnÚes se dÚfragmentent en tÔche de fond afin de conserver en permanence des performances optimales. Il nous reste maintenant Ó reprendre la partie "administration", qui nous permettra facilement d'ajouter ou enlever des sites, supprimer des partitions signalÚes comme non conformes aux droits d'auteur, et surveiller tous les processus.
 
En parallŔle, nous avons rÚflÚchi Ó ce que Kooplet pourrait apporter aux utilisateurs de nos produits. Par exemple, pourquoi ne pas pouvoir sÚlectionner une sÚquence de notes dans Harmony Assistant, et la rechercher dans Kooplet grÔce Ó un navigateur ?
 
De lÓ, l'utilisateur pourrait tÚlÚcharger les fichiers trouvÚs et les visualiser dans Harmony Assistant.
 
Mais alors, pourquoi ne pas lui simplifier la tÔche et intÚgrer la recherche Kooplet dans Harmony ? Ainsi plus besoin de navigateur, et les fichiers seraient tÚlÚchargÚs de maniŔre transparente, pour apparaţtre directement dans Harmony...
 
Ce principe pourrait s'appliquer Úgalement Ó PDFtoMusic, avec une recherche sur le contenu des PDFs.  
 
Cela se prÚsenterait ainsi :  
Une boţte, avec des boutons de configuration de la recherche, un champ de texte et une zone de saisie de notes. Cette zone serait automatiquement prÚ-remplie avec le contenu de la sÚlection lors de l'ouverture de la boţte. AprŔs appui sur le bouton de recherche, les partitions trouvÚes apparaţtraient dans la zone du bas (avec, pourquoi pas, un aperšu graphique de leur premiŔre page).
Il suffirait de cliquer sur la partition pour la tÚlÚcharger et la voir apparaţtre dans Harmony Assistant. On pourrait Úgalement cliquer sur un lien au-dessous de la partition pour ouvrir dans un navigateur la page du site sur laquelle la partition avait ÚtÚ trouvÚe.
 
A notre connaissance, nos produits deviendraient alors les premiers logiciels de musique Ó accÚder directement Ó la gigantesque bibliothŔque de fichiers musicaux disponibles sur Internet. Combien d'heure de travail ÚconomisÚes lorsqu'il suffira d'un clic pour choisir sa version de l'Ave Verum plut˘t que de devenir la dix milliŔme personne Ó l'avoir saisie en intÚgralitÚ !
by Olivier Guillion
 6 comments.

Dev News Friday, Nov 19th, 2010 at 05:03pm
Kooplet, Útape 75 et autres

 
L'intÚgration de la recherche Kooplet dans Harmony Assistant commence Ó fonctionner.  
CotÚ serveur, les scripts ont ÚtÚ adaptÚs de maniŔre Ó accepter des requŕtes de la part d'Harmony, et fournir en retour les rÚsultats sous une forme facilement traitable par le programme.
Nous en avons profitÚ Úgalement pour mettre en place un systŔme de popularitÚ, qui altŔrera l'ordre des rÚsultats de recherche.
 
CotÚ Harmony, la boţte de recherche est fonctionnelle :
 
 
L'aspect graphique et l'organisation peuvent encore changer, mais la logique est dÚjÓ lÓ. Le clic sur "Rechercher" fait apparaţtre les rÚsultats dans la liste, et il est possible d'en sÚlectionner une ligne puis cliquer sur un des boutons du bas pour soit visiter la page du site original qui propose le fichier, soit directement tÚlÚcharger la partition et l'Úditer dans Harmony.
 
La zone de droite, pour l'instant blanche, est destinÚe Ó accueillir l'aperšu du fichier sÚlectionnÚ, si nous parvenons Ó mettre cela en place. Cela supposerait alors de recommencer la collecte de la base depuis le dÚbut.
by Olivier Guillion
 4 comments.

Dev News Tuesday, Nov 23rd, 2010 at 05:02pm
Kooplet Útape 77

 
Le stockage les aperšus graphiques des partitions collectÚes par Kooplet risquant de demander pas mal de place sur le disque cotÚ serveur, nous avions besoin d'un compactage/dÚcompactage efficace de ces images.
 
Cet algorithme devait ŕtre disponible aussi bien en C, pour crÚer l'aperšu lors du traitement des fichiers collectÚs par notre version d'Harmony/PDFtoMusic qu'en Perl, pour afficher l'aperšu dans la recherche Kooplet sur le Web.
 
Nous avons donc mis au point un algorithme de compactage spÚcifique combinant un RLE (run-length encoding, encodage des rÚpÚtitions d'une mŕme couleur) et un encodage de rÚsidu, inspirÚ du codage de Rice.
 
Ce compactage non destructif semble plus efficace que d'utiliser le format PNG ou que de ZIPper des donnÚes brutes.
 
Il a ÚtÚ testÚ en Perl, et est en cours d'implÚmentation en C.
by Olivier Guillion
 4 comments.

Dev News Thursday, Nov 25th, 2010 at 04:50pm
Kooplet, Útape 79

 
La structuration des donnÚes stockÚes dans les bases a ÚtÚ reprise. Nous avons pas mal rÚflÚchi aux nouvelles options qui seraient intÚressantes pour l'utilisateur, et nous nous posons encore quelques questions.
 
Tout d'abord, la date et l'heure Ó laquelle le fichier a ÚtÚ dÚcouvert par Kooplet sera stockÚe. Bien entendu, Ó la premiŔre construction de la base, cela n'aura que peu d'intÚrŕt, puisque tous les fichiers seront mis en base dans un intervalle de quelques jours.
Mais par la suite, les fichiers musicaux nouvellement trouvÚs pourront ŕtre mis graphiquement en Úvidence, et les recherches pourront ŕtre limitÚes Ó un intervalle de temps, afin de ne montrer que les nouveaux fichiers.
 
Une option possible, qui pourrait ŕtre mise en place avec peu de difficultÚs technique serait un systŔme d'alerte par mail. Par exemple, vous cherchez un morceau dont le texte contient le mot "Beethoven" et qui contient une certaine sÚquence de notes (par exemple, Pom pom pom pom ). Si vous ne trouvez pas votre bonheur, vous pouvez poser une alerte sur cette recherche. Lorsque Kooplet trouve un nouveau morceau qui correspond Ó vos critŔres, il vous previent par e-mail.
Mais cela serait-il bien utile? Si on ne trouve pas tout de suite le morceau qui nous intÚresse, aura-t-on envie d'ŕtre prÚvenu la semaine suivante s'il est enfin trouvÚ ? Zatizecouechtion.
 
Nous avons Úgalement mis en place la structure gÚnÚrale permettant de gÚrer une note de qualitÚ attribuÚe Ó chaque morceau. Les utilisateurs pourraient Úvaluer la qualitÚ des morceaux et ainsi modifier l'ordre d'apparition lors d'une recherche, ou permettre de restreindre la recherche aux morceaux au-dessus d'une certaine valeur de qualitÚ. Mais nous hÚsitons Úgalement. Par expÚrience, il y a toujours un petit malin qui essaie de truquer le systŔme pour voter plusieurs fois et faire monter artificiellement la note de tel ou tel morceau. Techniquement, nous pouvons difficilement mettre en place un systŔme efficace pour contrer ces pratiques. Faut-il pour autant prÚsenter les rÚsultats dans un ordre indÚterminÚ? Ici Úgalement, on est un peu dans le flou...
by Olivier Guillion
 4 comments.

Dev News Tuesday, Nov 30th, 2010 at 05:09pm
Kooplet Útape 82

 
Nous avons mis au propre pas mal de choses, et notamment l'aspect des rÚsultats de la recherche sur le Web, et la prÚsentation des dÚtails sur chaque morceau.
 
Un classement des rÚsultats selon divers critŔres a ÚtÚ mis en place. Il fonctionne dÚjÓ dans Harmony Assistant, et fonctionnera dans la version Web dŔs que nous aurons permis Ó l'utilisateur de sÚlectionner l'ordre de tri.
 
En parallŔle, nous avons commencÚ Ó crÚer le formulaire qui permettra aux ayant-droits de signaler Ó notre attention les oeuvres non libres de droits qui pourraient avoir ÚtÚ indexÚes par le moteur.
Une loi (la LCEN quelque chose) impose aux hÚbergeurs de supprimer les contenus litigieux dans les plus brefs dÚlais aprŔs signalement.  
 
Bien que n'Útant pas hÚbergeur, mais simple collecteur de liens sur des fichiers hÚbergÚs ailleurs, nous nous sentons moralement tenus de faire le mÚnage dans notre base de donnÚes, aussi appliquerons-nous le mŕme principe Ó Kooplet.
by Olivier Guillion


Full view
Reduced view
Most recent first
Oldest first
All
Didier Guillion
Olivier Guillion
Sylvie Ricard
All
Dev News
Technical
Mood
Memories
Myriad Life
To be seen
30 previous days
Apr 2006
May 2006
Jun 2006
Jul 2006
Aug 2006
Sep 2006
Oct 2006
Nov 2006
Dec 2006
Jan 2007
Feb 2007
Mar 2007
Apr 2007
May 2007
Jun 2007
Jul 2007
Aug 2007
Sep 2007
Oct 2007
Nov 2007
Dec 2007
Jan 2008
Feb 2008
Mar 2008
Apr 2008
May 2008
Jun 2008
Jul 2008
Aug 2008
Sep 2008
Oct 2008
Nov 2008
Dec 2008
Jan 2009
Feb 2009
Mar 2009
Apr 2009
May 2009
Jun 2009
Jul 2009
Aug 2009
Sep 2009
Oct 2009
Nov 2009
Dec 2009
Jan 2010
Feb 2010
Mar 2010
Apr 2010
May 2010
Jun 2010
Jul 2010
Aug 2010
Sep 2010
Oct 2010
Nov 2010
Dec 2010
Jan 2011
Feb 2011
Mar 2011
Apr 2011
May 2011
Jun 2011
Jul 2011
Aug 2011
Sep 2011
Oct 2011
Nov 2011
Dec 2011
Jan 2012
Feb 2012
Mar 2012
Apr 2012
May 2012
Jun 2012
Jul 2012
Aug 2012
Sep 2012
Oct 2012
Nov 2012
Dec 2012
Jan 2013
Feb 2013
Mar 2013
Apr 2013
May 2013
Jun 2013
Jul 2013
Aug 2013
Sep 2013
Oct 2013
Nov 2013
Dec 2013
Jan 2014
Feb 2014
Mar 2014
Apr 2014
May 2014
Jun 2014
Jul 2014
Aug 2014
Sep 2014
Oct 2014
Nov 2014
Dec 2014
Jan 2015
Jan 23rd, 2015 at 04:53pm 
Article from Didier Guillion
ACAM sur Mac Útape 18
Jan 22nd, 2015 at 04:53pm 
Article from Olivier Guillion
Acam Winter Útape 32
Jan 21st, 2015 at 04:54pm 
Article from Didier Guillion
ACAM sur Mac Útape 17
Jan 20th, 2015 at 04:58pm 
Article from Olivier Guillion
Acam Winter Útape 31
Jan 19th, 2015 at 04:55pm 
Article from Didier Guillion
ACAM sur Mac Útape 16
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input
Jan 16th, 2015 at 05:49pm 
Comment from dheo
Keyboard Input

Top of page
Last update:  (c) Myriad