Mon idée de départ est d’utiliser un Thésaurus, mais il faut le(s) construire.
La lecture du site Information Management m’a conforté
dans cette idée de départ. Ce site donne des indications sur l’importance (Why do we need a thesaurus?),
la construction et l’utilisation d’un thésaurus,
et des logiciels pour la construction et l’édition de thésaurus.
Thésaurus, Lucene, XML, Fuzzy Help
J’ai développé plusieurs applications (dont une liant un "crawler") avec Lucene, la plus intéressante ici :
Adjonction d’un Thésaurus XML à Lucene.
Au chapitre Thésaurus et meta data XML
est indiquée une Fuzzy Help basée sur un calcul de ’distance de Levenshtein’
et un ’Porter stemming algorithm’,
elle poura être lancée à la demande de l’utilisteur.
Les développements (jsp + Tomcat) avec Lucene + fiches xml de meta data + Thésaurus + fuzzy help aboutissent à :
|
| Query |
Result |
| -name:"laurent jean marc" +contents:know* +contents:mangement~ |
Retourne la liste des documents dont le nom de l’auteur n’est pas laurent jean-marc, qui contiennent un mot qui commence par know et un mot qui s’écrit à peu près mangement |
| "acide butyrique" |
Retourne le document "Exemples de Dosages d’Acides par la Soude" qui ne contient pas la chaîne mais qui parle de l’acide benzoique, frère dans le Thésaurus |
| "acide acétique" |
Retourne entre autres le document "Determination of the Ka of a Weak Acid" qui ne contient pas la chaîne mais qui contient "Formic and acetic acids" |
|
|
L'article sur la Classification Automatique
selon Total ou l'Apec présente deux approches différentes :
- Total et Temis : "... le logiciel de classification applique
des règles d’extraction fondées sur la reconnaissance de concepts clés : acquisition, fusion
de sociétés, privatisation ... L’article passé au crible est ensuite classé dans l’une
des thématiques prédéfinies. Les substrats sont extraits et associés sous forme d'index ...
Grâce à la composante d’auto-apprentissage du logiciel, le nom des nouvelles sociétés est
repéré par un jeu de déduction, puis catégorisé dans Temis sans la moindre intervention ..."
- Apec et Lingway
(Lucene est au centre de l’architecture) :
"... Le corpus est constitué de toutes les annonces publiées depuis deux ans (soit au total cent trente mille) ... Le
processus requiert deux étapes ... profil du demandeur d'emploi par le biais d'une requête en langage naturel (Lingway) ...
classer les annonces récoltées selon le type de mission exigée. L'outil de Lingway les range selon les verbes et les formules
types dans les catégories préétablies par l'Apec : organiser, former, produire, etc... La pertinence des résultats obtenus est
conditionnée, en grande partie, par la richesse du thésaurus associé au moteur ..."
Dernière révision avril 07