Apprentissage par Q-Learning
Les Tours de Hanoi

Pour plus de détails, voir le rapport Apprentissage, Q-Learning

Q-Learning Tours de Hanoi

Mode d'Emploi, Avant d'appuyer sur GO vous devez :

• Indiquer si vous désirez une démonstration d'utilisation de sous-but : Dans ce cas le système va charger et exploiter les actions avec leur valeur déjà calculée pour le problème avec 3 disques.
• Dans le cas contraire vous pouvez indiquer si vous désirez une démonstration à long terme, c'est à dire l'exploitation d'actions avec leur valeur déjà calculée pour le problème avec 4 disques.
• Dans un troisième cas, vous désirez une démonstration d'exploitation suivant directement l'exploration. Pour cette dernière option il est également possible de préciser le nombre d'itérations de l'exploration : 15 ou 25 = des étapes ne pourront qu'être choisies au hasard et le nombre d'étapes peut être important, 50 = toutes les étapes seront certainement rencontrées lors de la phase d'exploration et l'exploitation passera par le chemin opimal.

Concernant l'état initial, il faut choisir entre :

• le problème usuel avec tous les disques sur la 1ère pile et le but sur la 2ème,
• laisser le système choisir aléatoirement l'état initilal et le but.

Lors de la phase d'Exploration : rien à faire, sinon attendre PATIEMMENT !

Lors de la phase d'Exploitation, le bouton Next vous permet d'atteindre l'état suivant, et le bouton Rés d'atteindre l'état solution (le dessin dans ce cas est parfois long à se rafraîchir).

La pile but courant est colorée en noir, de même que le disque 'oublié' (sous-but).

Lorsque les sélections ont été faites, il faut appuyer sur Go pour lancer soit une phase d'Exploration soit la lecture des actions déjà apprises.

Lorsqu'aucune sélection n'est faite, le système par défaut utilise directement une résolution 'Long Terme' avec un état initial 'Usuel'.

Applet Q-Learning et les Tours de Hanoi

Tours de Hanoi

Wikipédia rappelle sur la page Tours de Hanoi l'origine de la légende et indique quelques algorithmes de résolution.