sl:q-learning our approach
het q-learning algoritme van de vorige slide hebben we wat moeten aanpassen om het probleem van lokale maxima te overkomen. In bepaalde gevallen kwamen de
agents vast te zitten tussen twee lokale maxima onder de vorm van moves met een hoge Q waarde, zonder hun goal states te bereiken.
De oplossing voor dit probleem wordt bereikt via de zogenaamde epsilon-greedy selection. Deze oplossing zorgt in wezen voor het verhogen van de hoeveelheid
exploratie die gedaan wordt door de agents. Deze exploratie wordt bereikt door het introduceren van een aantal random moves die gedaan worden door de agents.
Wanneer dan een agent vastzit in een lokaal maximum, gaat deze random move ervoor zorgen dat het lokaal maximum verlaten wordt en het zoeken naar de goal
state verdergezet wordt. We gaan een random move introduceren voor een percentage van alle moves. Dit percentage wordt de epsilon van de epsilon-greedy
selection methode genoemd. In onze aanpak gaan we dit percentage gradueel gaan verlagen naargelang het aantal iteraties van onze aanpak toeneemt. En vanaf we
ervan overtuigd zijn dat er een ideaal pad gevonden is voor de agent, gaan we zelfs dit soort van exploratie uitschakelen, aangezien verdere exploratie dan
geen nut meer heeft.
sl:important parameters
In de volgende slide bespreken we de parameters die een invloed hebben op onze aanpak van het q-learning algoritme.
-De eerste parameter is de epsilon, die zoals we besproken hebben, de kans bepaalt voor een random move van onze agent en die vermindert over de tijd.
-De volgende parameter is gamma, de discount factor bepaald het belang dat wordt toegekend aan mogelijke toekomstige beloningen.
-De volgende parameter is de Q-value, deze waarde die toegekend wordt aan een move, wordt bepaald door andere parameters, zoals bijvoorbeeld de directe
reward voor de move
--De Grid Size en het aantal agents bepalen natuurlijk de moeilijkheid van het gridworld probleem
---de reward die het resultaat is voor het uitvoeren van een move, is zoals gezegd een factor voor het berekenen van de Q-value van die zet. Deze reward
hangt af van het type van move, namelijk of het een move naar een goal, een verkennende move of een move die een botsing tussen agents veroorzaakt. In het
geval van zo'n move gaat het natuurlijk om een negatieve reward.
-de laatste parameter die we bespreken is het aantal iteraties, hoe meer iteraties er al zijn uitgevoerd, hoe meer de agents geleerd hebben over de grid-
world.
sl:conclusion
We besluiten dus met te zeggen dat Q-learning gebruikt kan worden om het gegeven gridworld probleem op te lossen, maar dat er noge betere aanpakken bestaan,
zoals bijvoorbeeld de softmax move selectie waarbij moves met een betere verwachte Q-value een hogere kans hebben om gekozen te worden als random move.