sexta-feira, 14 de maio de 2010

Lego MindStorms with Q-Learning



Projecto desenvolvido na cadeira de Robótica em que o objectivo é fazer com que o robô aprenda de uma forma autónoma como chegar ao rectângulo cor-de-rosa.

Foi utilizado o algoritmo de Aprendizagem por Reforço, Q-Learning.

Inicialmente programado num Simulador (Simbad) para simplificar a fase de testes e mais tarde transferimos o código desenvolvido em Java e a aprendizagem obtida off-line para o robô.

Verificamos que realmente aprendeu ;)

O robô possui os seguintes sensores:

  • 2 Sensores para detectar a cor do chão.
  • 1 Bússola para saber a orientação do robô.
  • 1 Sensor ultra-sónico para detectar a existência de obstáculos.  
E dois motores, um para cada roda.


Foi um desafio muito interessante lidar com os vários problemas que advém da imprecisão de alguns sensores e das condições de teste do cenário.