Defesa Pública da Tese de Doutorado do Mestre em Engenharia Elétrica GUSTAVO KUNZEL
28/01/2021 – quinta-feira
Horário: 13h00min
A defesa será realizada através da plataforma Google Meet com acesso pelo link: https://meet.google.com/ivs-bdzb-mtm
Banca Examinadora:
Prof. Dr. Dennis Brandão, Departamento de Engenharia Elétrica e de Computação – EESC-USP (Relator)
Prof. Dr. Leandro Buss Becker, DAS – UFSC
Prof. Dr. Edison Pignaton de Freitas, PPGEE – UFRGS
Orientador: Prof. Dr. Carlos Eduardo Pereira – PPGEE-UFRGS
Título da tese: “APPLICATION OF REINFORCEMENT LEARNING WITH Q-LEARNING FOR THE ROUTING IN INDUSTRIAL WIRELESS SENSORS NETWORKS”
Resumo:
“As Redes Industriais de Sensores Sem Fio geralmente têm uma abordagem de gerenciamento centralizado, onde um dispositivo conhecido como Gerenciador de Rede é responsável pela configuração geral, definição de rotas e alocação de recursos de comunicação. Os algoritmos de roteamento precisam garantir a redundância de caminhos para as mensagens, e também reduzir a latência, o consumo de energia e o uso de recursos. O roteamento por grafos é usado para garantir a redundância de caminhos e o controle centralizado. A dinamicidade das redes sem fio tem sido um desafio para o ajuste e o desenvolvimento de algoritmos de roteamento, e modelos de Aprendizado de Máquina como o Aprendizado por Reforço têm sido aplicados de maneira promissora nas Redes de Sensores Sem Fio para selecionar, adaptar e otimizar rotas. O conceito básico do Aprendizado por Reforço envolve a existência de um agente de aprendizado que atua em um ambiente, altera o estado do ambiente e recebe recompensas. No entanto, as abordagens existentes não atendem a alguns dos requisitos dos padrões das IWSN. Nesse contexto, esta tese propõe a abordagem Q-Learning Reliable Routing, onde o modelo Q-Learning é usado para construir os grafos de roteamento. Duas abordagens são propostas: QLRR-WA e QLRR-MA. A abordagem QLRR-WA utiliza um agente de aprendizado que ajusta os pesos da equação de custo de um algoritmo de roteamento de estado da arte, com o objetivo de reduzir a latência dos dados do processo e aumentar a vida útil da rede. A abordagem QLRR-MA utiliza um agente de aprendizado para cada dispositivo na rede, e os agentes escolhem suas conexões tentando reduzir a latência dos dados do processo. Outras contribuições desta tese são a comparação de desempenho das abordagens com os algoritmos de roteamento de estado da arte e a metodologia de avaliação proposta. As abordagens do QLRR foram avaliadas em um ambiente de simulação WirelessHART, considerando aplicações de monitoramento industrial com topologias aleatórias. O desempenho foi analisado considerando a latência média da rede, o tempo de vida esperado da rede, a taxa de entrega de pacotes e a confiabilidade dos grafos. Os resultados mostraram que, quando comparado com o estado da arte, o QLRR-WA reduziu a latência média da rede e melhorou o tempo de vida esperado, mantendo alta confiabilidade, enquanto o QLRR-MA reduziu a latência e aumentou a taxa de entrega de pacotes ao custo de uma redução no tempo de vida esperado da rede. Esses resultados indicam que o Aprendizado por Reforço pode ser útil para otimizar e melhorar o desempenho destas redes.
Palavras-chave: Redes de Sensores Industriais sem Fio. Roteamento. Aprendizado por Reforço. Q-Learning.”
