Post-Doctoral | PhD | MSc | MBA | Esp | BSc | Analista em Gestão de TIC do Estado (AGTIC)
Redes Neurais
MNIST Reconhecimento de dígitos escritos a mão
Conjunto Treino – 60.000 imagens
Conjunto de Teste – 10.000 imagens
Codificação – escala de cinza 28 x 28
MNIST base de imagens para reconhecimento de dígitos escritos a mão
- Conjunto Treino – 60.000 imagens
- Conjunto de Teste – 10.000 imagens
- Codificação – escala de cinza 28 x 28
- Capacidade de Generalização
- https://en.wikipedia.org/wiki/MNIST_database
- https://yann.lecun.com/exdb/mnist/
- https://pt.wikipedia.org/wiki/Yann_LeCun
- Em 1998, Yann LeCun e seus colaboradores desenvolveram um reconhecedor para dígitos manuscritos chamado LeNet
Visão Computacional
- É o processo de modelagem e replicação da visão humana usando software e hardware
- Experimentos de Neurofisiologia (Hubel e Wiesel, 1962) – sensibilidade local e orientação seletiva do cérebro
- Os pesquisadores mostraram que alguns neurônios individuais no cérebro ativaram ou dispararam apenas na presença de bordas de uma orientação particular, como bordas verticais ou horizontais Campos Receptivos Locais
Redes Neurais
- Redes neurais tradicionais não são escaláveis para imagens, pois produzem um número muito alto de pesos a serem treinados
- As CNN podem ser vistas como um tipo especial de MLP, sendo que as CNN extraem implicitamente as características relevantes da entrada
- Em uma MLP com uma imagem 200 X 200 e com 30 neurônios na camada escondida, teríamos 200 x 200 x 30 = 1.2 bilhões de pesos, já numa CNN com 100 filtros de 5 X 5 teríamos 2500 pesos, dessa forma as Redes Convolucionais podem ser vistas como um tipo especial de MLP
- Exemplo de convolução 01 | 02
- Alexnet | architecture | Krizhevsky et al (2012)
- VGG Net | Simonyan and Zisserman (2014)
- ResNet | He et al (2016)
- https://github.com/yosinski/deep-visualization-toolbox
- https://github.com/InFoCusp/tf_cnnvis
Explainable AI
Convolutional Neural Networks (CNNs / ConvNets)
Rectified Linear Unit (ReLU)
- https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
- https://www.cs.toronto.edu/~fritz/absps/reluICML.pdf
Ferramentas
- Caffe (Berkeley)
- CNTK (Microsoft)
- Deeplearning4j (Skymind)
- TensorFlow (Google)
- Theano (University of Montreal)
- Torch (Ronan Collobert)
- Outras
- Teachable Machine exe
Redes Embarcadas
- Artigo Geral - Octave.pdf (393,8 kB)
- Artigo Grupo 1 - Squeeze.pdf (903,3 kB)
- Artigo Grupo 2 - Shuffle V1.pdf (362,6 kB)
- Artigo Grupo 3 - Mobile V2.pdf (1,5 MB)
- Artigo Grupo 4 - Mobile V1.pdf (919,2 kB)
- Artigo Grupo 5 - Squeeze_Exc.pdf (2,1 MB)
- Artigo Grupo 6 - Shuffle V2.pdf (1,6 MB)
Material de Estudo
- Perceptron
- Adaline Regra Delta EMQ
- PERCEPTRON 7 Passos
- ADALINE 7 Passos
- MLP 11 Passos
- CNN 11 Passos
- RNA Guia
- Deep Learning Timeline
- Neural Network
- Perceptron e Adaline (perceptron para discretos / adaline para contínuos)
- Redes Convolucionais
- Convolucional
- Convolução
- Convolução1
- Convolução2
- Convolução3
- Entropia Cruzada e Erro Médio (regressão melhor EMQ / classificação melhor Entropia Cruzada)
- Funções de Ativação 1
- Funções de Ativação 2
- Overfitting (treinamento em excesso, rede memoriza exemplos treinamento em detrimento capacidade de generalização)
- Validação Cruzada (técnica usada para evitar Overfitting)
- Normalização dos Dados
- transformação linear: y=(b-a)*(x-min)/(max-min)+a <-> y=(x-a)*(max-min)/(b-a)+min
- normalização simples: y=x/max <-> y=x*max
- Gradiente
- Exercícios RNA
Fontes/Aulas/Orientações: Prof. Dr. Mêuser Valença
Valença, Mêuser. Fundamentos das Redes Neurais: Exemplos em Java. Editora LivroRápido. 2a.Edição. 2019.
Valença, Mêuser. Aplicando Redes Neurais: Um Guia Completo. Editora LivroRápido.1a.Edição. 2005.