Introduction aux réseaux de neurones COURS TD TP EXAMENS
Introduction aux réseaux de neurones
Historique
• Mac Culloch et Pitts (1943) : définition d’un neurone formel
• Loi de Hebb (1949)
• Rosenblatt (1958), Widrow et Hoff : modèle avec processus d’apprentissage, perceptron
• Minsky et Papert (1969) : limites des perceptrons
• Kohonen (1972) : mémoires associatives
• Rumelhart – Mc Clelland (1980), Werbos – Le Cun : perceptron multi-couches, mécanismes d’apprentissage performants (rétro�propagation du gradient).
Définitions
• apprentissage supervisé : les coefficients synaptiques sont évalués en minimisant l’erreur (entre sortie souhaitée et sortie obtenue) sur une base d’apprentissage.
• apprentissage non-supervisé : on ne dispose pas de base d’apprentissage. Les coefficients synaptiques sont déterminés par rapport à des critères de conformité : spécifications générales.
• sur-apprentissage : on minimise l’erreur sur la base d’apprentissage à chaque itération mais on augmente l’erreur sur la base d’essai. Le modèle perd sa capacité de généralisation : c’est l’apprentissage par cœur.
NEURONE FORMEL
Principes :
• pas de notion temporelle
• coefficient synaptique : coefficient réel
• sommation des signaux arrivant au neurone
• sortie obtenue après application d’une fonction de transfert
LOI DE HEBB
Principe :
Si deux neurones sont activés en même temps, alors la force de connexion augmente.
Base d’apprentissage :
On note S la base d’apprentissage.
S est composée de couples (e, c) où :
- e est le vecteur associé à l ’entrée (e1, …, en)
- c la sortie correspondante souhaitée
Algorithme :
- µ est une constante positive.
- Initialiser aléatoirement les coefficients wi
- Répéter :
- Prendre un exemple (e, c) dans S
- Calculer la sortie o du réseau pour l ’entrée e
- Si c ≠ o
- Modification des poids wij :
- wij = wij + µ ∗ (ai ∗ aj)
- Fin Pour
- Fin Si
- Fin Répéter
Exemple :
- Exemple (1) : o = Signe(w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1
o = − 1 ≠ 1 = x
⇒ w1 = w1 + e1 ∗ x = 1
w2 = w2 + e2 ∗ x = 1
- Exemple (2) : o = Signe((w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1
o = − 1 ≠ 1 = x
⇒ w1 = w1 + e1 ∗ x = 2
w2 = w2 + e2 ∗ x = 0
Modèle biologique
Les neurones reçoivent des signaux (impulsions électriques) par les dendrites et envoient l’information par les axones.
- Les contacts entre deux neurones (entre axone et dendrite) se font par l’intermédiaire des synapses.
- Les signaux n’opèrent pas de manière linéaire : effet de seuil.
Applications de réseaux de neurones
- statistiques : analyse de données / prévision / classification
- robotique : contrôle et guidage de robots ou de véhicules autonomes
- imagerie / reconnaissance de formes
- traitement du signal
- simulation de l’apprentissage
