D. Ciresan, U. Meier, L. Gambardella and J. Schmidhuber, "Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition", Neural Computation, Volume 22, Number 12, December 2010

Handschriftenerkennung mit Multilayer Perceptron (MLP) neuronalem Netz auf einer GPU. Neuer Rekord mit 0.35% Fehlerrate in 2010. Enthält Programmauszüge für die CUDA Programmierung.

D. Cireşan, U. Meier, J. Masci, L. Gambardella, J. Schmidhuber, "High-Performance Neural Networks for Visual Object Classification", Technical Report No. IDSIA-01-11, January 2011

Beschreibung der GPU Implementierung eines Convolutional Neural Networks (CNN) und Ergebnisse für Handschriftenerkennung (MNIST) (2-7 hidden layer), Stereobildern (NORB) (5 hidden layer) und Klassifikation von Bildern (CIFAR10) in 10 Klassen (Flugzeug, Auto, Katze u.s.w.).

Deep Learning am IDSIA

Beschreibung “Deep Learning” am IDSIA (Schweizer Institut für AI). Die haben neun Wettbewerbe für Klassifikation gewonnen.

http://image-net.org

Wettbewerb für die Bilderkennung mit den Bereichen Klassifikation mit 1000 Klassen und Lokalisierung in einem Bild. Dabei stehen 1.2 Millionen Bilder für das Training zur Verfügung.

Der GPU Rechner "breakout" hat seinen Namen anlässlich der Veröffentlichung von Deepmind bekommen, die zeigt, wie man mit Maschinenlernen (hier Reinforcement Learning) einen Computer das Spiel Breakout spielen lassen kann. breakout wurde 1976 von Atari als Spielhallenautomatenspiel veröffentlicht. Der Entwickler des Spiels ist Steve Wozniak. Er hat 45 TTL ICs benötigt. Hier ein Youtubevideo vom Breakoutspiel.

Richard S. Sutton and Andrew G. Barto, "Reinforcement Learning - An Introduction", Second Edition, online, 2020

Das Standardeinführungsbuch für Reinforcement Learning.

Volodymyr Mnih et al., "Human-level control through deep reinforcement learning", Nature, Vol. 518, 2015, Verlagsseite bei Nature

Die Veröffentlichung von den Leuten von Deepmind, die mit Reinforcement Learning gelernt haben Atari Spiele wie Breakout oder Space Invaders zu spielen. Sensationell. In einem Video auf der Natureseite kann man sehen wie sich das Spielverhalten für breakout mit mehr gespielten Spielen immer weiter verbessert.