Machine Learning für Softwareentwickler. Paolo Perrotta
Tote Neuronen
Korrekte Gewichtsinitialisierung
Das fertige neuronale Netz
Zusammenfassung
Praktische Übung: Fehlstart
12 Funktionsweise von Klassifizierern
Eine Entscheidungsgrenze einzeichnen
Heimspiel für das Perzeptron
Klassifizierung verstehen
Eine Gerade reicht nicht aus
Die Entscheidungsgrenze krümmen
Zusammenfassung
Praktische Übung: Albtraumdaten
Der Lernvorgang grafisch dargestellt
Batch für Batch
Batches erstellen
Training mit Batches
Was geschieht bei verschiedenen Batchgrößen?
Ein Zickzackpfad
Große und kleine Batches
Vor- und Nachteile von Batches
Zusammenfassung
Praktische Übung: Das kleinste Batch
Die Gefahr der Überanpassung
Das Problem mit dem Testdatensatz
Zusammenfassung
Praktische Übung: Überlegungen zum Testen
Daten aufbereiten
Den Wertebereich der Eingabevariablen prüfen
Eingabevariablen standardisieren
Standardisierung in der Praxis
Die Hyperparameter anpassen
Die Anzahl der Epochen festlegen
Die Anzahl der verdeckten Knoten einstellen
Die Lernrate einstellen
Die Batchgröße festlegen
Der Abschlusstest
Auf dem Weg zu 99 %
Praktische Übung: 99 % erreichen
Zusammenfassung und Vorschau
Der Echidna-Datensatz
Neuronale Netze mit Keras erstellen
Den Aufbau des Netzes planen und der erste Code
Die Daten laden
Das Modell erstellen
Das Modell kompilieren
Das Netz trainieren
Die Entscheidungsgrenze einzeichnen
Das Netz ausführen
Ein tieferes Netz
Zusammenfassung
Praktische Übung: Keras-Spielwiese
Was ist Überanpassung?
Ursachen der Überanpassung
Unteranpassung
Das Modell regularisieren
Eine Untersuchung unseres tiefen Netzes
L1- und L2-Regularisierung
Weitere Möglichkeiten zur Regularisierung
Zusammenfassung
Praktische Übung: Weitere Regularisierungstechniken
Aktivierungsfunktionen
Wozu Aktivierungsfunktionen gut sind
Die sigmoide Aktivierungsfunktion und ihre Auswirkungen
Verschwindender Gradient
Alternativen zur Sigmoidfunktion
Gestatten, die ReLU-Aktivierungsfunktion
Die richtige Funktion auswählen
Weitere Techniken
Bessere Gewichtsinitialisierung
Gradientenabstieg auf Speed
Regularisierung für Fortgeschrittene
Batchnormalisierung
Zusammenfassung
Praktische Übung: Die 10-Epochen-Aufgabe
19 Jenseits von Standardnetzen
Der CIFAR-10-Datensatz
Was ist CIFAR-10?
Das CIFAR-Waterloo
Die Bausteine von Faltungsnetzen
Ein Bild ist ein Bild
Faltung
Konvolutionsschichten
Ein Faltungsnetz ausführen
Zusammenfassung
Praktische Übung: Massenweise Hyperparameter
Der Aufstieg des Deep Learning
Es braut sich etwas zusammen
Der Wendepunkt
Fortsetzung folgt
Unverhältnismäßige Effektivität
Was nun?
Maschinelles Sehen
Sprache
Bildgenerierung
Das Gesamtbild
Praktischer Einstieg