Neuronale Netze sind Modelle des maschinellen Lernens, die Eingabedaten durch verbundene künstliche Neuronen und mehrere Schichten verarbeiten. Beim Training lernen sie Gewichte für diese Verbindungen. Dadurch können sie ein Produktbild klassifizieren, eine Kundenanfrage zuordnen oder einen Nachfragewert prognostizieren. Der Vergleich mit dem Gehirn beschreibt nur die vernetzte Struktur: Ein künstliches Neuron berechnet Zahlenwerte.
Quelle: datenbasiert.de
Was ist ein neuronales Netz?
Ein künstliches neuronales Netz, kurz KNN, ordnet Eingaben mithilfe gelernter Parameter einer Ausgabe zu. Eine Eingabe kann ein Pixelmuster, ein Satz oder eine Tabelle mit Messwerten sein. Die Ausgabe richtet sich nach der Aufgabe: Kategorie bei einer Klassifikation, Zahl bei einer Regression, nächste Zeichenfolge bei einem Sprachmodell. Das Netz lernt die Zuordnung aus Beispielen; seine Gewichte werden nicht als Liste einzelner Wenn-dann-Regeln von Hand geschrieben.
Ein Beispiel: Ein Onlinehändler möchte Produktfotos den Kategorien „Schuhe“, „Taschen“ und „Jacken“ zuordnen. Die Trainingsdaten enthalten Bilder und die richtige Kategorie als Label. Nach dem Training verarbeitet das Modell ein neues Foto und gibt drei Klassenwerte aus. Die höchste Bewertung kann für die automatische Zuordnung verwendet werden. Eine solche Bildklassifikation unterscheidet sich von einer Bildsuche: Dort wird die Ähnlichkeit zwischen Bildern bewertet.
Künstliche Intelligenz (KI) bezeichnet das übergeordnete Forschungsfeld; maschinelles Lernen (Machine Learning) umfasst Verfahren, die aus Daten lernen. Ein neuronales Netz ist eine Modellklasse innerhalb dieses Feldes. Deep Learning nutzt tiefe Netze mit mehreren verborgenen Schichten. Die Tiefe sagt etwas über die Architektur, nicht automatisch über die Qualität einer Vorhersage aus.
Das einfache Perzeptron besitzt eine einzelne Berechnungsstufe und trennt Merkmale durch eine lineare Entscheidungsgrenze. Für Aufgaben mit verschachtelten Mustern reicht eine solche Grenze nicht immer aus. Ein mehrschichtiges Perzeptron kombiniert mehrere Neuronen, Gewichtungen und nichtlineare Aktivierungen; seine verborgenen Schichten können dadurch andere Entscheidungsgrenzen lernen. „Tief“ bedeutet dabei mehrere Verarbeitungsebenen und sagt nichts darüber aus, ob ein Modell ohne geeignete Trainingsdaten sinnvoll arbeitet.
Wie ist ein neuronales Netz aufgebaut?
Ein Netz besteht aus Knoten (künstlichen Neuronen), gewichteten Verbindungen und Schichten. Die Anzahl der Schichten, die Breite jeder Schicht und die Art der Verbindungen bestimmen die Architektur. Eine vollständig verbundene Schicht verknüpft jeden Knoten mit den Knoten der nächsten Schicht; eine Faltungsschicht verarbeitet zunächst lokale Bildausschnitte. Diese Entscheidung verändert sowohl die Zahl der lernbaren Parameter als auch die Muster, die das Modell gut erfassen kann.
Eingabeschicht, verborgene Schichten und Ausgabeschicht
- Eingabeschicht (Input Layer): Sie übernimmt numerische Merkmale. Für ein Foto können dies Pixelwerte sein; eine Umsatzprognose nutzt beispielsweise frühere Verkäufe, Preis und Kalendertag.
- Verborgene Schichten (Hidden Layers): Sie bilden aus den Eingaben neue Merkmale. Bei einem Bild können lokale Kanten und Formen in späteren Schichten zu einem erkennbaren Produktmuster kombiniert werden.
- Ausgabeschicht (Output Layer): Sie liefert die Zielgröße. Drei Neuronen können die drei Produktkategorien bewerten; ein Neuron kann eine prognostizierte Verkaufsmenge ausgeben.
Wie werden Bilder, Texte und Tabellen zu Eingaben?
Ein Netz verarbeitet Zahlen, deshalb bestimmt die Datenaufbereitung bereits einen Teil des Ergebnisses. Bilder werden als Pixelwerte mit Farbkanälen dargestellt und oft auf eine einheitliche Größe gebracht. Tabellenspalten liefern numerische Merkmale; Kategorien wie „Produktgruppe“ benötigen eine numerische Kodierung. Bei Text kann ein Tokenizer Wörter oder Wortteile in Tokens zerlegen. Ein Embedding ordnet jedem Token einen gelernten Zahlenvektor zu, den das Sprachmodell verarbeiten kann.
Auch die Skalierung zählt. Liegt ein Eingabemerkmal zwischen null und eins, ein anderes zwischen null und einer Million, kann das Training ohne passende Normalisierung oder Standardisierung schwieriger werden. Dieselbe Vorverarbeitung muss bei neuen Daten gelten: Ein Modell, das mit normalisierten Preisangaben trainiert wurde, erwartet bei der Vorhersage entsprechend aufbereitete Preise.
Was macht ein künstliches Neuron?
Ein künstliches Neuron bildet aus seinen Eingaben eine gewichtete Summe und addiert einen Bias: z = x₁ · w₁ + x₂ · w₂ + b. Die Zahlen x₁ und x₂ sind Eingabewerte; w₁ und w₂ sind lernbare Gewichte. Ein positives Gewicht erhöht den Zwischenwert bei positiver Eingabe, ein negatives senkt ihn. Der Bias verschiebt den Wert unabhängig von den Eingaben.
Die Aktivierungsfunktion wandelt z in den Wert um, der an die nächste Schicht geht. Bei ReLU wird ein negativer Zwischenwert null; ein positiver bleibt erhalten. Erst die Kombination gewichteter Summen und nichtlinearer Aktivierungen erlaubt dem Netz, Beziehungen zu modellieren, die eine einzelne lineare Formel nicht darstellen kann.
Die Gewichte einer Schicht bilden gemeinsam eine Gewichtsmatrix. Dadurch können viele Neuronen parallel unterschiedliche Kombinationen der Eingabemerkmale berechnen. Weitere Schichten verarbeiten die neuen Merkmale, bis die Ausgabeschicht die Zielgröße liefert.
Quelle: datenbasiert.de
Wie funktionieren neuronale Netze?
Bei einer Vorhersage durchlaufen neue Eingabedaten das trainierte Netz von der Eingabe- zur Ausgabeschicht. Dieser Vorwärtsdurchlauf (Forward Pass) berechnet Schicht für Schicht neue Aktivierungen. Der Einsatz des trainierten Modells heißt Inferenz: Die Gewichte bleiben dabei fest, während das Netz für neue Bilder, Texte oder Messwerte Ausgaben berechnet.
Ein Beispiel: Kundenanfragen sortieren
Ein Unternehmen sortiert Anfragen zu Lieferungen, Rechnungen und Rückgaben. Der Nachrichtentext wird tokenisiert und als Zahlenvektoren eingespeist. Die verborgenen Schichten verarbeiten den Kontext, während die Ausgabeschicht die drei Kategorien bewertet. Eine Softmax-Funktion kann die Klassenwerte in eine Verteilung umwandeln. Die Kategorie mit dem höchsten Wert entscheidet über das zuständige Team.
Eine Nachricht über ein beschädigtes Paket kann zur Kategorie „Rückgabe“ gehören, obwohl dieses Wort im Text fehlt. Der Kontext der Formulierungen trägt zur Klassifikation bei. Für die spätere Auswertung ist die Konfusionsmatrix nützlich: Sie zeigt, welche Kategorien das Modell häufig verwechselt, etwa Rechnung und Rückerstattung.
Bei einer binären Klassifikation gibt die Ausgabeschicht beispielsweise einen Wert für „Rückgabe“ oder „keine Rückgabe“ aus; ein festgelegter Schwellenwert übersetzt diesen Wert in eine Entscheidung. Für drei exklusive Kategorien liefert eine Mehrklassenklassifikation drei Werte. Soll dagegen die Zahl der erwarteten Rückgaben prognostiziert werden, handelt es sich um eine Regression mit numerischer Zielgröße. Derselbe Datensatz kann also je nach Fragestellung unterschiedliche Labels, Ausgabeneuronen und Verlustfunktionen erfordern.
Warum sind Aktivierungsfunktionen wichtig?
Ohne geeignete Aktivierungsfunktionen würden aufeinanderfolgende Schichten im Kern nur lineare Rechnungen zusammensetzen. Nichtlineare Aktivierungen erlauben dem Netz, kompliziertere Beziehungen zu lernen. Häufige Beispiele sind:
- ReLU: Gibt positive Werte weiter und setzt negative Werte auf null.
- Sigmoid: Liefert einen Wert zwischen null und eins, etwa für die Ausgabe einer binären Klassifikation.
- Softmax: Wandelt mehrere Ausgabewerte in eine Verteilung über Klassen um.
In einer verborgenen Schicht wird oft ReLU eingesetzt. Bei einer binären Klassifikation kann Sigmoid am Ausgang einen Wert zwischen null und eins liefern. Bei mehreren sich ausschließenden Klassen ist Softmax am Ausgang gebräuchlich. Die Ausgabefunktion hängt damit direkt von der Zielvariable und der gewählten Verlustfunktion ab.
Wie lernen neuronale Netze?
Beim Training werden Gewichte und Bias-Werte so angepasst, dass der berechnete Fehler sinkt. Dazu benötigt ein überwachtes Lernverfahren Eingabedaten und zugehörige Zielwerte oder Labels. Der Trainingsalgorithmus wiederholt Vorwärtsdurchlauf, Fehlerberechnung und Parameteranpassung über viele Beispiele. Ein fertiges Modell nutzt die gelernten Parameter anschließend für neue Eingaben.
Trainingsdaten und Verlustfunktion
Bei der Bildklassifikation enthält ein Trainingsbeispiel Foto und Label. Bei der Nachfrageprognose gehören zu jedem Zeitpunkt die verfügbaren Merkmale und die später beobachtete Verkaufsmenge. Fehlt ein Zielwert, kann ein Modell auch mit anderen Lernzielen trainiert werden: Beim selbstüberwachten Lernen entstehen Trainingssignale aus den Daten selbst, etwa indem Teile eines Textes vorhergesagt werden. Bei unüberwachtem Lernen werden ohne vorgegebene Klassen beispielsweise kompakte Datenrepräsentationen gelernt.
Die Verlustfunktion (Loss) misst den Abstand zwischen Vorhersage und Zielwert. Bei einer Regression kann der mittlere quadratische Fehler große Abweichungen stärker bestrafen. Für eine Klassifikation wird häufig Kreuzentropie verwendet; sie bewertet die Verteilung über die Klassen anhand des richtigen Labels. Die Verlustfunktion liefert das Trainingssignal für die Anpassung der Parameter.
Die Trainingsmetrik und die geschäftliche Bewertungsmetrik müssen nicht identisch sein. Wenn Rückgaben selten sind, erreicht ein Modell durch häufiges „keine Rückgabe“ leicht eine hohe Accuracy, verpasst aber viele Rückgabefälle. Precision misst, wie viele als Rückgabe markierte Fälle wirklich Rückgaben sind; Recall erfasst, wie viele tatsächliche Rückgaben erkannt wurden. Welche Fehler schwerer wiegen, bestimmt der Anwendungsfall.
Ein Rechenbeispiel zeigt die Falle: Unter 100 Bestellungen sind 5 Rückgaben. Ein Klassifikator, der jede Bestellung als „keine Rückgabe“ einordnet, hat 95 von 100 Fällen richtig klassifiziert. Seine Accuracy beträgt 95 Prozent, sein Recall für Rückgaben jedoch null. Wird der Schwellenwert für die positive Klasse gesenkt, können mehr Rückgaben erkannt werden; zugleich können mehr Fehlalarme entstehen. Der passende Schwellenwert hängt davon ab, was eine übersehene Rückgabe und eine unnötige Prüfung kosten.
Backpropagation und Gradientenabstieg
Nach dem Vorwärtsdurchlauf berechnet die Verlustfunktion den Fehler. Backpropagation nutzt die Kettenregel, um für jeden lernbaren Parameter einen Gradienten zu bestimmen: Wie verändert eine kleine Gewichtsänderung den Verlust? Ein Optimierer verwendet diese Gradienten für das Parameter-Update. Beim stochastischen Gradientenabstieg (SGD) erfolgt ein Schritt entlang der berechneten Richtung; Adam passt die Schritte mithilfe früherer Gradienten an.
Jeder Trainingsschritt folgt demselben Grundmuster:
- Ein Trainingsbeispiel oder eine Gruppe von Beispielen wird eingegeben.
- Das Netz berechnet seine Vorhersage im Vorwärtsdurchlauf.
- Die Verlustfunktion misst die Abweichung vom Zielwert.
- Backpropagation und ein Optimierungsverfahren passen die Parameter an.
Eine Mini-Batch ist eine Gruppe von Trainingsbeispielen, aus der ein Parameter-Update berechnet wird. Eine Epoche bedeutet einen Durchlauf durch den gesamten Trainingsdatensatz. Die Batchgröße, die Anzahl der Epochen und die Lernrate sind Hyperparameter: Sie werden für das Training festgelegt und nicht wie die Gewichte direkt gelernt. Eine zu große Lernrate kann den Verlust schwanken lassen; eine sehr kleine verlängert das Training.
Training, Validierung und Test
Ein trainiertes Netz muss bei unbekannten Daten funktionieren. Dazu werden Beispiele in Trainingsdaten, Validierungsdaten und Testdaten getrennt. Die Gewichte werden mit dem Trainingssatz gelernt; die Validierung unterstützt Entscheidungen über Architektur, Lernrate oder Trainingsdauer. Der Testsatz prüft am Ende die gewählte Modellversion. Die Aufteilung muss zur Anwendung passen: Für eine Zeitreihenprognose sollten spätere Zeiträume im Test liegen.
Ein kleiner Trainingsfehler bei gleichzeitig großem Validierungsfehler weist auf Overfitting (Überanpassung) hin: Das Netz hat Eigenschaften der Trainingsbeispiele gelernt, die sich auf neue Daten schlecht übertragen. Regularisierung, Dropout oder Early Stopping können die Generalisierung verbessern. Bei Underfitting (Unteranpassung) sind sowohl Trainings- als auch Validierungsfehler hoch. Wenn Informationen aus dem Testsatz in die Datenaufbereitung oder Merkmalswahl gelangen, entsteht Data Leakage; die Testbewertung wird dann zu optimistisch.
Beim Transfer Learning startet das Training mit den Gewichten eines vortrainierten Modells. Für eine neue Bildklassifikation kann zunächst ein CNN als Merkmalsextraktor dienen; eine neue Ausgabeschicht lernt die eigenen Produktkategorien. Beim Fine-Tuning werden zusätzlich ausgewählte Schichten angepasst. Für beides benötigt man geeignete Labels sowie getrennte Validierungs- und Testdaten: Ein vortrainiertes Netz kann neue Kategorien erst nach passender Anpassung zuverlässig unterscheiden.
Quelle: datenbasiert.de
Welche Arten neuronaler Netze gibt es?
Die Netzarchitektur bestimmt, welche Verbindungen und Rechenoperationen für die Eingabedaten eingesetzt werden. Ein dicht verbundenes Netz behandelt eine Merkmalsliste anders als ein CNN die räumliche Anordnung von Bildpixeln oder ein Transformer die Beziehungen zwischen Wörtern. Vier Architekturfamilien sind besonders wichtig.
Feedforward-Netze und Multilayer Perceptrons
Ein Feedforward-Netz leitet Aktivierungen von der Eingabe zur Ausgabe weiter, ohne eine zeitliche Rückkopplung. Das Multilayer Perceptron (MLP) verwendet mehrere Schichten; in einer Dense Layer ist jedes Neuron mit allen Neuronen der folgenden Schicht verbunden. Ein MLP kann aus tabellarischen Merkmalen eine Klasse oder einen kontinuierlichen Wert vorhersagen, etwa eine Nachfragezahl aus Preis, Saison und bisherigen Verkäufen.
Feedforward bezeichnet den Datenfluss bei der Inferenz. Während des Trainings werden die Gradienten dennoch per Backpropagation rückwärts berechnet. Diese Rechenrichtung macht aus einem Feedforward-Modell kein rekurrentes Netz.
Convolutional Neural Networks für Bilder
Convolutional Neural Networks (CNNs) nutzen Faltungen für räumlich angeordnete Daten. Ein lernbarer Filter wandert über lokale Bildausschnitte und berechnet eine Feature Map. Derselbe Filter nutzt an jeder Bildposition dieselben Gewichte (Weight Sharing). Weitere Faltungsschichten kombinieren lokale Kanten, Texturen und Formen; ein Pooling-Schritt kann die räumliche Auflösung verkleinern.
Ein CNN kann ein Produktfoto klassifizieren oder bei der Qualitätskontrolle Bildbereiche mit Auffälligkeiten erkennen. Für eine reine Bildklassifikation liefert es eine Klasse für das gesamte Bild. Bei einer Objekterkennung müssen dagegen zusätzlich Positionen von Objekten geschätzt werden. Dieser Unterschied bestimmt die benötigten Labels und die Ausgabestruktur.
Bei einem Graustufenbild hat ein 3 × 3-Faltungsfilter neun lernbare Gewichte und häufig einen Bias. Er wird über viele Bildpositionen verschoben; jede Position erzeugt einen Wert in der Merkmalskarte. Ein dichter Layer würde für jede einzelne Eingabeverbindung ein eigenes Gewicht vorsehen. Die geteilten Filtergewichte eines CNN nutzen dagegen die räumliche Struktur und reduzieren für lokale Muster die Zahl der benötigten Parameter.
Recurrent Neural Networks und LSTMs für Folgen
Recurrent Neural Networks (RNNs) lesen eine Sequenz Schritt für Schritt. Ihr verborgener Zustand trägt Informationen aus früheren Zeitschritten in die weitere Berechnung. Das passt zu Sprachsignalen, Textfolgen und Sensormessungen. Ein Long Short-Term Memory (LSTM) steuert mit Gates, welche Informationen im Zustand erhalten, ergänzt oder verworfen werden; so lassen sich längere Abhängigkeiten besser verarbeiten als mit einem einfachen RNN.
Bei einer Messreihe kann die Vorhersage des nächsten Werts von der Entwicklung der vorherigen Werte abhängen. Der RNN-Zustand fasst diesen Verlauf zusammen. Ein LSTM kann bei unregelmäßigen Mustern relevante frühere Signale länger mitführen; dennoch sind sehr lange Abhängigkeiten und die schrittweise Verarbeitung praktische Herausforderungen.
Transformer und Attention
Transformer verarbeiten Tokens mit Self-Attention. Dabei berechnet das Modell, welche anderen Tokens für die Darstellung eines Tokens relevant sind. Positionsinformationen ergänzen die Reihenfolge, weil Attention allein keine Abfolge vorgibt. Die Token-Embeddings durchlaufen mehrere Attention- und Feedforward-Schichten. Bei Text kann ein Wort damit Informationen aus einem weit entfernten Satzteil berücksichtigen.
Anders als RNNs berechnen Transformer die Beziehungen der Eingabetokens ohne rekurrenten Zustand. Viele Sprachmodelle nutzen diese Architektur, etwa für Textgenerierung, Übersetzung oder Zusammenfassung. Auch für Bilder gibt es Transformer-Varianten. Ein Transformer ist eine eigenständige Architektur und keine Unterart des RNN.
Die Self-Attention berechnet für jedes Token aus seinem Vektor eine Query, einen Key und einen Value. Die Ähnlichkeit zwischen Query und Keys bestimmt die Attention-Gewichte; damit werden die Values zu einer kontextabhängigen Darstellung kombiniert. Multi-Head-Attention wiederholt diese Berechnung mit mehreren Projektionen. So kann ein Sprachmodell zugleich unterschiedliche Beziehungen zwischen Tokens erfassen, etwa Wortbezüge und Satzkontext. Die Positionskodierung hält fest, in welcher Reihenfolge die Tokens stehen.
Weitere Architekturen: Autoencoder und GANs
Ein Autoencoder besteht aus Encoder und Decoder. Der Encoder verdichtet Eingabedaten zu einer latenten Repräsentation; der Decoder rekonstruiert daraus die Eingabe. Ein hoher Rekonstruktionsfehler kann bei passenden Trainingsdaten auf eine Anomalie hinweisen, etwa auf ein ungewöhnliches Sensormuster. Ein Generative Adversarial Network (GAN) verwendet einen Generator und einen Diskriminator. Der Generator erzeugt Daten, während der Diskriminator echte von erzeugten Beispielen unterscheidet. Das gegensätzliche Trainingsziel treibt die Anpassung beider Netze an. Autoencoder und GANs erfüllen somit andere Aufgaben als ein Klassifikator mit einer Ausgabeklasse.
| Netztyp | Typische Stärke | Beispiel |
|---|---|---|
| Feedforward / MLP | Dichte Schichten für Merkmalsvektoren | Nachfrage aus Tabellendaten schätzen |
| CNN | Faltungsfilter für lokale Pixelmuster | Produktfoto klassifizieren |
| RNN / LSTM | Rekurrenter Zustand für geordnete Messwerte | Sensordaten als Zeitreihe auswerten |
| Transformer | Self-Attention für Beziehungen zwischen Tokens | Text verarbeiten und erzeugen |
| Autoencoder | Latente Darstellung und Rekonstruktion | Ungewöhnliche Muster markieren |
| GAN | Generator gegen Diskriminator | Künstliche Bilddaten erzeugen |
Wo werden neuronale Netze eingesetzt?
Die Ausgabe entscheidet über die Aufgabe: Klassifikation weist eine Kategorie zu, Regression liefert einen Zahlenwert, Generierung erzeugt eine neue Sequenz. Bei der Anomalieerkennung werden ungewöhnliche Muster markiert. Für jede Aufgabe unterscheiden sich Trainingsdaten, Labels, Verlustfunktion und Erfolgsmaß. Wie neuronale Netze und andere Verfahren in komplexeren Analysen zusammenspielen, behandelt unser Beitrag zu Advanced Analytics.
- Computer Vision: Produktbilder klassifizieren, Objekte in Fotos lokalisieren oder Fehlerbilder in der Qualitätskontrolle markieren.
- Natural Language Processing: Kundenanfragen kategorisieren, Sprache transkribieren, Texte übersetzen oder Dokumente zusammenfassen.
- Zeitreihenprognose: Nachfrage, Energieverbrauch oder technische Messwerte aus vergangenen Beobachtungen schätzen.
- Empfehlungssysteme: Produkte anhand von Nutzersignalen, Produktmerkmalen und bisherigen Interaktionen sortieren. Auch Feed-Rankings nutzen solche Signale; mehr dazu im Beitrag über Social-Media-Algorithmen.
Bei einer Nachfrageprognose erhält das Netz beispielsweise Verkaufszahlen, Preisaktionen und saisonale Merkmale. Es gibt eine geschätzte Verkaufsmenge aus. Die Schätzung ist ein Beispiel für Predictive Analytics. Wenn aus dieser Prognose unter Berücksichtigung von Lagerkapazität und Kosten eine Bestellmenge optimiert wird, gehört die Entscheidung zur Prescriptive Analytics. Bei einer Kundenanfrage liefert die Textklassifikation dagegen eine Kategorie für die Weiterleitung.
Für die Nutzung einer Klassifikation wird häufig ein Entscheidungsschwellenwert festgelegt. Liegt die vorhergesagte Rückgabe-Wahrscheinlichkeit darüber, löst das System eine Prüfung aus; darunter bleibt die Bestellung unmarkiert. Der Schwellenwert verändert die Anzahl der falsch positiven und falsch negativen Fälle. Ein Testdatensatz mit tatsächlich beobachteten Labels zeigt, wie sich Precision und Recall bei verschiedenen Schwellenwerten verändern. Das ist eine andere Entscheidung als das Trainieren der Gewichte.
Bei generativer KI produziert ein Modell neue Inhalte. Ein Sprachmodell sagt während der Generierung das nächste Token auf Grundlage des bisherigen Kontexts voraus; ein Bildmodell erzeugt Bilddaten nach seinem jeweiligen Trainingsverfahren. Eine Bildklassifikation ordnet dagegen vorhandene Pixel einer Klasse zu. Die verschiedenen Ziele verlangen unterschiedliche Ausgabeschichten und Trainingssignale.
Fazit
Quelle: datenbasiert.de
Welche Architektur passt, ergibt sich aus Datenformat und Ausgabe: Bildkategorien, fortlaufende Messwerte und Textfolgen stellen verschiedene Anforderungen an Eingaben, Schichten und Training.
