text.skipToContent text.skipToNavigation
background-image

Einstieg in Deep Reinforcement Learning KI-Agenten mit Python und PyTorch programmieren von Zai, Alexander (eBook)

  • Erscheinungsdatum: 12.10.2020
  • Verlag: Carl Hanser Fachbuchverlag
eBook
31,99 €
inkl. gesetzl. MwSt.
Sofort per Download lieferbar

Online verfügbar

Einstieg in Deep Reinforcement Learning

Grundlegende Konzepte und Terminologie
Praktischer Einsatz mit PyTorch
Projekte umsetzen
Dieses Buch zeigt Ihnen, wie Sie Agenten programmieren, die basierend auf direktem Feedback aus ihrer Umgebung selbstständig lernen und sich dabei verbessern. Sie werden Netzwerke mit dem beliebten PyTorch-Deep-Learning-Framework aufbauen, um bestärkende Lernalgorithmen zu erforschen. Diese reichen von Deep-Q-Networks über Methoden zur Gradientenmethode bis hin zu evolutionären Algorithmen.
Im weiteren Verlauf des Buches wenden Sie Ihre Kenntnisse in praktischen Projekten wie der Steuerung simulierter Roboter, der Automatisierung von Börsengeschäften und sogar dem Aufbau eines Bot zum Spielen von Go an.
Aus dem Inhalt:
Strukturierungsprobleme als Markov-Entscheidungsprozesse
Beliebte Algorithmen wie Deep Q-Networks, Policy Gradient-Methode und Evolutionäre Algorithmen und die Intuitionen, die sie antreiben
Anwendung von Verstärkungslernalgorithmen auf reale Probleme

Alexander Zai ist Machine Learning Engineer bei Amazon AI und arbeitet an MXNet, das eine Reihe von AWS-Maschinenlernprodukten unterstützt. Er ist auch Mitbegründer von Codesmith, einem Bootcamp für Softwareentwicklung mit Niederlassungen in Los Angeles und New York.
Brandon Brown ist Medizinstudent und Data Scientist an der UCLA. Er hat in den letzten drei Jahren ausführlich über maschinelles Lernen auf outlace.com gebloggt.

Produktinformationen

    Kopierschutz: watermark
    Seitenzahl: 400
    Erscheinungsdatum: 12.10.2020
    Sprache: Deutsch
    ISBN: 9783446466081
    Verlag: Carl Hanser Fachbuchverlag
    Originaltitel: Deep Reinforcement Learning in Action
    Größe: 26926 kBytes
Weiterlesen weniger lesen

Einstieg in Deep Reinforcement Learning

2 Modellierung von Reinforcement-Learning-Problemen: Markov Decision Processes

Dieses Kapitel beinhaltet:

       String-Diagramme und unsere Lehrmethoden

       das PyTorch Deep-Learning-Framework

       die Lösung von n-Armed-Bandit-Problemen

       den Ausgleich zwischen Erkundung und Ausnutzung

       die Modellierung eines Problems als Markov Decision Process (MDP)

       die Implementierung eines neuronalen Netzes zur Lösung eines Problems bei der Anzeigenauswahl

Dieses Kapitel behandelt einige der grundlegendsten Konzepte des gesamten Reinforcement Learning und wird die Grundlage für den Rest des Buches bilden. Doch bevor wir uns damit befassen, wollen wir zunächst einige der wiederkehrenden Lehrmethoden durchgehen, die wir in diesem Buch anwenden werden - vor allem die String-Diagramme, die wir im vorhergehenden Kapitel erwähnt haben.

2.1 String-Diagramme und unsere Lehrmethoden

Unserer Erfahrung nach neigen die meisten Menschen, wenn sie versuchen, etwas Kompliziertes zu lehren, dazu, es in der umgekehrten Reihenfolge zu unterrichten, in der das Thema selbst entwickelt wurde. Sie geben Ihnen einen Haufen Definitionen, Begriffe, Beschreibungen und vielleicht Theoreme, und dann sagen sie: "Toll, jetzt, wo wir die ganze Theorie behandelt haben, lassen Sie uns ein paar Praxisprobleme durchgehen". Unserer Meinung nach ist das genau die umgekehrte Reihenfolge, in der die Dinge präsentiert werden sollten.

Die meisten guten Ideen entstehen als Lösungen für Probleme aus der Praxis oder zumindest für imaginäre Probleme. Der Problemlöser stolpert über eine mögliche Lösung, testet sie, verbessert sie und formalisiert und mathematisiert sie schließlich. Die Begriffe und Definitionen entstehen, nachdem die Lösung für das Problem entwickelt wurde.

Wir sind der Meinung, dass Lernen am motivierendsten und effektivsten ist, wenn man den Platz des ursprünglichen Ideengebers einnimmt, der darüber nachdachte, wie ein bestimmtes Problem zu lösen ist. Erst wenn sich die Lösung herauskristallisiert, rechtfertigt sie eine Formalisierung, die in der Tat notwendig ist, um ihre Richtigkeit festzustellen und sie anderen gewissenhaft zu vermitteln.

Es besteht ein starker Drang, sich auf diesen umgekehrt chronologischen Lehrmodus einzulassen, aber wir werden unser Bestes tun, um dem zu widerstehen und das Thema weiterzuentwickeln. In diesem Sinne werden wir neue Begriffe, Definitionen und mathematische Notationen einführen, wenn wir sie brauchen. Wir werden zum Beispiel Kästen wie diesen verwenden:

Definition

Ein neuronales Netz ist eine Art Machine-Learning-Modell, das aus mehreren "Schichten" besteht, die eine Matrix-Vektor-Multiplikation durchführen, gefolgt von der Anwendung einer nichtlinearen "Aktivierungsfunktion". Die Matrizen des neuronalen Netzes sind die erlernbaren Parameter des Modells und werden oft als die "Gewichte" des neuronalen Netzes bezeichnet.

Sie werden diese Kästen für jeden Begriff nur einmal sehen, aber wir werden die Definition im Text oft auf verschiedene Weise wiederholen, um sicherzustellen, dass Sie sie wirklich verstehen und sich daran erinnern. Dies ist ein Kurs über Reinforcement Learning und kein Lehrbuch oder Nachschlagewerk, sodass wir nicht davor zurückschrecken werden, uns zu wiederholen, wenn wir denken, dass es wichtig ist, sich an etwas zu erinnern.

Wann immer wir etwas Mathematik einführen müssen, verwenden wir normalerweise einen Kasten, der die mathematis

Weiterlesen weniger lesen

Kundenbewertungen