Seminar Cloudera Analyst

Einführung
Hadoop Grundlagen

• Gründe für Hadoop
• Hadoop Übersicht
• HDFS
• MapReduce
• Das Hadoop Ökosystem
• Data Ingest mit den Hadoop Werkzeugen

 Einführung in Pig

• Was ist Pig?
• Pigs Funktionen
• Anwendungsszenarien für Pig >
• Interaktionen mit Pig

Einfache Datenanalyse mit Pig

• Pig Latin Syntax
• Daten laden
• Einfache Datentypen
• Felddefinitionen
• Data Output
• Betrachten des Schemas
• Filtern und sortieren der Daten
• Häufig genutzte Funktionen
• Pig und ETL Verarbeitung

Komplexe Daten mit Pig verarbeiten

• Storage Formate
• Komplexe und verschachtelte Datentypen
• Gruppieren
• Funktionen für komplexe Daten
• Aufzählen gruppierter Daten

Multi-Dataset Operationen mit Pig

• Techniken für die Kombination von Data Sets
• Verknüpfen von Daten in Pig
• Set Operations
• Teilen von Data Sets

Pig erweitern

• Die Flexibilität durch Parameter erhöhen
• Makros und Importe
• UDFs
• Contributed Functions
• Verwenden anderer Sprachen mit die Analyse mit Pig
• Pig mit Streaming und UDFs erweitern

Pig Fehlerbereinigung und Optimierung

• Troubleshooting Pig
• Logging
• Hadoops Web UI
• Debugging
• Geschwindigkeitsübersicht
• Ausführungspläne
• Beschleunigen der Pig Aufträge

Einführung in Hive

• Was ist Hive?
• Hive Schema und Datenspeicherung
• Vergleich von Hive mit traditionellen Datenbanken
• Hive verglichen mit Pig
• Hive Anwendungsfälle
• Interaktion mit Hive

Relationale Daten mit Hive analysieren

• Hive Datenbanken und Tabellen
• HiveQL Syntax
• Datentypen
• Verbinden von Datensets
• Wichtige Funktionen
• Starten von Hive Abfragen mit Shell, Scripts und Hue

Hive Datenmanagement

• Hive Datenformate
• Anlegen und Anpassen von Datenbanken und Tabellen
• Laden von Daten in Hive
• Selbstverwaltete Tabellen
• Abfragen mit Views vereinfachen
• Speichern von Abfrageergebnissen
• Zugriffsrechte steuern
• Datenmanagement mit Hive

Textverarbeitung mit Hive

• Übersicht
• String Funktionen
• Regular Expressions in Hive
• Sentiment Analysis und N-Grams

Hive Optimierung

• Abfragen beschleunigen
• Jobausführung kontrollieren Plan
• Partitioning
• Bucketing
• Indexing Data Extending Hive
• SerDes
• Datentransformationen mit Custom Scripts
• Benutzerdefinierte Funktionen
• Parameterübergabe bei Abfragen

Einführung in Impala

• Was ist Impala?
• Unterschiede zwischen Impala, Hive und Pig
• Wie sich Impala von relationalen Datenbanken unterscheidet
• Grenzen von Impala
• Impala Shell

Analyse von Daten mit Impala

• Syntax
• Datentypen
• Filtern, Sortieren und begrenzen des Ergebnisse
• Verknüpfen und Sortieren des Ergebnis
• Beschleunigen von Impala

Auswahl des richtigen Werkzeugs

• Vergleich von MapReduce, Pig, Hive, Impala, und relationalen Datenbanken