Seminar Erstellen von Big Data Applikationen

Applikationsarchitektur

• Übersicht über die Entwicklungsumgebung
• Identifizieren und Sammeln der Eingabedaten
• Auswahl der Tools für Datenverarbeitung und Analyse
• Darstellen der Ergebnisse für den Anwender
• Data Sets

Metadata Management

• Was ist Apache Avro?
• Avro Schemas
• Avro Schema Evolution
• Festlegen des Dateiformates
• Geschwindigkeitsüberlegungen

Kite SDK Data Module

• Was ist das Kite SDK?
• Grundlagen des Data Module Konzeptes
• Neue Daten mit dem Kite SDK anlegen
• Laden, Zugreifen und Löschen mit dem Data Set

Apache Sqoop und Relationale Daten verarbeiten

• Was ist Apache Sqoop?
• Einfache Importe
• Limitierung des Ergebnisses
• Sqoops Geschwindigkeit steigern
• Sqoop

Apache Flume

• Was ist Apache Flume?
• Flume Architektur
• Flume Quellen
• Flume Sinks
• Flume Konfiguration
• Logging Applikation Nachrichten zu Hadoop

Entwickeln von Custom Flume Komponenten

• Flume Data Flow und Common Extension Points
• Custom Flume Sources
• Entwickeln von Flume Pollable Source
• Entwickeln von Flume Event-Driven Source
• Custom Flume Interceptors
• Entwickeln von Header-Modifying Flume Interceptor
• Entwickeln von Filtering Flume Interceptor
• Avro Objekte mit einem Custom Flume Interceptor

Verwalten von Workflows mit Apache Oozie

• Gründe für Workflow Management
• Was ist Apache Oozie?
• Definieren eines Oozie Workflow
• Prüfen, Parkettieren und Verteilen
• Starten und Nachverfolgen von Workflows mit der CLI
• Hue UI für Oozie

Data Pipelines mit Apache Crunch verarbeiten

• Was ist Apache Crunch?
• Verstehen der Crunch Pipeline
• Vergleichen von Crunch und Java MapReduce
• Arbeiten mit Crunch Projekten
• Lesen von Schreiben von Daten in Crunch
• Data Collection API
• Funktionen
• Utility Klassen in der Crunch API

Tabellen in Apache Hive

• Was ist Apache Hive?
• Zugreifen auf Hive
• Query Syntax
• Anlegen und Auffüllen von Hive Tabellen
• Wie Hive Daten ließt
• RegexSerDe in Hive

Definieren benutzerspezifischer Funktionen

• Was sind benutzerspezifische Funktionen?
• Erstellen von benutzerspezifischen Funktionen
• Verteilen von Custom Libraries in Hive
• Registrieren einer benutzerspezifischen Funktion in Hive

Interaktive Abfragen mit Impala

• Was ist Impala?
• Vergleich zwischen Hive und Impala
• Starten von Abfragen in Impala
• Benutzerdefinierte Funktionen
• Data and Metadata Management

Cloudera Search

• Was ist Cloudera Search?
• Search Architektur
• Unterstützte Dokumentenformate
• Indizierung von Daten mit Cloudera Search

Collection und Schema Management

• Morphlines
• Indizierung von Daten im Batch Mode
• Indizierung von Daten Near Real Time

Presenting Results to Users

• Solr Query Syntax
• Erstelleneiner Suche UI mit Hue
• Zugreifen auf Impala mit JDBC
• Erweitern einer Web Applikation mit Impala und Search