1.464 €

Lightbend Spark for Scala Professional

Informazioni sull'evento

Condividi questo evento

Data e ora

Località

Località

DATABIZ S.r.l.

Via Borsieri 41

20159 Milano

Italy

Visualizza Mappa

Descrizione evento

Descrizione

Il corso è volto ad insegnare a implementare pipelines di elaborazione dati e analisi su Apache Spark.

Sono previste attività pratiche per imparare: Spark Core, SQL/DataFrame, Streaming, and MLlib (machine learning) APIs.

Verranno inoltre presentati i Spark internals e suggerimenti per migliorare le prestazioni delle applicazioni.

Il corso può coprire inoltre approfondimenti sulle integrazioni di Spark con Mesos, Hadoop, e reactive frameworks come Akka.

DURATA

2 giorni

OBIETTIVI

Dopo aver partecipato al corso puoi:

  • comprendere come utilizzare le API Scala di Spark per implementare diversi algoritmi di data analytics per applicazioni offline (batch-mode) e event-streaming

  • comprendere Spark internals

  • comprendere Spark performance

  • imparare come testare e deployare applicazioni Spark

  • imparare le basi dell'integrazione di Spark con Mesos, Hadoop e Akka

AUDIENCE

  • Sviluppatori che desiderano imparare come scrivere applicazioni data-centric usando Spark.

PREREQUISITI

  • Corso “Fast Track to Scala"
  • Almeno 2 mesi di esperienza di sviluppo con Scala

  • Preferibilmente esperienza con SQL, machine learning e altri BigData tools

REQUISITI SETUP

Per completare gli esercizi del corso, i partecipanti devono installare i seguenti software prima delle lezioni:

PROGRAMMA

  • Introduction - Why Spark

    • How Spark improves on Hadoop MapReduce

    • The core abstractions in Spark

    • What happens during a Spark job?

    • The Spark ecosystem

    • Deployment options

    • References for more information

  • Spark's Core API

    • Resilient Distributed Datasets (RDD) and how they implement your job

    • Using the Spark Shell (interpreter) vs submitting Spark batch jobs

    • Using the Spark web console.

    • Reading and writing data files

    • Working with structured and unstructured data

    • Building data transformation pipelines

    • Spark under the hood: caching, checkpointing, partitioning, shuffling, etc.

    • Mastering the RDD API

    • Broadcast variables, accumulators

  • Spark SQL and DataFrames

    • Working with the DataFrame API for structured data

    • Working with SQL

    • Performance optimizations

    • Support for JSON and Parquet formats

    • Integration with Hadoop Hive

  • Processing events with Spark Streaming:

    • Working with time slices, “mini-batches”, of events

    • Working with moving windows of mini-batches

    • Reuse of code in batch-mode and streaming: the Lambda Architecture

    • Working with different streaming sources: sockets, file systems, Kafka, etc.

    • Resiliency and fault tolerance considerations

    • Stateful transformations (e.g., running statistics)

  • Other Spark-based Libraries:

    • MLlib for machine learning

    • Discussion of GraphX for graph algorithms, Tachyon for distributed caching, and BlinkDB for approximate queries

  • Deploying to clusters:

    • Spark’s clustering abstractions: cluster vs. client deployments, coarse-grained and fine-grained process management

    • Standalone mode

    • Mesos

    • Hadoop YARN

    • EC2

    • Cassandra rings

  • Using Spark with the Lightbend Reactive Platform:Conclusions

    • Akka Streams and Spark Streaming

  • Conclusions

Al completamento del corso verrà rilasciato ad ogni partecipante il Certificato ufficiale Lightbend.

CONDIZIONI

DISDETTA E RIMBORSO

Il Cliente può annullare la partecipazione ai corsi in ogni momento, dandone comunicazione scritta a DATABIZ s.r.l., a mezzo e-mail, all'indirizzo amministrazione.academy@databiz.it. Resta peraltro inteso che, in caso di disdetta, il Cliente sarà tenuto a corrispondere, a titolo di penale, una percentuale del corrispettivo individuale previsto pari a:

- Fino a 30 giorni dall’avvio del corso: Nessuna

- Fra 30 e 10 giorni dall’avvio del corso: 50%

- 9 giorni o meno, oppure nessuna comunicazione: 100%

La sostituzione dei partecipanti potrà essere accettata in qualsiasi momento prima dell’inizio del corso, purché comunicata per iscritto.

CANCELLAZIONE CORSO

DATABIZ s.rl. si riserva il diritto di annullare o rinviare il corso, dandone comunicazione (via e-mail o telefonica) al Cliente entro 1 settimana dalla data di inizio del corso.

I corrispettivi eventualmente già percepiti saranno restituiti al Cliente o, d’accordo con lo stesso, saranno imputati come pagamento anticipato per la eventuale iscrizione a corsi in date successive.


Condividi con gli amici

Data e ora

Località

DATABIZ S.r.l.

Via Borsieri 41

20159 Milano

Italy

Visualizza Mappa

Salva questo evento

Evento salvato