Apache Spark for Data Engineers - Advanced Optimizations

DataScript s.r.o.

Popis kurzu

Obsah kurzu

• Rozumět a orientovat se ve fyzických plánech Spark SQL
• Přepsat query za účelem dosažení efektivnějšího plánu
• Používat některá konfigurační nastavení
• Připravit Sparkem data pro efektivní analytiku ve Sparku
• Diagnostikovat botlneck Sparkoveho jobu
  
  

David Vrba Ph.D.

David pracuje v Socialbakers jako data scientist a data engineer. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datoví analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispívá do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.

• Logical planning  (Catalog, Analyzer, Cache Managerm, Optimizer)

  • Catalyst API

  • Extending the optimizer

  • Limiting the optimizer

•  Physical planing

  • Query planner, strategies

  • Spark plan 

  • Executed plan

  • Understanding operators in physical plan

• Cost based optimizer

  • How cost based optimizations work

  • Statistics collection

  • Statistics usage

Lab I

• Implement simple optimization rule

• Fix a query based on the information from the query plan

Query optimization

• Shuffle elimination 

  • Bucketing

  • Data repartition (when and how)

• Optimizing joins

  • Shuffle-free join

  • One-side shuffle-free join

  • Broadcast join vs sort-merge join

• Data reuse

  • Caching

  • Checkpointing

  • Exchange reuse

Lab II

• Optimize queries

Optimization tips

• Choose appropriate number of shuffle partitions

• Nondeterministic expressions

• Configuration settings

Data layout

• Different file formats

  • Parquet vs Json

• Partitioning and bucketing

  • How bucketing works

  • How to ensure appropriate number of files

• Delta-io

  • Open source storage layer with ACID transactions

Lab III

• Prepare data for analytical queries

Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby, ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku. 

Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu), znát DataFramové API a chápat základní principy distribuovaného počítání.

Cieľová skupina

Hodnotenie