SnowCamp 2019

Pour exploiter au maximum le calcul distribué dans Spark, il est nécessaire de contrôler le nombre de tasks dans vos jobs pour s'assurer que tous les executors Spark travaillent en continu.

Il faut également s'assurer que les données soient bien distribuées afin que la charge de travail soit équitablement partagée entre tous les executors Spark.

Enfin, savoir quand il est pertinent d'activer le cache permet d'optimiser de façon significative vos applications Spark.

Dans cette présentation, nous allons aborder tous les points ci-dessus, et montrer comment régler ces problèmes en partitionnant de manière pertinente les datasets et en adoptant une stratégie de cache adaptée.

Nous allons apprendre, au travers d’exemples concrets :

* ce qu'est une partition, comment le nombre de partitions dans un dataset est déterminé
* comment modifier le nombre de partitions pour avoir de meilleures performances
* quels sont les principaux niveaux de stockage du cache dans Spark
* à évaluer les surcoûts liés à l'utilisation du cache
* quand vous devez mettre un dataset en cache (et quand vous ne devriez pas)