← MateriałyBig Data
Przetwarzanie danych na dużą skalę. Apache Spark, Hadoop, architektura data lake, streaming i batch processing.
SparkHadoopHDFSKafkaPython
Notebooki — 12 ćwiczeń
Jupyter Notebook (.ipynb)01Wprowadzenie do Big Data
Big DataKoncepcje5V
02HDFS i ekosystem Hadoop
HadoopHDFSYARN
03MapReduce
MapReduceHadoopPython
04Apache Hive
HiveHQLData Warehouse
05Apache Spark — RDD
SparkRDDPySpark
06Spark DataFrames i SQL
SparkDataFrameSpark SQL
07Spark Streaming
SparkStreamingMicro-batch
08Apache Kafka
KafkaMessagingStreaming
09Data Lake i architektura Lambda
Data LakeLambdaKappaArchitektura
10NoSQL — MongoDB i Cassandra
NoSQLMongoDBCassandra
11Optymalizacja zapytań i partycjonowanie
SparkOptymalizacjaCatalystPartycjonowanie
12Pipeline danych end-to-end
PipelineETLProjekt