Informações sobre essa página

Essa página tem como objetivo reunir materiais e exemplos que facilitam o aprendizado do PySpark.

$ whoami
> @genicleito: Genicleito Gonçalves

Observação importante

Crie um notebook, descreva a(s) atividade(s) que está desenvolvendo e em seguida adicione em um repositório aprendendo-pyspark ou learning-pyspark no seu GitHub ou GitLab para que as demais pessoas vejam que você está aprendendo esse poderoso framework 😉.

Recomendo seguir os exemplos dessa página consultando com frequência a própria documentação do PySpark (anexada no final dessa página) pois, com certeza, têm muito mais exemplos e descrições mais detalhadas do que as contidas nessa página.

Ao usar partes do material desse notion ou repassar o conteúdo a alguém cite essa página como referência para que ela alcance mais pessoas que desejam aprender PySpark.

Quaisquer dúvidas, sugestões, críticas ou elogios, contate-me. E bom aprendizado 🎉!

Contate-me

• Twitter
• GitHub
• LinkedIn

Utilizando o PySpark no Google Colab

• O que é o Google Colab?
  • Google Colaboratory (também conhecido como Colab) é um ambiente de notebook Jupyter gratuito que roda na nuvem e armazena seus notebooks no Google Drive (Wikipédia). Pode ser acessado com sua conta Google clicando nesse link: https://colab.research.google.com/
• Como baixar o PySpark, o OpenJdk 8 e criar um contexto Spark no mesmo notebook

Instalação do PySpark + Jupyter Notebook

• Linux
• Instalação no Mac
• Referência: How to install PySpark and Jupyter Notebook in 3 Minutes