dask - celery와 같은 동적 작업 스케줄러 + 연산 최적화(ref - blog)

• GIL 우회를 통한 병렬 처리 가능 - link
• collections → task graph 생성에 사용
  • dask array - numpy
  • dask dataframe - pandas
  • dask bag - iterators(generator), pyspark
• task graph
  • 병렬 연산 표현
• scheduling
  • 메모리 용량제한 X → 디스크 용량까지 확장 가능
  • 클러스터링
  • distributed scheduling