Spark 中第二个吸惹人的处地点并行操作中变量的共享。默认情况下,当 Spark 在并行情况下运行一个函数作为一组不合节点上的义务时,它把每一个函数顶用到的变量拷贝一份送到每一义务。有时,一个变量须要被很多义务和驱动法度榜样共享。Spark 支撑两种方法的共享变量:广播变量,它可以用来在所有的节点上缓存数据。另一种方法是累加器,这是一种只能用作履行加法的变量,例如在计数器中和加法运算中。
7、Spark
由 Galvanize 数据科学家 Benjamin Skrainka 供给。
【编辑推荐】
- 若何用一个Python示例入门TensorFlow?
- 5种应用Python代码轻松实现数据可视化的办法
- 5种应用Python代码轻松实现数据可视化的办法
- 若何用Python解析HTML?
- 核心代码大年夜Python换成Go说话,提速30倍!
推荐阅读
沙龙晃荡 | 3月31日 京东、微博、华为拭魅战专家与你合营商量容器技巧实践! 近几年物联网已经成为各行各业和本钱争相追逐的风口,进入2018年,物联网热度持续不减,一个全球化的智能互联时>>>详细阅读
本文标题:数据分析师必知必会的7款Python工具
地址:http://www.17bianji.com/lsqh/40991.html
1/2 1