5 pyspark学习---Broadcast&Accumulator&sparkConf

1 对于并行处理，Apache Spark使用共享变量。当驱动程序将任务发送给集群上的执行者时，集群中的每个节点上都有一个共享变量的副本，这样就可以用于执行任务了。

2 两种支持得类型

(1)Broadcast

广播变量保存所有节点数据备份。该变量缓存在所有机器上，而不是在有任务的机器上发送。下面的代码块包含了PySpark的广播类的详细信息

from pyspark import SparkContext, SparkConf


sc = SparkContext()
words_new = sc.broadcast(['scala','java','hadoop'])
data = words_new.value
print 'stored data->%s'%(data)
elem=words_new.value[2]
print 'priting a particular element in rdd-》%s'%(elem)

(2)Accumulator

累加器变量用于通过结合和交换操作来聚合信息。例如，您可以使用累加器来进行sum操作或计数器（在MapReduce中）。下面的代码块包含了PySpark的累加器类的详细信息

from pyspark import SparkContext 
sc = SparkContext("local", "Accumulator app") 
num = sc.accumulator(10) 
def f(x): 
   global num 
   num+=x 
rdd = sc.parallelize([20,30,40,50]) 
rdd.foreach(f) 
final = num.value 
print "Accumulated value is -> %i" % (final)

3 sparkConf

(1)无论是集群还是单机运行spark运用，需要进行一些参数得设置，这个时候sparkConf就派上用场了。

(2)创建conf以后，同时将会加载spark.*得java系统。这样就可以使用链式编程比如conf.a.b.

(3)常用方法

set(key,value)#设置配置属性

setMaster(Value)#设置主节点URL

setAppName(valle)#设置应用名称

get(key,dafaultvalue=none)#获得配置文件

学习途径:https://www.tutorialspoint.com/pyspark/pyspark_mllib.htm

好了 加油哟