0
我是PySpark的新手,我想了解如何在PySpark中编写多个嵌套for循环,下面是粗略的高级示例。 任何帮助将不胜感激。用于嵌套循环的pyspark程序
for (i=0;i<10;i++)
for (j=0;j<10;j++)
for (k=0;k<10;k++)
{
print "i"."j"."k"
}
我是PySpark的新手,我想了解如何在PySpark中编写多个嵌套for循环,下面是粗略的高级示例。 任何帮助将不胜感激。用于嵌套循环的pyspark程序
for (i=0;i<10;i++)
for (j=0;j<10;j++)
for (k=0;k<10;k++)
{
print "i"."j"."k"
}
在非分布式设置for循环使用foreach
组合子改写,但由于星火性质map
和flatMap
是一个更好的选择:
from __future__ import print_function
a_loop = lambda x: ((x, y) for y in xrange(10))
print_me = lambda ((x, y), z): print("{0}.{1}.{2}".format(x, y, z)))
(sc.
parallelize(xrange(10)).
flatMap(a_loop).
flatMap(a_loop).
foreach(print_me)
使用itertools.product
作者:
from itertools import product
sc.parallelize(product(xrange(10), repeat=3)).foreach(print)