如何比较Pyspark中的两个数据帧

Question

c = df[df['CUSTOMER_EMAIL_ID'].isin(d.CUSTOMER_EMAIL_ID)] 

如何在PySpark中编写相同的表达式？

Answer 1

如果你问“给我从df其中CUSTOMER_EMAIL_ID领域具有从CUSTOMER_EMAIL_ID场d匹配值的所有行”，那么我认为你的问题可以用semi join回答，具体有：

c = df.join(b, 'CUSTOMER_EMAIL_ID', 'leftsemi') 

左侧（右侧）半连接在概念上可以认为是内部连接，然后是右侧（左侧）列。