
org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout does not exist in the JVM
解决办法:
依次点击 Run --> Edit Configurations --> Python --> FeatureEngineering
在 FeatureEngineering --> Configuration --> Environment --> Environment variables 中添加两个环境变量:
变量名: PYTHonPATH 变量值:/usr/lib/spark/spark-3.0.3-bin-hadoop2.7/python
变量名:SPARK_HOME 变量值:/usr/lib/spark/spark-3.0.3-bin-hadoop2.7
注: 这两个变量值是在 Include system environment variables 列表中查找到的。如果没有找到 SPARK_HOME 则需要在主机中安装 Spark ,并把 Spark 安装路径编辑到 ~/.bashrc 文件中。
添加完以上两个环境变量后,就可以在 Ideal 中执行 PySpark 程序。