原因:默认情况下每个节点分配的执行内存为1G
解决办法:
方法一:val conf = new SparkConf().setAppName("appname").set("spark.executor.memory","6g")
方法二:修改spark-env.sh
添加:export SPARK_EXECUTOR_MEMORY=8G
本文共 213 字,大约阅读时间需要 1 分钟。
原因:默认情况下每个节点分配的执行内存为1G
解决办法:
方法一:val conf = new SparkConf().setAppName("appname").set("spark.executor.memory","6g")
方法二:修改spark-env.sh
添加:export SPARK_EXECUTOR_MEMORY=8G
转载于:https://blog.51cto.com/11670039/1784992