云社区云博客博客详情
云社区云博客博客详情

快速理解spark-on-k8s中的external-shuffle-service

tsjsdbd 发表于 2019-09-12 17:48:2409-12 17:48
tsjsdbd 发表于 2019-09-12 17:48:242019/09/12
0
1

【摘要】 external-shuffle-service是Spark里面一个重要的特性,有了它后,executor可以在不同的stage阶段动态改变数量,大大提升集群资源利用率。但是这个特性当前在k8s上并不能很好的运行。让我们来看看,在k8s上要实现这个external-shuffle-service特性的最新进展吧。
【版权声明】本文为bckbet注册云社区用户原创内容,转载时必须标注文章的来源(bckbet注册云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 1
点赞
分享文章到微博
分享文章到朋友圈

相关文章


评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论
温馨提示

您确认删除评论吗?

确定
取消
?
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
?
温馨提示

您确认删除博客吗?

确定
取消
?

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消
?