×

scala

如何基于Jupyter notebook搭建Spark集群开发环境

陈晗 陈晗 发表于2024-05-24 浏览5505 评论0
摘要:本文介绍如何基于Jupyter notebook搭建Spark集群开发环境。 本文分享自华为云社区《基于Jupyter Notebook 搭建Spark集群开发环境》,作者:apr鹏鹏。 一、概念介绍: 1、Sparkmagic:它是一个在Jupyter Notebook中的通过Livy服务器 Spark REST与远程Spark群集交互工作工具。Sparkmagic项目包括一组以多种语言交互运行Spark代码的框架和一些内核,可以使用这些内核将Jupyter Notebook