提交申请 spark的bin目录中的spark submit脚本用于在集群上启动应用程序。它可以通过一个统一的接口使用Spark支持的所有集群管理器，这样您就不必特别为每个集群管理器配置应用程序。 捆绑应用程序的依赖项 如果代码依赖于其他项目，则需要将它们与应用程序一起打包，以便将代码分发到Spark集群。为此，创建一个包含代码及其依赖项的程序集jar（或“uber”jar）。sbt和Maven都有汇编插件。创建程序集jar时，将Spark和Hadoop列为提供的依赖项；这些依赖项不需要绑

一、高可用的概念 高可用是分布式的概念。 假如redis只有一个节点，如果在工作当中redis突然宕机了，而服务器程序的业务逻辑又依赖于redis的数据，这时系统就是不可用的状态。为解决这个问题，就要求redis具备高可用。 所谓高可用，就是一个redis的主节点宕机了，还有备用节点可以顶替它继续运行，服务器程序切换连接新的节点，从而保证系统的可用性。 这里探究的是redis的高可用，所以高可用机制是由redis完成的。它注主要完成以下工作： （1）数据同步。数据复制过来，备用节点

问题： 进入redis集群，查询key时报错：(error) CLUSTERDOWN The cluster is down 打算重新配置集群节点，但是配置集群节点时，执行命令/usr/local/redis-3.2.4/src/redis-trib.rb create --replicas 1 ip1  ip2 ip3 ip4 ip5 ip6时报错 具体报错没有记录下来。。。大体如下： /usr/lib/ruby/site_ruby/1.8/rubygems/custom_requ

一、集群常识 1.redis在3.0之前是集群，仅支持单实例的，3.0以后开始支持集群。 2.3.0的集群命令也不是那么亲和，需要用ruby编写的脚本(而且需要登录redis客户端操作)，启动、增删节点、移动槽位等。redis-5.0以后，可以使用比较亲和的redis-cli --cluster 不需要登录客户端，直接可以进行各种操作(前提：集群模式已开启)。 3.redis集群是没有统一的入口的，不存在中心节点或者代理节点，通过#redis-cli -c - h -p  登录任一客户端后