Spark 调优 数据序列化 内存调优 内存管理概论 确定内存消耗 优化数据结构 序列化 RDD 存储 GC优化 其它考虑 并行级别 Reduce任务内存使用 广播大变量 数据局部性 总结 Spark 调优 由于大多数Spark计算都在内存中，所以集群中的任何资源(CPU、网络带宽或内存)都可能成为Spark程序的瓶颈。...

Cassandra CQL 解释器 启用Cassandra解释器 使用Cassandra解释器 解释器命令 CQL语句 声明中的评论 语法验证 模式命令 运行时参数 支持准备声明 @prepare @bind @remove_prepare 使用动态表单 共享状态 解释器配置 更改日志 错误和联系人 Cassandr...

使用Flink和Spark Clusters安装Zeppelin教程 在群集模式下使用Flink和Spark安装Zeppelin 所需程序 安装Zeppelin 安装群集 Flink集群 下载二进制文件 从源码编译 确保集群已启动 Spark 1.6集群 下载二进制文件 从源头构建 启动Spark群集 配置解释器 下一步 ...

Running Spark on YARN 启动 Spark on YARN 添加其他的 JARs 准备 配置 调试应用 Spark 属性 重要提示 在安全集群中运行 配置外部的 Shuffle Service 用 Apache Oozie 来运行应用程序 Kerberos 故障排查 使用 Spark History Server 来替...

硬件配置 存储系统 本地磁盘 内存 网络 CPU Cores 硬件配置 Spark 开发者都会遇到一个常见问题，那就是如何为 Spark 配置硬件。然而正确的硬件配置取决于使用的场景，我们提出以下建议。 存储系统 因为大多数 Spark 作业都很可能必须从外部存储系统（例如 Hadoop 文件系统或者 HBase）读取输入的数据，所以...

Spark 解释器 概述 配置 1.导出SPARK_HOME 2.在“解释器”菜单中设置主机 SparkContext，SQLContext，SparkSession，ZeppelinContext 依赖管理 1.通过解释器设置设置依赖关系 2.加载Spark属性 3.通过％spark.dep解释器加载动态依赖关系 ZeppelinCont...

Spark Standalone Mode 安装 Spark Standalone 集群 手动启动一个集群 集群启动脚本 提交应用程序到集群中 启动 Spark 应用程序 Resource Scheduling（资源调度） 监控和日志 与 Hadoop 集成 配置网络安全端口 高可用性 使用 ZooKeeper 备用 Masters 用...

解释器安装 社区管理解释器 安装所有社区管理的解释器 安装特定的解释器 安装Scala 2.10构建的解释器 安装Scala 2.10构建的Spark解释器 第三方解释器 安装第三方解释器 一次安装多个第三方解释器 可用的社区管理解释器 解释器安装 原文链接 : http://zeppelin.apache.org/docs/0.7...

R 解释器 概述 配置 使用R解释器 使用SparkR＆语言间移动 警告和故障排除 R 解释器 原文链接 : http://zeppelin.apache.org/docs/0.7.2/interpreter/r.html 译文链接 : http://www.apache.wiki/pages/viewpage.action?pageI...

API 文档 API 文档 Spark Scala API (Scaladoc) Spark Java API (Javadoc) Spark Python API (Sphinx) Spark R API (Roxygen2)