构建 Spark 构建 Apache Spark Apache Maven 设置 Maven 的内存使用 build/mvn 构建一个可运行的 Distribution 版本 指定 Hadoop 版本并启用 YARN 使用 Hive 和 JDBC 支持构建 打包没有 Hadoop 依赖关系的 YARN 使用 Mesos 构建 使用 Scal...

外部资源 外部资源 Spark 首页 Spark 社区 资源，包括当地的聚会 StackOverflow tag apache-spark Mailing Lists ：在这里询问关于 Spark 的问题 AMP Camps ：在 UC Berkeley（加州大学伯克利分校）的一系列的训练营中，它们的特色是讨论和针对关于 Spark，Spa...

Spark 安全 Web UI 认证 事件日志 加密 SSL 配置 YARN mode Standalone mode 准备 key-stores 配置 SASL 加密 针对网络安全配置端口 Standalone mode only All cluster managers Spark 安全 Spark 当前支持使用 shar...

GraphX Programming Guide 概述 入门 属性 Graph 示例属性 Graph Graph 运算符 运算符的汇总表 Property 运算符 Structural 运算符 Join 运算符 邻域聚合 聚合消息 (aggregateMessages) Map Reduce Triplets Transition Gu...

作业调度 概述 跨应用调度 动态资源分配 配置和部署 资源分配策略 请求策略 移除策略 优雅的关闭Executor(执行器) 应用内调度 公平调度资源池 资源池默认行为 配置资源池属性 作业调度 概述 Spark 有好几计算资源调度的方式。首先，回忆一下 集群模式概述 ，每个 Spark 应用(包含一个 SparkCont...

Accessing OpenStack Swift from Spark Configuring Swift for Better Data Locality Dependencies Configuration Parameters Accessing OpenStack Swift from Spark Spark’s support fo...

硬件配置 存储系统 本地磁盘 内存 网络 CPU Cores 硬件配置 Spark 开发者都会遇到一个常见问题，那就是如何为 Spark 配置硬件。然而正确的硬件配置取决于使用的场景，我们提出以下建议。 存储系统 因为大多数 Spark 作业都很可能必须从外部存储系统（例如 Hadoop 文件系统或者 HBase）读取输入的数据，所以...

其它 其它 给 Spark 贡献 第三方项目 ：其它第三方 Spark 项目的支持

构建在 Spark 之上的模块 构建在 Spark 之上的模块