Apache Spark Introduction
Spark Introduction
定义： Apache Spark 是一个开源的、分布式、统一的计算引擎，专为大规模数据处理而设计。
核心目标： 提供高速（Lightning-Fast）、易用且通用的数据处理能力。
Spark 性能关键
内存计算 (In-Memory Computing)： Spark 尽可能将中间数据保留在集群内存中，避免了传统 MapReduce 需要反复读写磁盘的瓶颈，极大提升迭代算法和交互式查询速度。
有向无环图 (DAG) 执行引擎：
Spark 将用户程序构建成一个 DAG（Directed Acyclic Graph），表示操作之间的依赖关系。
DAG Scheduler 负责将 DAG 分解成一系列 Stage（阶段）。
Task Scheduler 将 Stage 内的任务 (Task) 分发到集群节点并行执行。
这种机制允许进行全局优化（如流水线执行、任务合并），比 MapReduce 的固定 map-shuffle-reduce 模型更高效。
惰性求值 (Lazy Evaluation)：
Spark 在遇到 Transformations（转换操作，如 map, filter, join) 时，并不会立即计算，而是记录元数据，构建执行计划。
只有当遇到 Actions（行动操作，如 count, collect, save) 时，才会触发整个 DAG 的优化和执行。
允许 Spark 进行整体优化（Catalyst 优化器），减少不必要的数据移动和计算。
Spark Component
Spark SQL / DataFrame & Dataset API： 处理结构化/半结构化数据。支持 SQL 查询、ETL、读写各种数据源，最主流的 API。
Spark Streaming ： 处理实时流数据。提供基于微批处理或持续处理模型的、高吞吐、可容错的流处理能力。
MLlib： 机器学习库。提供常见的机器学习算法（分类、回归、聚类、推荐等）和工具（特征工程、模型评估、流水线）。
GraphX： 图计算库。用于处理图结构数据（社交网络、推荐关系等），提供图算法和操作。
Spark Core： 提供最基础的分布式任务调度、内存管理、容错机制、RDD API，是整个 Spark 生态的基石。
Core Conception
RDD (Resilient Distributed Dataset)： 弹性分布式数据集，是 Spark 最底层的、不可变的、分区的数据集合抽象。
DataFrame： 基于 RDD 以命名列 (Named Columns) 组织的分布式数据集合，具有 Schema 信息，Spark SQL 的核心抽象。
Dataset： 在 DataFrame 之上增强的 API。提供类型安全 (Type-Safe) 的编程接口（在 Scala 和 Java 中）。
flowchart LR
A[Apache Spark]
A ---> C[性能关键]
A ----> D[核心组件]
A --> E[核心概念]
C --> C1["内存计算"]
C --> C2["DAG执行引擎"]
C --> C3["惰性求值"]
D --> D1["Spark Core"]
D --> D2["Spark SQL"]
D --> D3["Spark Streaming"]
D --> D4["MLlib"]
D --> D5["GraphX"]
E --> E1["RDD"]
E --> E2["DataFrame"]
E --> E3["Dataset"]
Apache Spark 的结构化 API
核心特性解析
统一编程模型
批流一体：相同 API 处理静态数据与实时流。
多语言支持：Scala/Java/Python/R 统一接口。
多引擎整合：SQL/MLlib/GraphX 共享执行引擎。
惰性执行与优化（Catalyst优化）：分析逻辑计划 -> 逻辑优化（谓词下推/常量折叠） -> 物理计划生成 -> 代码生成。
结构化数据操作
| 操作类型 | 示例 | 特点 || :----------------------- | :------------------------------- | :------------------------ || 转换(Transformation) | select(), filter(), join() | 惰性执行，返回新DataFrame || 行动(Action) | show(), count(), write() | 触发实际计算 || 聚合 | groupBy().agg() | 支持窗口函数 || UDF | spark.udf.register() | 向量化优化执行 |
结构化 API 基础——DataFrame
数据源统一架构
graph LR
A[数据源] --> B[DataFrameReader]
B --> C[格式指定]
C --> D[配置选项]
D --> E[加载数据]
E --> F[DataFrame]
F --> G[转换操作]
G --> H[DataFrameWriter]
H --> I[保存数据]
核心组件：
DataFrameReader：入口：spark.read；支持格式：csv, json, parquet, orc, jdbc 等。
DataFrameWriter：入口：df.write；输出模式：append, overwrite, ignore, errorIfExists。
内置数据源
Parquet (默认格式)：列式存储，高效压缩，支持谓词下推。
ORC：优化的行列式文件，行组内按列存储，适用于查全表的场景。
数据源格式：CSV、JSON、JDBC 数据库连接。
分区发现（Partition Discovery）：当读取分区目录结构时自动识别分区。
谓词下推（Predicate Pushdown）：将过滤条件下推到数据源层，减少磁盘I/O。
压缩算法
| 格式 | 压缩算法 | 压缩率 | 速度 || :------ | :------- | :----- | :--- || Parquet | SNAPPY | ★★★☆ | ★★★★ || ORC | ZLIB | ★★★★☆ | ★★★ || CSV | GZIP | ★★★★ | ★★ |
Spark SQL 与外部数据源
Spark SQL
Catalyst 优化器
解析：SQL 语句 → 未绑定的逻辑计划。
绑定：结合元数据→ 已绑定的逻辑计划。
优化：应用规则（列裁剪、谓词下推等）→ 优化后的逻辑计划（Optimized Logical Plan）。
物理计划生成：转换为可执行的 SparkPlan（RDD 操作）。
执行引擎
将物理计划转为 RDD 操作，利用 Spark Core 的分布式计算能力。
支持 Code Generation（代码生成），动态编译优化逻辑为字节码，减少虚函数调用。
Hive On MapReduce & Spark SQL
| 指标 | Hive on MapReduce | Spark SQL || :----------: | :---------------: | :--------------: || 执行引擎 | MapReduce（磁盘） | RDD（内存） || 优化器 | Hive Optimizer | Catalyst || 延迟 | 高（分钟级） | 低（秒级） || 复杂查询支持 | 有限 | 强（窗口函数等） |
外部数据源架构
graph TD
A[Spark SQL] --> B[统一连接接口]
B --> C[标准数据源]
C --> D[Inner Connector]
D -->|Parquet/ORC/JSON| E(文件系统)
B --> F[扩展数据源]
F --> G[Community Connector]
G -->|JDBC| H(RDBMS)
G -->|Kafka| I(消息队列)
G -->|Cassandra| J(NoSQL)
G -->|Delta Lake| K(湖仓一体)
I[Kafka] --> K
S3[原始数据] -->|ETL| K
K --> BI[BI工具]
K --> ML[ML模型]
Dataset 类型安全 API (Dataset API)
Dataset API
编译时类型检查：由编程语言（Scala/Java）编译器在代码运行前检测类型错误。
面向对象操作：可直接使用对象方法（如 user.name），而非字符串表达式（如 col("name")）操作数据。
性能优化：结合 DataFrame 的 Catalyst 优化器与 RDD 的 Lambda 函数优势。
类型安全（Type-Safety）
错误阶段
DataFrame（弱类型）
Dataset（强类型）
编译时检查
❌ 类型错误需运行时才能发现
✅ 编译时直接报错（如字段名拼写错误、类型不匹配）
运行时检查
✅ 可运行，但可能因类型问题失败
✅ 错误在编译阶段已被排除
核心特性
编程接口更自然：可直接使用类成员和方法。
Lambda 函数支持：结合函数式编程处理数据。
与 Catalyst 优化器协作：类型操作会被 Catalyst 解析为逻辑计划，不影响执行优化性能。
编译时类型安全聚合 (UDAF)：自定义类型安全的聚合函数。