一文彻底搞清楚Spark Schema

前言

Spark Schema定义了DataFrame的结构，可以通过对DataFrame对象调用printSchema()方法来获得该结构。Spark SQL提供了StructType和StructField类以编程方式指定架构。

默认情况下，Spark从数据中推断schema，但有时我们可能需要定义自己的schema（列名和数据类型），尤其是在处理非结构化和半结构化数据时，本文通过示例解释了如何定义简单、嵌套和复杂的schema。

什么是Spark Schema

• schema通俗解释
  Schema是元数据的一个抽象集合，包含一套schema component，主要是元素与属性的声明、复杂与简单数据类型的定义。这些schema component通常是在处理一批schema document时被创建。在不同的领域和环境中，如数据库和软件开发，schema有着不同的含义和用途。
  在数据库中，schema描述了数据库中对象（如表、列、视图、存储过程等）的布局和结构。例如，一个数据库schema可能包含一个名为“employees”的表，该表具有“id”、“name”和“salary”等列。
  在XML中，Schema是一种定义XML文档结构的工具，可以验证XML文档的结构和内容是否符合规定的标准。
  在软件开发的领域中，根据特定的上下文，模式（pattern）可能指代各种概念，如概念模式、物理模式、内部模式、外部模式、逻辑模式等，它们具有各自的特定含义和应用。
• spark schema
  Spark Schema是DataFrame或Dataset的结构，我们可以使用StructTyp