Spark大数据分析与实战笔记（第一章 Scala语言基础-1）

章节概要

Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由Scala语言开发实现的，关于大数据技术，本身就是计算数据，而Scala既有面向对象组织项目工程的能力，又具备计算数据的功能，同时Spark和Scala的紧密集成，本书将采用Scala语言开发Spark程序，所以学好Scala将有助于我们更好的掌握Spark框架。

1.1 初识Scala

1.1.1 Scala的概述

Scala于2001年由洛桑联邦理工学院（EPFL）的编程方法实验室研发，它由Martin Odersky（马丁•奥德斯基）创建。目前，许多公司依靠Java进行的关键性业务应用转向或正在转向Scala，以提高其开发效率、应用程序的可扩展性和整体的可靠性。

Scala是Scalable Language的简称，它是一门多范式的编程语言，其设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。具体如下：

1. Scala是面向对象的
   Scala是一种纯粹的面向对象语言，每一个值都是一个对象。对象的数据类型以及行为由类的特征来描述。

2. Scala是函数式编程的
   Scala也是一种函数式语言，其函数可以作为值来使用。

3. Scala是静态类型的
   Scala具备类型系统，通过编译时检查，保证代码的安全性和一致性。

4. Scala是可扩展的
   Scala提供了许多独特的语言机制，它以库的方式能够轻易无缝添加新的语言结构 。

5. Scala是可交互操作的
   Scala旨在与流行的Java进行良好的交互操作。Scala用Scala编译器把源文件编译成Java的class文件。我们可以从中调用Java类库，也同样可以从Java应用程序中调用Scala的代码。

1.1.2 Scala的下载安装

Scala语言可以运行在Windows、Linux、Mac OS等系统上。由于Scala是运行在JVM平台上的，所以安装Scala之前必须配置好JDK环境（JDK版本要求不低于1.5版本）。本书使用的JDK版本是jdk1.8。

1. 在Windows下安装Scala

• 下载Scala安装包。
  访问Scala官网The Scala Programming Language，单击【Download】进入下载页面，该页面可以下载最新的Scala版本。我们考虑到Scala的稳定性和Spark的兼容性，这里选择下载Scala2.11.8（下载地址为：Scala 2.11.8 | The Scala Programming Language ）具体如下图所示：
  

• 解压Scala安装包并配置windows系统下的环境变量
  下载成功后，解压Scala的安装包scala-2.11.8.zip到自己需要的位置，并在Windows系统下配置环境变量，点击【此电脑】>【属性】>【高级系统设置】>【环境变量】，在系统变量中点击【新建】，变量值为自己解压的位置，如下图所示：
  
  在path中添加Scala的bin目录，如下图所示：
  

• 进入Windows命令行，输入“scala”命令，测试Scala环境是否安装成功。如下图所示：
  

2. 在Linux下安装Scala

• 下载Scala安装包，并将安装包上传到Linux系统/export/software
• 执行tar -zxvf scala-2.11.8.tgz -C /export/servers/命令解压安装
• 在Linux系统下添加Scala环境变量

3. 在Mac下安装Scala

• 下载Scala安装包并解压安装包至主目录下（如果找不到主目录，则回到桌面，按⇧⌘H进入电脑主目录）。
• 执行“open ~/.bash_profile”，添加Scala的环境变量。
• 输入“scala -version”命令，查看Scala的安装情况，若终端出现Scala的版本号，则说明Scala安装成功。

1.1.3 在IDEA开发工具中下载安装Scala插件

目前Scala的主流开发工具主要有两种：分别是Eclipse工具和IDEA工具，我们可以在这两个开发工具中安装对应的Scala插件进行Scala开发。

由于IDEA工具可以自动识别代码错误和进行简单的修复、以及IDEA工具内置了很多优秀的插件，所以现在大多数的Scala开发程序员都会选择IDEA作为开发Scala的工具。

本书将以Windows操作系统为例，分步骤讲解如何在IDEA工具上下载安装Scala插件，具体步骤如下。

1. 下载IDEA安装包，打开安装包进行单击【Next】按钮进行安装，直到出现”Welcome to IntelliJ IDEA“界面则安装结束。

2. 访问“https://plugins.jetbrains.com/plugin/1347-scala”，下载Scala插件。

3. 单击IDEA主界面右下角的【Configure】→【Plugins】→【Install plugin from disk】→【OK】→【OK】，单击【Restart】按钮，重启IDEA工具，安装结束。

注：为了电脑能更好的使用，不要将所有软件都安装在C盘，可安装到其他盘符，读者自行选择

1.1.4 开发第一个Scala程序

1. 创建工程。在IDEA工具主界面中单击【create New Project】创建工程，如下图所示：
   
   
   

2. 创建包和Scala类。

• 创建包
  选中“src”文件夹，右键选择【New】→【Package】按钮，输入包名，效果如图所示
  
• 创建类
  选中包名，右键选择【New】→【Scala Class】，并选择【Object】类型创建Scala类，类名为“HelloWorld”，效果如下图所示：
  

3. 在HelloWorld.scala文件中编写代码 ，代码如下。

object HelloWorld {def main(args: Array[String]) {println("Hello, world!")}
}

4. 运行代码，控制台输出结果如下图所示。
   
   注：IntelliJ IDEA版本不同，界面也会稍有不同，读者需根据版本自行确定。

转载自:https://blog.csdn.net/u014727709/article/details/132032236
欢迎start，欢迎评论，欢迎指正