尚硅谷课程【笔记】——大数据之Linux【三】

课程视频链接：尚硅谷大数据Linux课程

---

七、定时任务调度

任务调度：指系统在某个时间执行的特定的命令或程序。

        1）系统工作：有些重要的工作必须周而复始地执行。

        2）个别用户工作：用户可能希望在某些特定的时间段自动执行某些程序。

语法：crontab [选项]

        常用选项：

                -e：编辑crontab定时任务

                -l：查询crontab任务

                -r：删除当前用户所有的crontab任务

编辑crontab定时任务时的5个占位符说明：

项目	含义	范围
第一个*	一小时当中的第几分钟	0-59
第二个*	一天当中的第几个小时	0-23
第三个*	一个月当中的第几天	1-31
第四个*	一年当中的第几月	1-12
第五个*	一周当中的星期几	0-7

占位符中的特殊符号说明

特殊符号	含义
*	代表任何时间
,	代表不连续的时间
-	代表连续的范围
*/n	代表每个n个单位

* * * * * * ls -l          # 表示每分钟都执行一次ls -l命令
0 8,10,12 * * * ls -l      # 表示在8:00,10:00,12:00执行ls -l命令
0 5 * * * 1-6 ls -l        # 表示在1-6周连续的日子里每天5:00执行ls -l命令
*/10 * * * * ls -l         # 表示每隔10分钟执行一次ls -l命令

特定时间执行任务案例

时间	含义
45 22 * * *	在22：45执行命令
0 17 * * 1	每周1的17:00执行命令
0 5 1,15 * *	每月1号15号的凌晨5:00执行命令
*/10 4 * * *	每天凌晨4点，每隔10分钟执行一次命令

---

八、磁盘分区、挂载

分区基础知识

两种分区方式：mbr分区和gpt分区

mbr分区：

        1）最多支持四个主分区

        2）系统只能安装在主分区

        3）扩展分区要占一个主分区

        4）MBR最大只支持2TB，但拥有最好的兼容性

gpt分区：

        1）支持无限多个主分区（但操作系统可能限制）

        2）GPT最大支持18EB（1EB=1024PB, 1PB=1024TB）

        3）Windows7 64位以后支持gpt

Linux分区

        1）Linux无论有几个分区，它归根结底只有一个根目录，一个独立且唯一的文件结构，Linux中每个分区都是用来组成整个文件系统的一部分。

        2）Linux采用了一种叫“载入”的处理方法，它的整个文件系统中包括了一整套的文件和目录，且将一个分区和一个目录联系起来。这时要载入的一个分区将使它的存储空间在一个目录下获得。

Linux硬盘

        1）Linux硬盘分IDE硬盘盒SCSI硬盘，目前基本上是SCSI硬盘

        2）对于IDE硬盘，驱动器标识符为“hdx~”，其中“hd” 表名分区所在设备的类型，这里是指IDE硬盘。x 为盘号（a为基本盘，b为基本从属盘，c为辅助主盘，d为辅助从属盘），“~”代表分区，前四个分区用数字1-4表示，它们是主分区或扩展分区，从5开始就是逻辑分区。

        例如：hda3表示第一个硬盘上的第三个主分区/扩展分区；

                   hdb4表示第二个硬盘上的第4个主分区/扩展分区。

        3）对于SCSI硬盘则标识为“sdx~”，SCSI硬盘是用“sd”来表示分区所在设备的类型的，其他的表示方法和IED硬盘的表示方法一样。

查看硬盘和分区情况

        使用 lsblk 指令查看当前系统的分区情况

添加一块硬盘并实现挂载

        1）使用VMware为虚拟机添加硬盘

        2）设置分区：fdisk /dev/sdb（为sdb硬盘设置sdb1分区）

        3）格式化：mkfs -t ext4 /dev/sdb1

        4）挂载：mount /dev/sdb1 挂载目录

        5）自动挂载（永久挂载）：vim /etc/fstab，添加以下内容，完后使用mount -a完成自动挂载

/dev/sdb1            /挂载目录        ext4    defaults    0 0

 umount 挂载目录（取消硬盘分区的挂载）

磁盘情况查询

        查询系统磁盘使用情况：df -lh

        查询指定目录的磁盘占用情况（默认为当前目录）：df -h /目录

其他相关磁盘情况查询

以树状显示目录结构

yum install tree
tree 

---

九、网络配置

查看IP地址

ifconfig

ping命令测试主机之间网络连通

ping www.baidu.com    # 通过域名
ping 192.168.96.132   # 通过ip地址

Linux网络环境配置

两种方法：自动获取和设置静态IP

自动获取

        通过设置来自动获取ip

特点：Linux启动后会自动获取IP，缺点是每次获取的IP地址可能不一样。

设置静态IP

        1）修改vim /etc/sysconfig/network-scripts/ifcfg-enth0

BOOTPROTO=static
IPADDR=192.168.xxx.xxx     # 指定IP地址
GATEWAY=192.168.xxx.xxx    # 网关
DNS1=192.168.xxx.xxx       # DNS和网关保持一致即可

        2）重启服务service network restart

        3）reboot重启虚拟机。

修改主机名

1）查看当前主机名

hostname

2）修改Linux的主机映射文件

vim /etc/sysconfig/networkHOSTNAME=hadoop    # 写入新的主机名

3）修改/etc/hosts增加ip和主机映射

192.168.96.123 hadoop

4）重启设备reboot

---

十、进程管理

1）进程管理

基本介绍

1）在Linux中，每个执行的程序都称为一个进程。每个进程都会分配一个ID号。

2）每个进程都会对应一个父进程，而这个父进程可以复制多个子进程。

3）每个进程都能以两种方式存在。前台与后台。

4）一般系统的服务都是以后台进程的方式存在，而且都会常驻在系统中。

显示系统执行的进程

        ps [选项]

        选项：

                -a：显示当前终端的所有进程信息

                -u：以用户的格式显示进程信息

                -x：显示后台进程运行的参数

ps显示信息：

字段	说明
PID	进程识别号
TTY	终端机号
TIME	此进程所消耗CPU时间
CMD	正在执行的命令或进程名

查看进程树

        pstree [选项]

        选项：

                -p：显示进程的PID

                -u：显示进程的所属用户

终止进程

        当一个进程需要停止，或消耗了很大的系统资源时，考虑终止该进程。

        kill [选项] 进程号

        kilall 进程名

        选项：

                -9：表示强迫进程立即停止

---

2）服务管理

基本介绍

服务（Service）本质就是进程，但是是运行在后台的，通常都会监听某个端口，等待其他程序的请求，比如（mysql、sshd 防火墙等）因此我们又称为守护进程。

Service管理指令

service 服务名 [start | stop | restart | reload | status]

在CentOS7.0后不再使用service，而是systemctl

chkconfig管理指令

查看各个服务在不同运行级别下的自启动情况：

chkconfig --list
chkconfig 服务名 --list

修改服务在不同运行级别下的自启动情况：

chkconfig --level 5 服务名 on/off        # 修改服务在5运行级别下的on/off

reboot后生效

---

3）监控服务

进程监控服务

        动态监控进程top

        top [选项]

        top与ps相似，但top可以动态更新正在运行的进程

        选项：

                -d：指定top命令每隔几秒更新，默认3秒

                -i：使top不显示任何闲置或僵死进程

                -p：通过指定监控进程ID来仅仅监控某个进程的状态

        监控网络状态netstat

        netstat [选项]

        选项：

                -an：按一定顺序排列输出

                -p：显示哪个进程在调用

---

十一、软件包管理

rpm包管理

        在Linux中用于互联网下载包的打包以及安装的工具。

查询已安装的rpm列表：

rpm -qa

安装rpm包：

rpm -ivh rpm包

        -i：install 安装

        -v：verbose 提示

        -h：hash 进度条

卸载rpm包：

rpm -e 名称

yum包管理

        yum是一个shell前段软件包管理器。基于RPM包管理，能够从指定服务器上自动下载rpm包并安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包。

查询yum是否有需要安装的软件：

yum list

yum安装指令

yum install XXX