大数据之linux入门
一、linux是什么
linux操作系统
开发者是林纳斯-托瓦兹,出于个人爱好编写。linux是一个基于posix和unix的多用户、多任务、支持多线程和多CPU的操作系统。
- Unix是20世纪70年代初出现的一个操作系统,除了作为网络操作系统之外,还可以作为单机操作系统使用。
- POSIX则是指一个UNIX的标准体系, 或一个由来自不同公司的代表所组成的一个组织, 希望按照一个共同的标准进行运作。
linux和window区别
二、VMware与CentOS的安装
一台电脑本身可以安装多个操作系统,但是做不到多个操作系统切换自如,VMware可以帮到你达到这个目的。
1.CentOS下载地址
网易镜像:http://mirrors.163.com/centos/7/isos/
搜狐镜像:https://mirrors.sohu.com/centos/7/isos/
2.VMware安装
创建新的虚拟机:
- 选择高级自定义创建
- 选择硬件兼容性
- 稍后安装操作系统,选择Linux系统和版本
- 命名虚拟机和选择虚拟机存放位置,建议存放在固态中
- 选择CPU处理器和内核数量,两者相乘要小于自身电脑的内核数
- 网络类型选择NAT
- 选择磁盘的种类,设置新的磁盘。设置最大容量为50G
具体细节建议跟着相关教学视频走,这里就不赘述了。
四、vim编辑器
使用编辑器前,难免需要新建和删除文件,这里是一些关于文件的相关命令。
命令 | 作用 |
---|---|
touch 文件名 | 新建一个文件 |
rm 文件名 | 删除一个文件 |
vim 文件名 | 编辑一个文件 |
cat 文件名 | 查看一个文件 |
使用vim进入文件编辑时,常用的命令操作有:
五、网络配置和系统管理操作
查看虚拟机IP地址:ifconfig, 要对应VMware中的IP地址
查看当前虚拟机的主机名:cat /etc/hostname
查看所有虚拟机的名称:cat /etc/hosts
六、常用基本命令
-
网络相关
ifconfig
:查看IP地址ping 目的主机或域名
: 测试网络连通性vim /etc/sysconfig/network-scripts/ifcfg-ens33
: 修改IP地址和网关systemctl start network
: 重启网络vi /ect/hostname
: 修改主机名称vi /etc/hosts
: 修改hosts映射文件systemctl status network
: 查看网络服务状态systemctl enable firewalld.service
: 设置开机时开启防火墙systemctl is_enabled firewalld.service
:查看服务是否开机自启systemctl disable firewalld.service
:设置开机时关闭防火墙
-
文件目录类
- pwd: 显式当前工作目录的绝对路径
- ls: 列出目录的内容
- -a 显示出隐藏文件
- -l 显示文件的详细信息,缩写为
ll
- cd: 切换目录
- cd 空格:回到自己的家目录
- cd - : 回到上一次所在目录
- cd -P:跳到实际物理路径,而非快捷方式路径
- cd … :回到当前目录的父目录
- mkdir:创建一个新的目录
- mkdir -p 创建多层目录
- touch: 创建空文件
- cp src dest: 将文件从源路径复制到目的路径下
- rm : 删除文件或目录
- -r : 递归删除目录中所有内容
- -f: 强制执行删除操作
- -v:显示指令的详细执行过程
- mv src dest: 移动文件目录或重命名
- cat filename: 查看文件内容
- more / less : 文件内容分屏显示器
- tail: 输出文件尾部内容
-
输入输出类
echo -e str
: 输出str到控制台ls -l > menu.txt
: 列表的内容写入文件menu.txt中ls -al >> b.txt
: 列表的内容追加到b.txt中cat a.txt > b.txt
: 将a.txt的内容覆盖到b.txtecho "abc" >> a.txt
: 将输出到控制台的内容输出到a.txt中
-
软链接
ln -s xiyou/sunwukong/qitiandasheng.txt ./houzi
:创建软链接rm -rf houzi
: 删除软链接cd -P dssz/
:进入软链接实际物理路径
-
时间日期类
date
: 显示当前时间date "+%Y-%m-%d %H:%M:%S"
: 显示年月日时分秒date -d '1 days ago'
: 显示前一天时间date -d '-1 days ago'
: 显示明天时间
-
用户管理命令
useradd 用户名
:添加新用户useradd -g 组名 用户名
:添加新用户到某个组passwd 用户名
: 设置用户密码id 用户名
: 查看用户是否存在
-
搜索查找类:
- find
- grep:
-
压缩和解压类:
- gzip 文件名: 压缩文件
- gunzip 文件名: 解压文件,注意这里解压时,后缀名必须为.gz
tar [-zcvf/ -zxvf] 包名
: 压缩/ 解压文件- -c: 产生.tar打包文件
- -v: 显示详细信息
- -f: 指定压缩后的文件名
- -z : 打包同时压缩
- -x: 解压文件
-
磁盘类命令
- df: 显示磁盘使用情况
- -h : 加上单位
- ll : 查看当前文件夹的文件大小
- df: 显示磁盘使用情况
-
进程线程类
- ps -aux: 查看所有当前进程
ps -aux | grep firefox
: 查询火狐进程- ps -ef : 查看进程ID,父进程ID
- kill -9 进程的PID:强制杀死进程
- killall 进程名称:通过进程名称杀死进程
-
查看系统健康状态
- top 命令
- -d x: 间隔x秒刷新
- -i :使top不显示任何闲置或者僵死进程
- -p 进程PID:只查看当前进程
free -m
: 以M为单位查看服务器总体内存netstat
:显示网络统计信息和端口占用情况
- top 命令
-
crontab系统定时任务
crontab -e *****
: 编辑一个定时任务crontab -L
:查询定时任务crontab -r
: 删除当前用户的所有定时任务
七、软件包管理
RPM是红帽系统里面的一种软件管理程序,主要用来管理软件。
rpm -e 软件名称
: 卸载软件rpm -ivh firefox
: 安装火狐软件- 安装包在root/CentOsXX/packages文件下
YUM(yellow dog Updater, Modified)也是一种前端软件包管理器。
- 安装包在root/CentOsXX/packages文件下
yum install wegt
: 安装wgetyum list | grep 软件名称
:获取相关软件名称版本yum -y install firefox.x86_64
: 下载软件
相关文章:

大数据之linux入门
一、linux是什么 linux操作系统 开发者是林纳斯-托瓦兹,出于个人爱好编写。linux是一个基于posix和unix的多用户、多任务、支持多线程和多CPU的操作系统。 Unix是20世纪70年代初出现的一个操作系统,除了作为网络操作系统之外,还可以作为单…...

MPI之MPI_Sendrecv接口以及空进程概念介绍
MPI_Sendrecv函数原型 int MPI_Sendrecv(const void *sendbuf, int sendcount, MPI_Datatype sendtype, int dest, int sendtag,void *recvbuf, int recvcount, MPI_Datatype recvtype, int source, int recvtag, MPI_Comm comm, MPI_Status *status);其中各个参数的含义如下&…...

Revit SDK:PointCurveCreation 创建点来拟合曲线
前言 这个例子通过留个例子来展示如何通过点来拟合曲线或者曲面。 内容 PointsParabola 生成抛物线的核心逻辑: double yctr 0; XYZ xyz null; ReferencePoint rp null; double power 1.2; while (power < 1.5){double xctr 0;double zctr 0;while (…...

嵌入式Linux开发实操(十五):nand flash接口开发
# 前言 flash memory,分NAND和NOR: 如果说nor flash有个特点就是能执行代码,NOR并行接口具有地址和数据总线,spi flash更是主要用于存储代码,SPI(或QSPI)NOR代码可就地执行(XiP),一般系统要求flash闪存提供相对较高的频率和数据缓存的clocking。而nand flash主要用于…...

vue2 组件库之vetur提示
当我们开发完自定义UI组件库后,在项目中使用时,想要达到以下提示效果,组件提示与属性提示,有什么解决方案呢: 事实上,这是vetur的功能,原文如下: Component Data | Vetur If a pac…...

慕课网 Go工程师 第三周 package和gomodules章节
Go包的引入: 包名前面加匿名,只引入但不使用,如果对应包有init函数,会执行init函数(初始化操作) 包名前面加. 把这个包的结构体和方法导入当前包,慎用,你不知道当前包和被引入的包用…...

【ES6】JavaScript 中的数组方法reduce
reduce() 是一个 JavaScript 中的数组方法,它会对数组的每个元素执行一个提供的 reducer 函数,将其减少到一个单一的值。 这是 reduce() 的基本用法: //(method) Array<number>.reduce(callbackfn: (previousValue: number, currentV…...

数据结构--树4.2(二叉树)
目录 一、二叉树的定义和特点 1、定义 2、特点 二、二叉树的基本形态 1、空二叉树 2、只有一个根结点 3、根结点只有左子树 4、根结点只有右子树 5、根结点既有左子树又有右子树 6、斜树 7、满二叉树 8、满二叉树和完全二叉树 三、二叉树的性质 一、二叉树的定义和…...

详解Numpy(基于jupyter notbook)
详解Numpy(基于jupyter notbook) 1.创建数组2.数据类型3.数组切片和索引4.Numpy的广播与数组操作5.数组合并与通用函数6.其他通用函数 1.创建数组 #引入numpy包,以后np就代表numpy import numpy as npanp.arange(10,30,2)#10为起点ÿ…...

uniapp实现:点击拨打电话,弹出电话号码列表,可以选择其中一个进行拨打
一、实现效果: 二、代码实现: 在uni-app中,使用uni.showActionSheet方法实现点击拨打电话的功能,并弹出相关的电话列表供用户选择。 当用户选择了其中一个电话后,会触发success回调函数,并通过res.tapInde…...

swc-loader Segmentation fault “$NODE_EXE“ “$NPM_CLI_JS“ “$@“
webpack swc swc还不是很稳定。 在swcrc 中有配置plugins 时,swc 转换 /node_modules/ 会报错。 环境 swc/cor1.3.62swc-loader0.2.3swc-plugin-vue-jsx0.2.5 解决 配两套rule,一套处理项目代码,一套处理node_modules webpack.config.js rules:…...

Leetcode78. 子集
给你一个整数数组 nums ,数组中的元素 互不相同 。返回该数组所有可能的子集(幂集)。 解集 不能 包含重复的子集。你可以按 任意顺序 返回解集。 回溯法 class Solution {public List<List<Integer>> subsets(int[] nums) {List…...

百度“AI智障”到AI智能体验之旅
目录 前言一、百度PLATO1.抬杠第一名2.听Ta瞎扯淡3.TA当场去世了4.智障与网友的高光时刻 二、文心一言1.设计测试用例2.随意发问3.手机端约会神器 三、体验总结:四、千帆大模型 前言 最近收到了文心一言3.5大模型的内测资格,正巧之前也体验过它的前身&q…...

R中当并行运算遇到C++函数时,让foreach+Rcpp一起工作
目录 方案一:C函数在R包中 方案二:C函数在本地,通过Rcpp::sourceCpp("fun_name.cpp")使用 方案三:将C函数写在当前脚本中 题外话:为什么要研究foreachRcpp? 本文参考: 问题:在fo…...

实现带头双向循环链表
🌈带头双向循环链表 描述:一个节点内包含两个指针,一个指向上一个节点,另一个指向下一个节点。哨兵位指向的下一个节点为头节点,哨兵位的上一个指向尾节点。 结构优势:高效率找尾节点;高效率插入…...

Mysql 表字符集变更
背景 线上有几张表的字符集是 latin1,要求换成utf8mb4。至于操作的时机则需要自行判断。 1.查看库中所有字符集为latin1的所有表 SELECTDISTINCTtable_schema,table_name,collation_name,character_set_name,CONCAT(ALTER TABLE , table_schema, ., table_name, …...

golang抓取tcp包的实现
要抓取 TCP 请求的数据包,你可以使用 golang 中的 packet 库和 pcap 库。下面是一种使用这些库来抓取 TCP 数据包的方法: 首先,确保已经安装了 pcap 库,可以使用以下命令来安装: go get -u github.com/google/gopack…...

oauth2.0第2季 分布式认证与授权实现单点登录
一 oauth介绍 1.0 疑问汇总 1.使用jwttoken进行令牌传输,资源服务器在本地怎么验证token? 1.1 oauth的基础内容 1.1.1 oauth是什么 1.1.2 oauth的角色 1.1.3 oauth的认证流程 1.1.4 oauth的4种模式 1.2 为何要用oauth2.0 1.介绍单体架构 使用ses…...

SpringBoot一些困惑及梳理
Spring中常用的classpath前缀到底指向哪里? classpath实际就是和java命令行运行时指定的classpath是同一个概念,在ideamaven中也就是指向target/classes目录。不要被网上哪些复制粘贴的文章所迷惑。classpath: 和 classpath*: 到底什么区别? classpath: 实际就是当…...

PostgreSQL汉字转拼音首字母
PostgreSQL汉字转拼音首字母,最近有个需求要做搜索优化,要求提取汉字首字母识别输入,图方便直接数据库用函数批量转换了,整理了网上的两个方法函数备忘,非原创。 https://blog.qdac.cc/?p1281 https://developer.aliy…...

HBuilderX修改manifest.json设置,解决跨域问题(CORS、Cross-Origin)
搭建一个前台uniapp,后台springboot的开发环境时,遇到了跨域问题。 console提示错误信息: Access to XMLHttpRequest at http://10.0.180.203/api/cms/getAdList?apId1 from origin http://localhost:8080 has been blocked by CORS policy…...

AR地图微信小程序:数字化时代下地图应用的新突破
随着数字化时代的到来,地图应用成为人们日常生活中不可或缺的工具。而随着增强现实(AR)技术的快速发展,AR地图微信小程序应运而生,为用户提供了一种全新的地图导航体验。本文将深入探讨AR地图微信小程序的专业性和思考…...

成集云 | 抖店客户静默下单催付数据同步钉钉 | 解决方案
源系统成集云目标系统 方案介绍 随着各品牌全渠道铺货,主播在平台上直播时客户下了订单后不能及时付款,第一时间客户收不到提醒,不仅造成了客户付款率下降,更大量消耗了企业的人力成本和经济。而成集云与钉钉深度合作࿰…...

C++中的运算符总结(5):按位逻辑运算符
C中的运算符总结(5):按位逻辑运算符 9、按位运算符 NOT( ~)、 AND( &)、 OR( |)和 XOR( ^) 逻辑运算符和按位运算符之前的差别在…...

《异常检测——从经典算法到深度学习》22 Kontrast: 通过自监督对比学习识别软件变更中的错误
《异常检测——从经典算法到深度学习》 0 概论1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法3 基于One-Class SVM的异常检测算法4 基于高斯概率密度异常检测算法5 Opprentice——异常检测经典算法最终篇6 基于重构概率的 VAE 异常检测7 基于条件VAE异常检测8 Donut: …...

大数据风控介绍
众所周知,金融是数据化程度最高的行业之一,也是人工智能和大数据技术重要的应用领域。随着大数据收集、存储、分析和模型技术日益成熟,大数据技术逐渐应用到金融风控的各个环节。个推作为专业的数据智能服务商,拥有海量数据资源&a…...

Linux内核学习(九)—— 虚拟文件系统(基于Linux 2.6内核)
虚拟文件系统(VFS)作为内核子系统,为用户空间程序提供了文件和文件系统相关的接口。通过虚拟文件系统,程序可以利用标准的 Unix 系统调用对不同的文件系统(甚至不同介质上的文件系统)进行读写操作。 一、通…...

【模拟】算法实战
文章目录 一、算法原理二、算法实战1. leetcode1576 替换所有的问号2. leetcode495 提莫攻击3. leetcode6 N字形变换4. leetcode38 外观数列5. leetcode1419 数青蛙 三、总结 一、算法原理 模拟就是用计算机来模拟题目中要求的操作,模拟题目通常具有代码量大、操作…...

各个微服务模块之间互相依赖调用的问题
首先是模块之间不能够循环引用,否则会报循环依赖引入的错误。 没有了模块之间的相互依赖,在项目中这两个模块是相互调用的,分别各自定义相应的Feign接口,如下: 最开始写的运行报错的代码如下: FeignCli…...

理论转换实践之keepalived+nginx实现HA
背景: keepalivednginx实现ha是网站和应用服务器常用的方法,之前项目中单独用nginx实现过负载均衡和服务转发,keepalived一直停留在理论节点,加之最近工作编写的一个技术文档用到keepalived,于是便有了下文。 服务组件…...