[ 容器 ] Docker 安全及日志管理
目录
- Docker 容器与虚拟机的区别
- Docker 存在的安全问题
- Docker 架构缺陷与安全机制
- Docker 安全基线标准
- 容器相关的常用安全配置方法
- 限制流量流向
- 镜像安全
- 避免Docker 容器中信息泄露
- DockerClient 端与 DockerDaemon 的通信安全
容器的安全性问题的根源在于容器和宿主机共享内核。如果容器里的应用导致Linux内核崩溃,那么整个系统可能都会崩溃。与虚拟机是不同的,虚拟机并没有与主机共享内核,虚拟机崩溃一般不会导致宿主机崩溃。
Docker 容器与虚拟机的区别
-
隔离与共享
虚拟机通过添加 Hypervisor 层(虚拟化中间层),虚拟出网卡、内存、CPU 等虚拟硬件,再在其上建立虚拟机,每个虚拟机都有自己的系统内核。
而Docker容器则是通过隔离的方式,将文件系统、进程、设备、网络等资源进行隔离,再对权限、CPU 资源等进行控制,最终让容器之间互不影响,容器无法影响宿主机。
容器与宿主机共享内核、文件系统、硬件等资源。 -
性能与损耗
与虚拟机相比,容器资源损耗要少。同样的宿主机下,能够建立容器的数量要比虚拟机多。
但是,虚拟机的安全性要比容器稍好,要从虚拟机攻破到宿主机或其他虚拟机,需要先攻破 Hypervisor 层,这是极其困难的。
而 docker 容器与宿主机共享内核、文件系统等资源,更有可能对其他容器、宿主机产生影响。
同点 | Docker容器 | 虚拟机 |
---|---|---|
启动速度 | 快,几秒钟 | 慢,几分钟 |
运行性能 | 接近原生(直接在内核中运行) | 运行于Hypervisor上,50%左右损失 |
磁盘占用 | 小,甚至几十KB(根据镜像层的情况) | 非常大,上GB |
并发性 | 一台宿主机可以启动成百上千个容器 | 最多几十个虚拟机 |
隔离性 | 进程级别 | 系统级别(更彻底) |
操作系统 | 主要支持Linux | 几乎所有 |
封装程度 | 只打包项目代码和依赖关系,共享宿主机内核 | 完整的操作系统,与宿主机隔离 |
Docker 存在的安全问题
1.Docker 自身漏洞
作为一款应用 Docker 本身实现上会有代码缺陷。CVE 官方记录 Docker 历史版本共有超过 20 项漏洞,可参见 Docker 官方网站。
黑客常用的攻击手段主要有代码执行、权限提升、信息泄露、权限绕过等。目前 Docker 版本更迭非常快,Docker 用户可将 Docker 升级为最新版本。
2.Docker 源码问题
Docker 提供了 Docker hub,可以让用户上传创建的镜像,以便其他用户下载,快速搭建环境。但同时也带来了一些安全问题。
例如下面三种方式:
(1)黑客上传恶意镜像
如果有黑客在制作的镜像中植入木马、后门等恶意软件,那么环境从一开始就已经不安全了,后续更没有什么安全可言。
(2)镜像使用有漏洞的软件
DockerHub上能下载的镜像里面,75%的镜像都安装了有漏洞的软件。所以下载镜像后,需要检查里面软件的版本信息,对应的版本是否存在漏洞,并及时更新打上补丁。
(3)中间人攻击篡改镜像
镜像在传输过程中可能被篡改,目前新版本的 Docker 已经提供了相应的校验机制来预防这个问题。
Docker 架构缺陷与安全机制
Docker本身的架构与机制就可能产生问题,例如这样一种攻击场景,黑客已经控制了宿主机上的一些容器,或者获得了通过在公有云上建立容器的方式,然后对宿主机或其他容器发起攻击。
-
容器之间的局域网攻击
主机上的容器之间可以构成局域网,因此针对局域网的ARP欺骗、端口扫描、广播风暴等攻击方式便可以用上。
所以,在一个主机上部署多个容器需要合理的配置网络安全,比如设置 iptables 规则。 -
DDoS 攻击耗尽资源
Cgroups 安全机制就是要防止此类攻击的,不要为单一的容器分配过多的资源即可避免此类问题。 -
有漏洞的系统调用
Docker 与虚拟机的一个重要的区别就是 Docker 与宿主机共用一个操作系统内核。
一旦宿主内核存在可以越权或者提权漏洞,尽管Docker使用普通用户执行,在容器被入侵时,攻击者还可以利用内核漏洞跳到宿主机做更多的事情。 -
共享root用户权限
如果以 root 用户权限运行容器(docker run --privileged),容器内的 root 用户也就拥有了宿主机的root权限。
Docker 安全基线标准
下面从内核、主机、网络、镜像、容器以及其它等 6 个方面总结 Docker 安全基线标准。
-
内核级别
(1)及时更新内核。
(2)User NameSpace(容器内的 root 权限在容器之外处于非高权限状态)。
(3)Cgroups(对资源的配额和度量),设置CPU、内存、磁盘 IO等资源限制。
(4)通过启用 SELinux(控制文件访问权限)适当的强化系统来增加额外的安全性。
(5)Capability(权限划分),比如划分指定的CPU给容器。
(6)Seccomp(限定系统调用),限制不必要的系统调用。
(7)禁止将容器的命名空间与宿主机进程命名空间共享,比如 host 网络模式。 -
主机级别
(1)为容器创建独立分区,比如创建在分布式文件系统上。
(2)仅运行必要的服务,注意尽量避免在容器中运行 ssh 服务 。
(3)禁止将宿主机上敏感目录映射到容器,-v创建数据卷时需要注意。
(4)对 Docker 守护进程、相关文件和目录进行审计,防止有病毒或木马文件生成。
(5)设置适当的默认文件描述符数。
(6)用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限。
(7)周期性检查每个主机的容器清单,并清理不必要的容器。 -
网络级别
(1)通过 iptables 设定规则实现禁止或允许容器之间网络流量。
(2)允许 Docker 修改 iptables。
(3)禁止将 Docker 绑定到其他已使用的 IP/Port 或者 Unix Socket。
(4)禁止在容器上映射特权端口。
(5)容器上只开放所需要的端口。
(6)禁止在容器上使用 host 网络模式。
(7)若宿主机有多个网卡,将容器进入流量绑定到特定的主机网卡上。
docker network create --subnet=172.18.0.0/16 --opt “com.docker.network.bridge.name”=“docker1” mynetwork
docker run -itd --net mynetwork --ip 172.18.0.100 centos:7 /bin/bash
iptables -t nat -A POSTROUTING -s 172.18.0.100 -o ens36 -j SNAT --to-source 192.168.80.10 -
镜像级别
(1)创建本地私有镜像仓库服务器。
(2)镜像中软件都为最新版本,建议根据实际情况使用对应版本,业务稳定优先。
(3)使用可信镜像文件,并通过安全通道下载。
(4)重新构建镜像而非对容器和镜像打补丁,销毁异常容器重新构建。
(5)合理管理镜像标签,及时移除不再使用的镜像。
(6)使用镜像扫描。
(7)使用镜像签名。 -
容器级别
(1)容器最小化,操作系统镜像最小集。
(2)容器以单一主进程的方式运行。
(3)禁止 --privileged 标记使用特权容器。
(4)禁止在容器上运行 ssh 服务,尽量使用 docker exec 进入容器。
(5)以只读的方式挂载容器的根目录系统,-v 宿主机目录:容器目录:ro。
(6)明确定义属于容器的数据盘符。
(7)通过设置 on-failure 限制容器尝试重启的次数,容器反复重启容易丢失数据,–restart=on-failure:3。
(8)限制在容器中可用的进程数,docker run -m 限制内存的使用,以防止 fork 炸弹。 (fork炸弹,迅速增长子进程,耗尽系统进程数量).(){.|.&};. -
其他设置
(1)定期对宿主机系统及容器进行安全审计。
(2)使用最少资源和最低权限运行容器,此为 Docker 容器安全的核心思想。
(3)避免在同一宿主机上部署大量容器,维持在一个能够管理的数量。
(4)监控 Docker 容器的使用,性能以及其他各项指标,比如 zabbix。
(5)增加实时威胁检测和事件报警响应功能,比如 zabbix。
(6)使用中心和远程日志收集服务,比如 ELK 。
由于安全属于非常具体的技术,这里不再赘述,可直接参阅 Docker 官方文档,https://docs.docker.com/engine/security/
容器相关的常用安全配置方法
- 容器最小化
如果仅在容器中运行必要的服务,像 SSH 等服务是不能轻易开启去连接容器的。通常使用以下方式来进入容器。
docker exec -it a661258f6bfe bash
- Docker 远程 API 访问控制
Docker 的远程调用API 接口存在未授权访问漏洞,至少应限制外网访问。建议使用 Socket 方式访问。
//在 docker 服务配置文件指定监听内网 ip
vim /usr/lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin
/dockerd -H unix:///var/run/docker.sock -H tcp://192.168.80.10:2375(2)重启 Docker
systemctl daemon-reload
systemctl restart docker
netstat -natp | grep 2375(3)在宿主机的 firewalld 上做 IP 访问控制,source address 指定的是客户端地址
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.80.15" port protocol="tcp" port="2375" accept"
firewall-cmd --reload
或
iptables -t filter -A INPUT -s 192.168.80.15 -p tcp --dport 2375 -j ACCEPT (4)在客户端上实现远程授权访问
docker -H tcp://192.168.80.10 images
限制流量流向
//使用防火墙过滤器限制 Docker 容器的源 IP 地址范围与外界通讯。
firewall-cmd --permanent --zone=public --add-rich-rule=“rule family=“ipv4” source address=“192.168.80.0/24” reject”
iptables -t filter -A INPUT -s 192.168.80.0/24 -j REJECT
//生产环境中的大量问题是因为 Docker 容器端口外放引起的漏洞,除了操作系统账户权限控制上的问题,更在于对 Docker Daemon 的进程管理上存在隐患。
目前常用的 Docker 版本都支持 Docker Daemon 管理宿主机 iptables 的,而且一旦启动进程加上 -p host_port:guest_port 的端口映射,Docker Daemon 会直接增加对应的 FORWARD Chain 并且 -j ACCEPT,而默认的 DROP 规则是在 INPUT 链做的,对 docker 没法限制,这就留下了很严重的安全隐患。因此建议:
(1)不在有外网 ip 的机器上使用 Docker 服务。
(2)使用 k8s 等 docker 编排系统管理 Docker 容器。
(3)宿主机上 Docker daemon 启动命令加一个 --iptables=false,然后把常用 iptables 规则写进文件里,再用 iptables-restore 重定向输入去刷新规则。
镜像安全
一般情况下,要确保只从受信任的库中获取镜像,推荐使用 harbor 私有仓库。
如果公司使用的不是自己的镜像源,需要使用 Docker 镜像安全扫描工具 Clair,对下载的镜像进行检查。通过与 CVE 数据库同步扫描镜像,验证镜像的 md5 等特征值,确认一致后再基于镜像进一步构建。一旦发现漏洞则通知用户处理, 或者直接阻止镜像继续构建。
避免Docker 容器中信息泄露
近几年 Github 上大量泄露个人或企业各种账号密码,出现这种问题一般都使用 dockerfile 或者 docker-compose 文件创建容器。 如果这些文件中存在账号密码等认证信息,一旦 Docker 容器对外开放,则这些宿主机上的敏感信息也会随之泄露。
DockerClient 端与 DockerDaemon 的通信安全
为了防止链路劫持、会话劫持等问题导致 Docker 通信时被中间人攻击,c/s 两端应该通过 TLS 加密方式通讯。
通过在服务端上创建tls密钥证书,再下发给客户端,客户端通过私钥访问容器,这样就保证的docker通讯的安全性。
//使用证书访问的工作流程:
(1)客户端发起HTTPS请求,连接到服务器的443端口。
(2)服务器必须要先申请好一套数字证书(证书内容有公钥、证书颁发机构、失效日期等)。
(3)服务器将自己的数字证书发送给客户端(公钥在证书里面,私钥由服务器持有)。
(4)客户端收到数字证书之后,会先验证证书的合法性。如果证书验证通过,就会使用伪随机数生成器(/dev/random)随机生成一个【对称密钥】,使用证书的公钥加密这个【对称密钥】。
(5)客户端将公钥加密后的【对称密钥】发送到服务器。
(6)服务器接收到客户端发来的密文密钥之后,用自己之前保留的私钥对其进行非对称解密,解密之后就得到客户端的【对称密钥】,然后用客户端的【对称密钥】对返回数据进行加密,这样传输的数据都是密文了。
(7)服务器将加密后的密文数据返回到客户端。
(8)客户端收到后,用自己的【对称密钥】对其进行对称解密,得到服务器返回的数据。
首先创建ca证书,ca证书只是一个官方认证的证书,接下来要创建server、client节点的证书。
此时创建证书有三步:
(1)设置私钥,确保安全加密
(2)使用私钥签名,确保身份真实不可抵赖
(3)使用ca证书制作证书
master 192.168.80.10 docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce
client 192.168.80.15 docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce
注:由于 20.10.9 版本的 docker 客户端用的 go 版本是 go1.16.8,而 go1.15 以后的版本不支持私有 CA 生成的证书,所以这里 docker 客户端仍使用 docker-ce-cli-20.10.5-3.el7.x86_64 安装的版本。
//首先创建一个存放目录
mkdir /tls
cd /tls/
//生成ca证书
(1)创建ca私钥
openssl genrsa -aes256 -out ca-key.pem 4096 #输入123123
genrsa:使用RSA算法产生私钥
-aes256:使用256位密钥的AES算法对私钥进行加密,这样每次使用私钥文件都将输入密码,可省略
-out:输出文件的路径,若未指定输出文件,则为标准输出
4096:指定私钥长度,默认为1024。该项必须为命令行的最后一项参数
(2)创建ca证书
openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj “/CN=*” -out ca.pem
req:执行证书签发命令
-new:新证书签发请求
-x509:生成x509格式证书,专用于创建私有CA时使用
-days:证书的有效时长,单位是天
-key:指定私钥路径
-sha256:证书摘要采用sha256算法
-subj:证书相关的用户信息(subject的缩写)
-out:输出文件的路径
//用 ca 证书签发 server 端证书
(3)创建服务器私钥
openssl genrsa -out server-key.pem 4096
(4)生成证书签名请求文件(csr文件)
openssl req -new -key server-key.pem -sha256 -subj “/CN=*” -out server.csr
(5)使用ca 证书与私钥证书签发服务端签名证书,输入 123123,(需要签名请求文件,ca 证书,ca 密钥)
openssl x509 -req -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -days 1000 -out server-cert.pem
x509:生成x509格式证书
-req:输入csr文件
-in:要输入的csr文件
-CA:指定ca证书的路径
-CAkey:指定ca证书的私钥路径
-CAcreateserial:表示创建证书序列号文件,创建的序列号文件默认名称为ca.srl
//用ca证证书签发client端证书
(6)生成客户端私钥
openssl genrsa -out client-key.pem 4096(7)生成证书签名请求文件
openssl req -new -key client-key.pem -subj "/CN=client" -out client.csr(8)创建扩展配置文件,使秘钥适合客户端身份验证
echo extendedKeyUsage=clientAuth > extfile.cnf(9)使用 ca 证书签发客户端签名证书,输入 123123,(需要签名请求文件,ca 证书,ca 密钥)
openssl x509 -req -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -extfile extfile.cnf -days 1000 -out client-cert.pem //删除两个证书签名请求文件和扩展配置文件
rm -rf ca.srl client.csr extfile.cnf server.csr//配置docker服务配置文件
vim /lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock//重启docker服务
systemctl daemon-reload
systemctl restart docker
netstat -natp | grep 2376
setenforce 0//将 /tls 目录中的 ca.pem、client-cert.pem、client-key.pem 三个文件复制到另一台主机
scp ca.pem root@192.168.80.10:/etc/docker/
scp client-cert.pem root@192.168.80.10:/etc/docker/
scp client-key.pem root@192.168.80.10:/etc/docker///本地验证,使用证书访问时要用主机名连接,docker 不支持使用 IP 进行证书访问
hostnamectl set-hostname master
suvim /etc/hosts
127.0.0.1 masterdocker --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --tlskey=server-key.pem -H tcp://master:2376 images//在客户端上操作
hostnamectl set-hostname client
suvim /etc/hosts
192.168.80.10 mastercd /etc/docker/
docker --tlsverify --tlscacert=ca.pem --tlscert=client-cert.pem --tlskey=client-key.pem -H tcp://master:2376 images
相关文章:

[ 容器 ] Docker 安全及日志管理
目录 Docker 容器与虚拟机的区别Docker 存在的安全问题Docker 架构缺陷与安全机制Docker 安全基线标准容器相关的常用安全配置方法限制流量流向镜像安全避免Docker 容器中信息泄露DockerClient 端与 DockerDaemon 的通信安全 容器的安全性问题的根源在于容器和宿主机共享内核。…...

游游的排列构造
示例1 输入 5 2 输出 3 1 5 2 4 示例2 输入 5 3 输出 2 1 4 3 5 #include<bits/stdc.h> using namespace std; typedef long long ll; const int N1e55; int n,k; int main(){scanf("%d%d",&n,&k);int xn-k1;int yn-k;int f1;for(int i1;i&l…...

拯救者Y9000K无线Wi-Fi有时不稳定?该如何解决?
由于不同品牌路由器的性能差异,无法完美兼容最新的无线网卡技术,在连接网络时(特别是网络负载较大的情况下),可能会出现Wi-Fi信号断开、无法网络无法访问、延迟突然变大的情况;可尝试下面方法进行调整。 1…...

【业务功能篇59】Springboot + Spring Security 权限管理 【下篇】
UserDetails接口定义了以下方法: getAuthorities(): 返回用户被授予的权限集合。这个方法返回的是一个集合类型,其中每个元素都是一个GrantedAuthority对象,表示用户被授予的权限。getPassword(): 返回用户的密码。这个方法返回的是一个字符…...

性能优化 - 前端性能监控和性能指标计算方式
性能优化 - 前端性能监控和性能指标计算方式 前言一. 性能指标介绍1.1 单一指标介绍1.2 指标计算① Redirect(重定向耗时)② AppCache(应用程序缓存的DNS解析)③ DNS(DNS解析耗时)④ TCP(TCP连接耗时)⑤ TTFB(请求响应耗时)⑥ Trans(内容传输耗时)⑦ DOM(DOM解析耗时) 1.3 FP(f…...
git stash clear清空本地暂存代码
git stash clear清空本地暂存代码 git stash 或者 git stash list 查看本地暂存的代码。 清除本地暂存的代码修改: git stash clear git回退代码仓库版本_git回退到之前的版本会影响本地代码嘛_zhangphil的博客-CSDN博客git回退代码版本_git回退到之前的版本会影…...

消防应急照明设置要求在炼钢车间电气室的应用
摘 要:文章以GB51309—2018《消防应急照明和疏散指示系统技术标准》为设计依据,结合某炼钢车间转炉项目的设计过程,在炼钢车间电气室的疏散照明和备用照明的设计思路、原则和方法等方面进行阐述。通过选择合理的消防应急疏散照明控制系统及灯具供配电方案…...

element 表单验证 深层验证绑定
直接上代码 :prop 和prop 都可以,vue2和vue3或者是element、elementplus都可以用 <template><div class"page page-table"><section class"page-query-form"><breadcrumb :hasLine"false" /></section&g…...

brew 换镜像网站
在国内,使用brew极慢. 因为它需要访问国外的一些服务器. 解决方法是使用国内的镜像站. 如果是首次安装: curl https://raw.githubusercontent.com/Homebrew/install/master/install.sh > install-brew.sh 然后,在下载的文件中, 修改BREW_REPO为: BREW_REPO"https…...

WIZnet W5500-EVB-Pico 静态IP配置教程(二)
W5500是一款高性价比的 以太网芯片,其全球独一无二的全硬件TCP、IP协议栈专利技术,解决了嵌入式以太网的接入问题,简单易用,安全稳定,是物联网设备的首选解决方案。WIZnet提供完善的配套资料以及实时周到的技术支持服务…...

R语言无法调用stats.dll的问题解决方案[补充]
写在前面 在去年10月份,出过一起关于R语言无法调用stats.dll的问题解决方案,今天(你看到后是昨天)不知道为什么,安装包,一直安装不了,真的是炸裂了。后面再次把R与Rstuido升级。说实话,我是真不…...

无线蓝牙耳机有什么推荐?怎么选择适合自己的耳机?七款蓝牙耳机分享
随着信息技术的不断发展,蓝牙耳机的不断发展也是必然的,可以说蓝牙耳机在大部分人们的生活中是不可缺少的一部分。那么我们该怎么去挑选出适合我们自己的需求的“蓝”朋友呢? 第一款:南卡小音舱lite2蓝牙耳机 推荐指数ÿ…...

【数据分析专栏之Python篇】四、pandas介绍
前言 在上一篇中我们安装和使用了Numpy。本期我们来学习使用 核心数据分析支持库 Pandas。 一、pandas概述 1.1 pandas 简介 Pandas 是 Python 的 核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。 …...

《算法竞赛·快冲300题》每日一题:“最小生成树”
《算法竞赛快冲300题》将于2024年出版,是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码,以中低档题为主,适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 最…...

mysql的主键选择
一.没有定义主键有什么问题 如果定义了主键,那么InnoDB会使用主键作为聚簇索引如果没有定义主键,那么会使用第一非空的唯一索引(NOT NULL and UNIQUE INDEX)作为聚簇索引如果既没有主键也找不到合适的非空索引,那么In…...

Eureka 学习笔记1:服务端实例缓存
版本 awsVersion ‘1.11.277’ 缓存类型registryConcurrentHashMap<String, Map<String, Lease<InstanceInfo>>>AbstractInstanceRegistry成员变量readWriteCacheMapLoadingCacheResponseCacheImpl成员变量readOnlyCacheMapConcurrentMap<Key, Value>…...

vue : 无法加载文件 C:\Users\86182\AppData\Roaming\npm\vue.ps1,因为在此系统上禁止运行脚本。
windows11: PS E:\VueProjects> vue vue : 无法加载文件 C:\Users\86182\AppData\Roaming\npm\vue.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅 https:/ go.microsoft.com/fwlink/?LinkID135170 中的 about_Execution_Policie…...

FLinkCDC读取MySQl时间戳时区相关问题解决汇总
FlinkCDC时间问题timestamp等https://blog.csdn.net/qq_30529079/article/details/127809317 FLinkCDC读取MySQl中的日期问题https://blog.csdn.net/YPeiQi/article/details/130265653 关于flink1.11 flink sql使用cdc时区差8小时问题https://blog.csdn.net/weixin_44762298/…...

第三篇-Tesla P40+CentOS7+CUDA 11.7 部署实践
硬件环境 系统:CentOS-7 CPU: 14C28T 显卡:Tesla P40 24G 准备安装 驱动: 515 CUDA: 11.7 cuDNN: 8.9.2.26 安装依赖 yum clean all yum update yum install -y gcc gcc-c pciutils kernel-devel-$(uname -r) kernel-headers-$(uname -r)查看GPU信息…...

AC+FIT(瘦AP)配置浅谈
FIT ensp实验材料 :pc、路由器、三层交换机、二层交换机、ac、ap 保证连通性: 根据ac与ap设计好的ip配置,使之可以通讯 ac与ap可以实现跨网段管理 1、设置三层交换机的vlan 与vlanif信息 dhcp enable //开启dhcp ip pool forap //…...

【Python】PySpark 数据计算 ② ( RDD#flatMap 方法 | RDD#flatMap 语法 | 代码示例 )
文章目录 一、RDD#flatMap 方法1、RDD#flatMap 方法引入2、解除嵌套3、RDD#flatMap 语法说明 二、代码示例 - RDD#flatMap 方法 一、RDD#flatMap 方法 1、RDD#flatMap 方法引入 RDD#map 方法 可以 将 RDD 中的数据元素 逐个进行处理 , 处理的逻辑 需要用外部 通过 参数传入 map…...

二叉树题目:左叶子之和
文章目录 题目标题和出处难度题目描述要求示例数据范围 解法一思路和算法代码复杂度分析 解法二思路和算法代码复杂度分析 题目 标题和出处 标题:左叶子之和 出处:404. 左叶子之和 难度 3 级 题目描述 要求 给你二叉树的根结点 root \texttt{ro…...

Spark SQL报错: Task failed while writing rows.
错误 今天运行 Spark 任务时报了一个错误,如下所示: WARN scheduler.TaskSetManager: Lost task 9.0 in stage 3.0 (TID 69, xxx.xxx.xxx.com, executor 3): org.apache.spark.SparkException: Task failed while writing rows.at org.apache.spark.sq…...

Linux系统下U盘打不开: No application is registered as handling this file
简述 系统是之前就安装好使用的Ubuntu14.04,不过由于某些原因只安装到了机械硬盘中;最近新买了一块固态硬盘,所以打算把Ubuntu系统迁移到新的固态硬盘上; 当成功的迁移了系统之后发现其引导有点问题,导致多个系统启动不…...

07 定时器处理非活动连接(上)
07 定时器处理非活动连接(上) 基础知识 非活跃,是指客户端(这里是浏览器)与服务器端建立连接后,长时间不交换数据,一直占用服务器端的文件描述符,导致连接资源的浪费。 定时事件&a…...

python——案例四:判断字符串中的元素组成
案例四:判断字符串中的元素组成str"Hello World! 666" print(str.isalnum()) #判读所有的字符都是数字或者是字母 print(str.isalpha()) #判读所有的字符都是字母 print(str.isdigit()) #判读所有的字符都是数字 print(str.islower()) #判读所有的字符都是…...

一起学算法(插入排序篇)
概念: 插入排序(inertion Sort)一般也被称为直接插入排序,是一种简单的直观的排序算法 工作原理:将待排列元素划分为(已排序)和(未排序)两部分,每次从&…...

JVM基础篇-本地方法栈与堆
JVM基础篇-本地方法栈与堆 本地方法栈 什么是本地方法? 本地方法即那些不是由java层面实现的方法,而是由c/c实现交给java层面进行调用,这些方法在java中使用native关键字标识 public native int hashCode()本地方法栈的作用? 为本地方法提供内存空…...

防雷保护区如何划分,防雷分区概念LPZ介绍
在防雷设计中,很重要的一点就是防雷分区的划分,只有先划分好防雷区域等级,才好做出比较好的防雷器设计方案。 因为标准对不同区安装的防雷浪涌保护器要求是不一样的。 那么,防雷保护区是如何划分的呢? 如上图所示&…...

随手笔记——3D−3D:ICP求解
随手笔记——3D−3D:ICP求解 使用 SVD 求解 ICP使用非线性优化来求解 ICP 原理参见 https://blog.csdn.net/jppdss/article/details/131919483 使用 SVD 求解 ICP 使用两幅 RGB-D 图像,通过特征匹配获取两组 3D 点,最后用 ICP 计算它们的位…...