云商城--基础数据处理和分布式文件存储

第2章 基础数据处理和分布式文件存储

1.分布式文件存储系统Ceph学习

​ 1).掌握Ceph架构

​ 2).掌握Ceph组件

​ 3).搭建Ceph集群(了解)

2.Ceph使用

​ 1).基于Ceph实现文件上传

​ 2).基于Ceph实现文件下载

3.SKU、SPU管理

​ 1).掌握SKU和SPU关系

​ 2).理解商品发布中商品属性、商品分类、商品品牌加载方案

​ 3).实现SKU和SKU管理（商品发布）

4.品牌管理、分类管理、属性管理（作业）

​ 1).实现品牌管理（增删改查）

​ 2).实现分类管理（增删改查）

​ 3).实现属性管理（增删改查）

5.掌握MyBatisPlus代码生成

​ 1).掌握MyBatisPlus代码生成配置

​ 2).掌握MyBatisPlus代码生成controller,service,mapper

1.分布式文件存储系统Ceph

Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性

对比说明	FASTDFS	CEPH
开发语言	C	C++
数据存储方式	文件/Trunk	对象/文件/块
在线扩容	支持	支持
冗余备份	支持	支持
单点故障	不存在	不存在
易用性	安装简单，社区相对活跃	安装有一定复杂度
适用场景	单集群的中小文件	单集群的大中小文件

1.1 Ceph介绍

Ceph于2004年发表，并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储

Ceph特点：

CRUSH算法：Crush算法是ceph的两大创新之一，简单来说，ceph摒弃了传统的集中式存储元数据寻址的方案，转而使用CRUSH算法完成数据的寻址操作。CRUSH在一致性哈希基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。Crush算法有相当强大的扩展性，理论上支持数千个存储节点

高性能：Ceph中的数据副本数量可以由管理员自行定义，并可以通过CRUSH算法指定副本的物理存储位置以分隔故障域，支持数据强一致性； ceph可以忍受多种故障场景并自动尝试并行修复

高扩展性：Ceph本身并没有主控节点，扩展起来比较容易，并且理论上，它的性能会随着磁盘数量的增加而线性增长

特性丰富：Ceph支持三种调用接口：对象存储，块存储，文件系统挂载。三种方式可以一同使用。在国内一些公司的云环境中，通常会采用ceph作为openstack的唯一后端存储来提升数据转发效率

中文学习网：http://docs.ceph.org.cn/

Ceph架构：

组件对象讲解：

RADOS：就是这样一个可用于PB级规模数据存储集群的可伸缩的、可靠的对象存储服务，可以理解成Ceph的整个存储对象，包括逻辑对象

File：用户上传的文件

object：上传的文件被切成N个小文件块对象，RADOS的基本存储单元

MDS：元数据的内存缓存，为了加快元数据的访问

CRUSH：Ceph寻址算法，用于计算当前文件存储到哪个PG对应的OSD中

PG：对object的存储进行组织和位置映射。具体而言，一个PG负责组织若干个object（可以为数千个甚至更多），但一个object只能被映射到一个PG中，即，PG和object之间是“一对多”映射关系。同时，一个PG会被映射到n个OSD上，而每个OSD上都会承载大量的PG，即，PG和OSD之间是“多对多”映射关系

OSD：RADOS中的存储节点被称为OSD

架构图讲解：

1.文件上传，先将文件切片成N个object（如果开启了cephFS，可以使用MDS缓存）
2.切片后的文件object会存入到Ceph中
3.文件存储前，会经过CRUSH算法，计算当前文件存储归结于哪个PG
4.PG是逻辑概念上对文件存储范围划分的索引
5.根据PG索引将文件存储到指定服务器的OSD中

1.2 Ceph集群搭建

集群结构如上图，server1作为主节点(Dashbaord、mon、mds、rgw、mgr、osd)，server2和server3作为子节点(mon、mds、rgw、mgr、osd)

节点中信息说明：

dashbaord:Ceph可视化管理界面
rgw:RADOSGW,Ceph对象网关,使客户端能够利用标准对象存储API来访问Ceph集群
mgr:ceph-mgr，主要目标实现 ceph 集群的管理，为外界提供统一的入口

节点信息：
server1:192.168.100.131
server2:192.168.100.132
server3:192.168.100.133

1.2.1 准备工作

1)机器名称修改（131、132、133都执行）

我们给每台机器一个别名192.168.100.131->CENTOS1,192.168.100.132->CENTOS2,192.168.100.133->CENTOS3

修改192.168.100.131/etc/hostname，添加CENTOS1

修改192.168.100.(同上)/etc/hostname，添加CENTOS2(同上)

修改192.168.100.133/etc/hostname，添加CENTOS3(同上)

配置名字解析IP：分别修改131、132、133的/etc/hosts文件，添加如下映射：

192.168.100.131 CENTOS1
192.168.100.132 CENTOS2
192.168.100.133 CENTOS3

2)YUM源修改（131、132、133都执行）

这里采用清华镜像源，提升加载速度

vi /etc/yum.repos.d/ceph.repo,添加如下内容：

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc[Ceph-noarch]
name=Ceph noarch packages
# 清华源
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

3)ceph与ceph-deploy安装（131）

更新yum源，并安装ceph和ceph-deploy，这个过程非常耗时间，执行如下命令：

yum update && yum -y install ceph ceph-deploy

注意：yum update和yum -y install python2-pip最好在每台机器都更新下yum。

安装过程中， 如果执行ceph-deploy出现ImportError: No module named pkg_resources,则需要安装python2-pip，执行yum -y install python2-pip 安装即可

如果遇到如下错误，安装下epel即可

操作命令：(最好先执行该命令)

yum install epel-release -yyum install lttng-ust -y

4)NTP时间同步工具（131执行）

为了保证时间同步，我们需要安装NTP时间同步工具：

yum install ntp ntpdate ntp-doc -y

设为开机启动：

systemctl enable ntpd

设置每隔1小时自动校准同步。编辑 vi /etc/rc.d/rc.local 追加：

/usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

配置定时任务, 执行crontab -e 加入：

0 */1 * * * ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

5)免密配置（131、132、133都执行）

官方建议不用系统内置用户， 创建名为cuser用户， 密码也设为cuser：

useradd -d /home/cuser -m cuser
passwd cuser

设置sudo权限：(免密+只读权限)

echo "cuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cuser
sudo chmod 0440 /etc/sudoers.d/cuser

6)生成秘钥：（131执行）

切换用户： su cuser

执行ssh-keygen，一直按默认提示点击生成RSA密钥信息。

分发密钥至各机器节点

ssh-copy-id cuser@CENTOS1
ssh-copy-id cuser@CENTOS2
ssh-copy-id cuser@CENTOS3

修改管理节点上的 ~/.ssh/config （当前用户目录下的.ssh/config）文件， 简化SSH远程连接时的输入信息：

管理节点是会有root和cuser多个用户， ssh远程连接默认会以当前用户身份进行登陆， 如果我们是root身份进行远程连接， 还是需要输入密码，我们可以修改配置 使用root远程连接时也不用输入密码。

切换root身份，

su root

编辑config

vi ~/.ssh/config

添加如下内容：

Host CENTOS1Hostname CENTOS1User cuser
Host CENTOS2Hostname CENTOS2User cuser
Host CENTOS3Hostname CENTOS3User cuser

修改文件权限：

chmod 600 ~/.ssh/config

禁用SELINUX：

vi /etc/selinux/configSELINUX=disabled

1.2.2 集群搭建

安装集群，用root安装，可以避免很多权限问题。

1)创建集群管理目录，作为ceph配置信息存储目录

mkdir -p /usr/local/gupao/cephclustercd /usr/local/gupao/cephcluster

2)创建集群

ceph-deploy new CENTOS1  CENTOS2 CENTOS3

创建成功后， 会生配置文件和秘钥信息

3)修改配置文件

编辑ceph.conf文件vi /usr/local/gupao/cephcluster/ceph.conf，添加如下配置：

#对外开放网段
public network = 192.168.100.0/24
# 设置pool池默认分配数量
osd pool default size = 2
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
# 允许删除pool
mon_allow_pool_delete = true
[mgr]
# 开启WEB仪表盘
mgr modules = dashboard

注意：Pool是存储对象的逻辑分区，它规定了数据冗余的类型和对应的副本分布策略

完整内容如下：

文件修改后执行安装（131执行），此时3台机器都会执行安装执行如下安装命令：

ceph-deploy install  CENTOS1  CENTOS2 CENTOS3

如果出现ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph --version错误，可以直接在每个节点单独执行yum -y install ceph 进行单独安装。如果没有仓库文件ceph.repo， 按上面的步骤手工创建

4)初始化Monitor信息

ceph-deploy mon create-initial

此时会生成很多秘钥文件信息

5)同步管理信息

ceph-deploy admin  CENTOS1  CENTOS2 CENTOS3

6)安装mgr(管理守护进程)

ceph-deploy mgr create CENTOS1  CENTOS2 CENTOS3

7)安装rgw

ceph-deploy rgw create CENTOS1 CENTOS2 CENTOS3

mds服务：

ceph-deploy mds create CENTOS1 CENTOS2 CENTOS3

注意：任意一个环节安装失败了，需要卸载重装：

ceph-deploy purge CENTOS1 CENTOS2 CENTOS3
ceph-deploy purgedata CENTOS1 CENTOS2 CENTOS3
ceph-deploy forgetkeys

将三台节点的mon信息也删除：

rm -rf /var/run/ceph/

如果出现错误：

ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph --version

可以在各节点上单独进行安装：

yum -y install ceph 

8)OSD安装

OSD服务是对象存储守护进程， 负责把对象存储到本地文件系统， 必须要有一块独立的磁盘作为存储。如果没有独立磁盘，怎么办？ 可以在Linux下面创建一个虚拟磁盘进行挂载

添加磁盘:

执行fdisk -l查看磁盘信息如下，我们需要添加一个磁盘，直接用VMware添加即可。

使用VMware选择设置->硬盘->添加，如下图：

一直点击下一步，设置磁盘空间大小为10G即可。操作完后重启虚拟机，并输入fdisk -l查看磁盘信息如下，明显多了/dev/sdb 10G大小

执行创建OSD命令：(注意，每条命令都是在131中执行，不要在每台机器中单独执行)

ceph-deploy osd create --data /dev/sdb CENTOS1ceph-deploy osd create --data /dev/sdb CENTOS2ceph-deploy osd create --data /dev/sdb CENTOS3

Monitor查看

在/usr/bin下执行./ceph -s可以查看集群状态

可以执行ntpdate ntp1.aliyun.com 同步各个节点的时间

如果出现如下情况，执行systemctl restart ceph.target重启每个节点即可（131,132,133都执行）

1.2.3 dashboard安装

Ceph 提供了原生的Dashboard功能，通过Dashboard可以获取Ceph集群的各种基本状态信息。我们接下来安装一下Dashboard，并使用它的功能

1)开启dashboard模块

ceph mgr module enable dashboard

2)生成签名

ceph dashboard create-self-signed-cert

3)创建目录

mkdir -p /usr/local/gupao/cephcluster/mgr-dashboard

4)生成密钥对

openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

5)启动dashboard

ceph mgr module disable dashboard
ceph mgr module enable dashboard

6)设置IP与PORT

ceph config set mgr mgr/dashboard/server_addr 192.168.100.131
ceph config set mgr mgr/dashboard/server_port 9001

7)关闭HTTPS

ceph config set mgr mgr/dashboard/ssl false

8)查看服务信息

ceph mgr services

9)设置管理员账号密码

ceph dashboard set-login-credentials admin admin

10)访问<https://192.168.100.131:8443/#/dashboard>

11)RGW访问

访问 http://192.168.100.131:7480/ 效果如下：

1.3 Cephfs管理

集群创建完后， 默认没有文件系统， 我们创建一个Cephfs可以支持对外访问的文件系统。

1）创建两个存储池, 执行两条命令：

ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 64

少于5个OSD可把pg_num设置为128

OSD数量在5到10，可以设置pg_num为512

OSD数量在10到50，可以设置pg_num为4096

OSD数量大于50，需要计算pg_num的值

通过下面命令可以列出当前创建的存储池：

ceph osd lspools

2）创建fs, 名称为fs_test:

ceph fs new fs_test cephfs_metadata cephfs_data

3）状态查看， 以下信息代表正常

ceph fs ls：

name: fs_test, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

ceph mds stat:

fs_test-0/0/1 up

4）fuse挂载

先确定ceph-fuse命令能执行， 如果没有， 则安装：

 yum -y install ceph-fuse

创建挂载目录

mkdir -p /usr/local/gupao/cephfs_directory

挂载cephfs

ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.100.131:6789 /usr/local/gupao/cephfs_directory

出现下面信息表示挂载成功了：

ceph-fuse[28003]: starting fuse

5）挂载信息查看

[root@CENTOS1 cephcluster]# df -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 4.1G     0  4.1G   0% /dev
tmpfs                    4.1G     0  4.1G   0% /dev/shm
tmpfs                    4.1G   20M  4.1G   1% /run
tmpfs                    4.1G     0  4.1G   0% /sys/fs/cgroup
/dev/mapper/centos-root   17G  2.0G   16G  12% /
/dev/sda1               1014M  189M  826M  19% /boot
tmpfs                    4.1G   28K  4.1G   1% /var/lib/ceph/osd/ceph-0
tmpfs                    838M     0  838M   0% /run/user/0
ceph-fuse                 13G     0   13G   0% /usr/local/gupao/cephfs_directory

1.4 Ceph Swift API接口开发

Swift是由Rackspace开发的用来为云计算提供可扩展存储的项目。专注于对象存储， 并提供一套REST风格的Api来访问， 与Ceph强一致性不同， 它是最终一致性。两者都是优秀的开源项目， 并无明显优劣之分，在使用场景上有所不同， 如果是专注于对象存储， 那么可以选择swift即可满足需要， 如果还有块存储要求， 那么选择Ceph更为合适。这里选择Ceph， 因为通过网关可以适配兼容swift api， 同时在数据访问上具有较强的扩展性

1.4.1 准备工作

创建Swift用户, 用于接口请求认证

sudo radosgw-admin user create --subuser="cephtester:subtester" --uid="cephtester" --display-name="cephtester" --key-type=swift --secret="gupao" --access=full

uid 为主用户， subuser为子用户信息， secret指定密钥， 不指定则随机生成， access拥有权限设定,代码中需使用返回信息中的user和secret_key

swift_keys:

"swift_keys": [{"user": "cephtester:subtester","secret_key": "gupao"}
],

创建管理员账号：

radosgw-admin user create --uid=mgruser --display-name=mgruser  --system

返回信息如下：

{"user_id": "mgruser","display_name": "mgruser","email": "","suspended": 0,"max_buckets": 1000,"auid": 0,"subusers": [],"keys": [{"user": "mgruser","access_key": "AZ6L40PH9WB37EKVVMCZ","secret_key": "rk8PEjtYaMTo7nMDM62hqqN1tOnZPBEe4GA0LQMW"}],"swift_keys": [],"caps": [],"op_mask": "read, write, delete","system": "true","default_placement": "","placement_tags": [],"bucket_quota": {"enabled": false,"check_on_raw": false,"max_size": -1,"max_size_kb": 0,"max_objects": -1},"user_quota": {"enabled": false,"check_on_raw": false,"max_size": -1,"max_size_kb": 0,"max_objects": -1},"temp_url_keys": [],"type": "rgw","mfa_ids": []
}

根据生成的access_key与secret_key， 执行：

ceph dashboard set-rgw-api-access-key AZ6L40PH9WB37EKVVMCZ
ceph dashboard set-rgw-api-secret-key rk8PEjtYaMTo7nMDM62hqqN1tOnZPBEe4GA0LQMW

打开管理界面，http://192.168.100.131:9001/#/rgw/user 可以查看到我们刚才创建的两个用户：

1.4.2 文件服务搭建

我们搭建一个单独的工程，专门用于实现文件上传和文件下载，工程坐标如下：

<groupId>com.gupaoedu.vip.mall</groupId>
<version>0.0.1-SNAPSHOT</version>
<artifactId>mall-file-service</artifactId>

pom.xml:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><artifactId>mall-service</artifactId><groupId>com.gupaoedu.vip.mall</groupId><version>0.0.1-SNAPSHOT</version></parent><modelVersion>4.0.0</modelVersion><artifactId>mall-file-service</artifactId><description>文件上传微服务</description><dependencies><!-- Rados Java Api依赖 --><dependency><groupId>com.ceph</groupId><artifactId>rados</artifactId><version>0.6.0</version></dependency><!-- Cephfs 文件系统依赖 --><dependency><groupId>com.ceph</groupId><artifactId>libcephfs</artifactId><version>0.80.5</version></dependency><!--swift--><dependency><groupId>org.javaswift</groupId><artifactId>joss</artifactId><version>0.10.2</version></dependency></dependencies>
</project>

bootstrap.yml:

server:port: 8082
spring:application:name: mall-filecloud:nacos:config:file-extension: yamlserver-addr: 192.168.1.11:8848discovery:#Nacos的注册地址server-addr: 192.168.1.11:8848ceph:username: cephtester:subtester  #Ceph配置 主用户名：子用户名password: gupao #秘钥authUrl: http://192.168.100.131:7480/auth/1.0 #接口访问路径defaultContainerName: user_datainfo #默认容器名字
#图片路径
cephurl: http://localhost:8082/file/download/#日志配置
logging:pattern:console: "%msg%n"

创建com.gupaoedu.vip.mall.file.ceph.ContainerConfig配置类，在类中创建Account和Container对象，代码如下：

/*** 容器的初始化操作*/
@Data
@Configuration
@ConfigurationProperties(prefix = "ceph") //yaml配置文件中配置的属性
public class ContainerConfig {private String username;private String password;private String authUrl;private String defaultContainerName;/*** 1.创建账号信息*/@Beanpublic Account account(){AccountConfig config = new AccountConfig();//配置认证信息config.setUsername(username);config.setPassword(password);config.setAuthUrl(authUrl);//配置认证方式config.setAuthenticationMethod(AuthenticationMethod.BASIC);return new AccountFactory(config).createAccount();}/*** 2.创建容器对象*/@Beanpublic Container container(){//获取账号信息Container container = account().getContainer(defaultContainerName);if(!container.exists()){return  container.create();}return container;}}

创建文件上传下载工具类com.gupaoedu.vip.mall.file.ceph.FileHandler，代码如下：

@Component
public class FileHandler {@Autowiredprivate Container container;/*** 文件上传*/public void upload(String filename,byte[] buffer) {//buffer:文件内容字节//获取容器对象StoredObject object = container.getObject(filename);//文件上传object.uploadObject(buffer);}/** 文件下载*/public byte[] download(String filename){//获取容器中远程存储的信息StoredObject object = container.getObject(filename);//执行文件下载byte[] bytes = object.downloadObject();return bytes;}
}

控制器创建：com.gupaoedu.vip.mall.file.controller.FileController

@RestController
@RequestMapping(value = "/file")
public class FileController {@Autowiredprivate FileHandler fileHandler;@Value("${cephurl}")private String cephurl;/*** 文件上传*/@PostMapping(value = "/upload")public RespResult upload(MultipartFile file) throws IOException {//上传fileHandler.upload(file.getOriginalFilename(),file.getBytes());return RespResult.ok(cephurl+file.getOriginalFilename());}/*** 下载*/@GetMapping(value = "/download/{filename}")public void download(@PathVariable String filename, HttpServletResponse response) throws IOException {//下载byte[] bytes = fileHandler.download(filename);//输出文件ServletOutputStream os = response.getOutputStream();os.write(bytes);}
}

创建启动类：com.gupaoedu.vip.mall.file.MallFileApplication

/*** http://localhost:8082/file/download/news1.jpg*/
@SpringBootApplication(exclude = DataSourceAutoConfiguration.class)//屏蔽掉数据库的设置，这里不需要用到数据库
public class MallFileApplication {public static void main(String[] args) {SpringApplication.run(MallFileApplication.class,args);}
}

文件上传测试http://localhost:8082/file/upload

文件下载测试http://localhost:8082/file/download/20200716-af9fc1ae9d24f880.png

2.Spu和Sku（产品发布）

2.1 掌握SKU和SPU关系

SPU = Standard Product Unit (标准化产品单元)，SPU是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。通俗点讲，属性值、特性相同的商品就可以称为一个SPU

SKU=stock keeping unit(库存量单位)，SKU即库存进出计量的单位， 可以是以件、盒、托盘等为单位。SKU是物理上不可分割的最小存货单元。在使用时要根据不同业态，不同管理模式来处理。在服装、鞋类商品中使用最多最普遍

举个例子：

购买手机的时候，你可以选择华为Mate40系列手机，Mate40系列手机的生产制造商是华为，品牌是华为，手机分类也是华为，不过Mate40系列手机有多款，比如 Mate40 、Mate40 Pro 、 Mate40 Pro +，每款手机的架构也不一样，颜色也不一定一样，那么这个例子中哪些是Spu哪些是Sku呢？

Spu：

手机系列：Mate40系列
厂家：华为
品牌：华为
分类：手机

Sku：价格、颜色、网络格式

2.2 表结构设计

2.2.1 Spu和Sku

spu:

CREATE TABLE `spu` (`id` varchar(60) NOT NULL COMMENT '主键',`name` varchar(100) DEFAULT NULL COMMENT 'SPU名',`intro` varchar(200) DEFAULT NULL COMMENT '简介',`brand_id` int(11) DEFAULT NULL COMMENT '品牌ID',`category_one_id` int(20) DEFAULT NULL COMMENT '一级分类',`category_two_id` int(10) DEFAULT NULL COMMENT '二级分类',`category_three_id` int(10) DEFAULT NULL COMMENT '三级分类',`images` varchar(1000) DEFAULT NULL COMMENT '图片列表',`after_sales_service` varchar(50) DEFAULT NULL COMMENT '售后服务',`content` longtext COMMENT '介绍',`attribute_list` varchar(3000) DEFAULT NULL COMMENT '规格列表',`is_marketable` int(1) DEFAULT '0' COMMENT '是否上架,0已下架，1已上架',`is_delete` int(1) DEFAULT '0' COMMENT '是否删除,0:未删除，1：已删除',`status` int(1) DEFAULT '0' COMMENT '审核状态，0：未审核，1：已审核，2：审核不通过',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

sku:

CREATE TABLE `sku` (`id` varchar(60) NOT NULL COMMENT '商品id',`name` varchar(200) NOT NULL COMMENT 'SKU名称',`price` int(20) NOT NULL DEFAULT '1' COMMENT '价格（分）',`num` int(10) DEFAULT '100' COMMENT '库存数量',`image` varchar(200) DEFAULT NULL COMMENT '商品图片',`images` varchar(2000) DEFAULT NULL COMMENT '商品图片列表',`create_time` datetime DEFAULT NULL COMMENT '创建时间',`update_time` datetime DEFAULT NULL COMMENT '更新时间',`spu_id` varchar(60) DEFAULT NULL COMMENT 'SPUID',`category_id` int(10) DEFAULT NULL COMMENT '类目ID',`category_name` varchar(200) DEFAULT NULL COMMENT '类目名称',`brand_id` int(11) DEFAULT NULL COMMENT '品牌id',`brand_name` varchar(100) DEFAULT NULL COMMENT '品牌名称',`sku_attribute` varchar(200) DEFAULT NULL COMMENT '规格',`status` int(1) DEFAULT '1' COMMENT '商品状态 1-正常，2-下架，3-删除',PRIMARY KEY (`id`),KEY `cid` (`category_id`),KEY `status` (`status`),KEY `updated` (`update_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';

2.2.2 商品发布流程分析

商品发布流程如下：

1.分类选择：三级树形结构

发布商品前，需要先选择发布商品所属分类，分类严格定义为3级分类，三级加载

分类表：

CREATE TABLE `category` (`id` int(20) NOT NULL AUTO_INCREMENT COMMENT '分类ID',`name` varchar(50) DEFAULT NULL COMMENT '分类名称',`sort` int(11) DEFAULT NULL COMMENT '排序',`parent_id` int(20) DEFAULT NULL COMMENT '上级ID',PRIMARY KEY (`id`),KEY `parent_id` (`parent_id`)
) ENGINE=InnoDB AUTO_INCREMENT=11182 DEFAULT CHARSET=utf8 COMMENT='商品类目';

2.选择品牌：分类选择完成后，需要加载品牌，品牌加载并非一次性加载完成，而是根据选择的分类进行加载

分类品牌关系表：

CREATE TABLE `category_brand` (`category_id` int(11) NOT NULL COMMENT '分类ID',`brand_id` int(11) NOT NULL COMMENT '品牌ID',PRIMARY KEY (`brand_id`,`category_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

品牌表：

CREATE TABLE `brand` (`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '品牌id',`name` varchar(100) NOT NULL COMMENT '品牌名称',`image` varchar(1000) DEFAULT '' COMMENT '品牌图片地址',`initial` varchar(1) DEFAULT '' COMMENT '品牌的首字母',`sort` int(11) DEFAULT NULL COMMENT '排序',PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=14 DEFAULT CHARSET=utf8 COMMENT='品牌表';

3.属性加载：当选择分类后，加载分类对应的属性

分类属性表：

CREATE TABLE `category_attr` (`category_id` int(11) NOT NULL,`attr_id` int(11) NOT NULL COMMENT '属性分类表',PRIMARY KEY (`category_id`,`attr_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

属性表：

CREATE TABLE `sku_attribute` (`id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',`name` varchar(50) DEFAULT NULL COMMENT '属性名称',`options` varchar(2000) DEFAULT NULL COMMENT '属性选项',`sort` int(11) DEFAULT NULL COMMENT '排序',PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET=utf8;

2.3 商品发布加载功能

对应的Bean写好

Category

package com.gupaoedu.vip.mall.goods.model;@Data
@AllArgsConstructor
@NoArgsConstructor
//MyBatisPlus表映射注解
@TableName(value = "category")
public class Category implements Serializable {@TableId(type = IdType.AUTO)private Integer id;private String name;private Integer sort;private Integer parentId;
}

2.3.1 分类加载

分类功能需要实现按照父ID查询，最开始初始化加载的是顶级父类，parent_id=0，后面每次点击的时候都根据传入的id查询子分类

1)Mapper

创建com.gupaoedu.vip.mall.goods.mapper.CategoryMapper,代码如下：

public interface CategoryMapper extends BaseMapper<Category> {
}

2)Service

接口：com.gupaoedu.vip.mall.goods.service.CategoryService代码如下：

public interface CategoryService extends IService<Category> {/*** 根据父ID查询子分类*/List<Category> queryByParentId(Integer pid);
}

实现类：com.gupaoedu.vip.mall.goods.service.impl.CategoryServiceImpl代码如下：

@Service
public class CategoryServiceImpl extends ServiceImpl<CategoryMapper,Category> implements CategoryService {@Autowiredprivate CategoryMapper categoryMapper;/**** 根据父ID查询子分类*/@Overridepublic List<Category> queryByParentId(Integer pid) {//条件封装QueryWrapper<Category> queryWrapper = new QueryWrapper<Category>();queryWrapper.eq("parent_id",pid);return categoryMapper.selectList(queryWrapper);}
}

3)Controller

创建com.gupaoedu.vip.mall.goods.controller.CategoryController代码如下;

在SpringMVC使用@CrossOrigin注解来解决跨域问题

@RestController
@RequestMapping(value = "/category")
@CrossOrigin //允许跨域
public class CategoryController {@Autowiredprivate CategoryService categoryService;/***** 根据父ID查询子分类*/@GetMapping(value = "/parent/{pid}")public RespResult<List<Category>> list(@PathVariable(value = "pid")Integer pid){List<Category> categories = categoryService.queryByParentId(pid);return RespResult.ok(categories);}
}

2.3.2 品牌加载

品牌需要根据分类进行加载，当用户选择第3级分类的时候，加载品牌，品牌数据需要经过category_brand表关联查询

我们可以按照如下步骤实现：

1、查询category_brand中指定分类对应的品牌ID集合
2、从brand查出品牌集合

1)Mapper

修改com.gupaoedu.vip.mall.goods.mapper.BrandMapper，添加根据分类ID查询品牌ID集合：

public interface BrandMapper extends BaseMapper<Brand> {//根据分类ID查询品牌集合@Select("select brand_id from category_brand where category_id=#{id}")List<Integer> queryBrandIds(Integer id);
}

2)Service

接口：com.gupaoedu.vip.mall.goods.service.BrandService中添加根据分类ID查询品牌集合方法

//根据分类ID查询品牌
List<Brand> queryByCategoryId(Integer id);

实现类：com.gupaoedu.vip.mall.goods.service.impl.BrandServiceImpl

/**** 根据分类ID查询品牌*/
@Override
public List<Brand> queryByCategoryId(Integer id) {//查询分类ID对应的品牌集合List<Integer> brandIds = brandMapper.queryBrandIds(id);//根据品牌ID集合查询品牌信息List<Brand> brands = brandMapper.selectBatchIds(brandIds);return brands;
}

3)Controller

修改com.gupaoedu.vip.mall.goods.controller.BrandController添加根据分类ID查询品牌集合

/***** 根据分类ID查询品牌*/
@GetMapping(value = "/category/{id}")
public RespResult<List<Brand>> categoryBrands(@PathVariable(value = "id")Integer id){List<Brand> brands = brandService.queryByCategoryId(id);return RespResult.ok(brands);
}

2.3.3 属性加载

属性也称为规格，属性也需要根据分类查询，我们可以按照如下思路实现：

1、先从category_attr根据分类ID查询出当前分类拥有的属性ID集合
2、从sku_attribute中查询属性集合

1)Mapper

创建com.gupaoedu.vip.mall.goods.mapper.SkuAttributeMapper实现根据分类ID查询属性信息。

public interface SkuAttributeMapper extends BaseMapper<SkuAttribute> {/**** 根据分类ID查询属性集合*/@Select("SELECT * FROM sku_attribute WHERE id IN(SELECT attr_id FROM category_attr WHERE category_id=#{id})")List<SkuAttribute> queryByCategoryId(Integer id);
}

2)Service

接口：com.gupaoedu.vip.mall.goods.service.SkuAttributeService添加根据分类ID查询属性集合方法

public interface SkuAttributeService extends IService<SkuAttribute> {//根据分类ID查询属性集合List<SkuAttribute> queryList(Integer id);
}

实现类：com.gupaoedu.vip.mall.goods.service.impl.SkuAttributeServiceImpl添加如下实现方法

@Service
public class SkuAttributeServiceImpl extends ServiceImpl<SkuAttributeMapper, SkuAttribute> implements SkuAttributeService {@Autowiredprivate SkuAttributeMapper skuAttributeMapper;/**** 根据分类ID查询属性集合*/@Overridepublic List<SkuAttribute> queryList(Integer id) {return skuAttributeMapper.queryByCategoryId(id);}
}

3)Controller

创建com.gupaoedu.vip.mall.goods.controller.SkuAttributeController，添加如下方法

@RestController
@RequestMapping(value = "/skuAttribute")
@CrossOrigin
public class SkuAttributeController {@Autowiredprivate SkuAttributeService skuAttributeService;/**** 根据分类ID查询属性集合*/@GetMapping(value = "/category/{id}")public RespResult<List<SkuAttributeController>> categorySkuAttributeList(@PathVariable(value = "id")Integer id){List<SkuAttribute> skuAttributes = skuAttributeService.queryList(id);return RespResult.ok(skuAttributes);}
}

2.3.4 测试

选择对应的三级分类

选择好分类，就会对应渲染出品牌和属性信息

2.4 商品发布

2.4.1 复合对象分析

商品发布，如上图，我们可以发现发布的商品信息包含Sku和Spu，因此我们应该在后端能有一个对象同时能接到Spu和多个Sku，方法有很多种，我们可以直接在Spu中写一个List<Sku>，但这种方法不推荐，按照对象设计原则，对一个对象进行扩展时，尽量避免对原始对象造成改变，因此我们可以使用复合类，可以创建一个Prodcut类，该类中有Spu也有List<Sku>，代码如下：

@Data
@NoArgsConstructor
@AllArgsConstructor
public class Product {// Spuprivate Spu spu;// Skuprivate List<Sku> skus;
}

2.4.2 添加商品

添加商品的时候，我们需要保存Spu，同时需要添加多个Sku。我们可以在华为商城中看看真实电商中Sku名字特征，每次点击不同属性的时候，前部分名字一样，只是将名字中的规格替换了，也就是说Sku的名字其实是组合成的，一部分是Spu的一部分是Sku的，可以进行组合

1.名字分析

添加商品的时候，会将商品的属性传入后台，格式如下，如果把规格名字添加到名字中，那就是华为商城中的效果了，我们可以这么做，把属性解析成Map，然后每个属性值添加到商品名字中即可

{"适合人群":"有一定java基础的人","书籍分类":"软件编程"}

2.实现代码

Mapper

com.gupaoedu.vip.mall.goods.mapper.SpuMapper代码如下：

public interface SpuMapper extends BaseMapper<Spu> {
}

com.gupaoedu.vip.mall.goods.mapper.SkuMapper代码如下：

public interface SkuMapper extends BaseMapper<Sku> {
}

Service

com.gupaoedu.vip.mall.goods.service.SpuService中添加产品方法如下

public interface SpuService extends IService<Spu> {//保存商品void saveProduct(Product product);
}

com.gupaoedu.vip.mall.goods.service.impl.SpuServiceImpl中添加产品方法如下：

@Service
public class SpuServiceImpl extends ServiceImpl<SpuMapper,Spu> implements SpuService {@Autowiredprivate SkuMapper skuMapper;@Autowiredprivate SpuMapper spuMapper;@Autowiredprivate CategoryMapper categoryMapper;@Autowiredprivate BrandMapper brandMapper;// 保存商品@Overridepublic void saveProduct(Product product) {//SpuSpu spu = product.getSpu();//上架spu.setIsMarketable(1);//未删除spu.setIsDelete(0);//状态spu.setStatus(1);//添加spuMapper.insert(spu);//查询三级分类Category category = categoryMapper.selectById(spu.getCategoryThreeId());//查询品牌Brand brand = brandMapper.selectById(spu.getBrandId());//当前时间Date now = new Date();//新增Sku集合for (Sku sku : product.getSkus()) {//设置名字String skuName = spu.getName();//{"适合人群":"有一定java基础的人","书籍分类":"软件编程"}Map<String,String> attrMap = JSON.parseObject(sku.getSkuAttribute(), Map.class);for (Map.Entry<String, String> entry : attrMap.entrySet()) {skuName+= "   "+entry.getValue();}sku.setName(skuName);//设置图片sku.setImages(spu.getImages());//设置状态sku.setStatus(1);//设置类目IDsku.setCategoryId(spu.getCategoryThreeId());//设置类目名称sku.setCategoryName(category.getName());//设置品牌IDsku.setBrandId(brand.getId());//设置品牌名称sku.setBrandName(brand.getName());//设置Spuidsku.setSpuId(spu.getId());//时间sku.setCreateTime(now);sku.setUpdateTime(now);//增加skuMapper.insert(sku);}}
}

Controller

创建com.gupaoedu.vip.mall.goods.controller.SpuController，添加产品代码如下：

@RestController
@RequestMapping("/spu")
@CrossOrigin
public class SpuController {@Autowiredprivate SpuService spuService;/**** 保存*/@PostMapping(value = "/save")public RespResult save(@RequestBody Product product){//保存spuService.saveSpuAndSku(product);return RespResult.ok();}
}

2.4.3 产品修改

产品修改其实和产品添加几乎一致，只需要做小改动即可，实现步骤如下：

1、如果Spu的id值不为空，说明是修改操作
2、如果是修改操作，先删除之前对应的Sku集合
3、其他流程和添加商品一致

修改com.gupaoedu.vip.mall.goods.service.impl.SpuServiceImpl的save方法，代码如下：

源码如下：

@Override
public void saveProduct(Product product) {//SpuSpu spu = product.getSpu();//如果ID为空，则增加if(StringUtils.isEmpty(spu.getId())){//上架spu.setIsMarketable(1);//未删除spu.setIsDelete(0);//状态spu.setStatus(1);//添加spuMapper.insert(spu);}else{//ID 不为空，则修改spuMapper.updateById(spu);//删除之前的Sku记录skuMapper.delete(new QueryWrapper<Sku>().eq("spu_id",spu.getId()));}//查询三级分类Category category = categoryMapper.selectById(spu.getCategoryThreeId());//查询品牌Brand brand = brandMapper.selectById(spu.getBrandId());//当前时间Date now = new Date();//新增Sku集合for (Sku sku : product.getSkus()) {//设置名字String skuName = spu.getName();Map<String,String> attrMap = JSON.parseObject(sku.getSkuAttribute(), Map.class);for (Map.Entry<String, String> entry : attrMap.entrySet()) {skuName+= "   "+entry.getValue();}sku.setName(skuName);//设置图片sku.setImages(spu.getImages());//设置状态sku.setStatus(1);//设置类目IDsku.setCategoryId(spu.getCategoryThreeId());//设置类目名称sku.setCategoryName(category.getName());//设置品牌IDsku.setBrandId(brand.getId());//设置品牌名称sku.setBrandName(brand.getName());//设置Spuidsku.setSpuId(spu.getId());//时间sku.setCreateTime(now);sku.setUpdateTime(now);//增加skuMapper.insert(sku);}
}

2.4.4 测试

输入对应的数据保存