电商大数据的采集||电商大数据关键技术【基于Python】

.电商大数据采集API

什么是大数据？

1.大数据的概念
大数据即字面意思，大量数据。那么这个数据量大到多少才算大数据喃？通常，当数据量达到TB乃至PB级别时，传统的关系型数据库在处理能力、存储效率或查询性能上可能会遇到瓶颈，这时考虑采用大数据技术是合理的。

当然可以通过分库分表等方式来让关系型数据库来强行抗住这个量级，所以数据量大外数据结构是不是够杂（结构化、半结构化、非结构化数据）也是要不要上大数据技术的重要考量点。

当然数据杂也可以通过关系型+非关系型数据库（如MySQL+MongoDB+ES）组合式的存储来分别存储，所以还要看要求对数据的使用上的诉求是什么？实时或近实时的分析处理（例如实时推荐系统、金融风控、物联网监控等），这些对数据的使用方式上需要对大量数据进行计算，而不再是关系型数据库中那种小批量的增删改查，这时候即使是用了组合式的存储来存放数据，要去各种存储上跑计算任务再汇总到一起，明显是很低效的，这时候上大数据技术就是十分合理的。

大数据场景中的数据往往具有4V的特点：

大量化：数据量大。
快速化：增长速度快。
多样化：数据类型多样，结构化、非结构化都有。
价值密度低：价值密度低，商业价值高。

taobao.item_get获得淘宝商品详情  数据采集

公共参数

名称	类型	必须	描述
key	String	是	调用key（必须以GET方式拼接在URL中）
secret	String	是	调用密钥
api_name	String	是	API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默认yes，将调用缓存的数据，速度比较快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
lang	String	否	[cn,en,ru]翻译语言，默认cn简体中文
version	String	否	API版本

请求参数

请求参数：num_iid=652874751412&is_promotion=1

参数说明：num_iid:淘宝商品ID
is_promotion:是否获取取促销价

响应参数

Version: Date:2022-04-04

名称	类型	必须	示例值	描述
item	item[]	1		宝贝详情数据

大数据的关键技术
大数据技术，其实就是一套解决方案，是基于各种现实的业务场景的成功的解决方案的总结。

大数据技术可以看作对传统技术的延申，是由于大数据的量传统技术不是很好应付了才出现了大数据的解决方案。传统的单点扛不住，扩集群，集群也扛不住就可以考虑大数据，或者即使集群扛得住，但是数据类型太杂了需要也可以考虑大数据。所以大数据和传统技术只是AB两套方案罢了。

大数据的整个流程：

数据采集->数据存储与管理->数据处理与分析

其中最为核心的是：数据存储和数据分析，也就是：

数据的存储

数据的运算

1.数据存储

其实就是当数据量很小的时候，存在单台机器上，当单台机器扛不住的时候存在多台机器上。存在多台机器上就需要进行统一的管理，对外给出统一的API让操作者去操作整个集群中的数据，让操作者体感愉悦，感知上觉得面对的就是一台存储容量无限大的单点服务器。

统一的管理、统一的操作API，这两点合在一起，像不像个系统？是的，这就是大数据中的存储系统，分布式文件系统——HDFS。

2.数据的运算

花这么大代价用HDFS存储起来的数据肯定不是拿来看的，而是要用起来的，是要用于计算的。在大数据系统中由于其存储采用了分布式的架构，计算任务不再是单点的，而是分布式的，是要分发到集群中的各个存储节点上去的，由各个结点计算后汇总出最终的结果。很明显这种多节点间的协作计算是需要进行任务调度的，这就是分布式计算引擎需要干的活儿，经典的分布式计算引擎是HDFS中内置的——MapReduce。其主要就是负责计算任务的调度。

除此之外还有一个目前市面上常用的强力的计算引擎——spark。mapreduce是基于磁盘的计算，spark是基于内存的计算，两者之间互有优劣。

扩展功能

有HDFS+MapReduce其实大数据系统就已经可以工作了，但是每次对数据进行查询都要写mapreduce任务，作为一个分布式的处理程序，mapreduce的任务写起来还是要求一些专业的计算机背景的。为了能像SQL一样，方便的查询HDFS中的数据，从而将使用者从繁琐的mapreduce的编写中解放，出现了hive之类的分布式系统的结构化数据解决方案。