当前位置：首页 > news >正文

第十九章 linux部署scrapyd

news 2026/4/18 6:37:25

文章目录

1. linux部署python环境
- 1. 部署python源文件环境
- 2. 下载python
- 3. 解压安装包
- 4. 安装
- 5. 配置环境变量
- 6. 检查是否安装成功
- 7. 准备python使用的包
- 8. 安装scrapyd
- 9. 配置scrapyd
- 10. 开放6800端口
2. 部署gerapy
- 1. 本机下载包
- 2. 初始化
- 3. 进入gerapy同步数据库
- 4. 创建用户
- 5. 运行gerapy

1. linux部署python环境

1. 部署python源文件环境

yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y

2. 下载python

yum install -y wget# 具体版本可以根据自己需求下载
wget https://www.python.org/ftp/python/3.11.8/Python-3.11.8.tgz

3. 解压安装包

tar -zxvf Python-3.11.8.tgz

在这里插入图片描述

4. 安装

# /usr....路径根据自己需求设定
./configure --prefix=/usr/local/python3make && make install

5. 配置环境变量

vi /etc/profileexport PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH# 配置完成后刷新环境变量
source /etc/profile

在这里插入图片描述

6. 检查是否安装成功

在这里插入图片描述

7. 准备python使用的包

win+R命令窗口

pip freeze package.txt

将package.txt传输到linux中
可以使用工具 MobaXterm
链接：https://pan.baidu.com/s/1NqKDJBH0ZfPZmm1sn1q9oQ?pwd=2024
提取码：2024

在这里插入图片描述

为了下载快一些可以配置python的源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

在这里插入图片描述

pip3 install -r package.txt

8. 安装scrapyd

pip3 install scrapyd

在这里插入图片描述

9. 配置scrapyd

vi /usr/local/python3/lib/python3.11/site-packages/scrapyd/default_scrapyd.conf# 修改此行
bind_address = 0.0.0.0

在这里插入图片描述

10. 开放6800端口

iptables -I INPUT -p tcp --dport 6800 -j ACCEPT# 创建scrapyd项目文件夹
mkdir scrapyd_projrct
cd scrapyd_projrct
scrapyd

2. 部署gerapy

1. 本机下载包

 pip install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 初始化

gerapy init

3. 进入gerapy同步数据库

cd .\gerapy\
gerapy migrate

4. 创建用户

gerapy createsuperuser

在这里插入图片描述

5. 运行gerapy

gerapy runserver

打包失败原因待探索…

如果打包项目失败的话
使用scrapy-deploy直接部署项目到scrapyd上

# 进入项目 scrapy.cfg文件的统计目录下scrapyd-deploy ts -p test_name

在这里插入图片描述

第十九章 linux部署scrapyd

文章目录 1. linux部署python环境1. 部署python源文件环境2. 下载python3. 解压安装包4. 安装5. 配置环境变量6. 检查是否安装成功7. 准备python使用的包8. 安装scrapyd9. 配置scrapyd10. 开放6800端口 2. 部署gerapy1. 本机下载包2. 初始化3. 进入gerapy同步数据库4. 创建用户…...

编程日记 2024/3/21 15:31:43

微信打卡小程序怎么做_用户的每日习惯培养神器

微信打卡小程序：你的每日习惯培养神器在这个快节奏的现代社会，我们每天都在忙碌中度过，有时候甚至会忘记自己曾经立下的那些小目标、小习惯。然而，随着科技的不断发展，微信打卡小程序的出现，为我们的生活…...

编程日记 2024/3/21 15:29:40

C语言数据在内存中的存储

reference n.提及，谈到；参考，查阅；（引自书或诗歌的）引言，引文； 引文的作者，参考书目；（帮助或意见的）征求，征询&#xff1b…...

编程日记 2024/3/21 15:27:38

管理公司员工上网行为的软件都有哪些?

随着互联网的飞速发展，企业面临的网络安全威胁也日益加剧。为了保护企业数据安全、提高工作效率，上网行为管理系统及其相关管理软件应运而生。未来，随着技术的不断进步和网络安全威胁的不断演变，上网行为管理系统及其管理软件将不…...

编程日记 2024/3/21 15:24:32

手撕C语言题典——逆序输出

有这样一个问题：读入一些整数，逆序输出到一行中。已知的是该整数不超过100个。我们该怎么办呢？我们先将这些整数循环输入，输入每个整数之后，我们只能将数组存下来，而这个地方就是数组。本章可能用到的知识…...

编程日记 2024/3/21 15:21:27

如果保障服务器的安全

如果保障服务器的安全一、修改它最开始的密码，后期也要一直更换。一般如果有客户来了服务器的话，服务器厂商都会提前把所有的系统都装好，之后再把这个权限交到用户的手里。很多用户可能在这方面不会特别注意，密码也不修改&#x…...

编程日记 2024/3/21 15:20:26

【SQL】1280. 学生们参加各科测试的次数 (笛卡尔积)

前述知识点回顾：数据库中的四大join & 笛卡尔乘积（以MySQL为例） 笛卡尔积的两种写法 select * from stu,class; select * from stu cross join class; 题目描述 leetcode题目：1280. 学生们参加各科测试的次数 Code 写法…...

编程日记 2024/3/21 15:19:25

高企认定中科技成果转化是什么呢？

其实，这是一个流程，可以用下面的分段进程来表示：企业开展科研立项—科研立项得到科研结果—科研结果用于产品的生产—新产品品质提高带动了销售的增加。上面的流程，其实是高企审核的核心，不仅仅关系到了量化打分。更…...

编程日记 2024/3/21 15:18:24

还是整数分解问题,注意n本身也是约数 #include <iostream> int main(){printf("2430");return 0; }#include <iostream> #include<cmath> #include<algorithm> using namespace std; typedef long long ll; const ll n 2021041820210418LL…...

编程日记 2024/3/21 15:15:20

基于SpringBoot的学生成绩管理系统

基于SpringBootVue的家教管理系统的设计与实现~ 开发语言：Java 数据库：MySQL 技术：SpringBoot 系统功能结构展示登录界面图现今，越来越多的人乐于选择一项合适的管理方案，但是普通用户往往受到管理经验地限制&…...

编程日记 2024/3/21 15:03:06

旅游管理系统 |基于springboot框架+ Mysql+Java+Tomcat的旅游管理系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目最新ssmjava项目文档视频演示可运行源码分享最新jspjava项目文档视频演示可运行源码分享最新Spring Boot项目文档视频演示可运行源码分享目录前台功能效果图管理员功能登录前台功能效果图系统功能设计数据库E-R图设计 lunwen参考摘要研究…...

编程日记 2024/3/21 15:02:05

SpringBoot（整合MyBatis + MyBatis-Plus + MyBatisX插件使用）

文章目录 1.整合MyBatis1.需求分析2.数据库表设计3.数据库环境配置1.新建maven项目2.pom.xml 引入依赖3.application.yml 配置数据源4.Application.java 编写启动类5.测试6.配置类切换druid数据源7.测试数据源是否成功切换 4.Mybatis基础配置1.编写映射表的bean2.MonsterMapper…...

编程日记 2024/3/21 14:59:02

GAMES104-现代游戏引擎 1

主要学习重点还是面向就业，重点复习八股和算法每天早上八点到九点用来学习这个课程持续更新中... 第一节游戏引擎导论第二节引擎架构分层引擎是分层架构的编辑器功能层资源层核心层平台层越底层的代码越稳定越坚固，越上层的代码越灵活越开…...

编程日记 2024/3/21 14:58:01

idea 开发serlvet篮球秩序册管理系统idea开发mysql数据库web结构计算机java编程layUI框架开发

一、源码特点 idea开发 java servlet 篮球秩序册管理系统是一套完善的web设计系统mysql数据库系统采用serlvetdaobean mvc 模式开发，对理解JSP java编程开发语言有帮助，系统具有完整的源代码和数据库，系统主要采用B/S模式开发。 servlet 篮…...

编程日记 2024/3/21 14:56:58

【深度学习】NestedTensors

文章目录 NestedTensorsWhy NestedTensor初始化 NestedTensorNestedTensor 操作reshape转置查看维度其他 NestedTensors DETR 中常见的数据格式为 NestedTensors，那么什么是 NestedTensors 呢？ NestedTensor，包括 tensor 和 mask 两个成员&a…...

编程日记 2024/3/21 14:55:57

【网络】负载均衡

OSI模型每一层的负载均衡在OSI模型中，每一层的负载均衡具体如下： 1. 第二层（数据链路层）：数据链路层的负载均衡通常涉及对MAC地址的操作。在这一层，可以使用虚拟MAC地址技术，外部设备对虚拟MA…...

编程日记 2024/3/21 14:53:55

dataGridView 绑定List 显示内容不刷新

绑定后,原list值变动,显示内容会刷新绑定后,list新添加的值时不会显示到界面,需要重新绑定list 微软的Bug 参考代码 public class Student{public string Name { get; set; }}List<Student> list new List<Student>();private void Form2_Load(object sender,…...

编程日记 2024/3/21 14:52:54

VR历史建筑漫游介绍|虚拟现实体验店|VR设备购买

VR历史建筑漫游是一种利用虚拟现实技术，让用户可以身临其境地参观和探索历史建筑的体验。通过VR头显和相关设备，用户可以在虚拟环境中自由移动和互动，感受历史建筑的真实氛围和文化内涵。在VR历史建筑漫游中，您可以选择不同的历史…...

编程日记 2024/3/21 14:51:53

Linux查看硬件型号详细信息

1.查看CPU （1）使用cat /proc/cpuinfo或lscpu （2）使用dmidecode -i processor Dmidecode 这款软件允许你在 Linux 系统下获取有关硬件方面的信息。Dmidecode 遵循 SMBIOS/DMI 标准，其输出的信息包括 BIOS、系统、主板、…...

编程日记 2024/3/21 14:50:51

【鸿蒙HarmonyOS开发笔记】通知模块之发布基础类型通知，内含如何将图片变成PixelMap对象

通知简介应用可以通过通知接口发送通知消息，终端用户可以通过通知栏查看通知内容，也可以点击通知来打开应用。通知常见的使用场景： 显示接收到的短消息、即时消息等。显示应用的推送消息，如广告、版本更新等。显示当前正…...

编程日记 2024/3/21 14:47:47

Worlds End Club for Mac 软件详解与操作指南

本文来源：爱上MAC | 软件下载地址：Worlds End Club for Mac Worlds End Club 是一款在Mac平台上运行的叙事驱动型横向卷轴动作冒险游戏。它巧妙融合了视觉小说式的剧情叙述与平台跳跃、解谜及轻度战斗元素。本指南将详细介绍其软件界面、完整操作流程…...

编程新知 2026/4/18 5:43:17

量化小白也能懂：用CZSC 0.6.8的Python库，5分钟搞定缠论三买选股

量化小白也能懂：用CZSC 0.6.8的Python库，5分钟搞定缠论三买选股第一次接触缠论时，那些分型、笔、中枢的概念让我头晕目眩。直到发现CZSC这个Python库，才发现原来用代码实现缠论分析可以如此简单——不需要理解所有理论细节&#…...

编程新知 2026/4/18 5:02:17

Kubie与CI/CD集成：自动化Kubernetes环境管理的完整解决方案

Kubie与CI/CD集成：自动化Kubernetes环境管理的完整解决方案【免费下载链接】kubie A more powerful alternative to kubectx and kubens 项目地址: https://gitcode.com/gh_mirrors/ku/kubie Kubie作为kubectx和kubens的强大替代工具，为Kubernet…...

编程新知 2026/4/18 4:11:03

终极指南：PerceptualSimilarity在计算机视觉中的10大应用场景

终极指南：PerceptualSimilarity在计算机视觉中的10大应用场景【免费下载链接】PerceptualSimilarity LPIPS metric. pip install lpips 项目地址: https://gitcode.com/gh_mirrors/pe/PerceptualSimilarity PerceptualSimilarity（LPIPS metric&a…...

编程新知 2026/4/18 4:06:59

SQL处理大规模分组聚合的内存限制_调整服务器配置

MySQL分组聚合OOM时应调大tmp_table_size和max_heap_table_size而非sort_buffer_size；PostgreSQL需按并发和操作数合理设work_mem；ClickHouse需联动max_threads配置max_bytes_before_external_group_by。MySQL分组聚合OOM时，sort_buffer_size…...

编程新知 2026/4/18 3:20:21

炉石传说HsMod插件：55项功能深度解析与架构实现

炉石传说HsMod插件：55项功能深度解析与架构实现【免费下载链接】HsMod Hearthstone Modification Based on BepInEx 项目地址: https://gitcode.com/GitHub_Trending/hs/HsMod HsMod是基于BepInEx框架开发的炉石传说多功能插件，通过55项技术增强…...

编程新知 2026/4/18 3:17:15