当前位置： 首页 > news >正文

第十九章 linux部署scrapyd

news 2026/6/2 11:03:09

文章目录

  • 1. linux部署python环境
    • 1. 部署python源文件环境
    • 2. 下载python
    • 3. 解压安装包
    • 4. 安装
    • 5. 配置环境变量
    • 6. 检查是否安装成功
    • 7. 准备python使用的包
    • 8. 安装scrapyd
    • 9. 配置scrapyd
    • 10. 开放6800端口
  • 2. 部署gerapy
    • 1. 本机下载包
    • 2. 初始化
    • 3. 进入gerapy同步数据库
    • 4. 创建用户
    • 5. 运行gerapy

1. linux部署python环境

1. 部署python源文件环境

yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y

2. 下载python

yum install -y wget# 具体版本可以根据自己需求下载
wget https://www.python.org/ftp/python/3.11.8/Python-3.11.8.tgz

3. 解压安装包

tar -zxvf Python-3.11.8.tgz

在这里插入图片描述

4. 安装

# /usr....路径根据自己需求设定
./configure --prefix=/usr/local/python3make && make install

5. 配置环境变量

vi /etc/profileexport PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH# 配置完成后刷新环境变量
source /etc/profile

在这里插入图片描述

6. 检查是否安装成功

在这里插入图片描述

7. 准备python使用的包

win+R命令窗口

pip freeze package.txt

将package.txt传输到linux中
可以使用工具 MobaXterm
链接：https://pan.baidu.com/s/1NqKDJBH0ZfPZmm1sn1q9oQ?pwd=2024
提取码：2024

在这里插入图片描述

为了下载快一些可以配置python的源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

在这里插入图片描述
在这里插入图片描述

pip3 install -r package.txt

8. 安装scrapyd

pip3 install scrapyd

在这里插入图片描述

9. 配置scrapyd

vi /usr/local/python3/lib/python3.11/site-packages/scrapyd/default_scrapyd.conf# 修改此行
bind_address = 0.0.0.0

在这里插入图片描述

10. 开放6800端口

iptables -I INPUT -p tcp --dport 6800 -j ACCEPT# 创建scrapyd项目文件夹
mkdir scrapyd_projrct
cd scrapyd_projrct
scrapyd

2. 部署gerapy

1. 本机下载包

 pip install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 初始化

gerapy init

3. 进入gerapy同步数据库

cd .\gerapy\
gerapy migrate

4. 创建用户

gerapy createsuperuser

在这里插入图片描述

5. 运行gerapy

gerapy runserver

打包失败原因待探索…

如果打包项目失败的话
使用scrapy-deploy直接部署项目到scrapyd上

# 进入项目 scrapy.cfg文件的统计目录下scrapyd-deploy ts -p test_name

在这里插入图片描述

相关文章：

第十九章 linux部署scrapyd

文章目录 1. linux部署python环境1. 部署python源文件环境2. 下载python3. 解压安装包4. 安装5. 配置环境变量6. 检查是否安装成功7. 准备python使用的包8. 安装scrapyd9. 配置scrapyd10. 开放6800端口 2. 部署gerapy1. 本机下载包2. 初始化3. 进入gerapy同步数据库4. 创建用户…...

编程日记 2024/3/21 15:31:43

微信打卡小程序怎么做_用户的每日习惯培养神器

微信打卡小程序：你的每日习惯培养神器 在这个快节奏的现代社会，我们每天都在忙碌中度过，有时候甚至会忘记自己曾经立下的那些小目标、小习惯。然而，随着科技的不断发展，微信打卡小程序的出现，为我们的生活…...

编程日记 2024/3/21 15:29:40

C语言数据在内存中的存储

reference n.提及，谈到；参考，查阅；（引自书或诗歌的）引言，引文； 引文的作者，参考书目；（帮助或意见的）征求，征询&#xff1b…...

编程日记 2024/3/21 15:27:38

管理公司员工上网行为的软件都有哪些?

随着互联网的飞速发展，企业面临的网络安全威胁也日益加剧。为了保护企业数据安全、提高工作效率，上网行为管理系统及其相关管理软件应运而生。 未来，随着技术的不断进步和网络安全威胁的不断演变，上网行为管理系统及其管理软件将不…...

编程日记 2024/3/21 15:24:32

手撕C语言题典——逆序输出

有这样一个问题：读入一些整数，逆序输出到一行中。已知的是该整数不超过100个。我们该怎么办呢？我们先将这些整数循环输入，输入每个整数之后，我们只能将数组存下来，而这个地方就是数组。 本章可能用到的知识…...

编程日记 2024/3/21 15:21:27

如果保障服务器的安全

如果保障服务器的安全 一、修改它最开始的密码，后期也要一直更换。一般如果有客户来了服务器的话，服务器厂商都会提前把所有的系统都装好，之后再把这个权限交到用户的手里。很多用户可能在这方面不会特别注意，密码也不修改&#x…...

编程日记 2024/3/21 15:20:26

【SQL】1280. 学生们参加各科测试的次数 (笛卡尔积)

前述 知识点回顾：数据库中的四大join & 笛卡尔乘积（以MySQL为例） 笛卡尔积的两种写法 select * from stu,class; select * from stu cross join class; 题目描述 leetcode题目：1280. 学生们参加各科测试的次数 Code 写法…...

编程日记 2024/3/21 15:19:25

高企认定中科技成果转化是什么呢？

其实，这是一个流程，可以用下面的分段进程来表示：企业开展科研立项—科研立项得到科研结果—科研结果用于产品的生产—新产品品质提高带动了销售的增加。 上面的流程，其实是高企审核的核心，不仅仅关系到了量化打分。更…...

编程日记 2024/3/21 15:18:24

第十二届蓝桥杯省赛CC++ 研究生组-货物摆放

还是整数分解问题,注意n本身也是约数 #include <iostream> int main(){printf("2430");return 0; }#include <iostream> #include<cmath> #include<algorithm> using namespace std; typedef long long ll; const ll n 2021041820210418LL…...

编程日记 2024/3/21 15:15:20

基于SpringBoot的学生成绩管理系统

基于SpringBootVue的家教管理系统的设计与实现~ 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;SpringBoot 系统功能结构展示 登录界面图 现今&#xff0c;越来越多的人乐于选择一项合适的管理方案&#xff0c;但是普通用户往往受到管理经验地限制&…...

编程日记 2024/3/21 15:03:06

旅游管理系统 |基于springboot框架+ Mysql+Java+Tomcat的旅游管理系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 目录 前台功能效果图 管理员功能登录前台功能效果图 系统功能设计 数据库E-R图设计 lunwen参考 摘要 研究…...

编程日记 2024/3/21 15:02:05

SpringBoot（整合MyBatis + MyBatis-Plus + MyBatisX插件使用）

文章目录 1.整合MyBatis1.需求分析2.数据库表设计3.数据库环境配置1.新建maven项目2.pom.xml 引入依赖3.application.yml 配置数据源4.Application.java 编写启动类5.测试6.配置类切换druid数据源7.测试数据源是否成功切换 4.Mybatis基础配置1.编写映射表的bean2.MonsterMapper…...

编程日记 2024/3/21 14:59:02

GAMES104-现代游戏引擎 1

主要学习重点还是面向就业&#xff0c;重点复习八股和算法 每天早上八点到九点用来学习这个课程 持续更新中... 第一节 游戏引擎导论 第二节 引擎架构分层 引擎是分层架构的 编辑器功能层资源层核心层平台层 越底层的代码越稳定越坚固&#xff0c;越上层的代码越灵活越开…...

编程日记 2024/3/21 14:58:01

idea 开发serlvet篮球秩序册管理系统idea开发mysql数据库web结构计算机java编程layUI框架开发

一、源码特点 idea开发 java servlet 篮球秩序册管理系统是一套完善的web设计系统mysql数据库 系统采用serlvetdaobean mvc 模式开发&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。 servlet 篮…...

编程日记 2024/3/21 14:56:58

【深度学习】NestedTensors

文章目录 NestedTensorsWhy NestedTensor初始化 NestedTensorNestedTensor 操作reshape转置查看维度其他 NestedTensors DETR 中常见的数据格式为 NestedTensors&#xff0c;那么什么是 NestedTensors 呢&#xff1f; NestedTensor&#xff0c;包括 tensor 和 mask 两个成员&a…...

编程日记 2024/3/21 14:55:57

【网络】负载均衡

OSI模型每一层的负载均衡 在OSI模型中&#xff0c;每一层的负载均衡具体如下&#xff1a; 1. 第二层&#xff08;数据链路层&#xff09;&#xff1a;数据链路层的负载均衡通常涉及对MAC地址的操作。在这一层&#xff0c;可以使用虚拟MAC地址技术&#xff0c;外部设备对虚拟MA…...

编程日记 2024/3/21 14:53:55

dataGridView 绑定List 显示内容不刷新

绑定后,原list值变动,显示内容会刷新 绑定后,list新添加的值时不会显示到界面,需要重新绑定list 微软的Bug 参考代码 public class Student{public string Name { get; set; }}List<Student> list new List<Student>();private void Form2_Load(object sender,…...

编程日记 2024/3/21 14:52:54

VR历史建筑漫游介绍|虚拟现实体验店|VR设备购买

VR历史建筑漫游是一种利用虚拟现实技术&#xff0c;让用户可以身临其境地参观和探索历史建筑的体验。通过VR头显和相关设备&#xff0c;用户可以在虚拟环境中自由移动和互动&#xff0c;感受历史建筑的真实氛围和文化内涵。 在VR历史建筑漫游中&#xff0c;您可以选择不同的历史…...

编程日记 2024/3/21 14:51:53

Linux查看硬件型号详细信息

1.查看CPU &#xff08;1&#xff09;使用cat /proc/cpuinfo或lscpu &#xff08;2&#xff09;使用dmidecode -i processor Dmidecode 这款软件允许你在 Linux 系统下获取有关硬件方面的信息。Dmidecode 遵循 SMBIOS/DMI 标准&#xff0c;其输出的信息包括 BIOS、系统、主板、…...

编程日记 2024/3/21 14:50:51

【鸿蒙HarmonyOS开发笔记】通知模块之发布基础类型通知，内含如何将图片变成PixelMap对象

通知简介 应用可以通过通知接口发送通知消息&#xff0c;终端用户可以通过通知栏查看通知内容&#xff0c;也可以点击通知来打开应用。 通知常见的使用场景&#xff1a; 显示接收到的短消息、即时消息等。 显示应用的推送消息&#xff0c;如广告、版本更新等。 显示当前正…...

编程日记 2024/3/21 14:47:47

保姆级教程：在CentOS 7上用达梦8搭建DCA练习环境（附ulimit、VNC、ODBC全配置）

达梦8 DCA认证实战&#xff1a;CentOS 7环境搭建与调优全指南 在国产数据库技术快速发展的今天&#xff0c;达梦数据库作为核心产品之一&#xff0c;其DCA认证已成为众多从业者提升竞争力的重要选择。与理论为主的认证不同&#xff0c;DCA更注重实际操作能力&#xff0c;而一个…...

编程新知 2026/5/26 3:38:09

【DeepSeek事件驱动架构实战指南】：20年架构师亲授5大核心陷阱与避坑清单

更多请点击&#xff1a; https://kaifayun.com 第一章&#xff1a;DeepSeek事件驱动架构全景认知 DeepSeek事件驱动架构&#xff08;Event-Driven Architecture, EDA&#xff09;并非单一技术组件的堆叠&#xff0c;而是一种以事件为第一公民、强调松耦合与异步协作的系统设计…...

编程新知 2026/5/26 0:42:31

基于MaixCam的延时摄影系统：从硬件选型到Python编程全解析

1. 项目概述&#xff1a;用MaixCam打造你的专属延时摄影工坊延时摄影&#xff0c;这个听起来有点专业、甚至带点“魔法”色彩的词&#xff0c;其实离我们并不遥远。想想看&#xff0c;把一朵花从含苞到绽放的几天时间&#xff0c;压缩成十几秒的惊艳绽放&#xff1b;或者把一座…...

编程新知 2026/5/26 0:01:52

十年以上经验的建站公司推荐｜策划强、落地稳的网站制作公司盘点

互联网时代&#xff0c;企业官网已从单纯的信息展示窗口升级为集品牌价值传递、用户体验连接与业务高效转化于一体的核心数字阵地。行业报告显示&#xff0c;优质官网可帮助企业线上转化率提升35%-60%&#xff0c;而低效官网则可能导致潜在客户大量流失。面对市场上众多的网站建…...

编程新知 2026/5/25 21:13:33

基于GSM与Arduino的远程控制系统：DIY电话控制与短信报警方案

1. 项目概述与核心价值如果你曾经想过&#xff0c;在离家几十公里外&#xff0c;仅凭一部普通的手机&#xff0c;就能远程打开家里的车库门、查看门窗是否关好&#xff0c;甚至在异常情况发生时让系统自动打电话给你报警&#xff0c;那么这个基于GSM的远程控制系统项目&#xf…...

编程新知 2026/5/25 20:59:15

氘可来昔替尼常见副作用为鼻咽炎头痛及腹泻，如何应对？

任何口服药物的临床价值&#xff0c;都必须在疗效与安全性的天平上找到精准的平衡点。氘可来昔替尼以PASI 75应答率的全面胜出证明了自己在银屑病治疗中的卓越地位&#xff0c;而其不良反应谱同样经过了严苛的临床验证。鼻咽炎、头痛和腹泻构成了这款药物最需关注的三大安全信号…...

编程新知 2026/5/25 20:57:14

国内大学生常用的AI写作辅助平台有哪些？

国内高校学生常用的 AI 写作辅助平台&#xff0c;以本土化全流程工具为主&#xff0c;结合通用大模型与专项功能模块&#xff0c;覆盖选题构思、大纲搭建、初稿撰写、语言润色、降重处理、查重检测及格式排版等关键环节&#xff0c;以下是主流平台详解与对比&#xff1a; 一、本…...

编程新知 2026/5/25 20:03:51

Unity塔防底层架构：ScriptableObject驱动的数据契约设计

1. 这不是“又一个塔防模板”&#xff0c;而是塔防开发的底层操作系统我第一次在Asset Store点开Tower Defense Toolkit 4&#xff08;TDTK-4&#xff09;的预览图时&#xff0c;下意识划走了——界面太“干净”了&#xff0c;没有炫酷的粒子特效演示&#xff0c;没有满屏飞舞的…...

编程新知 2026/5/25 19:11:47

PS5 NOR Modifier深度解析：如何通过Windows工具修复PS5硬件故障与实现光驱版转数字版

PS5 NOR Modifier深度解析&#xff1a;如何通过Windows工具修复PS5硬件故障与实现光驱版转数字版 【免费下载链接】PS5NorModifier The PS5 Nor Modifier is an easy to use Windows based application to rewrite your PS5 NOR file. This can be useful if your NOR is corru…...

编程新知 2026/5/25 18:32:45

嵌入式Linux驱动开发 —— 从DTS到代码的桥梁与简单OF系列API（3）

接前一篇文章&#xff1a;嵌入式Linux驱动开发 —— 从DTS到代码的桥梁与简单OF系列API&#xff08;2&#xff09; 节点查找 API&#xff1a;如何在设备树中定位目标节点 有了数据结构基础&#xff0c;现在我们可以开始讲具体的API了。第一步是找到你要操作的节点。就像你想操…...

编程新知 2026/5/25 17:24:08