当前位置： 首页 > news >正文

第十九章 linux部署scrapyd

news 2025/9/4 18:52:34

文章目录

  • 1. linux部署python环境
    • 1. 部署python源文件环境
    • 2. 下载python
    • 3. 解压安装包
    • 4. 安装
    • 5. 配置环境变量
    • 6. 检查是否安装成功
    • 7. 准备python使用的包
    • 8. 安装scrapyd
    • 9. 配置scrapyd
    • 10. 开放6800端口
  • 2. 部署gerapy
    • 1. 本机下载包
    • 2. 初始化
    • 3. 进入gerapy同步数据库
    • 4. 创建用户
    • 5. 运行gerapy

1. linux部署python环境

1. 部署python源文件环境

yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y

2. 下载python

yum install -y wget# 具体版本可以根据自己需求下载
wget https://www.python.org/ftp/python/3.11.8/Python-3.11.8.tgz

3. 解压安装包

tar -zxvf Python-3.11.8.tgz

在这里插入图片描述

4. 安装

# /usr....路径根据自己需求设定
./configure --prefix=/usr/local/python3make && make install

5. 配置环境变量

vi /etc/profileexport PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH# 配置完成后刷新环境变量
source /etc/profile

在这里插入图片描述

6. 检查是否安装成功

在这里插入图片描述

7. 准备python使用的包

win+R命令窗口

pip freeze package.txt

将package.txt传输到linux中
可以使用工具 MobaXterm
链接：https://pan.baidu.com/s/1NqKDJBH0ZfPZmm1sn1q9oQ?pwd=2024
提取码：2024

在这里插入图片描述

为了下载快一些可以配置python的源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

在这里插入图片描述
在这里插入图片描述

pip3 install -r package.txt

8. 安装scrapyd

pip3 install scrapyd

在这里插入图片描述

9. 配置scrapyd

vi /usr/local/python3/lib/python3.11/site-packages/scrapyd/default_scrapyd.conf# 修改此行
bind_address = 0.0.0.0

在这里插入图片描述

10. 开放6800端口

iptables -I INPUT -p tcp --dport 6800 -j ACCEPT# 创建scrapyd项目文件夹
mkdir scrapyd_projrct
cd scrapyd_projrct
scrapyd

2. 部署gerapy

1. 本机下载包

 pip install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 初始化

gerapy init

3. 进入gerapy同步数据库

cd .\gerapy\
gerapy migrate

4. 创建用户

gerapy createsuperuser

在这里插入图片描述

5. 运行gerapy

gerapy runserver

打包失败原因待探索…

如果打包项目失败的话
使用scrapy-deploy直接部署项目到scrapyd上

# 进入项目 scrapy.cfg文件的统计目录下scrapyd-deploy ts -p test_name

在这里插入图片描述

相关文章：

第十九章 linux部署scrapyd

文章目录 1. linux部署python环境1. 部署python源文件环境2. 下载python3. 解压安装包4. 安装5. 配置环境变量6. 检查是否安装成功7. 准备python使用的包8. 安装scrapyd9. 配置scrapyd10. 开放6800端口 2. 部署gerapy1. 本机下载包2. 初始化3. 进入gerapy同步数据库4. 创建用户…...

编程日记 2024/3/21 15:31:43

微信打卡小程序怎么做_用户的每日习惯培养神器

微信打卡小程序：你的每日习惯培养神器 在这个快节奏的现代社会，我们每天都在忙碌中度过，有时候甚至会忘记自己曾经立下的那些小目标、小习惯。然而，随着科技的不断发展，微信打卡小程序的出现，为我们的生活…...

编程日记 2024/3/21 15:29:40

C语言数据在内存中的存储

reference n.提及，谈到；参考，查阅；（引自书或诗歌的）引言，引文； 引文的作者，参考书目；（帮助或意见的）征求，征询&#xff1b…...

编程日记 2024/3/21 15:27:38

管理公司员工上网行为的软件都有哪些?

随着互联网的飞速发展，企业面临的网络安全威胁也日益加剧。为了保护企业数据安全、提高工作效率，上网行为管理系统及其相关管理软件应运而生。 未来，随着技术的不断进步和网络安全威胁的不断演变，上网行为管理系统及其管理软件将不…...

编程日记 2024/3/21 15:24:32

手撕C语言题典——逆序输出

有这样一个问题：读入一些整数，逆序输出到一行中。已知的是该整数不超过100个。我们该怎么办呢？我们先将这些整数循环输入，输入每个整数之后，我们只能将数组存下来，而这个地方就是数组。 本章可能用到的知识…...

编程日记 2024/3/21 15:21:27

如果保障服务器的安全

如果保障服务器的安全 一、修改它最开始的密码，后期也要一直更换。一般如果有客户来了服务器的话，服务器厂商都会提前把所有的系统都装好，之后再把这个权限交到用户的手里。很多用户可能在这方面不会特别注意，密码也不修改&#x…...

编程日记 2024/3/21 15:20:26

【SQL】1280. 学生们参加各科测试的次数 (笛卡尔积)

前述 知识点回顾：数据库中的四大join & 笛卡尔乘积（以MySQL为例） 笛卡尔积的两种写法 select * from stu,class; select * from stu cross join class; 题目描述 leetcode题目：1280. 学生们参加各科测试的次数 Code 写法…...

编程日记 2024/3/21 15:19:25

高企认定中科技成果转化是什么呢？

其实，这是一个流程，可以用下面的分段进程来表示：企业开展科研立项—科研立项得到科研结果—科研结果用于产品的生产—新产品品质提高带动了销售的增加。 上面的流程，其实是高企审核的核心，不仅仅关系到了量化打分。更…...

编程日记 2024/3/21 15:18:24

第十二届蓝桥杯省赛CC++ 研究生组-货物摆放

还是整数分解问题,注意n本身也是约数 #include <iostream> int main(){printf("2430");return 0; }#include <iostream> #include<cmath> #include<algorithm> using namespace std; typedef long long ll; const ll n 2021041820210418LL…...

编程日记 2024/3/21 15:15:20

基于SpringBoot的学生成绩管理系统

基于SpringBootVue的家教管理系统的设计与实现~ 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;SpringBoot 系统功能结构展示 登录界面图 现今&#xff0c;越来越多的人乐于选择一项合适的管理方案&#xff0c;但是普通用户往往受到管理经验地限制&…...

编程日记 2024/3/21 15:03:06

旅游管理系统 |基于springboot框架+ Mysql+Java+Tomcat的旅游管理系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 目录 前台功能效果图 管理员功能登录前台功能效果图 系统功能设计 数据库E-R图设计 lunwen参考 摘要 研究…...

编程日记 2024/3/21 15:02:05

SpringBoot（整合MyBatis + MyBatis-Plus + MyBatisX插件使用）

文章目录 1.整合MyBatis1.需求分析2.数据库表设计3.数据库环境配置1.新建maven项目2.pom.xml 引入依赖3.application.yml 配置数据源4.Application.java 编写启动类5.测试6.配置类切换druid数据源7.测试数据源是否成功切换 4.Mybatis基础配置1.编写映射表的bean2.MonsterMapper…...

编程日记 2024/3/21 14:59:02

GAMES104-现代游戏引擎 1

主要学习重点还是面向就业&#xff0c;重点复习八股和算法 每天早上八点到九点用来学习这个课程 持续更新中... 第一节 游戏引擎导论 第二节 引擎架构分层 引擎是分层架构的 编辑器功能层资源层核心层平台层 越底层的代码越稳定越坚固&#xff0c;越上层的代码越灵活越开…...

编程日记 2024/3/21 14:58:01

idea 开发serlvet篮球秩序册管理系统idea开发mysql数据库web结构计算机java编程layUI框架开发

一、源码特点 idea开发 java servlet 篮球秩序册管理系统是一套完善的web设计系统mysql数据库 系统采用serlvetdaobean mvc 模式开发&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。 servlet 篮…...

编程日记 2024/3/21 14:56:58

【深度学习】NestedTensors

文章目录 NestedTensorsWhy NestedTensor初始化 NestedTensorNestedTensor 操作reshape转置查看维度其他 NestedTensors DETR 中常见的数据格式为 NestedTensors&#xff0c;那么什么是 NestedTensors 呢&#xff1f; NestedTensor&#xff0c;包括 tensor 和 mask 两个成员&a…...

编程日记 2024/3/21 14:55:57

【网络】负载均衡

OSI模型每一层的负载均衡 在OSI模型中&#xff0c;每一层的负载均衡具体如下&#xff1a; 1. 第二层&#xff08;数据链路层&#xff09;&#xff1a;数据链路层的负载均衡通常涉及对MAC地址的操作。在这一层&#xff0c;可以使用虚拟MAC地址技术&#xff0c;外部设备对虚拟MA…...

编程日记 2024/3/21 14:53:55

dataGridView 绑定List 显示内容不刷新

绑定后,原list值变动,显示内容会刷新 绑定后,list新添加的值时不会显示到界面,需要重新绑定list 微软的Bug 参考代码 public class Student{public string Name { get; set; }}List<Student> list new List<Student>();private void Form2_Load(object sender,…...

编程日记 2024/3/21 14:52:54

VR历史建筑漫游介绍|虚拟现实体验店|VR设备购买

VR历史建筑漫游是一种利用虚拟现实技术&#xff0c;让用户可以身临其境地参观和探索历史建筑的体验。通过VR头显和相关设备&#xff0c;用户可以在虚拟环境中自由移动和互动&#xff0c;感受历史建筑的真实氛围和文化内涵。 在VR历史建筑漫游中&#xff0c;您可以选择不同的历史…...

编程日记 2024/3/21 14:51:53

Linux查看硬件型号详细信息

1.查看CPU &#xff08;1&#xff09;使用cat /proc/cpuinfo或lscpu &#xff08;2&#xff09;使用dmidecode -i processor Dmidecode 这款软件允许你在 Linux 系统下获取有关硬件方面的信息。Dmidecode 遵循 SMBIOS/DMI 标准&#xff0c;其输出的信息包括 BIOS、系统、主板、…...

编程日记 2024/3/21 14:50:51

【鸿蒙HarmonyOS开发笔记】通知模块之发布基础类型通知，内含如何将图片变成PixelMap对象

通知简介 应用可以通过通知接口发送通知消息&#xff0c;终端用户可以通过通知栏查看通知内容&#xff0c;也可以点击通知来打开应用。 通知常见的使用场景&#xff1a; 显示接收到的短消息、即时消息等。 显示应用的推送消息&#xff0c;如广告、版本更新等。 显示当前正…...

编程日记 2024/3/21 14:47:47

国防科技大学计算机基础课程笔记02信息编码

1.机内码和国标码 国标码就是我们非常熟悉的这个GB2312,但是因为都是16进制&#xff0c;因此这个了16进制的数据既可以翻译成为这个机器码&#xff0c;也可以翻译成为这个国标码&#xff0c;所以这个时候很容易会出现这个歧义的情况&#xff1b; 因此&#xff0c;我们的这个国…...

编程新知 2025/9/4 2:43:53

应用升级/灾备测试时使用guarantee 闪回点迅速回退

1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间&#xff0c; 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点&#xff0c;不需要开启数据库闪回。…...

编程新知 2025/7/30 7:20:17

论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（二）

HoST框架核心实现方法详解 - 论文深度解读（第二部分） 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章： 论文深度解读 + 算法与代码分析（二） 作者机构： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题： 人形机器人…...

编程新知 2025/8/4 18:55:37

python打卡day49

知识点回顾&#xff1a; 通道注意力模块复习空间注意力模块CBAM的定义 作业&#xff1a;尝试对今天的模型检查参数数目&#xff0c;并用tensorboard查看训练过程 import torch import torch.nn as nn# 定义通道注意力 class ChannelAttention(nn.Module):def __init__(self,…...

编程新知 2025/9/4 5:03:56

【JVM】- 内存结构

引言 JVM&#xff1a;Java Virtual Machine 定义&#xff1a;Java虚拟机&#xff0c;Java二进制字节码的运行环境好处&#xff1a; 一次编写&#xff0c;到处运行自动内存管理&#xff0c;垃圾回收的功能数组下标越界检查&#xff08;会抛异常&#xff0c;不会覆盖到其他代码…...

编程新知 2025/9/3 21:54:22

Android15默认授权浮窗权限

我们经常有那种需求&#xff0c;客户需要定制的apk集成在ROM中&#xff0c;并且默认授予其【显示在其他应用的上层】权限&#xff0c;也就是我们常说的浮窗权限&#xff0c;那么我们就可以通过以下方法在wms、ams等系统服务的systemReady()方法中调用即可实现预置应用默认授权浮…...

编程新知 2025/8/27 15:36:00

优选算法第十二讲：队列 + 宽搜 优先级队列

优选算法第十二讲&#xff1a;队列 宽搜 && 优先级队列 1.N叉树的层序遍历2.二叉树的锯齿型层序遍历3.二叉树最大宽度4.在每个树行中找最大值5.优先级队列 -- 最后一块石头的重量6.数据流中的第K大元素7.前K个高频单词8.数据流的中位数 1.N叉树的层序遍历 2.二叉树的锯…...

编程新知 2025/9/2 11:52:25

Python 包管理器 uv 介绍

Python 包管理器 uv 全面介绍 uv 是由 Astral&#xff08;热门工具 Ruff 的开发者&#xff09;推出的下一代高性能 Python 包管理器和构建工具&#xff0c;用 Rust 编写。它旨在解决传统工具&#xff08;如 pip、virtualenv、pip-tools&#xff09;的性能瓶颈&#xff0c;同时…...

编程新知 2025/8/16 15:34:02

基于Java Swing的电子通讯录设计与实现：附系统托盘功能代码详解

JAVASQL电子通讯录带系统托盘 一、系统概述 本电子通讯录系统采用Java Swing开发桌面应用&#xff0c;结合SQLite数据库实现联系人管理功能&#xff0c;并集成系统托盘功能提升用户体验。系统支持联系人的增删改查、分组管理、搜索过滤等功能&#xff0c;同时可以最小化到系统…...

编程新知 2025/6/15 22:59:29

初探Service服务发现机制

1.Service简介 Service是将运行在一组Pod上的应用程序发布为网络服务的抽象方法。 主要功能&#xff1a;服务发现和负载均衡。 Service类型的包括ClusterIP类型、NodePort类型、LoadBalancer类型、ExternalName类型 2.Endpoints简介 Endpoints是一种Kubernetes资源&#xf…...

编程新知 2025/9/2 19:56:38