当前位置： 首页 > news >正文

scrapyd-完整细节

news 2026/1/18 13:09:04

安装scrapyd服务

pip install scrapyd

安装scrapyd客户端

pip install scrapyd-client

安装好以后重新开启cmd输入命令

scrapyd

 出现以下结果代表安装成功

打开浏览器输入网址，即可打开界面客户端

http://127.0.0.1:6800/

回车后显示一下ok内容代表部署成功

 回到服务刷新就可以看到我们刚刚部署的项目了

执行部分

进入地址下载应用程序-下载安装curl

curl - Download

 点版本号哪里进去找下载

解下文件后进入到bin目录下复制完整目录，部署到环境变量

系统环境变量

然后在进入path环境变量输入

%CURL_HOME%\l386

然后cmd  输入 curl --help

执行刚刚部署的爬虫，project对应项目名称spider对应爬虫名称，跟scrapy里面的要一样

curl http://127.0.0.1:6800/schedule.json -d project=HangKong -d spider=hangkong

 如果报一下错误，终端显示ok但是服务端报错

重开cmd安装一下命令，然后重启scrapyd服务端即可解决

pip install pywin32

然后再去执行启动爬虫命令，不报错了，且在前端可以看到执行日志

相关文章：

scrapyd-完整细节

安装scrapyd服务 pip install scrapyd 安装scrapyd客户端 pip install scrapyd-client 安装好以后重新开启cmd输入命令 scrapyd 出现以下结果代表安装成功 打开浏览器输入网址，即可打开界面客户端 http://127.0.0.1:6800/ 回车后显示一下ok内容代表部署成功 回到服…...

编程日记 2023/9/21 18:50:38

【iOS逆向与安全】插件开发之某音App直播间自动发666

1.目标 由于看直播的时候主播叫我发 666，支持他，我肯定支持他呀，就一直发，可是后来发现太浪费时间了，能不能做一个直播间自动发 666 呢？于是就花了几分钟做了一个。 2.操作环境 越狱iPhone一台 frida ma…...

编程日记 2023/9/21 18:48:36

AI Studio星河社区生产力实践：基于文心一言快速搭建知识库问答

还在寻找基于文心一言搭建本地知识库问答的方案吗？AI Studio星河社区带你实战演练（支持私有化部署）！ 相信对于大语言模型（LLM）有所涉猎的朋友，对于“老网红”知识库问答不会陌生。自从大模型爆…...

编程日记 2023/9/21 18:47:35

http1和http2的主要区别

主要有四个方面： 二进制分帧多路复用服务器主动推送头部压缩 将前两点结合来说，首先 二进制分帧 帧：HTTP/2 数据通信的最小单位； 消息：HTTP/2 中，例如在请求和响应等操作中，消息由一个或多个…...

编程日记 2023/9/21 18:46:34

一文了解水雨情在线监测站的优势

随着全球气候变化的加剧，水雨情的监测变得越来越重要。水雨情监测站作为现代环境监测系统的重要组成部分，其优势在实现环境智能监控方面得到了充分体现。 实时监测，数据准确 水雨情监测站通过先进的技术设备和智能传感器，能够实时…...

编程日记 2023/9/21 18:45:33

windows11中安装curl

windows11中安装curl 1.下载curl curl 下载地址：curl 2.安装curl 2.1.解压下载的压缩包 解压文件到 C:\Program Files\curl-8.3.0_1-win64-mingw 目录 2.2.配置环境变量 WINS 可打开搜索栏，输入“编辑系统环境变量” 并按回车。 3.可能遇到的问题 3…...

编程日记 2023/9/21 18:44:32

小谈设计模式（5）—开放封闭原则

小谈设计模式（5）—开放封闭原则 专栏介绍专栏地址专栏介绍 开放封闭原则核心思想关键词概括扩展封闭 解释抽象和接口多态 代码示例代码解释 优缺点优点可扩展性可维护性可复用性高内聚低耦合 缺点抽象设计的复杂性需要预留扩展点可能引入过度设计 总结 专…...

编程日记 2023/9/21 18:42:30

计算机视觉与深度学习-全连接神经网络-训练过程-欠拟合、过拟合和Dropout- [北邮鲁鹏]

目录标题 机器学习的根本问题过拟合overfitting泛化能力差。应对过拟合最优方案次优方案调节模型大小约束模型权重，即权重正则化(常用的有L1、L2正则化)L1 正则化L2 正则化对异常值的敏感性随机失活(Dropout)随机失活的问题 欠拟合 机器学习的根本问题 机器学习的根…...

编程日记 2023/9/21 18:38:27

SwiftUI Swift iOS iPadOS 实现更改 App 图标

Xcode: 14.3.1 更改 App 图标 淘宝，支付宝，有道翻译有时候会随着运营活动去调整图标，比如 双 11。（这个很简单，替换一下 AppIcon 就可以了）Github App 提供了多套图标可以修改。（需要配置 &…...

编程日记 2023/9/21 18:37:26

Java————List

一 、顺序表和链表 线性表（linear list）是n个具有相同特性的数据元素的有限序列。 线性表是一种在实际中广泛使用的数据结构， 常见的线性表：顺序表、链表、栈、队列… 线性表在逻辑上是线性结构，也就说是连续的一条直…...

编程日记 2023/9/21 18:36:25

uniapp 触底加载

方式一 onReachBottomDistance 缺点：需要整个页面滑动，局部滑动触发不了 { // pages.json // 路由下增加 onReachBottomDistance "path": "detailed/detailed","style": {"navigationBarTitleText": "收…...

编程日记 2023/9/21 18:35:24

大模型赛道如何实现华丽的弯道超车

🚀欢迎来到本文🚀 🍉个人简介：陈童学哦，目前学习C/C、算法、Python、Java等方向，一个正在慢慢前行的普通人。 🏀系列专栏：陈童学的日记 💡其他专栏：CSTL&…...

编程日记 2023/9/21 18:34:23

CAN总线物理层

本文的目的并不是为了介绍或普及CAN总线相关知识，而是为了了解CAN总线，进而为CAN通信一致性测试做知识储备。 CAN，控制器局域网，全称：Controller Area Network。1986年，由德国Bosch公司为汽车开发的网络技术，主要用于汽车的监测与控制，目的为适应汽车“减少线束的数量…...

编程日记 2023/9/21 18:31:21

中兴面试-Java开发

1、Springboot框架，yarn是怎么配置的 Spring Boot 本身没有直接的配置或集成与 YARN (Yet Another Resource Negotiator) 的特性，YARN是Hadoop的一个资源管理和作业调度平台。如果你想在 YARN 上运行Spring Boot应用，你需要考虑将你的Spring…...

编程日记 2023/9/21 18:29:19

浅谈 React 与 Vue 更新机制的差异

前言 哈喽，大家好，我是 Baker ！🎉 对于前端的 Vue 和 React 相信大家并不陌生，这两个库有着截然不同的设计思想和发展目标，对于我们上层使用者来说，研究它们的差异不仅让我们更加深入的去理解…...

编程日记 2023/9/21 18:28:18

Delft3D水动力与泥沙运动模拟实践技术应用

水体中泥沙运动是关系到防洪，调水等方面的重要问题，也是水利和水环境领域科研热点之一。水利数值模型，在环境影响评价、防洪规划等方面也有着广泛的应用。荷兰Delft研究所开发的Delft3D模型是世界上最先进的水动力之一，能够运用于…...

编程日记 2023/9/21 18:22:12

Linux 本地Yearning SQL 审核平台远程访问

文章目录 前言1. Linux 部署Yearning2. 本地访问Yearning3. Linux 安装cpolar4. 配置Yearning公网访问地址5. 公网远程访问Yearning管理界面6. 固定Yearning公网地址 前言 Yearning 简单, 高效的MYSQL 审计平台 一款MYSQL SQL语句/查询审计工具，为DBA与开发人员使用…...

编程日记 2023/9/21 18:21:11

Redis集群(Cluster)

1. 什么是集群 广义的集群：只要是多台机器，构成一个分布式系统，就可以称为一个“集群”。像前面的主从结构，哨兵模式都是“广义的集群”狭义的集群：redis提供的集群模式，这个集群模式主要解决存储空间不足…...

编程日记 2023/9/21 18:20:10

Scapy 解析 pcap 文件从HTTP流量中提取图片

Scapy 解析 pcap 文件从HTTP流量中提取图片 前言一、网络环境示例二、嗅探流量示例三、pcap 文件处理最后参考 ​ 作者：高玉涵 ​ 时间：2023.9.17 10:25 ​ 环境：Linux kali 5.15.0-kali3-amd64，Python 3.11.4，scapy…...

编程日记 2023/9/21 18:18:08

难得有个冷静的程序员发言了：纯编码开发实施的项目，失败的案例也有很多

难得有个冷静的程序员发言了：纯编码开发实施的项目，失败的案例也有很多。假如用低代码实施，能达到不失败或提高成功率，对软件开发项目交付，会是重大的价值。 我的观点：两者都可能失败，不同的是&…...

编程日记 2023/9/21 18:16:07

深入浅出：JavaScript 中的 `window.crypto.getRandomValues()` 方法

深入浅出：JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中，随机数的生成看似简单，却隐藏着许多玄机。无论是生成密码、加密密钥，还是创建安全令牌，随机数的质量直接关系到系统的安全性。Jav…...

编程新知 2025/10/8 4:56:09

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型（LLM）参数规模的增长，推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长，而KV缓存的内存消耗可能高达数十GB（例如Llama2-7B处理100K token时需50GB内存&a…...

编程新知 2025/11/27 23:47:29

排序算法总结（C++）

目录 一、稳定性二、排序算法选择、冒泡、插入排序归并排序随机快速排序堆排序基数排序计数排序 三、总结 一、稳定性 排序算法的稳定性是指：同样大小的样本 **（同样大小的数据）**在排序之后不会改变原始的相对次序。 稳定性对基础类型对象…...

编程新知 2026/1/15 6:09:54

Kafka入门-生产者

生产者 生产者发送流程： 延迟时间为0ms时，也就意味着每当有数据就会直接发送 异步发送API 异步发送和同步发送的不同在于：异步发送不需要等待结果，同步发送必须等待结果才能进行下一步发送。 普通异步发送 首先导入所需的k…...

编程新知 2026/1/15 6:38:04

MFC 抛体运动模拟：常见问题解决与界面美化

在 MFC 中开发抛体运动模拟程序时，我们常遇到 轨迹残留、无效刷新、视觉单调、物理逻辑瑕疵 等问题。本文将针对这些痛点，详细解析原因并提供解决方案，同时兼顾界面美化，让模拟效果更专业、更高效。 问题一：历史轨迹与小球残影残留 现象 小球运动后，历史位置的 “残影”…...

编程新知 2026/1/15 8:45:56

莫兰迪高级灰总结计划简约商务通用PPT模版

莫兰迪高级灰总结计划简约商务通用PPT模版，莫兰迪调色板清新简约工作汇报PPT模版，莫兰迪时尚风极简设计PPT模版，大学生毕业论文答辩PPT模版，莫兰迪配色总结计划简约商务通用PPT模版，莫兰迪商务汇报PPT模版，…...

编程新知 2026/1/15 6:36:06

GitHub 趋势日报 (2025年06月06日)

📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图 今日获星趋势图 590 cognee 551 onlook 399 project-based-learning 348 build-your-own-x 320 ne…...

编程新知 2025/9/7 2:12:04

并发编程 - go版

1.并发编程基础概念 进程和线程 A. 进程是程序在操作系统中的一次执行过程，系统进行资源分配和调度的一个独立单位。B. 线程是进程的一个执行实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。C.一个进程可以创建和撤销多个线程;同一个进程中…...

编程新知 2026/1/15 5:03:04

Redis：现代应用开发的高效内存数据存储利器

一、Redis的起源与发展 Redis最初由意大利程序员Salvatore Sanfilippo在2009年开发，其初衷是为了满足他自己的一个项目需求，即需要一个高性能的键值存储系统来解决传统数据库在高并发场景下的性能瓶颈。随着项目的开源，Redis凭借其简单易用、…...

编程新知 2025/11/15 1:41:43

Web中间件--tomcat学习

Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机，它可以执行Java字节码。Java虚拟机是Java平台的一部分，Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...

编程新知 2025/9/13 18:20:34