需求 起因是我看到一款是基于PHP写的豆瓣插件，所以我也想同步我的豆瓣影单以及书单到博客网站上，但是豆瓣并没有提供这样的接口允许你获取到自己的影单以及书单数据。那没办法只能自己爬数据了，刚好我对爬虫又有点研究，这点实现起来不难。 为什么要集成scrapy 实际上不用scrapy来爬取，纯python也能实现，但是我坚持在django项目...

为什么要集成celery当集成了celery之后，我们可以利用celery的异步任务和定时任务来处理我们django项目逻辑。例如：异步发送邮件和定时清理缓存等，在我的博客我就利用celery等配置完成定时对豆瓣影单书单的爬取，并且可控计划(循环、定时、时钟)类型。 django集成celery—demo如果把celery集成到djang...

关于Celery Celery是一款非常简单、灵活、可靠的分布式系统，可用于处理大量消息，并且提供了一整套操作此系统的一系列工具，同时Celery也是一款消息队列工具，可用于处理实时数据以及任务调度。 Celery关键词概念 Task 异步任务和定时任务 Broker 表示中间人，作用是负责接收生产者发布的任务并将任务存入队列，然后等...

欢迎使用Markdown在线编辑器MdEditorMarkdown是一种轻量级的「标记语言」 Markdown是一种可以使用普通文本编辑器编写的标记语言，通过简单的标记语法，它可以使普通文本内容具有一定的格式。它允许人们使用易读易写的纯文本格式编写文档，然后转换成格式丰富的HTML页面，Markdown文件的后缀名便是“.md” MdE...

安装mariadb如果没有指定mariadb的yum源，直接安装也能安装成功，但是版本是5.5的应该是阿里云默认安装版本，建议大家尽量安装新的版本。 #编辑yum源文件 vim/etc/yum.repos.d/epel.repo #添加mariadb的yum镜像源 [mariadb] name=MariaDB baseurl=http:...

1.新建项目以及主爬虫文件scrapystartprojectcomic cdcomic scrapygenspiderComicmanhua.sfacg.com 注意以上命令是在cmd界面操作的 2.在项目下新建main.py文件，编写代码如下：fromscrapyimportcmdline cmdline.execute("scra...

一、windows配置虚拟环境1.1安装虚拟环境包 默认安装virtualenv和virtualenvwrapperpipinstall-ivirtualenv pipinstallvirtualenvwrapper-win 镜像安装virtualenv和virtualenvwrapperpipinstall-ihttps://pypi...

一、linux简介1.1linux起源 Linux内核最初只是由芬兰人林纳斯·托瓦兹（LinusTorvalds）在赫尔辛基大学上学时出于个人爱好而编写的。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序...

如何引入网易云歌单？ 首先进入网易云音乐网页版本，登陆自己的网易云账号，进入网易云个人主页，如下图所示： 博主一开始不知道，随便选择歌单列表中的一个点击进去，然后点击如下图所示的生成外链播放器：然后提示如下图所示：然后博主就开始百度了如何解决问题，也百度到了方法，其中教程是这样的，右键生成外链播放器，选择审查元素，如下图所示： 复制改da...