Python使用Celery分布式异步队列/任务调度(基于Redis)

Song • 9756 次浏览 • 0 个回复 • 2018年04月23日

今天使用爬虫有些耗时较长,需要使用任务调度,CeleryPython开发的分布式任务调度模块,Celery本身不含消息服务,它使用第三方消息服务来传递任务,目前,Celery支持的消息服务有RabbitMQRedis甚至是数据库,当然Redis应该是最佳选择。

Python使用Celery分布式异步队列/任务调度(基于Redis)

安装Celery

pip管理工具安装Celery

$ sudo pip install Celery

使用Redis作为Broker时,需要再安装一个celery-with-redis

pip install celery-with-redis

开始编写tasks.py

# -*- coding:utf8 -*-
import time
from celery import Celery

celery = Celery('tasks', broker='redis://localhost:6379/0')
# 如果有redis密码
# celery = Celery('tasks', broker='redis://:foobared@localhost:6379/0')

@celery.task
def sendmail(email):
    print('sending mail to %s...' % email)
    time.sleep(2.0)
    print('mail sent.')

然后启动Celery处理任务:

$ celery -A tasks worker --loglevel=info

上面的命令行实际上启动的是Worker,如果要放到后台运行,可以扔给supervisor,参考centos/ubuntu/Mac中使用Supervisor监控管理laravel queue队列进程

发布队列

>>> from tasks import sendmail
>>> sendmail.delay('test@ptorch.com')
<AsyncResult: 1a0a9262-7858-4192-9981-b7bf0ea7483b>

可以看到,CeleryAPI设计真的非常简单。 然后,在Worker里就可以看到任务处理的消息:

[2013-08-27 19:20:23,363: WARNING/MainProcess] celery@MichaeliMac.local ready.
[2013-08-27 19:20:23,367: INFO/MainProcess] consumer: Connected to redis://localhost:6379/0.
[2013-08-27 19:20:45,618: INFO/MainProcess] Got task from broker: tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b]
[2013-08-27 19:20:45,655: WARNING/PoolWorker-4] sending mail to celery@python.org...
[2013-08-27 19:20:47,657: WARNING/PoolWorker-4] mail sent.
[2013-08-27 19:20:47,658: INFO/MainProcess] Task tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b] succeeded in 2.00266814232s: None

Celery默认设置就能满足基本要求。Worker以Pool模式启动,默认大小为CPU核心数量,缺省序列化机制是pickle,但可以指定为json。由于Python调用UNIX/Linux程序实在太容易,所以,用Celery作为异步任务框架非常合适。

常见问题

Celery不能跨文件调用,会出现The message has been ignored and discarded.,这个可以使用如下方法使用

celery -A file.tasks worker --loglevel=info

原创文章,转载请注明 :Python使用Celery分布式异步队列/任务调度(基于Redis) - pytorch中文网
原文出处: https://ptorch.com/news/162.html
问题交流群 :168117787
提交评论
要回复文章请先登录注册
用户评论
  • 没有评论
Pytorch是什么?关于Pytorch! Pytorch v0.4.0发布,首次支持Windows以及张量/变量合并