part-time-job/zhang_crawl_bio @ f114c146d53cbdf13f76817b9ba8f03d4717d356

mrh f114c146d5 celery Camoufox 完成一个关键词任务，并存储到数据库。下一步开发读取代理		10 ヶ月前
..
celery	f114c146d5 celery Camoufox 完成一个关键词任务，并存储到数据库。下一步开发读取代理	10 ヶ月前
conf	ad5526ea13 备份。 celery 无法很好支持 playwright 上下文	10 ヶ月前
search_engine	f114c146d5 celery Camoufox 完成一个关键词任务，并存储到数据库。下一步开发读取代理	10 ヶ月前
ARCHITECTURE.md	2b701092ff 删除 API 代码，准备改为 celery 的方式	10 ヶ月前
readme.md	f114c146d5 celery Camoufox 完成一个关键词任务，并存储到数据库。下一步开发读取代理	10 ヶ月前

To use this system you would:

1 Start Celery worker with: celery -A worker.celery.app worker --loglevel=info --concurrency=1 2 Send tasks using:

脚本方式

from worker.celery.models import KeywordTaskModel
from worker.celery.tasks import search_keyword_task
task_data = KeywordTaskModel(keyword="Acampe carinata essential oil").model_dump()
search_keyword_task.delay(task_data)

命令行方式

celery -A worker.celery.tasks flower --persistent=True --db=".\output\celery\flower_db"
# 为不同PC启动worker时指定配置
$env:PC_NAME="w1"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w2"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w3"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w4"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w5"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h



# 单机多worker不同配置（使用不同配置文件）

PC_NAME=worker1_config celery -A worker.celery.app worker --hostname=worker1@%h

PC_NAME=worker2_config celery -A worker.celery.app worker --hostname=worker2@%h

readme.md