mrh ec7d9a838b 启动停止worker 的前后端操作		9 kuukautta sitten
..
api	ec7d9a838b 启动停止worker 的前后端操作	9 kuukautta sitten
celery	ec7d9a838b 启动停止worker 的前后端操作	9 kuukautta sitten
conf	ad5526ea13 备份。 celery 无法很好支持 playwright 上下文	10 kuukautta sitten
crawl_pages	bac07d3c6e 完善批量自启动	9 kuukautta sitten
html_convert	a8f84b34ae 测试 prefect 但是效果不理想	9 kuukautta sitten
search_engine	bd15e7d64a 完成 worker 获取任务状态显示到前端	9 kuukautta sitten
ARCHITECTURE.md	2b701092ff 删除 API 代码，准备改为 celery 的方式	10 kuukautta sitten
readme.md	a8f84b34ae 测试 prefect 但是效果不理想	9 kuukautta sitten

prefect

prefect config set PREFECT_API_URL="http://127.0.0.1:4200/api"
prefect start

celery

To use this system you would:

1 Start Celery worker with: celery -A worker.celery.app worker --loglevel=info --concurrency=1 2 Send tasks using:

脚本方式

from worker.celery.models import KeywordTaskModel
from worker.celery.tasks import search_keyword_task
task_data = KeywordTaskModel(keyword="Acampe carinata essential oil").model_dump()
search_keyword_task.delay(task_data)

命令行方式

G:\code\upwork\zhang_crawl_bio\download\Redis-x64-5.0.14.1\redis-server.exe
celery -A worker.celery.app flower --persistent=True --db=".\output\flower_db"
# 为不同PC启动worker时指定配置
$env:PC_NAME="w1"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w2"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w3"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w4"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w5"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w6"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w7"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h

readme.md

prefect

celery