part-time-job/zhang_crawl_bio @ 61c7a9097426864a2967bc3af904ba399e5faa35

mrh 61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换		10 hónapja
..
celery	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	10 hónapja
conf	ad5526ea13 备份。 celery 无法很好支持 playwright 上下文	10 hónapja
crawl_pages	ae66a8b5dd 完成 crawl markdown 过滤单个文件：添加头url 、超链接转换正常、去掉主标题以前的数据。不过表格不太正确	10 hónapja
html_convert	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	10 hónapja
search_engine	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	10 hónapja
ARCHITECTURE.md	2b701092ff 删除 API 代码，准备改为 celery 的方式	10 hónapja
readme.md	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	10 hónapja

To use this system you would:

1 Start Celery worker with: celery -A worker.celery.app worker --loglevel=info --concurrency=1 2 Send tasks using:

脚本方式

from worker.celery.models import KeywordTaskModel
from worker.celery.tasks import search_keyword_task
task_data = KeywordTaskModel(keyword="Acampe carinata essential oil").model_dump()
search_keyword_task.delay(task_data)

命令行方式

G:\code\upwork\zhang_crawl_bio\download\Redis-x64-5.0.14.1\redis-server.exe
celery -A worker.celery.app flower --persistent=True --db=".\output\flower_db"
# 为不同PC启动worker时指定配置
$env:PC_NAME="w1"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w2"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w3"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w4"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w5"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w6"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w7"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h

readme.md