part-time-job/zhang_crawl_bio @ 61c7a9097426864a2967bc3af904ba399e5faa35

mrh 61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换		il y a 10 mois
..
celery	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	il y a 10 mois
conf	ad5526ea13 备份。 celery 无法很好支持 playwright 上下文	il y a 10 mois
crawl_pages	ae66a8b5dd 完成 crawl markdown 过滤单个文件：添加头url 、超链接转换正常、去掉主标题以前的数据。不过表格不太正确	il y a 10 mois
html_convert	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	il y a 10 mois
search_engine	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	il y a 10 mois
ARCHITECTURE.md	2b701092ff 删除 API 代码，准备改为 celery 的方式	il y a 10 mois
readme.md	61c7a90974 有些 resutl items 存在 cloudflare 人机验证，尝试跳过这些页面转换	il y a 10 mois

To use this system you would:

1 Start Celery worker with: celery -A worker.celery.app worker --loglevel=info --concurrency=1 2 Send tasks using:

脚本方式

from worker.celery.models import KeywordTaskModel
from worker.celery.tasks import search_keyword_task
task_data = KeywordTaskModel(keyword="Acampe carinata essential oil").model_dump()
search_keyword_task.delay(task_data)

命令行方式

G:\code\upwork\zhang_crawl_bio\download\Redis-x64-5.0.14.1\redis-server.exe
celery -A worker.celery.app flower --persistent=True --db=".\output\flower_db"
# 为不同PC启动worker时指定配置
$env:PC_NAME="w1"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w2"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w3"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w4"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w5"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w6"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h
$env:PC_NAME="w7"; celery -A worker.celery.app worker --hostname=$env:PC_NAME@%h

readme.md