zhang_crawl_bio/使用说明.txt

在线文档： https://evoi45c69f6.feishu.cn/wiki/RugdwwiU0iNbbfktsWhclKWgnmf

# 批量启动
双击  run_multi_proxy.bat 批量启动代理池，相当于程序多开，同时使用多个节点

在这个地址可以管理和切换每个单独节点， port 后面的数字代表每个节点的管理端口，依次改成 9361、9363、9365、9367、9369
https://yacd.metacubex.one/?hostname=127.0.0.1&port=9363&secret=#/proxies

双击 run_manager.bat 批量启动管理程序，自动监听谷歌搜索任务

# 执行任务
双击 cmd_python.bat 进入控制台，可以用来执行 python 程序，在控制台输入指令

- 提交表格，进行谷歌搜索任务
python -m worker.celery.client -f "G:\code\upwork\zhang_crawl_bio\download\测试-精油-2000.xlsx"

将文件路径改为自己的表格路径，程序会自动导入表格数据，自动提交搜索任务，每个任务排队执行，自动保存搜索结果

每个搜索词完成后，会自动保存，即便下一次重新提交任务，也会跳过已经完成的搜索任务

即便关机了，或者不小心关闭了程序也没有关系，
还在排队中的搜索任务在 run_manager.bat 启动后，会接着未完成的关键词继续排队执行，
因此不需要重复提交表格任务，即便重复提交，已经完成的搜索词也会跳过。

- 清除任务
python -m worker.celery.client -c

如果队列中有很多任务以前已经提交，此时想让剩余任务停止，或者你想新增、减少 excel 表格搜索词，重新导入
此时可以使用清除任务。

只会清除还在排队中的、未完成的搜索任务，不会清除任何本地数据，不会清除任何已经完成的数据

## 查看任务状态

访问： http://localhost:5555/broker
Messages 的数字表示还有搜索词在排队中，未完成

上方导航栏： Tasks 
表示每个任务的执行情况，成功、失败、保存的html页面路径

导航栏 Workers 表示当前浏览器工作程序的状态

# proxy

download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9361.yaml
download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9363.yaml
download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9365.yaml
download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9367.yaml
download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9369.yaml

https://yacd.metacubex.one/?hostname=127.0.0.1&port=9363&secret=#/proxies

# worker
download\Redis-x64-5.0.14.1\redis-server.exe

celery -A worker.celery.app flower --persistent=True --db=".\output\flower_db"

启动浏览器工作进程，任务提交后，会启动谷歌浏览器，浏览器默认路径 C:\Program Files\Google\Chrome\Application\chrome.exe
没有安装浏览器需要先安装 https://www.google.com/chrome/ 
或者使用自己的浏览器路径，在 config\conf\9321.ini 文件中，右键用记事本打开，修改 browser_path
celery -A worker.celery.app worker --hostname=w1@%h

python -m worker.celery.client "G:\code\upwork\zhang_crawl_bio\download\测试-精
油-2000.xlsx"