在线文档: https://evoi45c69f6.feishu.cn/wiki/RugdwwiU0iNbbfktsWhclKWgnmf # 批量启动 双击 run_multi_proxy.bat 批量启动代理池,相当于程序多开,同时使用多个节点 在这个地址可以管理和切换每个单独节点, port 后面的数字代表每个节点的管理端口,依次改成 9361、9363、9365、9367、9369 https://yacd.metacubex.one/?hostname=127.0.0.1&port=9363&secret=#/proxies 双击 run_manager.bat 批量启动管理程序,自动监听谷歌搜索任务 # 执行任务 双击 cmd_python.bat 进入控制台,可以用来执行 python 程序,在控制台输入指令 - 提交表格,进行谷歌搜索任务 python -m worker.celery.client -f "G:\code\upwork\zhang_crawl_bio\download\测试-精油-2000.xlsx" 将文件路径改为自己的表格路径,程序会自动导入表格数据,自动提交搜索任务,每个任务排队执行,自动保存搜索结果 每个搜索词完成后,会自动保存,即便下一次重新提交任务,也会跳过已经完成的搜索任务 即便关机了,或者不小心关闭了程序也没有关系, 还在排队中的搜索任务在 run_manager.bat 启动后,会接着未完成的关键词继续排队执行, 因此不需要重复提交表格任务,即便重复提交,已经完成的搜索词也会跳过。 - 清除任务 python -m worker.celery.client -c 如果队列中有很多任务以前已经提交,此时想让剩余任务停止,或者你想新增、减少 excel 表格搜索词,重新导入 此时可以使用清除任务。 只会清除还在排队中的、未完成的搜索任务,不会清除任何本地数据,不会清除任何已经完成的数据 ## 查看任务状态 访问: http://localhost:5555/broker Messages 的数字表示还有搜索词在排队中,未完成 上方导航栏: Tasks 表示每个任务的执行情况,成功、失败、保存的html页面路径 导航栏 Workers 表示当前浏览器工作程序的状态 # proxy download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9361.yaml download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9363.yaml download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9365.yaml download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9367.yaml download\proxy_pool\mihomo-windows-amd64-go120.exe -f download\proxy_pool\一分机场_9369.yaml https://yacd.metacubex.one/?hostname=127.0.0.1&port=9363&secret=#/proxies # worker download\Redis-x64-5.0.14.1\redis-server.exe celery -A worker.celery.app flower --persistent=True --db=".\output\flower_db" 启动浏览器工作进程,任务提交后,会启动谷歌浏览器,浏览器默认路径 C:\Program Files\Google\Chrome\Application\chrome.exe 没有安装浏览器需要先安装 https://www.google.com/chrome/ 或者使用自己的浏览器路径,在 config\conf\9321.ini 文件中,右键用记事本打开,修改 browser_path celery -A worker.celery.app worker --hostname=w1@%h python -m worker.celery.client "G:\code\upwork\zhang_crawl_bio\download\测试-精 油-2000.xlsx"