 mrh
|
bac07d3c6e
完善 批量自启动
|
hace 9 meses |
|
mrh
|
a8f84b34ae
测试 prefect 但是效果不理想
|
hace 9 meses |
|
mrh
|
50dcc6cd81
修改代理，使用说明，新增文件便于打包发布
|
hace 10 meses |
|
mrh
|
ae66a8b5dd
完成 crawl markdown 过滤单个文件：添加头url 、 超链接转换正常、去掉主标题以前的数据。不过表格不太正确
|
hace 10 meses |
|
mrh
|
685063351a
celery crawl page urls 有许多链接无法下载，待解决
|
hace 10 meses |
|
mrh
|
10debf528f
完成 celery crawl urls 批量下载，但是部分链接无法下载
|
hace 10 meses |
|
mrh
|
1238d85073
完成 crawl urls 下载html 并且自动识别 pdf 链接下载
|
hace 10 meses |
|
mrh
|
18fde68869
crawl urls 批量下载 html 文件和 markdown 、 pickle，更新到数据库
|
hace 10 meses |
