|
database
|
4ce06ce2c8
refactor: move database logic to DatabaseManager and add duplicate checking
|
10 ماه پیش |
|
mylib
|
4ce06ce2c8
refactor: move database logic to DatabaseManager and add duplicate checking
|
10 ماه پیش |
|
mytest
|
03506cf2d5
默认的 crawl4ai 有反爬检测，新增一个 Drission 管理看看如何规避
|
10 ماه پیش |
|
.env
|
78e12d7b83
加入 dristion page 后关键词搜索
|
10 ماه پیش |
|
.gitignore
|
03506cf2d5
默认的 crawl4ai 有反爬检测，新增一个 Drission 管理看看如何规避
|
10 ماه پیش |
|
__init__.py
|
78e12d7b83
加入 dristion page 后关键词搜索
|
10 ماه پیش |
|
article.py
|
78e12d7b83
加入 dristion page 后关键词搜索
|
10 ماه پیش |
|
drission_page_process.py
|
03506cf2d5
默认的 crawl4ai 有反爬检测，新增一个 Drission 管理看看如何规避
|
10 ماه پیش |
|
get_article_info.py
|
c0573ee7ad
crawlai 似乎不支持自定义浏览器，只能用内置的。方案1：用外置浏览器爬取网页后再给 crawlai 解析。方案2：看看能否设置 User-agent 、session、cookie
|
10 ماه پیش |
|
search_keyward.py
|
03506cf2d5
默认的 crawl4ai 有反爬检测，新增一个 Drission 管理看看如何规避
|
10 ماه پیش |
mrh (aider)
4ce06ce2c8
refactor: move database logic to DatabaseManager and add duplicate checking