open-douyin/待办事项.md

qyl

• 接入 LangChain （代补充）
  • 将一个 pdf 或 doc 文档进行本地向量存储。示例代码（URL文档转向量） m2_vector_store.py 目录： /home/user/code/LangChain
  • 向量数据库是否能按文档进行分类？例如我指定查询 1.doc 文档，在另一个场景中，指定查询 2.doc 和 3.doc 两个文档一起查找。
  • 评估大模型记忆框架 MemoryBank https://zhuanlan.zhihu.com/p/674220905?utm_campaign=shareopn&utm_medium=social&utm_oi=766444166291935232&utm_psn=1730836140159057920&utm_source=wechat_session

finish

• 试一下内网穿透、修改SSH本地配置文件、本地 proxy
• 了解数据库
  • 数据库模型 sqlmodel ，官方文档： https://github.com/tiangolo/sqlmodel
    
  • 数据库软件 PostgreSQL 。 2023 最流行的开源数据库，超越 MySQL 。官网： https://github.com/postgres/postgres ，github 地址：https://github.com/postgres/postgres
  • 根据 sqlmodel 的方式编写代码，定义数据库模型，连接至 PostgreSQL ，代码存放在 db/ 目录中(调试了sqlmodel连接PostgreSQL服务器，往数据库中写入数据)
  • 添加、删除、显示记录

mrh

• 数据库
  • 向量存储库避免单点故障：主从复制
  • 改为 supabase 向量存储数据库，基于 Postgres 构建，支持 embedding 存储，支持 REST API 访问自动鉴权，支持文件存储、边缘函数 https://github.com/supabase/supabase

• [ ] 登录页

  • 从数据库获取用户数据，展示到用户登录页中。保存到本地 localstore
  • 实现文档上传、下载、更新、删除
  • 文档预览

• [ ] 负载均衡 / 内网穿透

  • 💡 必要性：一个应用程序/网站有许多微服务，子请求到不同的后端主机，负载均衡，数据库，文件服务器，对象存储，大文件、音视频流点对点传输，用户没有ipv6，方便协作开发，等等
  • 评估 FRP 穿透打洞可行性，方便API动态增删改查隧道 (不可行，打洞仍需要中继公网服务器)
  • natter 搭建一个 API 增删改查隧道。natter + Vmess 探究
  • 优选ip
  • https://github.com/libbyliu2020/CloudflareScannerOnBrowser
  • https://zhuanlan.zhihu.com/p/640446906
    
  • https://zhuanlan.zhihu.com/p/104311719
  • https://zhuanlan.zhihu.com/p/129838721

• [ ] 接入 LangChain （代补充）

  • 向量数据库服务器部署
  • 评估大模型记忆框架 MemoryBank https://zhuanlan.zhihu.com/p/674220905?utm_campaign=shareopn&utm_medium=social&utm_oi=766444166291935232&utm_psn=1730836140159057920&utm_source=wechat_session

finish

• 了解数据库
  • 数据库模型 sqlmodel ，官方文档： https://github.com/tiangolo/sqlmodel
    
  • 数据库软件 PostgreSQL 。 2023 最流行的开源数据库，超越 MySQL 。官网： https://github.com/postgres/postgres ，github 地址：https://github.com/postgres/postgres
  • 部署数据库服务器 PostgreSQL ，确定分布式数据库可行性 https://blog.csdn.net/qq_23934063/article/details/120267886。微软Citus 11 for Postgres分布式架构 https://github.com/citusdata/citus
  • 已完成部署，使用教程

• [x] 获取抖音用户信息

  • 详见 api
  • 参考文档 https://developer.open-douyin.com/docs/resource/zh-CN/dop/develop/sdk/web-app/web/permission
  • 后端管理框架参考： https://github.com/amisadmin/fastapi-amis-admin
  • 将 code 解析出来。获取用户 access-token 、 expires_in、open_id、refresh_expires_in、refresh_token。参考文档 https://developer.open-douyin.com/docs/resource/zh-CN/dop/develop/openapi/account-permission/get-access-token
  • 利用 access-token 获取用户公开信息。

• [x] 扫码登录

  • 扫码登录，页面跳转(1月26日)。
  • 前端项目：vue-pure-admin 基于 Vue3、Vite、Element-Plus 和 TypeScript 编写的后台管理系统。github链接：https://github.com/xiaoxian521/vue-pure-admin
  • 了解用户鉴权， element-plus-admin + Fastapi + Oauth2