跳转到主内容
极星编程网:以代码为星,赴技术山海!

Django怎么实现数据冷热分离_Python配置数据库分区与归档逻辑

冷热数据分离需手动实现,Django ORM不支持自动分区;须通过多数据库路由、定时归档任务和结构一致但索引精简的冷表来实现,时间阈值必须全局统一。 冷热数据分离在 Django 里不是靠 ORM 自动做的 Django 的
QuerySet
和模型层本身不提供“自动冷热分区”能力,也没有内置的归档调度、表生命周期管理或跨库路由逻辑。你得自己定义规则、拆分存储、控制读写路径——否则所有数据都在主库主表里堆着,早晚卡死。 常见错误现象:
OperationalError: (1205, 'Deadlock found when trying to get lock')
或查询变慢但
EXPLAIN
显示全表扫描,其实是历史订单/日志类数据膨胀导致索引失效。 热数据:最近 90 天订单、用户活跃行为,需要高频读写、事务强一致 冷数据:超过 90 天的已完成订单、3 个月前的日志,只读、可压缩、可迁出 别指望
django.db.models.Manager
加个
hot()
方法就能搞定分区——它只过滤数据,不改变物理存储位置 用多数据库配置 + 路由规则手动分流读写 Django 支持多数据库,但默认不自动按时间路由。你需要继承
DatabaseRouter
,在
db_for_read
/
db_for_write
中判断模型和查询条件,把冷数据请求导向归档库(比如
archive
)。 关键点是:路由判断必须轻量,不能查库、不能走 ORM,推荐用模型字段(如
created_at
)+ 预设阈值硬编码或从配置读取: 立即学习 “ Python免费学习笔记(深入) ”; 在
settings.py
里定义
DATABASES = {'default': ..., 'archive': {...}}
写一个
HotColdRouter
类,在
db_for_write
中检查
obj.created_at < timezone.now() - timedelta(days=90)
,返回
'archive'
注意:迁移命令默认只跑在
default
库,冷表结构需手动同步,或用
python manage.py migrate --database=archive
查询时若未指定
.using('archive')
,即使数据在 archive 库,Django 仍会去 default 查——路由只影响自动选择,不强制重定向 归档逻辑必须独立于业务代码触发 不能靠用户操作或 HTTP 请求实时触发归档,否则高并发下容易锁表或超时。归档是后台任务,得用定时 + 批量 + 可中断方式做。 Python 3.14.3 微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。 下载 典型场景:每天凌晨把
Order
表中
status='completed'
且
updated_at < now() - 90d
的记录搬走。 用
django-celery-beat
或系统 cron 调用自定义 management command 归档动作建议分三步:查 ID 列表 → 批量 select for update(主库)→ insert into archive → delete from default;避免长事务 别用
Model.objects.filter(...).delete()
直删,它会触发信号和级联,且无法控制事务粒度;改用原生 SQL 或
bulk_create
+
connection.cursor()
归档后记得更新对应索引统计(PostgreSQL:
VACUUM ANALYZE orders
),否则查询计划器可能继续选错执行路径 冷表结构要和热表严格一致,但可精简索引 如果冷表字段、约束、默认值和热表不一致,后续 join 或导出就容易出错。但索引可以也必须裁剪——冷数据只读,不需要唯一约束、外键或高频查询字段的索引。 例如:热表
Order
有
user_id
外键 +
status
索引 +
created_at
复合索引;冷表可去掉外键(archive 库无 user 表)、删掉
status
索引(冷数据 status 固定为 'archived'),只保留
created_at
用于范围归档定位。 建冷表时用
CREATE TABLE order_archive LIKE order
(MySQL)或
CREATE TABLE order_archive (LIKE order INCLUDING ALL)
(PostgreSQL),再手工删约束 PostgreSQL 可考虑用分区表(
PARTITION BY RANGE (created_at)
),但 Django 不识别分区子表,查询仍需显式指定
.using('default')
并加 where 条件,否则走父表全扫 别给冷表加
auto_now_add
字段——归档时时间戳已固定,再设默认值会覆盖原始值 最麻烦的其实是时间边界一致性:业务代码、路由判断、归档脚本、监控告警,三处用的阈值必须完全一样,差一天都可能漏数据或重复归档。建议提成配置项,比如
HOT_DATA_DAYS = 90
,全局导入使用。

相关文章