冷热数据分离需手动实现,Django ORM不支持自动分区;须通过多数据库路由、定时归档任务和结构一致但索引精简的冷表来实现,时间阈值必须全局统一。
冷热数据分离在 Django 里不是靠 ORM 自动做的
Django 的
和模型层本身不提供“自动冷热分区”能力,也没有内置的归档调度、表生命周期管理或跨库路由逻辑。你得自己定义规则、拆分存储、控制读写路径——否则所有数据都在主库主表里堆着,早晚卡死。
常见错误现象:
或查询变慢但
显示全表扫描,其实是历史订单/日志类数据膨胀导致索引失效。
热数据:最近 90 天订单、用户活跃行为,需要高频读写、事务强一致
冷数据:超过 90 天的已完成订单、3 个月前的日志,只读、可压缩、可迁出
别指望
加个
方法就能搞定分区——它只过滤数据,不改变物理存储位置
用多数据库配置 + 路由规则手动分流读写
Django 支持多数据库,但默认不自动按时间路由。你需要继承
,在
/
中判断模型和查询条件,把冷数据请求导向归档库(比如
)。
关键点是:路由判断必须轻量,不能查库、不能走 ORM,推荐用模型字段(如
)+ 预设阈值硬编码或从配置读取:
立即学习
“
Python免费学习笔记(深入)
”;
在
里定义
写一个
类,在
中检查
,返回
注意:迁移命令默认只跑在
库,冷表结构需手动同步,或用
查询时若未指定
,即使数据在 archive 库,Django 仍会去 default 查——路由只影响自动选择,不强制重定向
归档逻辑必须独立于业务代码触发
不能靠用户操作或 HTTP 请求实时触发归档,否则高并发下容易锁表或超时。归档是后台任务,得用定时 + 批量 + 可中断方式做。
Python 3.14.3
微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
下载
典型场景:每天凌晨把
表中
且
的记录搬走。
用
或系统 cron 调用自定义 management command
归档动作建议分三步:查 ID 列表 → 批量 select for update(主库)→ insert into archive → delete from default;避免长事务
别用
直删,它会触发信号和级联,且无法控制事务粒度;改用原生 SQL 或
+
归档后记得更新对应索引统计(PostgreSQL:
),否则查询计划器可能继续选错执行路径
冷表结构要和热表严格一致,但可精简索引
如果冷表字段、约束、默认值和热表不一致,后续 join 或导出就容易出错。但索引可以也必须裁剪——冷数据只读,不需要唯一约束、外键或高频查询字段的索引。
例如:热表
有
外键 +
索引 +
复合索引;冷表可去掉外键(archive 库无 user 表)、删掉
索引(冷数据 status 固定为 'archived'),只保留
用于范围归档定位。
建冷表时用
(MySQL)或
(PostgreSQL),再手工删约束
PostgreSQL 可考虑用分区表(
),但 Django 不识别分区子表,查询仍需显式指定
并加 where 条件,否则走父表全扫
别给冷表加
字段——归档时时间戳已固定,再设默认值会覆盖原始值
最麻烦的其实是时间边界一致性:业务代码、路由判断、归档脚本、监控告警,三处用的阈值必须完全一样,差一天都可能漏数据或重复归档。建议提成配置项,比如
,全局导入使用。
QuerySetOperationalError: (1205, 'Deadlock found when trying to get lock')EXPLAINdjango.db.models.Managerhot()DatabaseRouterdb_for_readdb_for_writearchivecreated_atsettings.pyDATABASES = {'default': ..., 'archive': {...}}HotColdRouterdb_for_writeobj.created_at < timezone.now() - timedelta(days=90)'archive'defaultpython manage.py migrate --database=archive.using('archive')Orderstatus='completed'updated_at < now() - 90ddjango-celery-beatModel.objects.filter(...).delete()bulk_createconnection.cursor()VACUUM ANALYZE ordersOrderuser_idstatuscreated_atstatuscreated_atCREATE TABLE order_archive LIKE orderCREATE TABLE order_archive (LIKE order INCLUDING ALL)PARTITION BY RANGE (created_at).using('default')auto_now_addHOT_DATA_DAYS = 90