TMS运输管理系统架构介绍

订单管理

• 订单提取：从队列中提取待处理订单，分配给相应网点或运输员
• 订单修改：支持订单信息修改，包括收货人、地址、货物信息等
• 运费计算：根据距离、重量、体积等自动计算运费
• 服务费管理：支持增值服务费用，如保价费、加急费等
• 支付管理：支持在线支付、货到付款、月结等多种支付方式

积分与优惠

• 积分扣除：下单时可使用积分抵扣运费，积分实时扣除
• 网点折扣：支持网点折扣策略，不同网点可设置不同折扣率
• 修改通知：订单状态变更时自动通知用户，包括短信、APP推送等

运输管理

• 运输调度：智能分配运输任务，优化运输路线
• 运输跟踪：实时跟踪运输车辆位置和货物状态
• 运输监控：监控运输过程中的异常情况，及时预警

考核管理

• 绩效考核：对运输员、派送员进行绩效评估
• 考核指标：包括准时率、完好率、客户满意度等
• 考核报表：生成考核报表，支持多维度分析

货箱管理

• 货箱创建：创建货箱，绑定货物信息
• 货箱跟踪：跟踪货箱流转状态
• 货箱盘点：定期盘点货箱库存

转运管理

• 转运调度：安排货物在网点间的转运
• 转运跟踪：跟踪转运进度和状态
• 转运确认：确认货物到达转运网点

订单运营

• 订单分配：将订单分配给合适的运输员或派送员
• 订单监控：监控订单处理进度
• 异常处理：处理订单异常情况

车辆管理

• 车辆信息：管理车辆基本信息、证件、保险等
• 车辆调度：安排车辆执行运输任务
• 车辆维护：记录车辆维护、保养信息

绩效管理

• 绩效统计：统计员工工作量和效率
• 绩效排名：生成员工绩效排名
• 绩效奖励：根据绩效发放奖励

装卸管理

• 装卸计划：制定装卸作业计划
• 装卸记录：记录装卸作业情况
• 装卸确认：确认装卸完成

分拨管理

• 分拨调度：安排货物分拨到不同网点
• 分拨跟踪：跟踪分拨进度
• 分拨确认：确认分拨完成

扫描管理

• 入库扫描：扫描货物入库
• 出库扫描：扫描货物出库
• 转运扫描：扫描货物转运

运单管理

• 运单生成：自动生成运单
• 运单打印：支持运单打印
• 运单查询：查询运单信息

到货管理

• 到货登记：登记货物到达网点
• 到货确认：确认货物到货
• 到货通知：通知相关人员到货

发车管理

• 发车计划：制定发车计划
• 发车确认：确认车辆发车
• 发车跟踪：跟踪发车状态

入库记录

• 入库登记：登记货物入库
• 入库确认：确认入库完成
• 入库统计：统计入库数据

分库策略

• 按省份ID分库：根据订单所属省份ID进行分库，将不同省份的订单数据存储在不同的数据库实例中，实现数据的地域隔离和负载分散
• 分库数量：根据业务量和地域分布，建议设置8-16个数据库实例，每个实例负责1-3个省份的数据
• 优势：提高系统可用性，单库故障不影响其他地区业务；便于按地区进行数据备份和恢复

分表策略

订单表（orders）

• 分表依据：按省份ID分表，与分库策略保持一致
• 数据量估算：每个表约有800w数据（计算公式：100000单/天 * 320天/年 * 4年 / 16库 = 800w）
• 分表数量：每个数据库实例分4-8个表，根据实际数据量动态调整
• 索引策略：订单ID（主键）、用户ID、网点ID、订单时间、订单状态

2.订单货物详情表（order_goods）

• 分表依据：与订单表保持一致，按省份ID分表，确保订单和货物在同一数据库实例中
• 数据量估算：每个表约有4000w数据（计算公式：800w订单 * 5件货物/订单 = 4000w）
• 存储内容：每个订单对应一种类型多个货物的详细信息
• 索引策略：货物ID（主键）、订单ID（外键）、货物类型、货物状态

3. 运单扫描记录表（waybill_scan）

• 分表依据：按订单时间按月分表，便于数据清理和归档
• 数据量估算：每个表约有500w数据（计算公式：100000单/天 * 5次扫描/单 * 30天 = 1500w，考虑扫描记录较多，估算500w）
• 数据清理：清除6个月之前的数据，归档到历史数据库或冷存储
• 索引策略：扫描ID（主键）、订单ID、扫描时间、扫描状态、扫描网点

4. 用户订单关联表（user_order）

• 分表依据：按用户ID分表，确保同一用户的订单记录在同一表中
• 数据量估算：每个表约有1000w数据（计算公式：总用户数 * 平均订单数 / 表数量）
• 存储内容：记录下单用户、网点信息、订单ID、地区信息和签收用户信息
• 索引策略：关联ID（主键）、用户ID、订单ID、下单时间、订单状态

5. 其他基础表

• 用户表（users）：存储用户基本信息，按用户ID分表
• 网点表（branches）：存储网点基本信息，按省份ID分表
• 车辆表（vehicles）：存储车辆基本信息，按网点ID分表
• 员工表（employees）：存储员工基本信息，按网点ID分表

分表后带来的问题及解决方案

1. 如何根据订单号定位查询订单详情、货物信息和扫描记录？

• 订单号设计：采用标准化格式，长度16位，格式为：地区码(2位) + 年份(2位) + 序号(12位)，如YN24000000000001
• 地区码映射：建立地区码到数据库实例的映射表，如YN→db_instance_1, SX→db_instance_2
• 定位流程：
  • 从订单号前2位提取地区码（如YN）
  • 根据地区码映射表确定对应的数据库实例
  • 从订单号解析出年份和序号信息
  • 根据序号计算分表位置（序号 % 表数量）
  • 根据年份和月份确定扫描记录表的分表
  • 在同一数据库实例中查询订单详情、货物信息和扫描记录
• 性能优化：使用Redis缓存订单号到数据库实例的映射关系，减少映射表查询

2. 如何查询某用户或某网点的所有订单记录？

• 解决方案：
  • 多级关联表设计：
    • 用户订单关联表（user_order_mapping）：按用户ID分表，记录用户ID、订单ID、地区信息、订单时间、订单状态
    • 网点订单关联表（branch_order_mapping）：按网点ID分表，记录网点ID、订单ID、地区信息、订单时间、订单状态
    • 订单索引表（order_index）：按时间分表，记录订单基本信息和状态，用于快速查询
  • 分布式查询服务：
    • 查询路由：根据用户ID或网点ID路由到对应的数据分片
    • 并行执行器：同时执行多个数据库实例的查询
    • 结果聚合器：汇总和排序查询结果
  • 智能缓存策略：
    • L1缓存：Redis本地缓存，存储热点用户的订单列表
    • L2缓存：分布式Redis缓存，存储用户最近的订单记录
    • 缓存预热：系统启动时预热活跃用户的订单数据
    • 缓存失效策略：基于时间和访问频率的智能失效
• 查询流程：
  • 第一步：缓存查询
    • 查询Redis本地缓存，检查是否存在热点用户的订单列表
    • 若缓存命中，直接返回缓存结果
  • 第二步：关联表查询
    • 根据用户ID或网点ID计算分表位置
    • 查询对应的关联表，获取订单ID和地区信息
    • 应用时间范围、订单状态等过滤条件
  • 第三步：分布式查询
    • 根据地区信息分组，确定需要查询的数据库实例
    • 使用线程池并行查询多个数据库实例
    • 每个查询使用主从负载均衡，优先选择从库
  • 第四步：结果处理
    • 汇总来自不同数据库实例的查询结果
    • 按时间戳排序，支持正序和倒序
    • 应用分页逻辑，返回指定页的数据
    • 将结果缓存到Redis，设置合理的过期时间
• 高级优化策略：
  • ElasticSearch集成：
    • 实时同步订单数据到ElasticSearch
    • 支持全文检索、模糊查询、范围查询等复杂条件
    • 提供聚合分析功能，如按时间、地区、状态统计
    • 使用ES作为复杂查询的主数据源，数据库作为详细信息来源
  • 数据分片优化：
    • 用户订单关联表：按用户ID范围分片，每100万用户一个分片
    • 网点订单关联表：按网点ID范围分片，每1000个网点一个分片
    • 使用一致性哈希算法，支持动态扩缩容
  • 读写分离增强：
    • 写操作：路由到主库
    • 读操作：智能路由到负载较低的从库
    • 延迟敏感查询：使用主库
    • 批量查询：使用从库
  • 监控与告警：
    • 监控查询响应时间、QPS、错误率等指标
    • 设置阈值告警，当查询时间超过阈值时及时通知
    • 慢查询日志分析，定期优化查询语句
    • 缓存命中率监控，及时调整缓存策略
  • 降级策略：
    • 当ElasticSearch不可用时，降级为直接查询数据库
    • 当缓存失效时，使用异步加载策略，避免阻塞主线程
    • 当数据库负载过高时，启用限流和排队机制
• 扩展性考虑：
  • 支持水平扩展：当数据量增长时，可以添加更多的数据库实例
  • 支持垂直扩展：当单实例性能不足时，可以升级硬件配置
  • 支持跨区域部署：可以在不同区域部署数据库实例，提高访问速度
  • 支持多租户：可以为不同的客户或业务线提供独立的数据分片

3. 跨库事务处理

• 问题：分库后，单个业务可能涉及多个数据库实例，传统事务无法满足需求
• 解决方案：
  • 使用分布式事务框架（如Seata）保证数据一致性
  • 采用最终一致性方案，通过消息队列实现异步数据同步
  • 将业务逻辑设计为幂等性，支持重试机制

数据库优化策略

1. 读写分离

• 主从架构：每个数据库实例配置1主2从，主库负责写操作，从库负责读操作
• 负载均衡：使用中间件（如ShardingSphere、MyCat）实现读写分离和负载均衡
• 数据同步：主从复制采用半同步模式，确保数据一致性

2. 缓存策略

• 热点数据缓存：使用Redis缓存热点订单、用户信息、网点信息等
• 缓存穿透防护：使用布隆过滤器防止缓存穿透
• 缓存雪崩防护：设置不同的过期时间，避免同时失效
• 缓存更新策略：采用Cache-Aside模式，写操作先更新数据库再删除缓存

3. 索引优化

• 联合索引：根据查询频率和选择性，合理设计联合索引
• 索引覆盖：尽量使用索引覆盖查询，避免回表
• 索引监控：定期监控索引使用情况，删除无用索引

运维与容灾

1. 数据迁移与扩容

• 平滑扩容：采用双写方案，新数据同时写入新旧表，历史数据异步迁移
• 数据校验：迁移完成后进行数据一致性校验，确保数据无误
• 灰度切换：逐步将流量切换到新表，出现问题可快速回滚

2. 备份与恢复

• 全量备份：每周进行一次全量备份，存储到异地备份中心
• 增量备份：每天进行增量备份，减少备份时间和存储空间
• 恢复演练：定期进行恢复演练，验证备份的有效性

3. 监控与告警

• 性能监控：监控数据库QPS、响应时间、慢查询等指标
• 容量监控：监控磁盘使用率、表数据量，提前预警扩容需求
• 异常告警：设置告警阈值，及时发现和处理异常情况