PHP数据库分库分表策略与实现-源码库

PHP数据库分库分表策略与实现：从单库到分布式架构的平滑演进

大家好，作为一名经历过多次系统架构升级的老兵，今天我想和大家分享在PHP项目中实施数据库分库分表的实战经验。记得第一次面对单表数据突破千万级别时的焦虑，再到后来从容应对亿级数据的从容，这段历程让我深刻理解了分库分表的重要性。

为什么我们需要分库分表？

在我早期的一个电商项目中，用户表达到了2000万行，查询性能急剧下降。最糟糕的时候，一个简单的用户信息查询需要3-5秒。经过分析，我们发现：

单表数据量过大导致索引效率降低
高并发读写造成锁竞争激烈
数据库服务器CPU和IO成为瓶颈

这时候，分库分表就成了必然选择。

分库分表的核心策略

根据我的经验，主要有以下几种分片策略：

1. 水平分表 – 按数据范围分片

这是最常用的策略之一。比如按用户ID范围分表：

function getTableName($userId) {
    $tableIndex = floor($userId / 1000000); // 每100万用户一个表
    return 'user_' . $tableIndex;
}

function getShardConfig($userId) {
    $dbIndex = floor($userId / 10000000); // 每1000万用户一个库
    return [
        'host' => 'db' . $dbIndex . '.example.com',
        'database' => 'user_db_' . $dbIndex
    ];
}

2. 哈希分片 – 均匀分布数据

当需要均匀分布数据时，哈希分片是个不错的选择：

function getHashShard($userId, $shardCount) {
    $hash = crc32($userId);
    return abs($hash % $shardCount);
}

// 分表示例
$tableSuffix = getHashShard($userId, 64); // 分成64张表
$tableName = "user_{$tableSuffix}";

实战：基于用户ID的分库分表示例

让我用一个完整的示例来展示如何实现：

class ShardManager {
    private $shardConfig;
    
    public function __construct() {
        $this->shardConfig = [
            'shard_count' => 4,      // 4个分库
            'table_per_db' => 16,    // 每个库16张表
            'db_prefix' => 'user_db_',
            'table_prefix' => 'user_'
        ];
    }
    
    public function getShardInfo($userId) {
        // 计算数据库分片
        $dbShard = $this->getDbShard($userId);
        // 计算表分片
        $tableShard = $this->getTableShard($userId);
        
        return [
            'database' => $this->shardConfig['db_prefix'] . $dbShard,
            'table' => $this->shardConfig['table_prefix'] . $tableShard,
            'host' => $this->getHostByShard($dbShard)
        ];
    }
    
    private function getDbShard($userId) {
        return floor($userId / 10000000) % $this->shardConfig['shard_count'];
    }
    
    private function getTableShard($userId) {
        return $userId % $this->shardConfig['table_per_db'];
    }
    
    private function getHostByShard($shard) {
        $hosts = [
            '192.168.1.101',
            '192.168.1.102', 
            '192.168.1.103',
            '192.168.1.104'
        ];
        return $hosts[$shard];
    }
}

// 使用示例
$shardManager = new ShardManager();
$shardInfo = $shardManager->getShardInfo(12345678);

$pdo = new PDO(
    "mysql:host={$shardInfo['host']};dbname={$shardInfo['database']}", 
    'username', 
    'password'
);

$sql = "SELECT * FROM {$shardInfo['table']} WHERE user_id = ?";
$stmt = $pdo->prepare($sql);
$stmt->execute([12345678]);

踩坑经验与注意事项

在实施分库分表的过程中，我踩过不少坑，这里分享几个重要的：

1. 跨分片查询问题

分片后，跨分片的查询变得复杂。我的解决方案是：

// 批量查询多个分片的示例
function batchQueryUser($userIds) {
    $results = [];
    $shardManager = new ShardManager();
    
    // 按分片分组用户ID
    $shardGroups = [];
    foreach ($userIds as $userId) {
        $shardInfo = $shardManager->getShardInfo($userId);
        $shardKey = $shardInfo['host'] . '|' . $shardInfo['database'];
        $shardGroups[$shardKey]['user_ids'][] = $userId;
        $shardGroups[$shardKey]['shard_info'] = $shardInfo;
    }
    
    // 并行查询各分片
    foreach ($shardGroups as $group) {
        $shardResults = queryShard($group['shard_info'], $group['user_ids']);
        $results = array_merge($results, $shardResults);
    }
    
    return $results;
}