PHP后端任务调度系统设计-源码库

PHP后端任务调度系统设计：从零搭建高可靠定时任务平台

在实际项目开发中，我们经常需要处理定时任务：数据统计、缓存更新、消息推送… 最初我都是简单用 crontab 搞定，但随着业务复杂度增加，发现原生的 crontab 在任务管理、失败重试、日志追踪等方面存在明显不足。经过几个项目的实践，我总结出了一套相对成熟的PHP任务调度系统设计方案。

一、系统架构设计

我们先来规划整个系统的核心组件：


// 核心调度器类结构
class TaskScheduler {
    private $tasks = [];
    private $logger;
    private $storage;
    
    public function register(Task $task) {
        $this->tasks[] = $task;
    }
    
    public function run() {
        foreach ($this->tasks as $task) {
            if ($task->shouldRun()) {
                $task->execute();
            }
        }
    }
}

这里踩过一个坑：最初设计时没有考虑任务去重，导致在某些情况下同一个任务被重复执行。后来通过给每个任务添加唯一标识符解决了这个问题。

二、任务定义与配置

每个任务都需要明确的执行规则和配置：


abstract class AbstractTask {
    protected $name;
    protected $schedule;
    protected $maxRetries = 3;
    protected $currentRetries = 0;
    
    abstract public function execute();
    
    public function shouldRun() {
        return CronExpression::factory($this->schedule)
            ->isDue();
    }
    
    public function handleFailure(Exception $e) {
        $this->currentRetries++;
        if ($this->currentRetries < $this->maxRetries) {
            // 记录重试日志
            $this->retry();
        } else {
            // 标记任务失败
            $this->markAsFailed();
        }
    }
}

三、任务存储与状态管理

为了保证任务的可追溯性，我们需要持久化存储任务执行记录：


class DatabaseStorage implements StorageInterface {
    public function logStart($taskId, $startedAt) {
        // 记录任务开始执行
        DB::table('task_logs')->insert([
            'task_id' => $taskId,
            'started_at' => $startedAt,
            'status' => 'running'
        ]);
    }
    
    public function logCompletion($taskId, $completedAt, $output = null) {
        // 记录任务完成
        DB::table('task_logs')
            ->where('task_id', $taskId)
            ->update([
                'completed_at' => $completedAt,
                'status' => 'completed',
                'output' => $output
            ]);
    }
}

在实际使用中，我建议为任务日志表建立合适的索引，否则在数据量较大时查询会变得很慢。

四、调度器核心实现

调度器需要能够高效地管理和执行任务：


class SchedulerDaemon {
    public function start() {
        while (true) {
            $this->checkAndRunTasks();
            sleep(60); // 每分钟检查一次
        }
    }
    
    private function checkAndRunTasks() {
        $tasks = $this->getDueTasks();
        
        foreach ($tasks as $task) {
            // 使用进程或协程避免阻塞
            $this->runTaskInBackground($task);
        }
    }
    
    private function runTaskInBackground(Task $task) {
        $pid = pcntl_fork();
        
        if ($pid == -1) {
            // 处理 fork 失败
            $this->logger->error('Fork failed for task: ' . $task->getName());
        } elseif ($pid) {
            // 父进程
            pcntl_wait($status, WNOHANG);
        } else {
            // 子进程执行任务
            $task->execute();
            exit(0);
        }
    }
}

五、实战部署建议

经过多个项目的实践，我总结出以下几点部署经验：


# 使用 Supervisor 管理调度进程
[program:task_scheduler]
command=php /path/to/scheduler.php
autostart=true
autorestart=true
user=www-data
numprocs=1
redirect_stderr=true
stdout_logfile=/var/log/task_scheduler.log

另外，记得设置合理的监控告警，我在生产环境中就遇到过因为磁盘空间不足导致任务执行失败的情况。

六、性能优化技巧

随着任务数量的增加，性能优化变得尤为重要：


class OptimizedScheduler {
    public function __construct() {
        // 使用内存缓存减少数据库查询
        $this->cache = new RedisCache();
    }
    
    public function getDueTasks() {
        $cacheKey = 'due_tasks_' . date('Y-m-d_H');
        
        return $this->cache->remember($cacheKey, 300, function() {
            return Task::where('next_run', '<=', now())
                ->where('enabled', true)
                ->get();
        });
    }
}

这套方案在我负责的几个中型项目中运行稳定，日均处理任务量在万级别。关键是要根据实际业务需求灵活调整，比如对于实时性要求不高的任务可以适当降低执行频率。