蜘蛛池PHP定时任务脚本,不限带宽vps推荐,云主机与云电脑,自搭vps,免费vps服务

🗣 Wd提问: 蜘蛛池PHP定时任务脚本

🤖 Ai回答:
蜘蛛池PHP定时任务脚本

以下是一个完整的蜘蛛池PHP定时任务脚本，用于自动采集、处理和管理多个网站的数据。

主要功能
自动定时执行爬虫任务
管理多个代理IP池
数据存储与去重
错误日志记录
任务调度管理

完整代码

php
<?php
/
* 蜘蛛池PHP定时任务脚本
* 作者: SpiderPool
* 版本: 1.0
*/

// 配置文件
$config = [
'db_host' = 'localhost',
'db_name' = 'spider_pool',
'db_user' = 'username',
'db_pass' = 'password',
'proxy_file' = '/path/to/proxies.txt', // 代理IP列表文件
'log_file' = '/var/log/spider_pool.log',
'max_retries' = 3,
'delay_between_tasks' = 5, // 秒
'crawl_interval' = 3600, // 一小时爬取一次
];

// 数据库连接
function getDatabaseConnection() {
global $config;

try {
$dsn = mysql:host={$config['db_host']};dbname={$config['db_name']};
$pdo = new PDO($dsn, $config['db_user'], $config['db_pass']);
$pdo-setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
return $pdo;
} catch (PDOException $e) {
error_log(数据库连接失败: 、$e-getMessage());
return null;
}
}

// 读取代理IP列表
function getProxies() {
global $config;

if (!file_exists($config['proxy_file'])) {
error_log(代理文件不存在: {$config['proxy_file']});
return [];
}

$proxies = file($config['proxy_file'], FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
return array_filter($proxies, function($proxy) {
return !empty(trim($proxy));
});
}

// 记录日志
function logMessage($message, $level = 'INFO') {
global $config;

$timestamp = date('Y-m-d H:i:s');
$log_entry = [$timestamp] [$level] $message\n;

error_log($log_entry, 3, $config['log_file']);
}

// 检查URL是否已存在（去重）
function isUrlExists($pdo, $url) {
$stmt = $pdo-prepare(SELECT id FROM spider_data WHERE url = ?);
$stmt-execute([$url]);
return $stmt-rowCount() 0;
}

// 存储数据到数据库
function saveData($pdo, $data) {
try {
$stmt = $pdo-prepare(
INSERT INTO spider_data (url, title, content, created_at, updated_at)
VALUES (?, ?, ?, NOW(), NOW())
);

$stmt-execute([
$data['url'],
$data['title'],
$data['content']
]);

return true;
} catch (PDOException $e) {
logMessage(保存数据失败: 、$e-getMessage(), 'ERROR');
return false;
}
}

// 获取网站配置
function getWebsiteConfig() {
return [
['url' = 'https://65.hk/news', 'name' = 'Example News'],
['url' = 'https://another-site.com/articles', 'name' = 'Another Site'],
// 添加更多网站配置
];
}

// 执行爬虫任务
function crawlWebsite($website, $proxy = null) {
$ch = curl_init();

$options = [
CURLOPT_URL = $website['url'],
CURLOPT_RETURNTRANSFER = true,
CURLOPT_TIMEOUT = 30,
CURLOPT_FOLLOWLOCATION = true,
CURLOPT_USERAGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
CURLOPT_SSL_VERIFYPEER = false,
CURLOPT_SSL_VERIFYHOST = false,
CURLOPT_MAXREDIRS = 5,
];

// 如果有代理，设置代理
if ($proxy) {
$options[CURLOPT_PROXY] = $proxy;
}

curl_setopt_array($ch, $options);

$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$error = curl_error($ch);

curl_close($ch);

if ($error) {
logMessage(Curl错误 {$website['name']}: $error, 'ERROR');
return false;
}

if ($httpCode != 200) {
logMessage(HTTP状态码错误 {$website['name']}: $httpCode, 'ERROR');
return false;
}

// 使用简单的HTML解析器提取标题和内容（实际项目中建议使用更强大的解析库如DOMDocument）
$title = '';
$content = '';

// 提取标题
if (preg_match('/<title[^]*(.*?)<\/title/i', $response, $matches)) {
$title = trim(strip_tags($matches[1]));
}

// 提取主要内容（简化版本）
preg_match('/<div[^]*class=content[^]*(.*?)<\/div/i', $response, $matches);
if (!empty($matches[1])) {
$content = strip_tags($matches[1]);
} else {
preg_match('/<article[^]*(.*?)<\/article/i', $response, $matches);
if (!empty($matches[1])) {
$content = strip_tags($matches[1]);
}
}

return [
'url' = $website['url'],
'title' = $title,
'content' = $content,
'site_name' = $website['name']
];
}

// 主任务函数
function runSpiderTask() {
global $config;

logMessage(开始蜘蛛池任务执行);

$pdo = getDatabaseConnection();
if (!$pdo) {
logMessage(数据库连接失败，跳过本次任务, 'ERROR');
return;
}

$websites = getWebsiteConfig();
$proxies = getProxies();

foreach ($websites as $website) {
logMessage(开始处理网站: {$website['name']});

$success = false;
$retry_count = 0;

while (!$success && $retry_count < $config['max_retries']) {
$proxy = isset($proxies[$retry_count % count($proxies)]) ?
$proxies[$retry_count % count($proxies)] : null;

logMessage(尝试爬取 {$website['name']} (第、($retry_count + 1) 、次));

$result = crawlWebsite($website, $proxy);

if ($result) {
// 检查是否已存在
if (isUrlExists($pdo, $result['url'])) {
logMessage(URL已存在，跳过: {$result['url']});
$success = true;
} else {
if (saveData($pdo, $result)) {
logMessage(成功保存数据: {$result['url']});
$success = true;
} else {
logMessage(保存数据失败，准备重试, 'WARNING');
}
}
} else {
logMessage(爬取失败，准备重试, 'WARNING');
}

$retry_count++;

if (!$success && $retry_count < $config['max_retries']) {
sleep(2); // 重试前等待
}
}

if (!$success) {
logMessage(最终爬取失败: {$website['name']}, 'ERROR');
}

// 任务间隔
sleep($config['delay_between_tasks']);
}

logMessage(蜘蛛池任务执行完成);
}

// 执行主任务
runSpiderTask();

?

使用说明

1、数据库表结构
sql
CREATE TABLE spider_data (
id INT AUTO_INCREMENT PRIMARY KEY,
url VARCHAR(512) UNIQUE NOT NULL,
title TEXT,
content TEXT,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);

CREATE TABLE spider_logs (
id INT AUTO_INCREMENT PRIMARY KEY,
task_name VARCHAR(100),
status ENUM('SUCCESS', 'FAILED', 'ERROR'),
message TEXT,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

2、代理IP文件格式

192.168.1.1:8080
192.168.1.2:8080
192.168.1.3:8080

3、设置定时任务
在Linux系统中，编辑crontab：
bash
编辑定时任务
crontab -e

每天凌晨2点执行蜘蛛池任务
0 2 * * * /usr/bin/php /path/to/spider_pool.php /var/log/spider_pool_cron.log 2&1

注意事项

1、安全性**：确保数据库

Ai作答

📣 商家广告：