Tôi đang sử dụng plugin QueueWorker để thực hiện một số quy trình cập nhật/tạo nút trong nền. Trên cục bộ không có vấn đề gì, nó hoàn thành toàn bộ quá trình xếp hàng.Tuy nhiên, trên máy chủ aws, nó thường dừng ở một số điểm.
Tôi giả sử vì mức tiêu thụ tài nguyên trên máy chủ. Cách lý tưởng để tối ưu hóa QueueWorker của tôi là gì?
Đây là mã của tôi:
$offset = 0;
trong khi (TRUE) {
$nodes= \Drupal::entityQuery('node')->condition('type', 'article')->range($offset, $limit)->execute();
$offset = $offset + $limit;
if (trống ($nodes)) {
nghỉ;
}
// Khởi tạo QUEUE
$queue_manager = \Drupal::service('plugin.manager.queue_worker');
$queue_worker = $queue_manager->createInstance('ex_queue');
$queue = $this->queueFactory->get('ex_queue');
// Tạo các mục QUEUE
foreach ($nodes là $node) {
$item = mới \stdClass();
$item->content = $node;
$queue->createItem($item);
}
// Thực thi các mục QUEUE
trong khi ($item = $queue->claimItem()) {
cố gắng {
$queue_worker->processItem($item->data);
$queue->deleteItem($item);
}
bắt (RequeueException $e) {
$queue->releaseItem($item);
\Drupal::logger('system')->warning('RequeueException');
}
bắt (SuspendQueueException $e) {
$queue->releaseItem($item);
\Drupal::logger('system')->error('SuspendQueueException');
}
bắt (\Ngoại lệ $e) {
$queue->releaseItem($item);
\Drupal::logger('system')->error('Ngoại lệ');
}
}
}
và QueueWorker của tôi
/**
* @QueueWorker(
* id = "ex_queue",
* title = @Translation("Ex Processor"),
* cron = {"thời gian" = 3600}
* )
*/
lớp ExQueueProcessor extends QueueWorkerBase thực hiện ContainerFactoryPluginInterface {
cấu hình $ được bảo vệ;
/**
* {@inheritdoc}
*/
hàm công khai __construct(mảng $configuration) {
$this->configuration = $configuration;
}
/**
* {@inheritdoc}
*/
tạo hàm tĩnh công khai (ContainerInterface $container, mảng $configuration, $plugin_id, $plugin_definition) {
trả về tĩnh mới (
cấu hình $
);
}
/**
* {@inheritdoc}
*/
hàm công khai processItem($item) {
// Làm vài thứ
}
Giả sử, tổng số nút $ là 17 nghìn mục và dừng ở mức khoảng 15 nghìn. Có cách nào để tối ưu hóa điều này nhiều hơn để làm cho nó xử lý dữ liệu lớn không?