Điểm:0

Cách xử lý quy trình xếp hàng lớn

lá cờ cn

Tôi đang sử dụng plugin QueueWorker để thực hiện một số quy trình cập nhật/tạo nút trong nền. Trên cục bộ không có vấn đề gì, nó hoàn thành toàn bộ quá trình xếp hàng.Tuy nhiên, trên máy chủ aws, nó thường dừng ở một số điểm. Tôi giả sử vì mức tiêu thụ tài nguyên trên máy chủ. Cách lý tưởng để tối ưu hóa QueueWorker của tôi là gì?

Đây là mã của tôi:

$offset = 0;

trong khi (TRUE) {
  $nodes= \Drupal::entityQuery('node')->condition('type', 'article')->range($offset, $limit)->execute();

  $offset = $offset + $limit;
  if (trống ($nodes)) {
    nghỉ;
  }

  // Khởi tạo QUEUE
  $queue_manager = \Drupal::service('plugin.manager.queue_worker');
  $queue_worker = $queue_manager->createInstance('ex_queue');
  $queue = $this->queueFactory->get('ex_queue');
  // Tạo các mục QUEUE
  foreach ($nodes là $node) {
    $item = mới \stdClass();
    $item->content = $node;
    $queue->createItem($item);
  }
  // Thực thi các mục QUEUE
  trong khi ($item = $queue->claimItem()) {
    cố gắng {
      $queue_worker->processItem($item->data);
      $queue->deleteItem($item);
    }
    bắt (RequeueException $e) {
      $queue->releaseItem($item);
      \Drupal::logger('system')->warning('RequeueException');
    }
    bắt (SuspendQueueException $e) {
      $queue->releaseItem($item);
      \Drupal::logger('system')->error('SuspendQueueException');
    }
    bắt (\Ngoại lệ $e) {
      $queue->releaseItem($item);
      \Drupal::logger('system')->error('Ngoại lệ');
    }
  }
}

và QueueWorker của tôi

/**
 * @QueueWorker(
 * id = "ex_queue",
 * title = @Translation("Ex Processor"),
 * cron = {"thời gian" = 3600}
 * )
 */
lớp ExQueueProcessor extends QueueWorkerBase thực hiện ContainerFactoryPluginInterface {

  cấu hình $ được bảo vệ;

  /**
   * {@inheritdoc}
   */
  hàm công khai __construct(mảng $configuration) {
    $this->configuration = $configuration;
  }

  /**
   * {@inheritdoc}
   */
  tạo hàm tĩnh công khai (ContainerInterface $container, mảng $configuration, $plugin_id, $plugin_definition) {
    trả về tĩnh mới (
      cấu hình $
    );
  }
       /**
       * {@inheritdoc}
       */
      hàm công khai processItem($item) {
        // Làm vài thứ
      }

Giả sử, tổng số nút $ là 17 nghìn mục và dừng ở mức khoảng 15 nghìn. Có cách nào để tối ưu hóa điều này nhiều hơn để làm cho nó xử lý dữ liệu lớn không?

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.