【開発日誌#30】LaravelでQueue（キュー）を用いた、大容量CSVをダウンロードする方法　S3にファイルを保存 URLをメールで送信

【はじめに】

今回は、LaravelでQueueを用いてCSVファイルをS3へ保存、そして保存先のURLをメールで送信する実装を行ないました。その方法をご紹介させていただきます。

この記事では、

• Queueの設定
• CSVのファイルを作成
• CSVをS3に保存
• S3の保存先のURLを作成
• 作成したURLをMailで送信
• Jobの設定

を組み合わせて利用する方法をまとめています。

【Queueの仕組み】

Queue（キュー）とは

データ構造の一つで、処理の”待ち行列”を実現する際によく使われます。要素を入ってきた順に一列に並べ、先に入れた要素から順に取り出すという規則で出し入れを行う、先入先出のデータ構造です。

Job（ジョブ）とは

処理そのものです。QueueにJobが登録され、QueueにあるJobが実行されます。

Dispatch（ディスパッチ）とは

job(ジョブ)をqueue(キュー)に送ることです。

Worker（ワーカー）とは

Jobを実行する役割です。

【背景】

今回はすでに、CSVダウンロードが実装されている状態からの改修作業でした。

参照元のテーブルレコード数が多くなったときに、ダウンロード実行に時間が掛かってしまい、タイムアウトでダウンロードができないという問題が発生したため、対策を行いました。

【作業内容】

タイムアウトの対策として、Queueを使用して、CSV作成をバックグラウンドで処理、S3に保存。S3の保存先のURLをメールで送信しました。

ユーザーは、メールで送られたURLから、生成済みのCSVをダウンロードするため、タイムアウトが解消され、無事にダウンロードを実行できました。

☆ポイント☆

Queueによるバックグラウンド処理を用いて、タイムアウトを解消したことです。

なぜ、タイムアウトにならないのか？

Queueにより非同期処理を行うため、処理が分かれるためです。

非同期処理について、次のイメージをご覧ください。

非同期処理は、タスクを実行中にその処理を中断することなく、別のタスクを実行できます。

今回の場合、ダウンロードボタンを押すとタスク１とタスク２が実行されます。

次のイメージをご覧ください。

• タスク１　「ダウンロードありがとうございます。CSVダウンロードリンクをメールで送信しました。」と表示（処理時間が短い）
• タスク２　バックグラウンドでCSV作成（処理時間が長い）

ユーザー表示はタスク１で、処理時間が短いため、タイムアウトエラーにならない、ということになります。

注意点として、CSV作成をQueueで処理する場合、バックグラウンドで処理されるため、最後のダウンロードまでできないです。

そのため、タスク２（バックグラウンド）でCSV作成の後どうするか、指示をしてあげる必要があります。

今回は、保存先のURLをMailで送信するという対応を行なっています。

【実装内容】

作業手順です。

１：Queueの設定
２：CSVのファイルを作成
３：CSVをS3に保存
４：S3の保存先URLを作成
５：作成したURLをMailで送信する
６：Jobの設定

この流れで進めることにします。

※今回は改修作業でしたので、２：CSVのファイルを作成、S3の接続設定は割愛します。

■対象ファイル

各々の作業環境によってファイル名は異なりますが、今回の対象ファイルを参考に記載します。

• app/Service/ProjectService.php　(function applicantsDownload)
• app/Http/Controllers/ProjectController.php　(function applicantsDownload)
• app/Mail/CsvDownloadMail.php
• resources/views/csv_download.blade.php
• app/Jobs/CsvCreate.php

■関係図

Jobの実行ファイルと、Job本体のファイルがあります。

Job本体の中に、CSV ・S3へ保存・メール内容などを記載します。

１：Queueの設定

Queueの設定方法はいくつかありますが、今回はDatabaseを用いた方法をご紹介します。

・Queue用のテーブル作成

ターミナルで下記コマンドの実行

php artisan queue:table

php artisan migrate

Queue用の　jobsテーブル　と

キューの実行失敗時に使用される　failed_jobsテーブルが作成されます。

・Jobクラス作成

ターミナルで下記コマンドの実行

php artisan make:job CsvCreateJob

実行すると、app/Jobsファルダに、CsvCreateJob.phpが作成されます。

ここに、Job処理を記載します。

・envの設定

.envを下記で設定

QUEUE_CONNECTION=database
QUEUE_DIRVER=database

Queueは、デフォルトでは同期処理です。

非同期処理にするために上記設定を行います。

２：CSVのファイルを作成

この部分は割愛させていただきます。今回は、PHPで実装していますが、

”Laravel Excel”というライブラリーを用いると、比較的シンプルに作成できます。

３：CSVをS3に保存

下記をCSV作成を実装しているファイルに記載します。

今回は、ProjectService.php　の　function applicantsDownload　に記載します。

下記コードで、ストレージのapp/applicants_csv/{$fileName}にファイルを保存します。

Storage::disk('local')->put('applicants_csv/' . $fileName, '');

下記コードで、S3の　applicants_csv/{$fileName}に、ストレージの　app/applicants_csv/{$fileName}にあるファイルを保存しています。

Storage::disk('s3')->put('applicants_csv/' . $fileName, file_get_contents(storage_path('app/applicants_csv/' . $fileName)));

４：S3の保存先URLを生成

下記コードを、CSV作成を実装しているファイルに記載します。

今回は、ProjectService.php　の　function applicantsDownload　に記載します。

return Storage::disk('s3')->temporaryUrl('applicants_csv/' . $fileName, now()->addDay());

このコードは、S3保存先のURLを返します。

※temporaryUrlは、S3ドライバーを使用して保存されたファイルへの、有効期限付きURLを作成できる便利なメソッドです。now()->addDay()で有効期限を１日に設定しています。

注意点として、ファイル保存先がlocalの場合、エラーになってしまうので、保存先がS3の場合に、使用可能です。

５：生成したURLをMailで送信する

ターミナルで下記コードを実行し、app/Mailに　CsvDownloadMail.phpを作成します。

php artisan make:mail CsvDownloadMail

CsvDownloadMailに、下記コードを記載します。

$urlを受け取り、使用します。

protected $url;protected $url;
public function __construct($url)
{
    $this->url = $url;
}

下記コードで、メールの中身を設定

public function build()
    {
        return $this->subject('件名')
        ->view('emails.csv_download')  //メール本文のview
        ->with(['url' => $this->url]); //メール本文にurlを渡す
    }

６：Jobの設定

Jobの実行ファイルに下記コードを記載します。

今回は　CsvCreate.php　に記載します。　

$projectId, $searchを受け取り使用

protected $projectId;
protected $search;
public function __construct($projectId, $search)
{
    $this->projectId = $projectId;
    $this->search = $search;
}

下記コードで、Jobの実行を行います。

今回は、ProjectController.php　に記載します。

この引数を実行ファイル（CsvCreate.php）の引数と合わせます。

CsvCreate::dispatch($projectId, $search);

今回は、applicantsDownloadで、

• CSVファイル作成
• CSVをS3に保存
• S3の保存先URLを生成

を実装しています。

CsvCreate.phpでは、

• applicantsDownload
• CsvDownloadMailを作成して、送信

を実行しています。

public function handle(ProjectService $projectService)
{
    $project = Project::find($this->projectId);

    $url = $projectService->applicantsDownload($this->projectId, $this->search);

    try {
        Mail::to($project->login_mail_address)->send(new CsvDownloadMail($url, $project->name));
    } catch (Exception $e) {
        Log::error(__CLASS__ . ' メール送信に失敗', ['exception' => $e->getTrace()]);
    }
}

これで、実装完了です。

【まとめ】

いかがでしたでしょうか。今回は、Queueによる非同期処理を用いて、時間が掛かる処理をバックエンドで行う方法をご紹介しました。この手法は、CSV作成以外にも、さまざまなユースケースで活用できます。

この記事があなたの開発に少しでも役立てば幸いです。