並列分散処理基盤を用いたビッグデータ活用

S 社は，スーパーマーケットやドラッグストアなどの小売チェーン（以下，チェーンという）で販売されている衣料用洗剤や食器用洗剤などを製造する大手消費財メーカである。商品企画部による商品力強化や，営業部による拡販施策検討のために，取引先である複数のチェーンから匿名化された POS データを週次で購入し，独自に集計・分析することになった。購入する POS データの件数は約 10 億件／週と予想されるので，情報システム部の T さんをリーダとして，並列分散処理基盤を利用した POS データ集計・分析システムを構築することになった。

並列分散処理基盤のシステム構成

T さんは，S 社が保有している並列分散処理基盤のシステム構成を調査した。並列分散処理基盤のシステム構成を図 1 に示す。

処理対象のデータはブロック単位に分割され，物理的には，各スレーブサーバの内部バスに接続されたローカルストレージに分散して格納されているが，論理的には，単一のファイルシステム（以下，分散ファイルシステムという）で管理されている。

分散ファイルシステムのブロックサイズは 128M バイトに設定されている。任意のスレーブサーバ 1 台に障害が生じた場合でも処理を継続できるように，ブロックは 2台のスレーブサーバのローカルストレージに非同期で複製して格納されている。ファイル名，ブロック位置，所有者，権限などのメタデータは，マスタサーバが保持している。

マスタサーバはクライアントからジョブの実行依頼を受け付け，ジョブを複数の表実行単位（以下，タスクという）に分割し，処理対象のデータを格納しているスレーブサーバに対してタスクの実行を依頼する。データを分割した際にデータサイズのばらつきが小さいほど，タスクが均等に分散される。また，同一ジョブ内のタスク間で処理するデータが依存しており，タスクが逐次的に処理される場合，それらのタスクは分散されない。各スレーブサーバで同時に実行可能なタスクの数は，CPU の物理コア数－1 を上限とする。並列分散処理基盤全体で同時に実行するタスクの数を多重度という。

マスタサーバの仕様は，CPU 物理コア数 2，メモリ容量 8G バイト，ローカルストレージのディスク I/O 速度 60 M バイト／秒である。スレーブサーバの仕様は，CPU 物理コア数 4，メモリ容量 16 G バイト，ローカルストレージのディスク I/O 速度 60 M バイト／秒である。

T さんが調査結果を上司の U 課長に報告したところ，①可用性の観点からリスクがあるとの指摘を受けた。本リスクを評価した結果，それを受容してシステム構築を進めることになった。

POS データ集計・分析システムのジョブ構成

POS データ集計・分析システムを構成するジョブの一覧を表 1 に示す。

POS データの購入元は 200 チェーンあり，POS データは日別にファイル分割されている。1 週間分の POS データのファイル数は 1,400 個であり，総データサイズは 420 G バイトとなる。店舗数は全チェーン合わせて 6,300 店舗であり，取り扱われている商品数は 10,000 点である。そのうち，S 社の商品は 600 点である。

ジョブの実行順序は(A)，(B)，(C)，(D)の順であり，各ジョブは同時には実行されない。

毎週月曜日 23 時までには，前週月曜日から日曜日までの全ての POS データが分散ファイルシステムに格納される。商品企画部や営業部からは，毎週火曜日の 9 時には最新の分析結果を見られるようにしてほしいとの要望が挙がっているので，月曜日 23 時から火曜日 9 時までの間に一連のジョブを完了させる必要がある。

性能テスト

POS データ集計・分析システムを開発し，性能テストを実施したところ，②ジョブ(B)が目標処理時間内に完了しないことが判明した。ジョブ(B)実行中のマスタサーバ及びスレーブサーバ#1 のリソース使用状況を図 2 に示す。

なお，スレーブサーバ#2 及びスレーブサーバ#3 のリソース使用状況もスレーブサーバ#1 のリソース使用状況と類似している。

T さんは，ボトルネックとなったリソースを特定して適切な対策を講じることによって，ジョブ(B)を目標処理時間内に完了させることができた。

スケールアウトの計画

今後は POS データの購入元を増やし，分析精度を高めることを検討している。1年後には取り扱う POS データの件数を現在の 10 億件／週から 30 億件／週に増大させることが目標である。処理対象のデータ件数が増えると一部のジョブが目標処理時間内に完了しなくなる懸念があるので，並列分散処理基盤のスレーブサーバの増設（以下，スケールアウトという）を計画しておくことになった。性能テストにおいて調査した，POS データの件数と処理時間の関係，及び多重度と処理時間の関係を図 3 に示す。T さんは，1 年後のスケールアウトに向けて予算を確保するために，図 3 を基に追加が必要となるスレーブサーバの台数を試算した。

1 年後に POS データの件数が 3 倍になること，及び図 3 の POS データの件数と処理時間の関係におけるジョブ(A)～(C)の傾向から，1 年後の並列分散処理基盤に要求されるスループットは現行の並列分散処理基盤の 3 倍と推定される。処理時間が POS データの件数に依存しないジョブ(D)はスケールアウトにおいて考慮する必要がない。図 3 の多重度と処理時間の関係から，スケールアウトにおいて考慮する必要があるジョブのうち，多重度を増やしても処理時間が最も短縮されにくいジョブはジョブ(A)である。多重度を 3 倍にした場合，ジョブ(A)におけるスループットは 2 倍となる。並列分散処理基盤のスループットを 3 倍にするために最低限必要な多重度は，現行の並列分散処理基盤のb倍にあたるcである。したがって，1 年後までに少なくともd台のスレーブサーバを追加する必要がある。