NHN comico株式会社（以下、NHN comico）が運営する「comico（コミコ）」は縦読みの 漫画を中心に幅広いジャンルのマンガを毎日更新し、無料で読み進めることができるマンガアプリです。

海外においては、韓国版のほか、米国・カナダ・イギリス・フランス、台湾などの世界各地で『comico』のグローバル版『POCKET COMICS』の提供を行っており、世界累計で3,000万件を超えるダウンロード数を記録（POCKET COMICS含む）しています。

NHN comicoでは、マンガアプリの「comico」の購買履歴や閲覧行動のデータ分析にBIツールを導入しています。これまではApache Hadoopによるデータ処理基盤を活用していましたが、2024年になってNHN テコラスの支援のもと基盤をGoogle CloudのBigQueryに移行しています。

今回、同社Platform事業部 Server開発チームでNHN テコラスの支援のもとプロジェクトを推進した李星（リ・セイ）氏に話をお聞きしました。

ハードウェアの老朽化でシステムが不安定化　バッチ処理の遅延も発生

膨大な量のユーザーデータを分析し、アプリの機能改善に役立てるため運用していた分析基盤ですが、導入から時間が経過したことによりインフラが老朽化しており、システムが安定性を欠く状況でした。

「日本、韓国、グローバルそれぞれのサービスの利用データを抽出するためにデイリーでバッチ処理を実施しているのですが、1回あたりの処理に6時間程度かかるため、負担になっていました」（以下、すべて李星氏）

BigQueryへの移行に着手　データの移行と仕様にあわせた機能設定が課題に

課題解決のため、Hadoop 3 へのアップグレードも検討しましたが、もともと無料だったサービスが有料化されたことなどを受け、ストレージコストが安く自動でスケーリングが可能なBigQueryに基盤を移行することを決めました。

社内には専任のBI担当者がいなかったため、グループ会社であるNHN テコラスの支援を受けながら、李星氏がデータ分析基盤の構築と、日本版、韓国版、グローバル版（POCKET COMICS）各サービスで異なる機能要件を実現するための作業を行うことになりました。

「もともと保有していた膨大な量のデータを新しいシステムに移行するため、主に2つの作業を実施しました。1つめはデータマイグレーションで、いくつか方法を検討した結果、distcpコマンドを使用してGoogle Cloud Storageにバックアップし、そのStorageのデータをBigQueryに保存する方法で処理しました。

2つめは集計処理のバッチ作成です。従来の集計作業はHadoopのHiveQLを使用して行っていましたが、これをBigQueryに適した形に変換して適用しましたが、この際、BigQueryにないファンクションは自分で作成して対応しました。これにより、既存のデータと集計作業を新しいシステムに円滑に移行することができました」

データウェアハウスとしてBigQueryへの移行をスタートしたあとは、ビジネス要件にあわせて加工を行い、データマートとしてBigQueryに保存を行う仕組みを構築しました。データを可視化するツールとしてはLooker Studioを採用しています。

「Hadoopで抽出したデータとBigQueryで抽出したデータに差異がないか、都度照合を行い、データが違っていた場合はSQL文を修正して、再度バッチをまわす作業を繰り返しました。

データ移行の作業を進める中で、LookerStudioへの連携まで手が回っていなかったのですが、NHN テコラス社のエンジニアが事前にLookerStudioのBIプラットフォーム仕様を準備してくれており、これを参考にして設定を進めることができました。参考資料を探す作業など、私一人で進めることは難しかったと思いますので、大変助かりました」

「BIプラットフォームへの反映については、日本版、韓国版、グローバル版でそれぞれ事業部サイドから要求される機能が異なっていたため、個別に設定作業を進める必要がありました。日本版に比べて韓国版やグローバル版ではテーブル表示に加えてグラフが必要になるなど、細かいレポートが求められていた印象です」

バッチ抽出の時間は大幅に短縮　コストの削減も実現

BigQueryへ移行を実現することで、データ抽出のためのバッチ処理のスピードは大幅に短縮されました。また、ランニングコストも大幅に削減することができたといいます。

「6時間かかっていた日次のバッチ処理は1時間程度にまで短縮できました。事業部サイドからのデータ抽出依頼に迅速に対応できるようになり、検証や改善のスピードが上がっていくと思います。また、これまで発生したサーバーのディスク費用などランニングコストも、半額以下にまで削減できました」

今後に向けては、Google Cloudのデータ分析ツールを活用して、分析とサービス改善のスピードを強化していく方針です。

「Looker Studioは無料で利用できるのが大きなメリットですが、これまで使っていたBIツールに比べると機能が不足している部分もあります。今後、ストリーミングのようなリアルタイムでのデータを抽出し、把握していくためにはLookerへの移行も検討していきたいと考えています」
「comicoでは現在、ユーザーがアプリを利用した際のアクションログを別のシステムで計測していますが、デイリーでの集計になるので前日の結果を分析することになっています。これをGoogle CloudのDataflowやDatastreamを利用してリアルタイムで抽出できるようにすることも検討しています。より精度の高いデータを活用することで、人気タイトルの傾向を活かしたレコメンデーション機能やUI・UX改善などの施策に展開していくことができると思います」

NHN テコラスは、これからも徹底したユーザー目線でのアプリのサービス改善に取り組むNHN comicoとデータドリブンな業務改善に向けた取り組みを支援してまいります。