こんにちは、BigQuery Bootcampシリーズの第二回目の投稿へようこそ。今回の投稿では、データ分析の核心となるデータ収集、クレンジング、分析、視覚化の主要ステップについて深く掘り下げ、それぞれのステップでBigQueryを効果的に活用する方法を見ていきます。また、実習例として使用する実際のCSVデータを提供し、皆さんが自分で手を動かして学べるようサポートします。データ分析の主要ステップを理解し、これをBigQueryと連携させて実習することで、データ分析のスキルをさらに強化することができます。
データ分析の主要ステップ概要
データ分析は、一連の体系的なステップを経てデータを有意義な情報に変換するプロセスです。このプロセスは以下の四つの主要ステップで構成されています：
1.
データ収集 (Data Collection)
2.
データクレンジング (Data Cleaning)
3.
データ分析 (Data Analysis)
4.
データ視覚化 (Data Visualization)
各ステップは密接に関連しており、効率的なデータ分析を行うためには各ステップを徹底的に実施することが重要です。
1. データ収集 (Data Collection)
1.1 データ収集の重要性
データ収集はデータ分析の最初のステップであり、適切なデータを確保することが分析の成功を左右します。データの出所と品質は分析結果の信頼性に直結するため、慎重なデータ収集が求められます。
1.2 データ収集方法
データ収集は様々な方法で行われます。主なデータ収集方法は以下の通りです：
•
データベース: 既存のリレーショナルデータベース（RDS、MySQL、PostgreSQLなど）からデータを抽出します。
•
API: 外部サービスやアプリケーションのAPIを通じてリアルタイムデータを収集します。
•
ログファイル: サーバーログ、アプリケーションログなどを解析してデータを収集します。
•
ファイルアップロード: CSV、JSONなど様々な形式のファイルをアップロードしてデータを確保します。
1.3 BigQueryでのデータ収集
BigQueryは多様なデータソースとの統合をサポートし、データ収集プロセスを容易にします。以下はBigQueryでデータを収集する主な方法です：
•
データロード (Load Data): CSV、JSON、Avro、Parquetなど様々な形式のデータをBigQueryテーブルにロードできます。
•
ストリーミング挿入 (Streaming Insert): リアルタイムでデータをBigQueryに挿入し、リアルタイム分析を行えます。
•
データ転送サービス (Data Transfer Service): Google Analytics、Google Adsなど様々なGoogleサービスのデータを自動的にBigQueryに転送します。
•
外部データソース接続 (External Data Sources): Cloud Storage、Google Sheetsなどの外部データソースをBigQueryと接続してクエリできます。
実習例: CSVファイルをBigQueryにロードする
以下の例では、売上データを含むsales_data.csvファイルをBigQueryにロードする方法を説明します。
例のCSVファイル: sales_data.csv
sale_id,date,category,product,quantity,unit_price,total_sales
1,2024-01-15,Electronics,Smartphone,10,500,5000
2,2024-01-17,Electronics,Laptop,5,1200,6000
3,2024-01-20,Home Appliances,Vacuum Cleaner,7,150,1050
4,2024-02-05,Furniture,Office Chair,12,85,1020
5,2024-02-10,Furniture,Desk,8,200,1600
6,2024-02-15,Electronics,Tablet,15,300,4500
7,2024-03-01,Home Appliances,Air Conditioner,3,400,1200
8,2024-03-10,Electronics,Smartwatch,20,150,3000
9,2024-03-15,Furniture,Bookshelf,6,120,720
10,2024-04-01,Home Appliances,Microwave,10,100,1000
11,2024-04-05,Electronics,Headphones,25,80,2000
12,2024-04-10,Furniture,Sofa,2,700,1400
13,2024-04-15,Electronics,Camera,4,600,2400
14,2024-05-01,Home Appliances,Refrigerator,2,800,1600
15,2024-05-05,Furniture,Bed Frame,3,500,1500
16,2024-05-10,Electronics,Television,6,400,2400
17,2024-06-01,Home Appliances,Blender,10,50,500
18,2024-06-05,Furniture,Dining Table,4,350,1400
19,2024-06-10,Electronics,Speaker,18,90,1620
20,2024-06-15,Home Appliances,Washer,1,700,700
Plain Text
복사
CSVファイルの説明
•
sale_id: 販売固有番号
•
date: 販売日（YYYY-MM-DD形式）
•
category: 製品カテゴリ（例: Electronics, Home Appliances, Furniture）
•
product: 製品名
•
quantity: 販売数量
•
unit_price: 単価（USD）
•
total_sales: 総売上額（USD） - quantity × unit_price
CSVファイルの作成方法
1. テキストエディタを使用
1.
上記のデータをコピーして、テキストエディタ（例: メモ帳、VS Code、Sublime Textなど）に貼り付けます。
2.
ファイルをsales_data.csvという名前で保存します。
2. スプレッドシートソフトウェアを使用
1.
Microsoft Excel、Google Sheetsなどのスプレッドシートプログラムを開きます。
2.
各列に対応するヘッダーとデータを入力します。
3.
ファイルをCSV形式でエクスポート（ダウンロード）します。
Google Sheetsの例:
1.
Google Sheetsにアクセスし、新しいスプレッドシートを作成します。
2.
各セルに上記のデータを入力します。
3.
上部メニューからファイル > ダウンロード > カンマ区切り値 (.csv)を選択してCSVファイルとして保存します。
BigQueryにCSVデータをロードする
次に、作成したsales_data.csvファイルをBigQueryにロードする方法を簡単に説明します。
1. Google Cloud StorageにCSVファイルをアップロード
1.
Google Cloud Consoleにログインします。
2.
Cloud Storageに移動し、バケットを作成するか既存のバケットを選択します。
3.
ファイルをアップロードボタンをクリックして、sales_data.csvファイルをアップロードします。
2. BigQueryでデータをロードする
1.
BigQueryに移動します。
2.
左側のナビゲーションメニューからデータセットを選択するか、新しいデータセットを作成します。
3.
データセット内でテーブルを作成をクリックします。
4.
ソースセクションでGoogle Cloud Storageを選択し、ファイルパスにアップロードしたCSVファイルのパス（gs://your_bucket/sales_data.csv）を入力します。
5.
ファイル形式をCSVに設定します。
6.
宛先セクションでプロジェクトとデータセットを選択し、テーブル名を指定します（例: sales_data）。
7.
スキーマの定義:
•
自動検出を有効にすると、BigQueryが自動的にスキーマを検出します。
•
または、手動で各列のデータタイプを定義できます。
sale_id: INTEGER
date: DATE
category: STRING
product: STRING
quantity: INTEGER
unit_price: FLOAT
total_sales: FLOAT
Plain Text
복사
8.
テーブルを作成をクリックしてデータをロードします。
3. データロードの確認
データが正常にロードされたら、BigQueryでテーブルをクリックしてデータが正しくロードされているか確認できます。例えば、以下のクエリを実行してデータを照会できます。
SELECT * FROM `your_project.your_dataset.sales_data` LIMIT 10;
SQL
복사
2. データクレンジング (Data Cleaning)
2.1 データクレンジングの重要性
収集されたデータには、欠損値、重複レコード、エラーなどが含まれていることがよくあります。データクレンジングはこれらの問題を解決し、分析に適したデータに変換するプロセスです。クレンジングされたデータは正確な分析と信頼性の高い結果を保証します。
2.2 データクレンジングの主要作業
データクレンジングのステップでは、以下のような作業が行われます：
•
欠損値の処理 (Handling Missing Values): 欠損データを削除または置換します。
•
異常値の除去 (Removing Outliers): 異常な値を識別して除去します。
•
データ型の変換 (Data Type Conversion): データ型を一貫性のある形に変換します。
•
重複の除去 (Removing Duplicates): 重複したレコードを識別して除去します。
•
データ統合 (Data Integration): 複数のソースから収集したデータを統合します。
2.3 BigQueryでのデータクレンジング
BigQueryはSQLベースの強力なデータクレンジング機能を提供します。以下はBigQueryでデータクレンジングを行う主な方法です：
欠損値の処理
-- NULL値を0に置換する
SELECT
IFNULL(quantity, 0) AS quantity,
IFNULL(unit_price, 0) AS unit_price,
IFNULL(total_sales, 0) AS total_sales
FROM
`your_project.your_dataset.sales_data`;
SQL
복사
重複の除去
-- 重複レコードを除去する
CREATE OR REPLACE TABLE `your_project.your_dataset.cleaned_sales_data` AS
SELECT
DISTINCT *
FROM
`your_project.your_dataset.sales_data`;
SQL
복사
データ型の変換
-- 文字列を日付型に変換する
SELECT
sale_id,
PARSE_DATE('%Y-%m-%d', CAST(date AS STRING)) AS date,
category,
product,
quantity,
unit_price,
total_sales
FROM
`your_project.your_dataset.sales_data`;
SQL
복사
実習例: 欠損値と重複の除去
以下の例では、sales_dataテーブルから欠損値を含むレコードを削除し、重複したレコードを除去してcleaned_sales_dataテーブルを作成します。
-- 欠損値を含むレコードを削除する
CREATE OR REPLACE TABLE `your_project.your_dataset.cleaned_sales_data` AS
SELECT
*
FROM
`your_project.your_dataset.sales_data`
WHERE
quantity IS NOT NULL
AND unit_price IS NOT NULL
AND total_sales IS NOT NULL;
-- 重複レコードを除去する
CREATE OR REPLACE TABLE `your_project.your_dataset.cleaned_sales_data` AS
SELECT
DISTINCT *
FROM
`your_project.your_dataset.cleaned_sales_data`;
SQL
복사
3. データ分析 (Data Analysis)
3.1 データ分析の目的
データ分析はクレンジングされたデータを基に、パターンを識別し、インサイトを導き出し、意思決定を支援するプロセスです。分析の目的に応じて、様々な方法や技法が活用されます。
3.2 データ分析の技法
データ分析には多くの技法が存在し、主な技法は以下の通りです：
•
記述統計 (Descriptive Statistics): データの基本的な特性を要約します（平均、中央値、標準偏差など）。
•
探索的データ分析 (Exploratory Data Analysis, EDA): データのパターンや関係を視覚的に探索します。
•
回帰分析 (Regression Analysis): 変数間の関係をモデル化し、予測を行います。
•
分類およびクラスタリング (Classification & Clustering): データを分類またはグループ化します。
•
時系列分析 (Time Series Analysis): 時間に伴うデータの変化を分析します。
3.3 BigQueryでのデータ分析
BigQueryは大規模なデータセットを効率的に分析するための多様なSQL機能を提供します。以下はBigQueryでデータ分析を行う主な方法です：
記述統計の計算
-- 平均、中央値、標準偏差の計算
SELECT
AVG(quantity) AS average_quantity,
APPROX_QUANTILES(quantity, 2)[OFFSET(1)] AS median_quantity,
STDDEV(quantity) AS stddev_quantity,
AVG(unit_price) AS average_unit_price,
APPROX_QUANTILES(unit_price, 2)[OFFSET(1)] AS median_unit_price,
STDDEV(unit_price) AS stddev_unit_price,
AVG(total_sales) AS average_total_sales,
APPROX_QUANTILES(total_sales, 2)[OFFSET(1)] AS median_total_sales,
STDDEV(total_sales) AS stddev_total_sales
FROM
`your_project.your_dataset.sales_data`;
SQL
복사
グループ化と集計
-- カテゴリ別の合計および平均の計算
SELECT
category,
SUM(total_sales) AS total_sales,
AVG(total_sales) AS average_sales
FROM
`your_project.your_dataset.sales_data`
GROUP BY
category
ORDER BY
total_sales DESC;
SQL
복사
ジョイン (Join)
-- 二つのテーブルをジョインしてデータを統合する
SELECT
a.sale_id,
a.date,
a.category,
a.product,
a.quantity,
a.unit_price,
a.total_sales,
b.region
FROM
`your_project.your_dataset.sales_data` AS a
JOIN
`your_project.your_dataset.regions` AS b
ON
a.sale_id = b.sale_id;
SQL
복사
実習例: カテゴリ別売上分析
以下の例では、sales_dataテーブルを活用してカテゴリ別の総売上と平均売上を計算します。
-- カテゴリ別の総売上と平均売上の計算
SELECT
category,
SUM(total_sales) AS total_sales,
AVG(total_sales) AS average_sales
FROM
`your_project.your_dataset.sales_data`
GROUP BY
category
ORDER BY
total_sales DESC;
SQL
복사
結果例:
category | total_sales | average_sales |
Electronics | 26,920 | 3,365.0 |
Furniture | 7,640 | 1,273.333333 |
Home Appliances | 6,050 | 1,008.333333 |
4. データ視覚化 (Data Visualization)
4.1 データ視覚化の重要性
データ視覚化は分析結果を直感的で理解しやすい形で伝える重要なプロセスです。視覚化を通じて複雑なデータパターンを簡単に把握し、意思決定者に効果的にインサイトを提供できます。
4.2 データ視覚化ツール
BigQueryと連携して使用できる主なデータ視覚化ツールは以下の通りです：
•
Google Data Studio: Googleの無料データ視覚化ツールで、BigQueryと簡単に統合してダッシュボードやレポートを作成できます。
•
Tableau: 強力なデータ視覚化機能を提供する商用ツールで、BigQueryとの連携をサポートします。
•
Looker: Google Cloudのデータ分析および視覚化プラットフォームで、BigQueryと密接に統合されています。
•
Power BI: Microsoftのデータ視覚化ツールで、BigQueryとの接続を通じて様々な視覚化を生成できます。
4.3 BigQueryとGoogle Data Studioの連携
Google Data StudioはBigQueryとのスムーズな連携を通じてデータを視覚化するために最適化されたツールです。以下はBigQueryデータをGoogle Data Studioに連携する方法です：
1.
2.
データソースの追加: 「データソースを作成」をクリックし、「BigQuery」を選択します。
3.
プロジェクトとデータセットの選択: 接続するBigQueryプロジェクトとデータセットを選択します。
4.
テーブルの選択: 視覚化に使用するテーブルを選択します。
5.
接続の完了: データを読み込み、視覚化に活用できます。
実習例: Google Data Studioで売上ダッシュボードを作成する
以下のステップでは、BigQueryにロードしたsales_dataを活用してGoogle Data Studioで売上ダッシュボードを作成するプロセスを説明します。
1. データソースの追加
1.
Google Data Studioで「データソースを作成」をクリックします。
2.
BigQueryを選択し、接続するプロジェクトとデータセットを選択して「接続」をクリックします。
3.
テーブル選択画面でsales_dataテーブルを選択し、「追加」をクリックします。
2. チャートの作成
1.
棒グラフ: カテゴリ別の総売上を視覚化します。
•
ディメンション (Dimension): category
•
メトリック (Metric): total_sales
2.
円グラフ: カテゴリ別の売上比率を表示します。
•
ディメンション (Dimension): category
•
メトリック (Metric): total_sales
3.
テーブル: 各販売項目の詳細情報を表示します。
•
ディメンション (Dimension): date, category, product
•
メトリック (Metric): quantity, unit_price, total_sales
3. フィルターの適用
1.
特定のカテゴリや期間に対するフィルターを適用してデータを詳細に分析します。
•
例: カテゴリフィルターを追加してElectronics、Home Appliances、Furnitureの中から選択できるようにします。
•
例: 期間フィルターを追加して特定の月や四半期を選択できるようにします。
4. ダッシュボードの構成
1.
複数の視覚化要素を一つのダッシュボードに配置し、全体的な売上状況を一目で把握できるようにします。
2.
レイアウトの調整を行い、ダッシュボードを見やすく構成します。
結論
データ分析の主要ステップであるデータ収集、クレンジング、分析、視覚化について深く掘り下げてきました。この四つのステップはデータ分析の基礎を形成し、それぞれのステップでBigQueryを効果的に活用することで、より精緻で有意義な分析結果を導き出すことができます。データ収集のステップでは多様なソースからデータを確保し、クレンジングのステップではデータを分析に適した形に変換します。分析のステップではSQLを活用してデータを探索し、視覚化のステップでは分析結果を直感的に伝えることで、意思決定に必要なインサイトを提供します。
今回の投稿で提供したsales_data.csvファイルを活用して、実際にデータのロードおよび分析を実習してみてください。これにより、BigQueryの強力な機能を直接体験し、データ分析の全プロセスを理解することができるでしょう。
次回の投稿では、AIとデータ分析の関係 – AIがデータ分析に与える影響について深く探求する予定です。AI技術がデータ分析プロセスにどのように統合され、分析の効率性と正確性をどのように向上させるかを具体的な事例とともに見ていきます。多くの関心とご期待をよろしくお願いいたします！
投稿に関する質問やフィードバックがありましたら、コメントでお知らせください。皆さんの意見を反映して、より有益なコンテンツを提供していきます。
ありがとうございます！
シリーズ
他の言語で読む:
著者をサポートする:
私の記事を楽しんでいただけたら、一杯のコーヒーで応援してください！
Search