高まるデータ分析の重要性
現在、インターネットの普及に加え、IoTやクラウド、人工知能(AI)などの技術を活用することで、膨大かつリアルタイムなデータの収集・分析が可能となっています。
データ分析で実現できることには、将来の売り上げや需要などの予測のほか、広告などの効果測定、不良品の異常検知、人繰りや商品配置における最適解を導き出すといったことなどがあります。
データ分析のプロセス
基本的なデータ分析のプロセスは、図表のとおり、(1)分析の目的・仮説の決定、(2)データ分析(モデルの作成)、(3)意思決定(分析結果の活用)の3つからなります。
図表 基本的なデータ分析のプロセス
(1) 目的・仮説の決定
まず、データ分析を行う際には、その目的もしくは検証したい仮説を決めることが重要です。これは、何を知りたいのかを明確にすることと同義となります。また、それを知ることで何に役立つのか、何が重要なのかを簡潔に説明できなければなりません。
(2) データ分析(モデルの作成)
(2-1)データを収集・加工
次のステップは、分析のためのデータ収集です。ここでは、(1)の目的・仮説を導き出せるデータを用意することが重要で、予測したい対象の結果を示すデータ(目的変数)と、目的変数に影響を与えるデータ(説明変数)が必要となります。このうち説明変数は、分析を行っていく過程で取捨選択するため、可能な限り広い範囲で収集しておくことが望ましいです。
また、データの加工では、異なるデータベース間で顧客名や商品名などで紐付けるほか、欠損値(空白の値)や異常値(外れ値)の排除といった適切な処理が必要となります。
(2-2)分析(モデルの作成と精度評価)
続いて、予測などに用いるモデルの作成を行います。モデルは「エクセル」を用いた回帰分析で作成できるほか、無料の統計ソフトである「Python」や「R」をPCにダウンロードし、プログラムを記述することで、回帰分析や機械学習、ディープラーニングなどさまざまな手法でモデルを作成することができます。
次に、作成したモデルの予測性能の良し悪しを測るために、その精度評価を行います。評価のための指標には、ROC曲線、正解率、決定係数などさまざまな指標があります。モデルの精度が低い際は、説明変数を選択し直すことや別の分析手法に切り替えるなど、再度モデルを作成し改めて精度評価することを繰り返し、精度を向上させていく必要があります。
(3) 意思決定(分析結果の活用)
最後に、モデルに基づいた分析結果から目的の達成に向けた意思決定を行います。
注意：経済月報12月号のトピックスでは、このプロセスに沿って小売業の商品販売の分析事例を紹介しています。ぜひ、ご覧ください。
(2024.12.12)