統計とかデータ活用とか

自身の備忘、失礼します。

最近、データ加工や処理をあらためて考えていく必要があり、心を整理してみようと思います。

＝＝＝　＝＝＝

先般、自身の卒論写しを発掘しまして、先般、備忘まとめを記事に書きました(当時の論の展開に誤認が含まれていそうですが、心の整理？のため、お恥ずかしいところを晒しました、笑)。

1984年当時は、先生が作られた便利なツールを使って、データ(当時、十分に膨大と感じられた経済データ)を統計分析しました。時系列、基準化、傾向把握(移動平均)、見方の置き換え(変化率)、単相関、時差相関の確認、など、手でコツコツ分析するのに比べて、ツールを使うことで、限られた時間(当時はホストコンピュータの端末を教室で使える時間帯も限られたりしてまして)にたくさんのデータをさまざまな角度から見ることができました。

卒業後、会社に入って、日頃のデータ処理や、システムのロジック成立検証などには、主に、パソコン(各社の独自OS、独自ソフト)を使いました。古いお話 臆せずに申し上げますと、F士通のパソコンで、EPOACEを三日三晩走らせて、某完成品を次の行き先別レーンに順番に詰めて、行き先に払い出しして、というのに、既存レーンに足りるか、という検証をやったりもしました。何をやるにも、時間をかけた準備と実行時間がかかったものでした。

その後、MS-DOS時代、Windows到来、で、パソコンで使えるツールが増え、処理時間も速くなってきて、助かったものです。初めて、表計算ソフトを使って、縦横データを簡易に計算できた時の感慨は大きかったです。

さらに、年月が経ち、会社から某関係先に研修に派遣され、某関係先が作られたという統計処理ソフトを支給されてみると、驚いたことに、パソコン上で、進化してきていた表計算ソフトをさらに上回る統計処理を走らせることができるということです！ といっても、そんなに複雑な処理はしないのですが、種々の多変量解析、データ群を放り込むだけで、勝手にやってもらえて、ニッコリ。

このツールを使って、直接担当していた全国の販促イベントなどのデータ群を処理していったところ、地域ごとの特性が見えたり、で、新たな発見ができたり、とても助かりました。

転勤などで、使う機材も変わったりで、このツールに馴染んだ期間はほんの数年でした。

その後は、必要な時に、表計算ソフトでできる範囲に限ってデータ処理せねばなりませんでしたが、EXCELの関数の範囲でもかなりのことができます。

基準化や、数値列並べは人手にはなりますが、搭載機能による操作で、人手作業もかなり便利です。

移動平均の計算も簡単、ピボットも組合せたりと、確認したいことを見える形にしていけます。

と、ここまで来たのですが、今後やりたいことには、さらに便利なツールを使って、対するデータ量、実装に向けての組合せ、種々の分析方法の試行錯誤を迅速に、などの課題を解決していくほうがよさそうです。

ということで、noteで役立つ記事を参照させていただいたり、その道の先達に教えを乞うようにしたり、で、よい方法を見つけていこうと思います。