ビックデータから一部のデータを抽出為だけに、エクセルを立ち上げて、四苦八苦していたのですが、
When I was struggling for extraction of part of "big data" by Excel,
ある時、あれ?と気がつきました。
I noticed an old memory of mine.
―― エクセルが存在してもいない時代に、こういう処理やったことあるなぁ
I did same this process before no Excel had existed.
どういう時代か?
What kind of age is that?
それは、2MB(桁に注意)のメモリが十数万円万円しており、20MB(桁に注意)のHDDが30万円した時代です。
It was an age that 2MB memory was more than ten thousands yen, and 20GB HDD was thirty thousands yen.
そんな時代でも、確かに、データ加工をやっていたのです。
I certainly could process data against that poor environment.
-----
Windows対応のUNIXコマンドをインストールして、cutコマンドを使ってみました。
This time, I used "cut" command after installing UNIX based tool.
1400万行も「屁」でもありませんでした。
There was no problem against more than 14,000,000 line data.
_ なにも、データ加工するのに、全部のデータをロードする必要がある訳がありません。
It is not necessary to load whole "big data" in order to process the data.
一行読んで、一行書き出せばいいのです。
To read one line and to write the line.
ギガバイトのメモリが、必ずしも必要という訳ではないのです(加工に限ればですが)。
I don't have to need some GB unit memory, even if I want to process data.
-----
そんな訳で、UNIX OSやツールを作った人たちって、やっぱり偉大だなぁ、と20年ぶりに思ったりしています。
So, the first time in 20 years, I think again that persons who made UNIX OS and tools were really great.