2020/03/21 | 情報処理
ログファイルやCSVなどで数十万行、数百万行になるファイルを解析する必要があるケースが結構あります。 自分で作ったツールで解析する場合、処理時間がかかってしまうのは自分の責任なのでしかたありませんが、解析ツールを指定されるケースのほうが多いと思います。 ツールの設計によってはファイルが大きくなるとメモリを食いつぶし進めば進むほどスピードが低下していつまでたっても終わらないということもあると思います。 そういう時は、解析を始める前に面倒くさがらずにファイルを分割してから処理をしましょう。...
2017/10/02 | 情報処理
エンジニアをやっているとCSVファイルを編集する作業はしょっちゅう訪れます。 エクセルを使うことが多いのですが、CSVファイルを編集するためにエクセルを使うというのはとても仰々しい印象を僕は受けます。 起動も動作も重いですし、いくつものファイルを開いて行き来するのも億劫になってしまいます。 出来れば軽いテキストエディタで編集したいですよね。 いや、是非vimで編集したいですよね。 テキストエディタでCSVを整形してカラムの幅を整えてくれるものもあります。便利そうです。 でも、テキストエディタをいちいち切り替えるのも億劫ですよね。...
