ファイルを指定した行数で分割する 2020/03/21 | 情報処理ログファイルやCSVなどで数十万行、数百万行になるファイルを解析する必要があるケースが結構あります。 自分で作ったツールで解析する場合、処理時間がかかってしまうのは自分の責任なのでしかたありませんが、解析ツールを指定されるケースのほうが多いと思います。 ツールの設計によってはファイルが大きくなるとメモリを食いつぶし進めば進むほどスピードが低下していつまでたっても終わらないということもあると思います。 そういう時は、解析を始める前に面倒くさがらずにファイルを分割してから処理をしましょう。...
