2009年03月10日 (火) 大量 [長年日記]
_ XFS
こないだ買ったサーバ機には,カメライメージを大量に保存することになっている.まだどういう運用にするかは決めていないものの,ざっと総数100万枚ぐらいになるかなと予想している.いくら何でもそんな数のファイルをひとつのディレクトリに突っ込むのはどうかと思うので,何とか分割することを考えなければいかんだろう.でもそれはそれとして,ファイルが増えるといったいどのぐらい遅くなるんだろうと思い,テストもかねて試しに6万枚x4ディレクトリほどためてみた.結果,単なる一覧取得ですら分単位でかかるようになった.
これは何とかならんかなと調べると,ファイルシステムのEXT3はdir_indexというオプションを使って検索を速くできるとあった.でもOpenSUSEはデフォルトでdir_indexが入ってた.それでも遅いということか.ということで,ディレクトリ管理が速いというXFSを試してみた.なおJFSは「十分テストしてないからシラネーヨ」と脅されたのでパス.結果,プログラムは変えてないのに4秒位.すばらしい.つかインデックスが改良B-Treeらしいから,わざわざディレクトリ分割せずベタでファイル置いても同じことじゃね? だめかなぁw.