FreeBSD, GlusterFS

GlusterFSをESXiから使う(3) 書き込み速度測定

実運用を想定して、ESXiの仮想マシンを乗っけてddで計ってみた。
結果は大体20MB/sくらいは出ているのでセーフな範囲。もう少し速いとうれしい。

速度を気にするならstripeも測るべきだけど出てこないのは、またバグっぽいものを見つけたから。
こっちはまた追ってまとめる。

Continue reading GlusterFSをESXiから使う(3) 書き込み速度測定 →

FreeBSD

iscsi initiator+gjournalが固まる

glusterfs環境のパフォーマンステストのため、iscsi initiatorでNASに接続している/dev/da*に、gjournal labelでローカルなSSDをjournalとしてくっつけた。
newfsはうまくいってmount、gluster volume createしてgluster volume start、と思ったら固まってしまった。

いろいろ条件を変えて速度測定したかったのになぁ……。

Continue reading iscsi initiator+gjournalが固まる →

FreeBSD, GlusterFS

GlusterFSをESXiから使う(2)

XtreemFSに見切りをつけてGlusterFSに戻ってきた。

前回はVMware ESXiからつなぐとデータストアを表示しても何も表示されないままとなってそのうち切断されていたので、ここを調査＆修正。
修正版はGitHubにcommit/push済み。(4853f4d)

2016/06/11追記: Makefileがコミットされてなかったりpatchが動かないとかひどいコミットミスがあったから直したよ！！
0118d4d

Continue reading GlusterFSをESXiから使う(2) →

FreeBSD, XtreemFS

XtreemFSをFreeBSDで動かす(6) 書き込み速度の改善

どうもFreeBSD+OpenJDKのバグで、Selector.select(int)がタイムアウト前に返ってくる模様。
このせいでMRCやOSDのあるスレッドが空回りしてCPUを食いつぶすことがある。(よくある)

これを直してやって、7.4MB/sまで改善した。(前回は6MB/s)

# dd if=/dev/zero of=/mnt/xtfstest/test bs=65536 count=4096
4096+0 records in
4096+0 records out
268435456 bytes transferred in 36.120514 secs (7431662 bytes/sec)

2016/05/31追記:

上記はiSCSI+ZFS+SSD ZILでの測定結果。
気になって夜も眠れないので、UFS on SSDにOSDを置いて計ってみたら、6.7MB/sになった。
遅くなってるけど、きっと測定誤差だと信じたい。(だとすると改善も誤差だけど……)

# dd if=/dev/zero of=/mnt/xtfstest/test bs=65536 count=4096
4096+0 records in
4096+0 records out
268435456 bytes transferred in 39.965025 secs (6716759 bytes/sec)

正直なところ心が折れそうだけど、GlusterFSは(xattrが必要だから)zfsのzilで加速、とかができないし、微妙に柔軟性が足りない気がするのでもう少しがんばりたい。

Continue reading XtreemFSをFreeBSDで動かす(6) 書き込み速度の改善 →

FreeBSD, XtreemFS

XtreemFSをFreeBSDで動かす(3)

FreeBSD向けのバグもいろいろ直したので、今回は冗長構成にしてみる。

packaging/freebsd/make-package.shでpkg用パッケージも作れるようにしておいた。
GlusterFSのときに作ったものを流用して作ったけど、manifestの書き方がどうも間違ってる気がする。けど今のところ動いてるので放っておく。

あ、xtfsutilが動かないバグはまだ直してないよ。

Continue reading XtreemFSをFreeBSDで動かす(3) →

FreeBSD, XtreemFS

XtreemFSをFreeBSDで動かす(1)

昨日の続きをちょっとだけ。
成果物は例によってGitHubにて。(@f22dea0)

  • インストール先を/から/usr/localに変更。
    /etc/xosは/usr/local/etc/xosに。しかし/var/lib/xtreemfsはそのまんま。
  • Linux init.d scriptをFreeBSD rc.d scriptに変換。/etc/rc.confに以下の記述が必要。 
    xstreemfs_dir_enable="YES"
xstreemfs_mrc_enable="YES"
xstreemfs_osd_enable="YES"

とりあえず起動はした。
http://<hostname>:30636/ でMRC、http://<hostname>:30638でDIR、http://<hostname>:30640でOSDの状態が無事見えたので、そこそこ動いてはいるのだろう。
明日以降はfuseでマウントして遊んでみる予定。