うっかりやらかしてQNAP NASのファームウェアが入ったFlashを焼き払っちゃった。
結論
- ほぼ公式ガイドどおりでいける。
- Damn Small LinuxじゃなくてCore OSを使おう。
- cpじゃなくてcat+redirectで書く。
うっかりやらかしてQNAP NASのファームウェアが入ったFlashを焼き払っちゃった。
結論
実運用を想定して、ESXiの仮想マシンを乗っけてdd
で計ってみた。
結果は大体20MB/sくらいは出ているのでセーフな範囲。もう少し速いとうれしい。
速度を気にするならstripeも測るべきだけど出てこないのは、またバグっぽいものを見つけたから。
こっちはまた追ってまとめる。
glusterfs環境のパフォーマンステストのため、iscsi initiatorでNASに接続している/dev/da*
に、gjournal label
でローカルなSSDをjournalとしてくっつけた。
newfs
はうまくいってmount
、gluster volume create
してgluster volume start
、と思ったら固まってしまった。
いろいろ条件を変えて速度測定したかったのになぁ……。
どうもFreeBSD+OpenJDKのバグで、Selector.select(int)
がタイムアウト前に返ってくる模様。
このせいでMRCやOSDのあるスレッドが空回りしてCPUを食いつぶすことがある。(よくある)
これを直してやって、7.4MB/sまで改善した。(前回は6MB/s)
# dd if=/dev/zero of=/mnt/xtfstest/test bs=65536 count=4096 4096+0 records in 4096+0 records out 268435456 bytes transferred in 36.120514 secs (7431662 bytes/sec)
2016/05/31追記:
上記はiSCSI+ZFS+SSD ZILでの測定結果。
気になって夜も眠れないので、UFS on SSDにOSDを置いて計ってみたら、6.7MB/sになった。
遅くなってるけど、きっと測定誤差だと信じたい。(だとすると改善も誤差だけど……)# dd if=/dev/zero of=/mnt/xtfstest/test bs=65536 count=4096 4096+0 records in 4096+0 records out 268435456 bytes transferred in 39.965025 secs (6716759 bytes/sec)
正直なところ心が折れそうだけど、GlusterFSは(xattrが必要だから)zfsのzilで加速、とかができないし、微妙に柔軟性が足りない気がするのでもう少しがんばりたい。
またESXi用に使おうと思って、とりあえず書き込み速度を計ってみた。
結果、6.8MB/sという非常に悲しい数字をもらった。
ちなみに、rc.confの記述内容がxstreemfs_*_enable
とかになってたので、xtreemfs_*_enable
に修正している。
やっとxtfsutilを直した。最新はea0bf85。
次はレプリケーションのテストか耐障害性のテストをしたい。
けどそろそろMacBookにVM 3台乗せてテストするのは辛くなってきたな……。
FreeBSD向けのバグもいろいろ直したので、今回は冗長構成にしてみる。
packaging/freebsd/make-package.sh
でpkg用パッケージも作れるようにしておいた。
GlusterFSのときに作ったものを流用して作ったけど、manifestの書き方がどうも間違ってる気がする。けど今のところ動いてるので放っておく。
あ、xtfsutil
が動かないバグはまだ直してないよ。
続き。あっさり動いてがっかりした。
昨日の続きをちょっとだけ。
成果物は例によってGitHubにて。(@f22dea0)
/
から/usr/local
に変更。/etc/xos
は/usr/local/etc/xos
に。しかし/var/lib/xtreemfs
はそのまんま。/etc/rc.conf
に以下の記述が必要。
xstreemfs_dir_enable="YES" xstreemfs_mrc_enable="YES" xstreemfs_osd_enable="YES"
とりあえず起動はした。
http://<hostname>:30636/ でMRC、http://<hostname>:30638でDIR、http://<hostname>:30640でOSDの状態が無事見えたので、そこそこ動いてはいるのだろう。
明日以降はfuseでマウントして遊んでみる予定。