連装 M.2 NVMe SSD その5 HYPER M.2 X.16 CARD / Xeon E5シングル環境での動作

連装 M.2 NVMe SSD その5 HYPER M.2 X.16 CARD / Xeon E5環境での動作

RYZEN THREAD RIPPERでの動作検証の前に、掲載しそびれていたXeon E5環境での動作検証結果。

大前提として、X99/C612ではVROCやそれに類する機能は使えません
ですので当然iRSTeでのRAIDは組めません

つまり、これらの環境でHYPER M.2 x16 CARDで期待できる最大の動作は
「4つのソケットに取り付けたSSDを全て認識し、OSからそれぞれアクセス出来る」
状態です。

検証機材

テスト機は次の通り。
CPU intel Xeon E5-2683v3 2.00-3.00GHz / 14C28T
M/B SuperMicro X10SRA-F Firmware Ver.2.00c
Asrock Fatal1ty X99 Professional Gaming i7 Firmware 1.40
RAM SKHynix DDR4-2133 128GB (32GB*4) LRDIMM/ECC ※SuperMicro機
Crucial DDR4-2400 128GB (16GB*8) Non-ECC ※Asrock機
SSD Plextor PX-256M8PeGN *8

ASUS HYPER M.2 x16 CARD *2
マザーボードは2製品用意。
いずれもLGA-2011v3環境向けで、

Haswell-E/Broadwell-E系Core i7
Xeon E5-16xx v3/v4、Xeon E5-26xx v3/v4

に対応。
どちらのマザーボードXeon E5 v3/v4との組み合わせでは40レーンのPCIeが利用可能。


SuperMicro X10SRA-F Firmware Ver.2.00c (2017/09/25)

HYPER M.2 x16 CARD 動作:〇(1スロット)イメージ 1
(Photo from supermicro.com.tw)


10ポートのSATA3(6Gbps)、2ポートのintel i210-AT GbEをもち、LRDIMMによりDDR4-2400メモリを最大512GB搭載可能、Aspeed AST2400(BMC/IPMI)を装備し高度な管理機能を利用可能、と、まあ個人宅向けではない製品ですが北米amazon.comあたりでは案外安価。購入時270ドルちょいでした。
Xeon E5搭載時のみECCやRegisteredメモリ、LRDIMMに対応というかCore i7使用時のみNon-ECC使用可。

PCIeスロット構成
CPU直結のPCIeスロットはCPUに近い側からx16x16x0x8またはx16x8x8x8。全てPCIe3.0に対応。
うち緑文字x16(スロット1)と青文字x8(スロット6)の2スロットがレーン分割に対応。

スロット2/4はいずれもPCIe2.0 x1で、C612チップセット接続。スロット形状はx4に対応。
オンボードのM.2ソケットは持たない。

PCIe3.0スロットの物理形状は4スロットともx16互換であり、最大4セットのHYPER M.2 x16 CARDの取り付けが可能

レーン分割はx16スロットについてx4x4x4x4またはx8x8、x8スロットについてx4x4。
このため、スロット1・6使用時にHYPER M.2 x16 CARD上のM.2ソケットは4+2の計6スロット動作。
スロット3/5はレーン分割機能を持たず、それぞれ1スロットのM.2ソケットのみ動作。
このためHYPER M.2 x16 CARDでのNVMeSSDの最大搭載数は8ソケット分。

使用の準備
UEFIの設定変更が必要。

CSMを無効に
搭載対象のPCIeスロットについてOptionROMを無効化(特に搭載SSDPlextor M8Peの場合)

X10SRA-F固有の注意オンボードのAST2400のビデオ出力が有効な場合、AST2400のVideoBIOSもLegacyからUEFIに変更しないとCSMを無効にできません。不要な場合ジャンパで無効化してしまうことをお勧めします。

Windows10上での認識
個別に認識。スロット1:HYPER M.2上のSSD4枚すべて、スロット6:HYPER M.2上の4ソケットのうち2枚

イメージ 3

動作速度
(Screen Shot)※後日追加
UEFIバージョンによる動作の違い
旧版では1番スロットの4分割(x4x4x4x4)動作に未対応6番スロットの2分割(x4x4)のみ実装。
現行のVer2.00cへの更新が必要。

NVMe SSDへのOSインストールの可否
単独ドライブとして扱う場合は可。

intelRSTeによるRAID動作の可否
未対応の模様。

その他
オンボード搭載のAspeed AST2400はBMC/IPMIだけでなくビデオ出力も持っており、アナログRGBのみですがフルHD表示も可能。
HYPER M.2 x16 CARDを2枚載せた上で10GbESAS HBAなどを載せる余地があり、iSCSIターゲットとしての利用で本領発揮しそう。
ファン制御も優秀でテスト中ほとんど騒音が気になることもありませんでした。

常用PCとして使う場合、USB端子がUSB3.0対応のものだけでUSB2.0のみに対応したポートはバックパネル、ピンヘッダともに用意されていない点がネックになるかもしれません。

Asrock Fatal1ty X99 Professional Gaming i7 Ver.1.40(2016/8/10)

HYPER M.2 x16 CARD 動作:×(テスト時点において)

イメージ 2


(Photo from asrock.com)

人気のTaichi/Fatal1ty Professional Gamingシリーズの最初の1枚。intel X99チップセットを搭載したマザーボードとしては末期の製品ですがかなり格安で登場し、ちょっとしたAsrockブームみたいなことに。4万ちょいで登場後、2017年11月上旬時点では2万円台半ばでNTT-Xストアで購入可能。

基本機能に絞ったTaichi、ちょっと贅沢してみたFatal1tyといった理解で良いと思いますが、この2製品の時点ではそこまで大幅な差別化はされておらず、サウンド機能についてSoundBlaster CINEMA3を有効化可能といった程度(後発のX399やZ270あたりでは10GbEの有無も追加された様子)。
Xeon E5搭載時のみECCやRegisteredメモリに対応。LRDIMMは認識・起動はするものの安定せず。

PCIeスロット構成
CPU直結のPCIeスロットはCPUに近い側からx16x16x0またはx16x8x8。全てPCIe3.0に対応。
レーン分割に非対応。…ぶっちゃけAsrockなのに割と素直なつくりです。変態マザーじゃないとか…。

スロット1/2はいずれもPCIe2.0 x1で、X99チップセット接続。スロット形状もx1。
オンボードのM.2ソケットはPCIe動作時には排他対象はなくすべて同時利用可能。

PCIe3.0スロットの物理形状は4スロットともx16互換であり、最大3セットのHYPER M.2 x16 CARDの取り付けが可能。
Ver1.40ではレーン分割機能を持たず、どのスロットもHYPER M.2 x16 CARD上の1番ソケットのみ認識。
このため、HYPER M.2 x16 CARD上のM.2ソケットは1+1+1の計3スロット動作。

使用の準備
UEFIの設定変更が必要。

CSMを無効に
搭載対象のPCIeスロットについてOptionROMを無効化(特に搭載SSDPlextor M8Peの場合)

Windows10上での認識
個別に認識。どのスロットでもHYPER M.2上のSSD1枚のみ。

動作速度
(Screen Shot)※後日追加

UEFIバージョンによる動作の違い
一年放置中。(そろそろ新版を出してくれても良いのよ?)

NVMe SSDへのOSインストールの可否
単独ドライブとして扱う場合は可。

intelRSTeによるRAID動作の可否
NVMe SSDRAID対応は未対応
ASRock Technical support TeamのMichael(TSD-Michael)によるとintel環境でのNVMe RAIDには intel Rapid Storage Technology 14 以降が必要だが、これはX99はサポートされないとのこと。


その他
PCIe 3.0 x4対応のM.2ソケットが3スロットあるので、別にHYPER M.2 x16 CARDはなくても良いんじゃないですかね…。

その他、AsmediaチップによるUSB3.1Gen2(typeA/C各1)、無線LANBluetooth用としてPCIe x1接続のM.2ソケットが1系統あり。標準搭載のものは802.11ac(433Mbps)。ソケット実装のためカード交換可能。

リザルト・総評

Test result
HYPER M.2上のすべてのソケットでSSDを認識するか
SuperMicro X10SRA-F:Yes
Asrock Fatal1ty X99 Professional Gaming i7:No

単体起動ドライブとして利用できるか
SuperMicro X10SRA-F:Yes
Asrock Fatal1ty X99 Professional Gaming i7:Yes

RAID構成が可能か
SuperMicro X10SRA-F:No
Asrock Fatal1ty X99 Professional Gaming i7:No

RAID構成したドライブを起動ドライブとして利用できるか
SuperMicro X10SRA-F:No
Asrock Fatal1ty X99 Professional Gaming i7:No

コメント
大前提として、X99/C612ではVROCやそれに類する機能は使えません
ですので当然iRSTeでのRAIDは組めません

つまり、これらの環境でHYPER M.2 x16 CARDで期待できる最大の動作は
「4つのソケットに取り付けたSSDを全て認識し、OSからそれぞれアクセス出来る」
状態です。

と、冒頭で述べました。

この点でX10SRA-Fはファームウェア2.00cにおいて1番スロットは完全に期待通り、6番スロットはおまけ要素として加点対象、といった感じでしょうか。
どうせなら3番スロットもレーン分割対応になったら完璧化してしまいます。
仮にハイパー化とでも呼称しましょうか。しませんかねえ、ハイパー化。
そしたらPC名をアッカナナジンドハツオウカオーあたりにするのに。



低価格なHaswell-Eマザーボードとして登場しそこそこ人気のあったAsrockのFatal1ty X99 Professional Gaming i7ですが、1年以上ファームウェアの更新は行われておらず、今後の更新も期待薄。
まあ安定してるし、わざわざ更新する理由もAsrock的には特にないんですよね…。

もう一方のSuperMicro X10SRA-Fはまさかの(HYPER M.2 x16 CARDを狙い撃ちしたかのような)更新で2スロット利用可能。

LGA2011-v3環境ではHYPER M.2 x16 CARD の動作はマザーボードUEFIの設計次第。
そのままではRAID構成には出来ず、HYPER M.2 x16 CARDは単純に4スロット(または2/1スロット)のM.2ソケットを持つアダプタとして機能します。
単純に独立したNVMeとしてはOSインストール先としても使用可能でした。

速度や容量を求めて複数枚のNVMeを束ねたい場合はOSのストライプ機能を利用することになります。
このため、ストライプ領域は起動ドライブに設定出来ず、OS起動用のストレージが別途必要になります。
容量のためだけであれば、HYPER M.2 x16 CARDの使用を前提とせず、そもそもSSD購入時にもっと大容量の製品を選ぶべきです。

intelRAIDサポートが得られなそうなのは残念といえば残念ですが、逆に言えば一切の特殊なデバイスドライバを必要とせず汎用のドライバ(Windows10のinboxドライバ等。intel RSTeを入れてもOK)のみで動作するのはメリット。

Solaris/FreeBSDなどのZFSWindowsがOSの機能としてもつソフトウェアRAID機能でディスクアレイを組むことはできるため、例えばOS起動ドライブは別途用意し、動画ファイルの編集作業に使いたい、などの場合は問題なく利用可能と思われます。

もっとも、4K/60Hzの動画は18Gbps程度であり、圧縮前のファイルだとしても入りと送りのストレージを分けてそれぞれNVMeSSDを用意しておけば済む話で、わざわざRAID0で束ねなくても(それこそintel600pでさえ)あんまり問題なさそうではあります。

8K/60Hz動画になると伝送速度は72Gbps(4Kの18Gbpsの4倍)、8K/120Hzでは144Gbpsとなり、PCIe x4 の帯域を大幅に上回るため、現状のストレージ性能でドロップを排除するにはたとえNVMe SSDといえどストライプは必須になってきます。
(ついでに8Kでは圧縮時でも音声込み4:4:4で約20Gbps、同じく4:2:0で約10Gbpsです。1フレームあたり20MBて凄まじいなしかし)

そうした場合、HYPER M.2とOSでのストライプでも良いのですが、がっつりとNVMe SSDで本格的にRAIDを組めるBroadcomのMegaRAID 9460-16iや、HighPoint SSD7101A-1あたりのNVMe疑似ハードウェアRAIDカードを用意してしまったほうが手っ取り早いでしょう。これらの製品であればレーン分割の対応の有無を気にする必要がなくなります。

これらの製品とHYPER M.2 x16 CARDの最大の違いは価格で、ざっくり言ってHighpoint品でさえHYPER M.2の10MegaRAIDに至っては25ほどのプライスタグがつけられています。
(ま、HYPER M.2はホント何にも特別な部品載ってませんし当然ちゃ当然ですけど)。

多少運用で頭を使っても構わない、という場合はHYPER M.2 x16 CARDは仕組みも単純で、冷却用のファン以外に故障する要因がほぼありません。仕事用の道具として十分信頼できるでしょう。
しかもこのファン、たいして静かでもないくせに回しても回さなくてもあまり性能に影響しません。ぶっちゃけなくても…動作中の温度については別で書きますね。
その分マザーボードやその他のパーツに予算を回せるというものです。

(まあ、大きい会社ならhpの最新型Zシリーズ最上位にメモリMAX積んでhp純正NVMe 4xカードを入れてもらったりできるんでしょうけどね…)

個人的な感想としては今回取り上げたSuperMicro X10SRA-FはX299/X399などの新世代マザーボードが発売された現在でも十分オススメできる製品です。安定性・静粛性・こなれた価格と欠点らしい欠点がありません。

Asrockのほうのは…普通に使う分には十分安定動作しているのであとはレーン分割を追加してくれるだけで良いのですけど、どうでしょうね、対応する気なさそうだよなあ。


ともあれ、別に最新世代のCPU・チップセットでないと動作しないというわけではないことが確認できたのは収穫でした。

次回はRYZEN THREAD RIPPERでの動作検証です。