NASを40GbEに対応させる
導入目的
NASからサーバにISOをダウンロードしてくると行った際に非常に時間がかかっていました． NASとサーバ間を高速化するためです．
使用した機材
使用した機材は以下のものになります．
- Synology RS3618xs(NAS)
- Mellanox Connect-x3
- サーバ
- LinkX™Ethernet Direct Attached Copper ケーブル (MC2210130-002)
NASにHCA(Host Channel Adapter)をインストールさせたあと，DACケーブルを使いサーバとNASをつなぎました．
InfinibandをEthernetに切り替える
購入してきたままのMellanox Connect-x3ではInfinibandしか使うことができないため，Portの設定をInfinibandからEthernetに切り替えます． 以下のブログを参考にさせていただきました． 家庭向け（仮） 40GbE NIC 導入方法 この切替はNASの端末で行うのは難しいため，別の端末を利用して行いました(NASでもシェルを使うことはできますが，パッケージマネージャがなかったため)
次に切り替えたHCAをNASにインストールします．使用していたNASは拡張用のPCIeに刺すだけで認識されました．
速度テスト
NASにHCAをインストールしてNAS側から認識されているかを確認します．
$ sudo ethtool [interfaceの名前]
Settings for eth4:
Supported ports: [ FIBRE ]
Supported link modes: 1000baseKX/Full
10000baseKX4/Full
10000baseKR/Full
40000baseCR4/Full
40000baseSR4/Full
56000baseCR4/Full
56000baseSR4/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: Yes
Advertised link modes: 1000baseKX/Full
10000baseKX4/Full
10000baseKR/Full
40000baseCR4/Full
40000baseSR4/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Link partner advertised link modes: 40000baseCR4/Full
Link partner advertised pause frame use: No
Link partner advertised auto-negotiation: Yes
Speed: 40000Mb/s
Duplex: Full
Port: Direct Attach Copper
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000014 (20)
link ifdown
Link detected: yes
認識されているのが確認されたので，DACケーブルを使いサーバとNASを接続します． (今回した使用したHCAは規格としてはQSFPでありQSFP+と互換があるのかを調べてみましたが，資料は見つけれませんでした．QSFP+と接続したところ，リンクアップをしたので恐らく対応していると思います)
接続後にIPアドレスを設定して，疎通性があるか確認します．
$ sudo ip address add [ip address] dev [interface name] $ ping [target ip address]
NASにiperf3をインストールしてiperf3サーバを立ち上げます.
$ iperf3 -s
Server側からNASのiperf3サーバにアクセスします
$ iperf3 -c [NASのIP address] Connecting to host 192.168.100.5, port 5201 [ 4] local 192.168.100.7 port 49768 connected to 192.168.100.5 port 5201 [ ID] Interval Transfer Bandwidth Retr Cwnd [ 4] 0.00-1.00 sec 2.47 GBytes 21.2 Gbits/sec 0 933 KBytes [ 4] 1.00-2.00 sec 2.87 GBytes 24.6 Gbits/sec 0 933 KBytes [ 4] 2.00-3.00 sec 2.87 GBytes 24.7 Gbits/sec 0 933 KBytes [ 4] 3.00-4.00 sec 2.87 GBytes 24.7 Gbits/sec 0 933 KBytes [ 4] 4.00-5.00 sec 2.88 GBytes 24.7 Gbits/sec 0 933 KBytes [ 4] 5.00-6.00 sec 2.87 GBytes 24.6 Gbits/sec 0 933 KBytes [ 4] 6.00-7.00 sec 2.88 GBytes 24.8 Gbits/sec 0 933 KBytes [ 4] 7.00-8.00 sec 2.87 GBytes 24.6 Gbits/sec 0 933 KBytes [ 4] 8.00-9.00 sec 2.88 GBytes 24.7 Gbits/sec 0 933 KBytes [ 4] 9.00-10.00 sec 2.88 GBytes 24.7 Gbits/sec 0 933 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 28.3 GBytes 24.3 Gbits/sec 0 sender [ 4] 0.00-10.00 sec 28.3 GBytes 24.3 Gbits/sec receive
20Gbit/sec以上でており，サーバとNAS間のファイル転送が高速化できました．
