Lustre* ソフトウェア - インテルによるサポート付き

最高のパフォーマンスとスケーラビリティ

Lustre* ファイルシステムは、テクニカル・コンピューティング向けの理想的な分散並列ファイルシステムです。Lustre ソフトウェアを使用してビルドした次世代ストレージは、テクニカル・コンピューティングの主要なストレージとデータスループットの課題に取り組むために最適化したSDS (Software-Defined Storage - ソフトウェア定義ストレージ) を提供します。

Lustre* (ラスター) - HPC クラスターシステム向けファイルシステム



Lustre* ソフトウェアの最新リリースは、Lustre 並列ファイルシステムのパフォーマンスとスケーラビリティを大小さまざまな組織のプラットフォームとして提供します。大規模で高帯域幅のストレージを必要とするビジネスでは、インテルの Lustre エキスパートがグローバルでテクニカルサポートを提供する Lustre のパワーとスケーラビリティを活用することができます。

オープンソースの優位性を持つ Lustre は、標準的なインターフェースを提供し、既存のインフラストラクチャとの容易な統合と相互運用性を促進します。Lustre はオープンソースなので、IT 部門は、ベンダーに依存しないさまざまなネットワークやハードウェアオプションを使用して、時間と予算を抑えながらデータセンターのストレージシステムを拡張できます。


基本的な Lustre の構成

Lustre 構成図

Lustre ソフトウェア向けにインテルが提供するサポート

エンタープライズ・レベルのテクニカル・サポートとサービス

インテルは、Lustre ソフトウェアの第一人者として開発、メンテナンス、テクニカルサポートを提供します。インテルは、Lustre ソフトウェアを開発するエキスパートとして知られており、最も複雑な Lustre の構成のサポートに必要な技術的な専門知識と経験を持っています。


Lustre ストレージ・ソフトウェアを使用してビルドしたストレージシステムの特長

パフォーマンスの最適化

Lustre ソフトウェアは、クライアント、サーバー、およびストレージデバイス間で完全にパラレルな I/Oを実現できるようにデザインされています。メタデータとデータをは別々に格納し、それぞれを最適化して最大のパフォーマンスを発揮します。

インテル® Xeon Phi プロセッサーを最適化

Lustre ソフトウェアは、セルフブートモードとレバレッジドブートモードの両方でインテル® Xeon Phi プロセッサのサポートを提供し、計算ノードが高性能な Lustre ストレージに直接アクセスできるようにします。


スケーラビリティー

最もスケーラブルな POSIX ファイルシステム

Lustre クライアントは、複数のターゲット間でファイルをストライピングすることで、ストレージサーバーから直接読み書きできます。これによって、ストレージサーバを追加するにつれてパフォーマンスとボリュームの両方が向上し、Lustre は非常に効率的なハードウェア利用率を提供するので、ストレージシステムは最大数千のストレージノードまで拡張できます。

スケーラブルなメタデータのパフォーマンス

リモート・ファイルシステムのディレクトリを複数のメタデータサーバーに分散することで、メタデータサーバーの数が増えるほどメタデータのパフォーマンスが向上します。


オープン・エコシステム

ストレージベンダーに依存しない

Lustre は完全にベンダーに依存しない SDS (software-defined storage, ソフトウェア定義ストレージ) として提供されます。オリジナルのベンダーから新しいハードウェアを購入することなく、または既存のハードウェアの仕様に一致させることなく、既存のストレージクラスターを拡張できます。

幅広い OS のサポート

Lustre ソフトウェアは、RedHat Enterprise Linux、SUSE Linux Enterprise Server、Ubuntu Server などのエンタープライズクラスの OS を幅広くサポートします。

Windows クライアントのサポート

Lustre ソフトウェアは、Windows クライアントに SMB ファイルサービスを提供するための高可用性フレームワークを提供します。このフレームワークにより、Lustre を Windows のエンタープライズ・ネットワークに統合し、Windows と Linux のクライアント・システム間で統合されたストレージと ID 管理を提供されます。


セキュリティー

Kerberos 認証と暗号化

Lustre ソフトウェアは、Kerberos を活用して、ネットワークを介して送信される情報の安全な認証と暗号化を行うことで、認証と暗号化を強化しています。

SELinux* による強制的なアクセス・コントロール

Lustre は、SELinux の使用をサポートし、ファイルのアクセス・コントロールをユーザースペースからカーネルスペースに移管でき、許可したファイルへのクライアントアクセスを強制します。


データ管理

階層型ストレージ

Lustre ソフトウェアは、階層型ストレージのためのモジュラー・インターフェイスを提供し、ポリシードリブンのデータ移動を通じてファイルシステムをインテリジェントに管理します。これにより、ストレージ管理者は、Lustre と Value-Optimized ストレージ間で "ホット" と "コールド" データを動的に移行して、パフォーマンスとコストの理想的なバランスを実現します。

ファイルシステムのスナップショット

スナップショットの統合サポートにより、ストレージ管理者は、このデータ保護機能を活用してファイルシステムをチェックポイントすることができます。スナップショットを新しい名前空間としてマウントでき、ストレージシステムの以前に修正または削除したファイルにアクセスできます。

圧縮

Lustre と OpenZFS は、データの I/O 要求を減らすことで、利用可能なストレージを最大限に活用し、全体的なパフォーマンスを向上させながら、転送するデータを圧縮します。

サブディレクトリーのマウント

クライアントは個々のディレクトリをマウントでき、クライアントが誤ってサブディレクトリ外のファイルを変更または削除することを制限します。


ネットワーク

SDN (Software Defined Networking, ソフトウェア定義ネットワーク)

Lustre Networking (LNET) を物理ハードウェアから抽象化して、Lustre は InfiniBand、Omni-Path、Ethernet、およびその他の相互接続で構成された異機種ネットワーク上で動作します。

インテル® Omni-Path Fabric 向けに最適化

インテル® OPA (インテル® Omni-Path アーキテクチャー) は、高性能ファブリックを提供し、数万のノードのスケーラビリティーが可能で、拡張 IP とインテル® テクノロジーでビルドします。

動的なネットワーク構成

この LNET (Lustre Networking) スタックの強力な拡張により、LNET を停止または再起動することなく、ルートやパラメータを転送時に変更できるので、管理作業を簡素化できます。


OpenZFS

エクストリーム・キャパシティー

OpenZFS は 128 ビットのファイルシステムで、Btrfs などの 64 ビットファイルシステムより 1.84 x 1019 倍多くのデータを扱うことができます。OpenZFS ファイルシステムの実際のサイズ制限は、非常に大きいため、実際の使用では遭遇することはほとんどありません。

コピーオンライト

OpenZFS は、コピーオンライト・メカニズムを提供しており、つまり、データが上書きされると、新しいコピーを別のブロックに書き込みます。操作が完了する前に電源が失われた場合でも、既存のメタデータは古いブロックを指し示し、データ損失の影響を最小限に抑えます。

ハイブリッド・ストレージ・プール

OpenZFS ハイブリッド・ストレージ・プールにより、SSD を HDD ベースのストレージ用の L2ARC (Adaptive Read Cache、アダプティブ・リード・キャッシュ) として使用できます。このキャッシュは、HDD ベースのストレージプールの全体的な読み取りパフォーマンスを大幅に向上させることができます。

書き込みホールに対する RAID-Z 保護

伝統的な RAID は "書き込みホール" に苦戦しています - 複数のディスクをアトミックに更新できず、クラッシュや停電時に RAID ボリュームが破損します。OpenZFS の書き込みは完全なストライプで、Copy-on-Write メカニズムを活用し、従来の RAID と比較して "書き込みホール" を排除し、優れたデータ保護を提供します。


Coming Soon

小さいファイルのパフォーマンスを強化

小さいファイルを高速の SSD ベースのメタデータターゲットに直接格納できるようして、Lustre で小さいファイルのパフォーマンスを強化します。これにより、RPC を削減し、小さいファイルとより大きいシーケンシャル IO の両方のパフォーマンスが向上します。

プロジェクト・クォータ

この機能により、管理者は個々のプロジェクトに基づいてクォータを設定および適用することができ、ユーザ/グループのクォータと比較してより柔軟なクォータを使用できます。

非クラスタ化パリティ RAID

Lustre 向けの非クラスタ化パリティ RAID は、配列のリビルドのパフォーマンスを大幅に向上させ、ドライブ障害からの復旧に要する時間を短縮します。この改善は、リビルドの築操作の並列化によるもので、非常に大きな HDD を使用すると特に大きな影響を与えます。

統合したストレージの暗号化

OpenZFS Backed Storage で使用した場合、ストレージに保存するネイティブデータの暗号化は Lustre になります。

安全な削除

統合ストレージの暗号化は、暗号化キーをシステムから削除することにより、安全な削除のための仕組みも提供します。これは、モダンなファイルシステムや SSD が書き込まれるブロックを隠す可能性があるため、純粋にデータを上書きするよりも効果的であり、安全な消去の他の実装を無効にします。

Progressive File Layouts

Lustre の Progressive File Layouts を使用することで、サイズが大きくなるにつれてファイルのストライピングが狭い範囲から広い範囲に拡大されます。これにより、以後のファイルサイズに関係なく、最大のファイル・パフォーマンスを維持できます。


今日から Lustre を使いましょう

Lustre は、クラスタ化したサーバー間で同時に共有した膨大な量のデータを処理できる SDS (Software-Defined Storage、ソフトウェア定義ストレージ) です。Lustre Software を搭載したストレージは、Exascaleと新興の高性能データ解析の課題に対処する画期的な技術です。

これで、Lustre ソフトウェアとインテルのサポートにより、組織はストレージとデータの要件を満たす完全なソリューションを用意できます。


 
 

Lustre* ソフトウェア - インテルによるサポート付きに関する詳細は、お問い合わせください!