NC

MMORPGサービスは全世界で同時に接続したプレイヤーの微細なアクションまでも細かく処理しなければならず、敏感度が高いです。 ゲームが途切れることなくプレイヤーが円滑にプレイできるようにする「連続性」はNCの技術力を語る時に欠かせないキーワードです。

「連続性」のあるゲームサービスを提供するために努力しているところの一つがNCのI&O(Infrastructure&Operation)センターです。 ゲームプレイ環境を構成する基礎インフラを構築し、プラットフォームを構築して安定したサービス運営を支援します。 ゲームサービスの安定性を維持するための努力と信頼性についてお話しします。

ゲームサービスの基本は、途切れや遅延のない最適なプレイ環境をプレイヤーに提供することです。 I&Oセンターは「連続性」を妨害する障害要素を遮断するためにインフラとシステムを二重化、二元化、多元化する多様な技術的戦略を立てました。 システムを単一に構築すると、障害や災害が発生した際に、全体サービスの遅延や、中断などが発生します。 これを防止するために、複数のシステムとインフラを分散配置してどんな障害が発生しても問題なくゲームをサービスし、結果的にプレイヤーが認知できないようにする。 これが二重化［二重化］多元化の核となる考えです。

二重化はシステム障害発生に備えて同じシステムを2つ構築することを意味します。 サーバー、ネットワーク、電源など特定設備で障害が発生してもサービスを維持できるようにペアまたは色々な設備を組み合わせてシステムを構成することです。 予期せぬ危険要素に備えて迅速に対応するため、NCは小さな部品から設備、LANケーブル、さらには海底ケーブルまで数多くの領域に二重化を適用しています。

二元化［多元化］はインフラや運営環境に使われる基盤サービスであり、例えばデータセンターやインターネット回線施設等を二つ以上の独立拠点として構成するものです。 また、グローバルゲームサービスのインターネット回線も様々な国で長時間テストし検証した結果をもとに回線事業者を多元化してペアで運営しています。 特定事業者の障害が発生しても迂回できる経路を事前に確保し、外部障害要素自体を最小化し迅速に対応させたものです。

二重化［二元化］多元化の代表的事例としてマルチデータセンターが挙げられる。 まず、一つのデータセンターにサーバーやネットワークDBのような複数の要素を2つずつ作り、システム障害が発生してもバックアップで運用できるように二重化します。 データセンター自体も二つの拠点に分散配置し、一つのセンターに問題が生じれば、すぐに他の拠点に代替して運営できるように二元化します。 このように二元化したデータセンターをまるで一つのデータセンターのように相互バックアップできるように運営できます。 さらに、各データセンターのネットワークやサーバーも異なる業者を利用しますが、外部業者による被害も最小限に抑えるための多元化の一環です。 このようにマルチデータセンターはすべての場合に備えて二重化、二元化、多元化作業を一つに集結した集合体と言えます。

これを通じてNCはゲームサービスの安定性を高めるだけでなく、サービス移転技術力とノウハウを得ることができました。 アジア圏域に対する国内サービスの最小遅延技術と最大規模のユーザートラフィックのゲームサービスに対するサーバー仮想化適用技術を確保しました。 また、サービス移転過程のダウンタイムを最小限に抑えながら、高可用サービス運営および移転、DR実行ノウハウを会得ました。

現在NCは2つ以上のデータセンターを追加で構築しようと準備しており、マルチデータセンターのような大規模二重化［二元化］にも積極的に投資しています。 今後もより強固で隙なく障害に対応できる運営環境を作るため、二重化、二元化、多元化を拡張する計画です。

NCがゲームサービスの舞台を海外に拡張し、一つのサービスを提供するグローバルワンビルドを具現するために選んだもう一つの運営戦略は「NCクラウド(NC Cloud)」です。 NCクラウドは、前述の「マルチデータセンター」と複数の海外企業の「パブリッククラウド」、NCのプライベートクラウドを混合して使用することを意味しています。

国内単一クラウドだけを使用した時は、海外に物理的拠点がなかったため、遅延のない円滑なプレイ環境を海外プレイヤーに提供するのが事実上難しくありました。 NCは海外サービスを支援するために現地パブリッシャーと契約し、データセンターを渉外するなどの過程で長い時間とリソースを要しました。

しかし、海外を拠点として活用できるパブリッククラウドが普遍化し、NCのデータセンターと海外クラウド間の連携が可能になり、まるで一つのデータセンターでサービスするかのように統合されたインフラ環境を構築されました。 その結果、プレイヤーは国内外を問わず、一つの環境でサービスするようなゲームをスムーズに楽しむことができるようになりました。

〈リネージュW〉もリリース前に満足できるNCクラウドを構築するまで多様な試行錯誤を経なければならなりませんでした。

〈リネージュW〉をサービスするということは、Latency(遅延)なしに同じゲーム環境を12ヶ国どこでも提供しなければならないという意味です。 これを実現するために、I&Oセンターは規模が従来のモバイルゲームの2倍以上であるインフラ環境構築を準備しました。 200万人以上の同接を目標に12カ国に最適化されたゲームサーバー拠点を選定し、システムを複数のIDC内で同じ水準で運営できなければなりませんでした。 パブリッククラウドを拡張し、複数のクラウドを戦略的に配置した後、運営自動化を通じて先制的に対応できるようにしました。

適合した海外クラウドを選定する過程からインフラの性能、遅延時間、海底ケーブルの特殊性などNCの基準に合わせるために考慮しなければならない事案が数え切れないほど多くありました。 海外拠点を選定した後も予想以上にひどいノイズや、サーバー遅延の変動幅が大きくなるなど難関がありました。 希望する結果が出るまでテストをして検証する過程を終えて初めて、今のNCクラウドを構築することができました。 おかげで<リネージュW>は全世界の人々が同時に接続しても遅延なくプレイできる新しい領域に達することができました。

NCのゲームサービスがグローバルへと拡張し、サービスを提供するプラットフォームも多様化すると、自然にインフラの規模と複雑性も大きくならざるを得ません。 このように巨大化したインフラに対し限られたリソースで対応するためには、自動化技術が不可欠でした。

自動化サービスは主にモニタリング、配布、措置領域等にのみ活用していました。 現在は安定性と生産性向上を目標に適用範囲を増やしています。 ケーブルとネットワークインターフェース（NIC）に起こった単純な問題は、人よりも操作が速い自動化サービスで対応しています。

サーバー構築業務の場合、従来はサーバー上面を割り当てる人材からIP割り当て、OS設置などのための複数の人材が必要でしたが、現在は自動化システムで支援できます。 そのため、該当業務を進めていたヒューマンリソースを他の業務に分配することができ、大規模サーバーを構築する時間も大幅に短縮できるようになりました。 また、グローバルサービスを提供するためにサーバーを自動的に安定した領域にライブマイグレーションできるよう設計·運営しています。 これにより、グローバル地域のプレイヤーにも安定したプレイタイムを提供しています。

データセンター内の数万個のケーブルのうち、ネットワークインターフェースに問題が発生すれば、これをモニタリングして自動措置できる機能(Auto Recovery)を開発し、データセンター間サービス移転自動化環境を構築してゲームワールドサーバーを希望するデータセンターに数分以内に移転できるようにしました。 さらに障害が発生すれば、ワンボタンだけで二元化した拠点の同じシステムを呼び込んで自動的に措置できるシステムも開発中です。

I&Oセンターの究極的な目標は、自動化サービスを通じて人の手を最小限に抑えることです。

今後もできるだけ多くの領域に自動化環境を構築していきたいと考えてます。

NCはプレイヤーに安定したサービスを提供するため、あらゆるパターンを考え、いかなる障害にも備えることができる強固なインフラ環境を構築しています。 そうすることによって、世界中のプレイヤーが途切れることなくスムーズにゲームを楽しむことができるからです。 その背景には、一つの問題点も無駄にせず、小さな問題でも解決点を見出すために最善を尽くすI&Oセンターの執拗な努力と苦労があるからです。 今後もこの「執拗さ」が強固に積まれていくのであれば、より安定的したゲームサービスができることでしょう。

近い将来、ゲームサービスのトレンドになるAR/VRを支援する品質の高い環境とゲームサービスエミュレーティングなど多様な運営環境に適用できる技術を発掘し適用する予定です。

技術の連続性を確保するため、NCは絶えず技術について悩み、改善し、未来にさらなる期待をさせるための動きを止めないでしょう。