データ統合サービス「Azure Data Factory」の特長と課題

コーポレートデータプラットフォームではAzure Data Factoryをデータ連携のメインラインとしています。当サービスはAzure標準のデータ統合サービスと位置づけられています。

- Azure Data Factory

大和総研で運用してみて実感したAzure Data Factoryの長所と短所を以下にまとめました。パブリッククラウドにおいてデータ処理をセキュアに行えることを大きな強みととらえていますが、機能や運用保守の面で課題があり、これからの改善に期待しています。

長所

Azureのプライベートネットワーク化技術と組み合わせてデータ処理をセキュアに実行できる

ローコードによるデータ処理の自動化に対応している（本格的なプログラムのコーディングを行わなくてもデータ処理を自動実行させることが可能である）

短所

データ統合サービスとしては「標準的」な機能しか有しておらず、他のサービスやプロダクトに比べて機能面で不足が見られる（複雑なデータ処理に対応していない、サポートするデータソースの種類が限定されているなど）

企業内ネットワークへの接続にあたり、セルフホステッド統合ランタイムという独特のゲートウェイサーバの運用が必須であり、仮想マシンとアプリケーションの運用保守コストが追加で発生する

なお、コーポレートデータプラットフォームではAzure Data Factory以外にも複数のデータ統合サービス・プロダクトを運用しています。各サービス・プロダクトのクロスレビューも追って本ブログでの記事化を予定しています。

当サービスの内部オブジェクトには独特な構成があります。大和総研の活用事例を添えて表2で解説します。また各オブジェクトの配置について次章以降で解説します。

表2　Azure Data Factoryのオブジェクト構成

オブジェクト 解説 大和総研の活用事例

パイプライン（Pipeline） 1つのタスクを連携して実行するアクティビティの論理的なグループ 1種類のデータに対して1つのパイプラインを割り当て、特定のデータに関する処理を1つのパイプライン内で完結させている

例：

■ファイルコピーパイプライン

ファイルサーバの特定フォルダに格納されている特定名称のファイルを取得し、Azure Data Lake Storageにコピーする

■DBテーブルデータエクスポートパイプライン

DBサーバの特定テーブルからデータを抽出し、CSV形式のファイルに変換してAzure Data Lake Storageに出力する

アクティビティ（Activity） データに対して実行するアクションを定義するオブジェクト ■単純なデータコピー処理（単一ファイルのコピー、DBサーバの単一テーブルからのデータ抽出など）の場合、パイプラインには「データコピーアクティビティ」のみを設定している

■条件付きのデータコピー処理（特定条件を満たす複数のファイルを連続コピーする、DBサーバの複数テーブルからデータを抽出しマージするなど）の場合はパイプラインに複数のアクティビティを設定し連携実行させている

データセット（DataSet） アクティビティで入力と出力として使用するデータを指定または参照するデータの名前付きビュー

テーブル、ファイル、フォルダ、ドキュメントなど、さまざまなデータストア内のデータを示す ソースデータ（入力データ）とシンクデータ（出力データ）の2種類をデータセットとして定義している

■データセット（ソース）

・ファイルサーバのディレクトリ / ファイル名

・DBサーバ名 / テーブル名

■データセット（シンク）

・Azure Data Lake Storageのディレクトリ / ファイル名 アウトプットデータをファイルとして保管する場合のファイル形式（CSV、JSONなど）もここで定義している

リンクサービス（Linked Service） サービスが外部リソースに接続するために必要な接続情報を定義するオブジェクト 接続先となる外部リソースごとに作成している

・ファイルサーバ

・DBサーバ（MS SQL Server、PostgreSQLなど）

・Azureサービス（Azure Data Lake Storageなど）

・外部サービス（Salesforceなど）

トリガー（Trigger） パイプラインの実行契機を指定するオブジェクト スケジュールトリガー（時限式トリガー）のほかイベントドリブンのトリガーも用意されている

大和総研ではパイプラインを実行周期や属性を基準にグループ化したマスターパイプラインを作成し、マスターパイプラインとトリガーを1対1で関連付けることで、トリガーによるパイプラインのスケジュール管理を効率化している

出所：Microsoftの公開情報（Microsoft Learn）を基に大和総研作成。列「解説」内の説明文はMicrosoft Learnから引用

ポイント①　企業内ネットワークからAzureへのデータ連携 – Azure Data Factoryによりセキュアなデータ連携を実現

企業内ネットワークからAzureへのデータ連携について「大和総研の企業内ネットワーク上のサーバ（ファイルサーバ、DBサーバ）からのデータ連携」を具体例として紹介します（あくまで一例です）。

コーポレートデータプラットフォームの主要目的の1つは、「各部門が個別に保有するデータを集約し一元管理する」ことです。この目的を達成するために、企業内ネットワーク上の部門別サーバからAzureへデータを「セキュアに」連携することが必須要件です。

Azure Data Factoryを以下の2つのサービスと組み合わせることによって、企業内ネットワークからAzureへのデータ連携をプライベートネットワーク内で完結させています。

- Azure Private Link

- セルフホステッド統合ランタイム

Azure Private Linkにより企業内ネットワークからAzure Data Factoryへのセキュアな接続を実現していることを、前回のブログ（「Microsoft Azureのセキュリティ対策のポイント」）で紹介しました。

これに加えて、「セルフホステッド統合ランタイム」というゲートウェイサーバをプライベートネットワーク内に配置することにより、Azure Data Factoryとプライベートネットワーク間のセキュアな通信を実現しています。