Google Professional Data Engineer (PDE) ダンプと解説

あなたは、カスタム VPC "analytics-vpc" と subnet "stream-subnet" 上で、external IPs を持たない managed instance group 内の 12 台の Compute Engine VMs で稼働する Apache Flink ストリーミング クラスターをトラブルシューティングしています。 TaskManager ノード同士が相互に通信できません。 ネットワーク チームは Google Cloud network tags を使用して firewall rules を定義し、アクセスを管理しています。 Flink はノード間の RPC とデータ転送に TCP ポート 12345 と 12346 を使用するように構成されています。 Google 推奨のネットワーク セキュリティ プラクティスに従いながら、問題を特定する必要があります。 どうすべきですか？

あなたの会社は 3 つの独立したデータワークフローを運用しており、それらはスケジューリング、モニタリング、オンデマンド実行を一元的に、かつ一貫した形でオーケストレーションする必要があります。 1) us-central1 の Dataproc Serverless Spark バッチジョブが、リージョンの Cloud Storage バケット内の CSV ファイルをパーティション化された BigQuery テーブルに変換します。毎日 01:30 UTC に実行し、45 分以内に完了する必要があります。 2) Storage Transfer Service ジョブが外部の SFTP エンドポイントから約 50 GB を Cloud Storage に 4 時間ごとに取り込みます。外部システムにはエージェントをインストールできません。 3) Dataflow Flex Template パイプラインがサードパーティの REST API（レート制限: 1,000 リクエスト/時）を呼び出して差分を取得し、Cloud Storage にステージングします。 これら 3 つのワークフローを一元的にスケジューリングし、タスクのステータスとログを監視し、失敗時には 10 分以内にアラートを受け取り、さらにカスタムのインフラを構築することなく手動のアドホック実行（1 日あたり最大 5 回）を可能にする単一のソリューションが必要です。どうすべきですか？

あなたは、40 の倉庫にわたる 1,200 万台のコールドチェーンセンサーから、1 秒間隔の温度・湿度測定値を保存するプラットフォームを設計しています。 アナリストは、直近 7 日間に対するリアルタイムのアドホックな範囲クエリを、サブ秒レイテンシで実行する必要があります。 クエリごとの課金は避けなければならず、スキーマは 2,500 万台のセンサーまでスケールし、頻繁なスキーマ変更なしに新しいメトリクスを取り込めるようにする必要があります。 どのデータベースとデータモデルを選ぶべきですか？

Cloud Pub/Sub の push サブスクリプションから毎分約 1,200 件の一定レートでメッセージを受信し、イベントを 5 分バッチに集約して、圧縮された JSON ファイルを専用の Cloud Storage バケットに書き出す Cloud Run サービスを運用しています。 上流のバックログ増加と下流への書き込み減速を検知して、パイプラインが 10 分以上停滞した場合に確実に示すよう Cloud Monitoring のアラートを設定したい。どのアラートを作成すべきですか？

あなたのフィンテックのコンプライアンスチームは、7年間の保持要件に従って、12 TB のトランザクション監査ファイル（1か月あたり約 200,000 オブジェクト）を Cloud Storage の Archive バケットに保存しなければなりません。 ゼロトラストの方針により、クラウドプロバイダの担当者でさえデータを復号できないように Trust No One (TNO) モデルを実装する必要があります。アップロードは、gsutil を使用してオンプレミスのハードニング済みホストから実行され、暗号鍵（キー）マテリアルを保持できるのは社内のセキュリティチームのみです。 これらの要件を満たすには、どうすべきですか？