思考の道具箱 ─ データと創造のフレームワーク集

タグ: Vertex AI

  • 【Google認定MLエンジニア】Data Preparation for AutoML 完全ガイド

    【Google認定MLエンジニア】Data Preparation for AutoML 完全ガイド

    AutoMLを効果的に活用するためには、**データ準備（Data Preparation）**が不可欠です。このプロセスでは、データをクリーンで一貫性があり、機械学習モデルに適した形式に整えます。本記事では、Google Cloudの各サービスを用いたAutoML向けのデータ準備方法を、ユースケース別に体系的に整理します。

    🧩 1. データ準備の主要ステップ

    ステップ 説明 主要サービス
    特徴量選択 (Feature Selection) 重要な特徴量を選定してモデル性能を最適化 BigQuery, BigQuery ML
    欠損値処理 (Missing Data Handling) 欠損値を適切に補完してデータの完全性を保つ Dataflow, Cloud Dataprep
    特徴量エンコーディング (Encoding) カテゴリカルデータを数値データへ変換してモデルが処理しやすい形式に整える BigQuery ML
    正規化 (Normalization) 数値データのスケールを統一し、学習を安定化 Cloud Dataprep, BigQuery ML
    データラベリング (Data Labeling) 目的変数（ターゲット変数）のラベル付けを行い、教師あり学習に備える Vertex AI Data Labeling
    言語統一 (Language Consistency) テキストデータにおいて多言語のばらつきを防ぎ、一貫した解析を可能にする Cloud Translation API
    特徴量管理 (Feature Management) 特徴量を一元管理し、モデルへの供給を効率化 Vertex AI Feature Store

    🏢 2. ユースケース別のアプローチ

    ① 小売業での売上予測（タブラー形式データ）

    目標：AutoMLで売上を予測するために、データ準備を行う。

    タスク 推奨アクション ツール
    特徴量選択 重要な特徴量をBigQueryで分析 BigQuery
    欠損値処理 Dataflowでデータクリーニングおよび欠損補完 Dataflow
    特徴量管理 Vertex AI Feature Storeで特徴量を管理・提供 Vertex AI Feature Store

    ② 医療業界での患者アウトカム予測（カテゴリカル＋数値データ）

    目標：AutoMLで患者の予後を予測するため、データを整える。

    タスク 推奨アクション ツール
    カテゴリカルエンコーディング BigQuery MLでカテゴリカル変数を数値化 BigQuery ML
    数値データ正規化 Cloud Dataprepで数値変数を正規化 Cloud Dataprep
    欠損値処理 Dataflowでインピューテーション技法を適用 Dataflow

    ③ Eコマースのカスタマーレビュー分析（テキストデータ）

    目標：AutoMLでレビューを分析し、顧客満足度スコアを予測する。

    タスク 推奨アクション ツール
    言語統一 Cloud Translation APIで全レビューを1言語に統一 Cloud Translation API
    欠損値処理 Dataflowでテキストデータを前処理、欠損補完 Dataflow
    データラベリング Vertex AI Data Labeling Serviceで満足度ラベル付け Vertex AI Data Labeling

    ④ 金融業界でのローンデフォルト予測（数値データ中心）

    目標：AutoMLでローンデフォルトを予測するために、金融指標データを準備する。

    タスク 推奨アクション ツール
    特徴量選択 BigQueryで最も関連性の高い金融指標を選定 BigQuery
    欠損値処理 Dataflowでインピューテーションを適用 Dataflow
    特徴量管理 Vertex AI Feature Storeで選択した特徴量を管理 Vertex AI Feature Store

    🎯 試験対策のポイント（EXAM FOCUS）

    • BigQueryを活用して、特徴量の重要度分析やカテゴリカルデータのエンコーディングを行いましょう。
    • Dataflowを使って、欠損値の補完（インピューテーション）やデータクレンジングを実施しましょう。
    • 数値データの正規化には、Cloud Dataprepを使用するのが効果的です。
    • テキストデータ分析では、Cloud Translation APIで多言語データを統一し、解析の一貫性を確保しましょう。

    ⚠️ 注意すべき落とし穴（CAUTION ALERT）

    • Cloud StorageやCloud SQLはあくまでデータの保管先であり、データ準備プロセス（前処理）の一部ではありません。これらを選択肢に入れる際は目的をよく確認しましょう。
    • TensorFlowは画像やテキストデータの拡張（データ増強）には有効ですが、AutoMLのタブラー形式データ準備では不要です。無駄な工程を増やさないようにしましょう。
  • 【Google認定MLエンジニア】業界特化API（Industry-specific API）実装ガイド

    【Google認定MLエンジニア】業界特化API（Industry-specific API）実装ガイド

    業界特化API（Industry-specific API implementation）は、Document AI、Retail API、Healthcare API、Media Translation APIなど、特定の業務用途に最適化されたGoogle CloudのAPI群を使って、スケーラブルで責任ある機械学習ソリューションを構築・展開するスキルを問う領域です。

    以下では、各APIの目的、設計パターン、推奨構成、よくある誤りを体系的にまとめます。

    📄 1. Document AI API（文書解析）

    ✅ 推奨アーキテクチャ

    • Cloud Storage にスキャン文書を保存
    • Cloud Functions でアップロードをトリガーし、自動処理
    • Dataflow で事前処理（画像補正やOCR補助）
    • BigQuery に結果を格納し、分析基盤と連携

    🚫 非推奨アクション

    • Vertex AI Model Monitoring（Document AI はマネージドサービスのため不要）
    • Cloud Run を使ったリアルタイム処理（Cloud Functions で十分）

    🏷 試験で問われやすいポイント

    • Cloud Functions でスケーラブルな自動処理を実装
    • BigQuery に格納して分析可能性を担保

    ☁️ Cloud Functions と Cloud Run の違いガイド

    Google Cloud の Cloud Functions と Cloud Run はどちらも「サーバーレス」な実行環境ですが、用途や設計思想が異なります。以下にそれぞれの特徴と違いを整理します。

    🌩 Cloud Functions と Cloud Run の違いまとめ

    項目 Cloud Functions Cloud Run
    🧭 主な用途 単機能のトリガー型処理（イベント駆動） コンテナを使ったHTTPアプリ/API運用（柔軟な構成）
    ⚡ 起動方式 イベント駆動型（例：Cloud Storage にファイルがアップされた時） HTTPリクエスト駆動型 または常駐処理
    🏗 構築単位 関数（Function）単位のコード 任意のコンテナイメージ（アプリごと）
    🛠 言語/実行環境 Node.js, Python, Go など指定されたランタイム 任意のランタイム（Dockerで動けばOK）
    📦 実行内容の自由度 比較的限定的（状態を持たない1関数） 高い（マルチエンドポイントAPIやフレームワークもOK）
    🌐 外部からのアクセス HTTPまたはPub/Sub等のイベント経由 HTTP（WebアプリやAPI向け）
    🚀 起動の速さ（Cold Start） やや速い（関数なので軽量） やや遅め（コンテナ全体起動）※改善中
    🔒 セキュリティ/認証 IAM & イベント権限制御 IAM & リクエストレベルの認証（細かい設定可能）
    💰 課金単位 関数の実行時間＋呼び出し回数 コンテナ稼働時間（秒単位）とメモリ消費量

    ☑ どちらを使うべきか？

    ✅ Cloud Functions が向いているケース
    • Cloud Storage / PubSub / Firestore など Google Cloud内のイベントに反応したい
    • 「何かが起きたら即処理したい」タイプの処理
    • 簡単なAPIやWebhook（1関数で完結）
    • コードだけでOK、Dockerを使いたくない場合

    例：

    • ファイルアップロード後に自動OCR処理
    • Pub/Subメッセージ受信時にデータ変換
    ✅ Cloud Run が向いているケース
    • 複雑なAPIロジックやWebアプリをサーバーレスで運用したい
    • 自前のライブラリや依存関係を含んだ Docker環境 で動かしたい
    • 状態を保持する処理（例：セッション、キャッシュ）や 非同期ジョブ管理
    • 外部からHTTPで 柔軟なルーティング制御 が必要な場合

    例：

    • FlaskやExpressで構築したWebアプリ/API
    • 長時間かかる機械学習バッチ処理
    • 非同期なトランスコーディングや画像生成

    🧠 試験対策的な補足

    試験でよく問われる判断基準
    ✅ Cloud Functions は「リアルタイム処理」や「トリガー処理」に向いている
    ✅ Cloud Run は「コンテナを用いた柔軟なサービス設計」に向いている
    ⚠ Cloud Functions で済むケースに Cloud Run を使うと「過剰設計」になりがち

    🛒 2. Retail API（商品推薦）

    ✅ 推奨アーキテクチャ

    • BigQuery に蓄積された商品データを Cloud Functions で Retail API に送信
    • 推薦結果は BigQuery に保存して BI やレポートに活用
    • Cloud Operations Suite（旧 Stackdriver） で API の使用量・エラー率をモニタリング

    🚫 非推奨アクション

    • Vertex AI でバイアス検出（Retail API 自体がブラックボックスなので過剰）

    🏷 試験で問われやすいポイント

    • Vertex AI を無理に使わない
    • リアルタイム性を Cloud Functions で担保

    🏥 3. Healthcare API（患者記録分析）

    ✅ 推奨アーキテクチャ

    • Cloud SQL に格納されたデータに対し、Cloud Functions で自動トリガー処理
    • IAM＋暗号化 によるセキュアなアクセス制御
    • 結果も Cloud SQL に保存し、厳格なセキュリティとプライバシー保持

    🚫 非推奨アクション

    • Dataflow での前処理（Healthcare API は多様な形式を直接受け付け可能）
    • CI/CD構築（分析用途には不要）

    🏷 試験で問われやすいポイント

    • セキュリティ・暗号化・IAMがキーワード
    • Healthcare API は前処理不要

    🎬 4. Media Translation API（字幕翻訳）

    ✅ 推奨アーキテクチャ

    • Cloud Storage にアップロードされた字幕ファイルを Cloud Functions でトリガー
    • BigQuery に翻訳結果を保存して多言語対応の効果を分析
    • Cloud Operations Suite で翻訳精度やAPI使用量をモニタリング

    🚫 非推奨アクション

    • Vertex AI での翻訳モデル構築（Media Translation API 単体で十分）
    • Cloud Run の活用（Cloud Functions で事足りる）

    🏷 試験で問われやすいポイント

    • Vertex AIを使わず、API単体での完結性を重視

    🛑 全体のCAUTIONまとめ

    ケース よくある誤答 正しい理解
    Document AI Vertex AI Monitoring 管理されたAPIには不要
    Retail API Vertex AIでバイアス検出 過剰な構成
    Healthcare API Dataflowで前処理 不要。APIが処理可能
    Media Translation Vertex AIで翻訳精度強化 APIで十分

    ✨まとめ：業界特化API実装の3大ポイント

    1. Cloud Functions はトリガー型のリアルタイム処理に最適
    2. BigQuery は分析・統合のハブとして定番
    3. Vertex AIやDataflowの利用はケースバイケースで必要最小限に