从 Model Garden 部署合作伙伴模型

借助 Model Garden，您可以自行部署精选的合作伙伴模型（预览版）。自行部署的模型不是无服务器模型。您必须先将其部署在 Vertex AI 上，然后才能使用。这些模型会安全地部署在您的Google Cloud 项目和 VPC 网络中。如需详细了解自行部署的模型，请参阅“自行部署的模型”文档。

购买可自行部署的合作伙伴模型

如需在 Vertex AI 上部署可自行部署的合作伙伴模型，您必须先通过 Google Cloud Marketplace 购买它们。如需购买可自行部署的合作伙伴模型，请执行以下操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 在模型集合中，点击可自行部署的合作伙伴模型以过滤模型列表。

  3. 点击要购买的合作伙伴模型的模型卡片。

  4. 点击与销售人员联系。

  5. 填写表单并提交申请。

完成上述步骤后，您将与 Google Cloud 销售代表取得联系以完成购买。

部署模型

购买可自行部署的合作伙伴模型后，您可以使用一键式部署将其部署到 Vertex AI 端点。此过程通过预先配置必要的设置来简化部署。

您可以使用 Google Cloud 控制台或 Vertex AI SDK for Python 执行一键式部署。

控制台

如需在 Google Cloud 控制台中部署合作伙伴模型，请执行以下操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 找到并点击要使用的合作伙伴模型的模型卡片。

  3. 点击部署模型。

  4. 按照提示配置您的部署设置。

  5. 点击部署。

Python

以下示例展示了如何使用 Vertex AI SDK for Python 部署合作伙伴模型。请将占位值替换为您的具体信息。

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

后续步骤