基于梯度平台的无服务器推理

无服务器推理确实是AI用户的技术和非技术圈中最热门的话题之一，原因也很好理解。尽管控制部署的每一个方面对于部署自定义模型往往是必要的，但无服务器技术消除了维护和管理模型部署及API端点的烦恼。这对于各种不同的智能大语言模型使用案例来说是非常有用的。

在本教程中，我们将演示如何使用 DigitalOcean API 在 Gradient 平台上开始无服务器推理。之后，我们将讨论该方法在生产和日常工作流程中的一些潜在用例。

在梯度平台上访问无服务器推理

要开始，我们可以使用 DigitalOcean API 或 Cloud Console。让我们来看一下每种方法。

步骤 1a：创建一个 DigitalOcean API 密钥

要开始，您首先需要创建自己的 DigitalOcean 帐户并登录。一旦完成，导航到您选择的团队空间。从这里，我们将创建一个 DigitalOcean API 密钥。这将帮助我们稍后创建模型访问令牌，因此我们实际上可以跳过这一步，直接转到“步骤 2b：使用云控制台创建模型访问密钥”部分。

使用主页左侧的导航栏，向下滚动直到看到“API”。点击以打开API主页。然后我们可以使用右上角的按钮创建一个新密钥。

在密钥创建页面，根据需要命名您的密钥并给予适当的权限。为此，可以完全授予权限或向下滚动到“genai”在自定义范围选择中并选择全部。然后，创建密钥。将此值保存以备后用。

步骤2A：使用API创建模型访问密钥

接下来，我们将为Gradient的无服务器推理创建模型访问密钥。为此，我们可以使用控制台或API。要使用API，请在终端中使用之前保存的API密钥与以下的curl请求。将“$DIGITALOCEAN_TOKEN”的值替换为您自己的值。

curl -X POST -H 'Authorization: Bearer $DIGITALOCEAN_TOKEN' https://api.linux-console.net/v2/gen-ai/models/api_keys

这将输出我们的模型访问密钥。请保存这个值以备后用。我们将需要它来查询模型。

步骤 2B：使用云控制台创建模型访问密钥

如果我们想使用控制台，只需在控制台中导航到梯度平台选项卡“无服务器推理”。到达后，使用右下角的按钮来“创建模型访问密钥”。

然后，我们只需给我们的密钥命名。将输出值保存以备后用！我们将需要它用于无服务器推理与 Python。

步骤 3：使用 Python 和无服务器推理生成文本

凭借我们的新模型访问密钥，我们可以开始从任何有互联网连接的机器上运行 DigitalOcean 无服务器推理！我们建议使用 Jupyter Notebook 进行工作。请按照本教程中概述的步骤，获取关于为本文设置环境的提示。

一旦您的环境设置完成，打开一个新的 .ipynb IPython Notebook 文件。使用下面的代码片段开始生成文本，特别是回答法国的首都是哪个。编辑代码片段以反映第5行中您更改的 API 密钥值。

from openai import OpenAI
import os

client = OpenAI(
    api_key= **“your_model_access_key_here”**,
    base_url="https://inference.do-ai.run/v1"
)

stream = client.chat.completions.create(
    model="llama3-8b-instruct",
    messages=[
        {
            "role": "developer",
            "content": "You are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
    stream=True,
    max_completion_tokens=10
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

这应该生成输出“法国的首都是巴黎”。我们建议根据需要更改类似max_completion_tokens的值，以更好地适应您的提示。我们还可以在第10行编辑模型值，将其更改为DigitalOcean Gradient Model提供的任何可用模型。这些模型库会不断更新，以反映不断增长的行业，因此请经常回来查看更新。

DigitalOcean 的无服务器 AI 使用案例

现在我们已经搭建好环境来运行无服务器推断，我们可以使用模型进行多种可能的活动。利用大型语言模型的能力，我们可以创建强大的智能应用，充分发挥人工智能模型的优势。一些可能的用例包括：

事件驱动的应用程序：在特定事件触发LLM运行的情况下，这在自主使用案例中很常见。
可扩展的后端服务：当后端推理可能需要无限扩展时，无服务器架构可以保证您的用户永远不会被迫等待。
数据处理：批处理作业和数据处理可以有效且高效地进行，而无需昂贵的设置源。
还有更多！

结束语

无服务器推理是真正的答案，适合那些寻求基于LLM解决方案的公司，而无需烦恼于招聘或学习部署自己服务器所需的步骤。借助DigitalOcean的Gradient平台，访问强大的NVIDIA GPU上的无服务器推理变得比以往任何时候都更简单！我们鼓励大家尝试这一新解决方案！