企业每天都会产生从客户呼叫到产品演示再到销售宣传的大量语音数据。这些数据可以通过提高客户满意度来改变您的业务，帮助您确定产品改进的优先顺序并简化业务流程。虽然 AI 模型在过去几个月中有所改进，但以可扩展和受管控的方式将语音数据连接到这些模型可能是一个挑战，并且可能会限制客户大规模获取见解的能力。

今天，我们很高兴地宣布在 BigQuery 中提供Vertex AI 转录模型的预览版。这项新功能可以轻松转录语音文件，并将其与其他结构化数据结合起来，以构建分析和 AI 用例——所有这些都通过 SQL 的简单性和强大功能实现，同时提供内置的安全性和治理。使用 Vertex AI 功能，您还可以根据数据调整转录模型并从 BigQuery 使用它们。

以前，客户需要构建单独的 AI 管道来转录语音数据以进行分析。这些管道与 BigQuery 相互隔离，客户编写自定义基础设施，将转录的数据传输到 BigQuery 进行分析。这不仅会延长实现价值的时间，让治理更具挑战性，也会使得团队不得不针对特定的用例管理多个系统。

集成化、受监管的数据到 AI 体验

Google Cloud 的 Speech to Text V2 API 为客户提供了多种功能，使转录变得简单高效。其中一项功能是能够选择特定的领域模型进行转录。这意味着您可以选择针对您要转录的音频类型（例如客户服务电话、医疗录音或通用语音）进行优化的模型。除了选择专门的模型之外，您还可以使用模型自适应灵活地针对您自己的数据调整模型。这可以让您提高特定用例的转录准确性。

选择模型后，您可以在 BigQuery 中创建映射到 Cloud Storage 中存储的语音文件的对象表。对象表提供细粒度的访问控制，因此用户只能为他们有权访问的语音文件生成转录。管理员可以定义对象表的行级访问权限策略以及对底层对象的安全访问。

要生成转录，只需在 BigQuery 中注册现成的或改编的转录模型，然后使用 SQL 通过对象表调用它即可。转录结果作为 BigQuery 表中的文本列返回。此过程可以轻松转录大量音频数据，而无需担心底层基础设施。此外，对象表提供的细粒度访问控制可确保客户数据的安全。

以下是如何将 Speech to Text V2 API 与 BigQuery 结合使用的示例：

# Create an object table in BigQuery that maps to the speech files stored in Cloud Storage.


CREATE OR REPLACE EXTERNAL TABLE `my_dataset.my_speech_table`

WITH CONNECTION `my_project.us.example_connection`

OPTIONS (

  object_metadata = 'SIMPLE',

  uris = ['gs://my_bucket/path/*'],

  metadata_cache_mode= 'AUTOMATIC',

  max_staleness= INTERVAL 1 HOUR

);


# Register your off-the-shelf or adapted transcription model in BigQuery.

CREATE OR REPLACE MODEL `my_dataset.my_speech_model`

REMOTE WITH CONNECTION `my_project.us.example_connection`

OPTIONS (

  remote_service_type = 'CLOUD_AI_SPEECH_TO_TEXT_V2',   

  speech_recognizer="projects/my_project/locations/us/recognizers/my_recognizer"

);


# Invoke the registered model over the object table to generate transcriptions.

SELECT *

FROM ML.TRANSCRIBE(

  MODEL `my_dataset.my_speech_model`,

  TABLE `my_dataset.my_speech_table`)

此查询为对象表中的所有语音文件生成转录，并将结果作为名为转录的新文本列返回。

情感分析、总结和其他分析用例

将语音转录为文本后，您可以通过三种方式对生成的文本数据进行分析：

  • 使用 BigQueryML 执行常用的自然语言用例：BigQueryML 为训练和部署文本模型提供了广泛的运行支持。例如，您可以使用 BigQuery ML 来识别支持电话中的客户情绪，或将产品反馈分为不同类别。如果您是 Python 用户，还可以使用 BigQuery Studio 运行 Pandas 函数进行文本分析。

  • 将转录的元数据与 BigQuery 表中存储的其他结构化数据连接起来：这使您可以将结构化和非结构化数据结合起来，以实现强大的用例。例如，您可以识别具有负面支持呼叫情绪的高客户生命周期价值 (CLTV) 客户，或者从客户反馈中列出最需要的产品功能。

  • 直接从 BigQuery 调用 PaLM API 对转录数据进行总结、分类或提示问答：PaLM 是一种功能强大的 AI 语言模型，可用于各种自然语言任务。例如，您可以使用 PaLM 生成支持电话摘要，或将客户反馈分为不同类别。

# Code examples for above


# Create an object table in BigQuery that maps to the speech files stored in Cloud Storage.


CREATE OR REPLACE EXTERNAL TABLE `my_dataset.my_speech_table`

WITH CONNECTION `my_project.us.example_connection`

OPTIONS (

  object_metadata = 'SIMPLE',

  uris = ['gs://my_bucket/path/*'],

  metadata_cache_mode= 'AUTOMATIC',

  max_staleness= INTERVAL 1 HOUR

);


# Register your off-the-shelf or adapted transcription model in BigQuery.

CREATE OR REPLACE MODEL `my_dataset.my_speech_model`

REMOTE WITH CONNECTION `my_project.us.example_connection`

OPTIONS (

  remote_service_type = 'CLOUD_AI_SPEECH_TO_TEXT_V2',   

  speech_recognizer="projects/my_project/locations/us/recognizers/my_recognizer"

);


# Invoke the registered speech model over the object table to generate transcriptions and save to a table.

CREATE TABLE `my_dataset.my_speech_transcripts` AS (  

SELECT *

FROM ML.TRANSCRIBE(

  MODEL `my_dataset.my_speech_model`,

  TABLE `my_dataset.my_speech_table`))


# Register PaLM model in BigQuery.

CREATE OR REPLACE MODEL `my_dataset.my_palm_model`

REMOTE WITH CONNECTION `my_project.us.example_connection`

OPTIONS (

  ENDPOINT = 'text-bison@latest'

);


# Invoke the registered PaLM model to extract keywords of transcriptions

SELECT *

FROM

  ML.GENERATE_TEXT(

    MODEL `my_dataset.my_palm_model`,

    (

      SELECT

        CONCAT('Extract the key words from the text below: ', transcripts) AS prompt,

        *

      FROM

        `my_dataset.my_speech_transcripts`

    ),

    STRUCT(

      0.8 AS temperature,

      1024 AS max_output_tokens,

      0.95 AS top_p,

      40 AS top_k));

实施搜索和生成式 AI 用例

转录后，您可以通过构建针对大海捞针式查询优化的索引来解锁强大的搜索功能，而BigQuery 的搜索和索引功能使之成为可能。

这种集成还解锁了音频文件上新的生成式大语言模型应用。您可以使用 BigQuery 强大的内置 ML 函数从转录文本中获取进一步的见解，包括ML.GENERATE_TEXT、ML.GENERATE_TEXT_EMBEDDING、ML.UNDERSTAND_TEXT、ML.TRANSLATE 等，以执行分类、情感分析、实体提取、提取式问答、摘要、以不同风格重写文本、广告文案生成、概念构思、嵌入和翻译等各种任务。

下一步

上述功能现已提供预览版。请参考文档和演示开始体验与操作。

文章信息

相关推荐