비용 예측 및 관리

이 페이지에서는 BigQuery에서 비용을 추정하고 관리하기 위한 권장사항을 설명합니다.

BigQuery의 기본 비용은 쿼리 처리 및 스토리지, BigQuery에 저장되는 데이터에 대한 컴퓨팅입니다. BigQuery에서는 쿼리 처리를 위한 두 가지 유형의 가격 책정 모델인 주문형용량 기반 가격 책정 모델을 제공합니다. 각 모델은 비용 관리를 위한 다양한 권장사항을 제공합니다. BigQuery에 저장된 데이터의 경우 비용은 각 데이터 세트에 대해 구성된 스토리지 청구 모델에 따라 다릅니다.

BigQuery 컴퓨팅 가격 책정 이해하기

용량 계획 및 비용 관리에 영향을 미치는 BigQuery의 컴퓨팅 가격 책정에는 미묘한 차이가 있습니다.

가격 책정 모델

BigQuery의 주문형 컴퓨팅의 경우 BigQuery 쿼리에 대해 TiB당 요금이 청구됩니다.

또는 BigQuery의 용량 컴퓨팅의 경우 쿼리 처리에 사용되는 컴퓨팅 리소스(슬롯)에 대한 요금이 청구됩니다. 이 모델을 사용하려면 슬롯에 대한 예약을 구성합니다.

예약에는 다음과 같은 기능이 있습니다.

  • 슬롯 풀에 할당되며 조직에 적합한 방식으로 용량을 관리하고 워크로드를 격리할 수 있습니다.
  • 하나의 관리 프로젝트에 있어야 하며 할당량 및 한도가 적용됩니다.

용량 가격 책정 모델은 여러 버전을 제공하며, 모두 슬롯 시간 단위로 청구되는 사용한 만큼 지불하는 옵션을 제공합니다. Enterprise 및 Enterprise Plus 버전은 사용한 만큼만 지불하는 요금보다 비용을 절약할 수 있는 1년 또는 3년 슬롯 약정(선택사항)도 제공합니다.

사용한 만큼만 지불 옵션을 사용하여 자동 확장 예약을 설정할 수도 있습니다. 자세한 내용은 다음을 참조하세요.

각 모델에 대한 비용 제한

주문형 가격 책정 모델을 사용하는 경우 비용을 제한하는 유일한 방법은 프로젝트 수준 또는 사용자 수준의 일일 할당량을 구성하는 것입니다. 그러나 이러한 할당량은 사용자가 할당량 한도를 초과하여 쿼리를 실행하지 못하도록 하는 하드캡을 적용합니다. 할당량을 설정하려면 커스텀 쿼리 할당량 만들기를 참고하세요.

슬롯 예약을 사용하여 용량 요금 모델을 사용하는 경우 예약에 사용할 수 있는 최대 슬롯 수를 지정합니다. 약정 기간 동안 할인된 가격을 제공하는 슬롯 약정을 구매할 수도 있습니다.

예약 기준을 0으로 설정하고 워크로드 요구 사항을 충족하는 설정으로 최대 설정하면 주문형 버전을 온전히 사용할 수 있습니다. BigQuery는 워크로드에 필요한 슬롯 수까지 자동으로 확장하며 사용자가 설정한 최대 값을 초과하지 않습니다. 자세한 내용은 예약을 사용한 워크로드 관리를 참조하세요.

쿼리 비용 관리

개별 쿼리의 비용을 관리하려면 먼저 쿼리 계산 최적화스토리지 최적화에 관한 권장사항을 따르는 것이 좋습니다.

다음 섹션에서는 쿼리 비용을 추가로 관리하는 데 사용할 수 있는 추가 권장사항을 간략하게 설명합니다.

커스텀 쿼리 할당량 만들기

권장사항: 커스텀 일일 쿼리 할당량을 사용하여 하루에 처리되는 데이터의 양을 제한합니다.

프로젝트별 또는 사용자별로 하루에 처리되는 데이터 양의 한도를 지정하는 커스텀 할당량을 설정하여 비용을 관리할 수 있습니다. 할당량에 도달하면 사용자는 쿼리를 실행할 수 없습니다.

커스텀 할당량을 설정하려면 특정 역할 또는 권한이 필요합니다. 설정할 할당량에 대해서는 할당량 및 한도를 참고하세요.

자세한 내용은 각 가격 책정 모델의 비용 제한을 참고하세요.

쿼리를 실행하기 전에 예상 비용 확인

권장사항: 쿼리를 실행하기 전에 먼저 미리보기를 통해 예상 비용을 알아보세요.

주문형 가격 책정 모델을 사용하는 경우 쿼리는 읽은 바이트 수에 따라 요금이 청구됩니다. 쿼리를 실행하기 전에 예상 비용을 알아보려면 다음을 사용합니다.

쿼리 검사기 사용

Google Cloud 콘솔에 쿼리를 입력하면 쿼리 검사기가 쿼리 구문을 확인하고 읽을 바이트 수를 추정합니다. 이 추정값을 사용하여 가격 계산기에서 쿼리 비용을 계산할 수 있습니다.

  • 쿼리가 유효하지 않으면 쿼리 검사기에 오류 메시지가 표시됩니다. 예를 들면 다음과 같습니다.

    Not found: Table myProject:myDataset.myTable was not found in location US

  • 쿼리가 유효하면 쿼리 검사기에서 쿼리를 처리하는 데 필요한 바이트 수를 추정합니다. 예를 들면 다음과 같습니다.

    This query will process 623.1 KiB when run.

테스트 실행 수행

시험 이전을 수행하려면 다음을 수행합니다.

콘솔

  1. BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 쿼리 편집기에 쿼리를 입력합니다.

    쿼리가 유효하면 쿼리에서 처리할 데이터 양과 함께 체크표시가 자동으로 표시됩니다. 쿼리가 유효하지 않으면 느낌표가 오류 메시지와 함께 표시됩니다.

bq

--dry_run 플래그를 사용하여 다음과 같은 쿼리를 입력합니다.

bq query \
--use_legacy_sql=false \
--dry_run \
'SELECT
   COUNTRY,
   AIRPORT,
   IATA
 FROM
   `project_id`.dataset.airports
 LIMIT
   1000'
 

유효한 쿼리인 경우 이 명령어는 다음 응답을 생성합니다.

Query successfully validated. Assuming the tables are not modified,
running this query will process 10918 bytes of data.

API

API를 사용하여 테스트 실행을 수행하려면 JobConfiguration 유형에서 dryRuntrue로 설정한 채로 쿼리 작업을 제출합니다.

Go

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용Go 설정 안내를 따르세요. 자세한 내용은 BigQuery Go API 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
)

// queryDryRun demonstrates issuing a dry run query to validate query structure and
// provide an estimate of the bytes scanned.
func queryDryRun(w io.Writer, projectID string) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	q := client.Query(`
	SELECT
		name,
		COUNT(*) as name_count
	FROM ` + "`bigquery-public-data.usa_names.usa_1910_2013`" + `
	WHERE state = 'WA'
	GROUP BY name`)
	q.DryRun = true
	// Location must match that of the dataset(s) referenced in the query.
	q.Location = "US"

	job, err := q.Run(ctx)
	if err != nil {
		return err
	}
	// Dry run is not asynchronous, so get the latest status and statistics.
	status := job.LastStatus()
	if err := status.Err(); err != nil {
		return err
	}
	fmt.Fprintf(w, "This query will process %d bytes\n", status.Statistics.TotalBytesProcessed)
	return nil
}

Java

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.JobStatistics;
import com.google.cloud.bigquery.QueryJobConfiguration;

// Sample to run dry query on the table
public class QueryDryRun {

  public static void runQueryDryRun() {
    String query =
        "SELECT name, COUNT(*) as name_count "
            + "FROM `bigquery-public-data.usa_names.usa_1910_2013` "
            + "WHERE state = 'WA' "
            + "GROUP BY name";
    queryDryRun(query);
  }

  public static void queryDryRun(String query) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      QueryJobConfiguration queryConfig =
          QueryJobConfiguration.newBuilder(query).setDryRun(true).setUseQueryCache(false).build();

      Job job = bigquery.create(JobInfo.of(queryConfig));
      JobStatistics.QueryStatistics statistics = job.getStatistics();

      System.out.println(
          "Query dry run performed successfully." + statistics.getTotalBytesProcessed());
    } catch (BigQueryException e) {
      System.out.println("Query not performed \n" + e.toString());
    }
  }
}

Node.js

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function queryDryRun() {
  // Runs a dry query of the U.S. given names dataset for the state of Texas.

  const query = `SELECT name
    FROM \`bigquery-public-data.usa_names.usa_1910_2013\`
    WHERE state = 'TX'
    LIMIT 100`;

  // For all options, see https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query
  const options = {
    query: query,
    // Location must match that of the dataset(s) referenced in the query.
    location: 'US',
    dryRun: true,
  };

  // Run the query as a job
  const [job] = await bigquery.createQueryJob(options);

  // Print the status and statistics
  console.log('Status:');
  console.log(job.metadata.status);
  console.log('\nJob Statistics:');
  console.log(job.metadata.statistics);
}

PHP

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용PHP 설정 안내를 따르세요. 자세한 내용은 BigQuery PHP API 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $query = 'SELECT id, view_count FROM `bigquery-public-data.stackoverflow.posts_questions`';

// Construct a BigQuery client object.
$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);

// Set job configs
$jobConfig = $bigQuery->query($query);
$jobConfig->useQueryCache(false);
$jobConfig->dryRun(true);

// Extract query results
$queryJob = $bigQuery->startJob($jobConfig);
$info = $queryJob->info();

printf('This query will process %s bytes' . PHP_EOL, $info['statistics']['totalBytesProcessed']);

Python

QueryJobConfig.dry_run 속성을 True로 설정합니다. 테스트 실행 쿼리 구성을 제공하면 Client.query()는 항상 완료된 QueryJob을 반환합니다.

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

job_config = bigquery.QueryJobConfig(dry_run=True, use_query_cache=False)

# Start the query, passing in the extra configuration.
query_job = client.query(
    (
        "SELECT name, COUNT(*) as name_count "
        "FROM `bigquery-public-data.usa_names.usa_1910_2013` "
        "WHERE state = 'WA' "
        "GROUP BY name"
    ),
    job_config=job_config,
)  # Make an API request.

# A dry run query completes immediately.
print("This query will process {} bytes.".format(query_job.total_bytes_processed))

쿼리 비용 추정