Hướng dẫn kéo dữ liệu Google Ads, Google Search Console, Google Analytics 4 không cần code với Data Transfer Service

Hiện nay, việc thu thập dữ liệu thủ công từ Google Ads, Google Search Console và Google Analytics 4 thường rất tốn thời gian, dễ gây mệt mỏi và có thể gặp phải sai sót. Để khắc phục vấn đề này, hôm nay Datapot sẽ hướng dẫn bạn cách sử dụng Data Transfer Service trong BigQuery để tự động hóa quá trình kéo dữ liệu, giúp tiết kiệm thời gian và tối ưu hóa việc phân tích.

Giới thiệu về Data Transfer Service

Data Transfer Service (Dịch vụ chuyển dữ liệu) là một tính năng của Google Cloud Platform (GCP), được tích hợp vào BigQuery, giúp tự động hóa việc thu thập và tải dữ liệu từ các nguồn bên ngoài vào BigQuery mà không cần viết Code. Dịch vụ này hỗ trợ các nguồn dữ liệu phổ biến như Google Ads, Google Analytics 4 (GA4), Google Search Console, và nhiều dịch vụ khác, giúp tiết kiệm thời gian và giảm thiểu sai sót khi thu thập và xử lý dữ liệu.

Ưu điểm

• Chỉ cần cấu hình qua giao diện, phù hợp cho cả người không có kỹ năng kỹ thuật.
• Không chỉ riêng Google Ads, GA4, Search Console mà còn hỗ trợ rất nhiều nguồn dữ liệu khác 

• Dữ liệu sau khi tải lên BigQuery có thể sử dụng ngay để phân tích, trực quan hóa hoặc tích hợp với các công cụ BI như Tableau, Power BI, Google Data Studio.
• Đối với các nguồn dữ liệu như Google Ads, GA4, Search Console thì chỉ cần trả phí cho việc Storage và Query.

Nhược điểm

• Dữ liệu chưa thể sử dụng ngay: Dữ liệu tải về cần phải qua xử lý và biến đổi trước khi sử dụng, mặc dù Google đã cung cấp hướng dẫn chi tiết về việc này.
• Phụ thuộc vào Google Cloud Platform: Dịch vụ yêu cầu sử dụng Google Cloud Platform, điều này có thể gây khó khăn và tăng chi phí nếu bạn không muốn phụ thuộc vào nền tảng này.

Chuẩn bị tài nguyên

Tạo project và cung cấp các tính năng cần thiết

Bước 1: Trên Google Cloud Console, vào trang project selector để chọn hoặc tạo dự án mới.

Bước 2: Kích hoạt BigQuery API Service. Đây là dịch vụ cho phép lưu trữ và quản lý dữ liệu trên Google Cloud Platform (GCP).

• Lưu ý: Với các dự án mới tạo, dịch vụ này thường được tự động kích hoạt.
• Kiểm tra xem dịch vụ đã được kích hoạt hay chưa tại đây.

Bước 3: Kích hoạt BigQuery Data Transfer Service. Đây là dịch vụ cho phép chuyển dữ liệu từ các nền tảng hoặc ứng dụng đối tác vào BigQuery.

• Hiện tại, việc sử dụng dịch vụ này để kéo dữ liệu từ Google Ads, GA4, và Google Search Console là hoàn toàn miễn phí.
• Kích hoạt dịch vụ tại đây.

Cách thức triển khai

Mỗi công cụ sẽ có cách thức triển khai khác nhau, phần dưới đây Datapot sẽ hướng dẫn chi tiết từng công cụ

Google Ads

• Quyền cần có:
  • Trên Google Cloud Platform (GCP):
    • bigquery.transfers.update: Quyền tạo luồng data transfer.
    • bigquery.datasets.get và bigquery.datasets.update: Quyền truy cập và chỉnh sửa dataset trong BigQuery.
  • Trên tài khoản quảng cáo Google Ads:
    • Quyền đọc dữ liệu từ tài khoản quảng cáo cần đồng bộ.
    • Lưu ý: quyền đọc là quyền tối thiểu => các quyền cao hơn thì vẫn sẽ kéo được. (Thông tin về quyền có thể đọc tại đây)

• Cách thức thực hiện

Bước 1: Tạo dataset để chứa dữ liệu từ Google Ads

• Tại giao diện Biquery Studio, chọn biểu tương ⋮ tại project cần tạo rồi chọn Create dataset.

• Cài đặt Dataset ID là id dataset của bạn ở đây mình đặt là google_ads_dlk, còn region là nơi data của bạn được lưu trữ, ở đây mình chọn asia-southest1 (Singapore). Sau đó ấn Create dataset

Bước 2: Thực hiện tạo luồng để lấy dữ liệu

• Vào trang Data transfer (dung thanh tìm kiếm như hình ảnh minh hoạ dưới) hoặc ấn vào đây

• Tại giao diện Data Transfer, chọn Create Data Transfer.

• Chọn Source type là Google Ads

• Tiến hành điền các tham số như trong ảnh

• Lưu ý: tài khoản cài đặt luồng phải là tài khoản được cấp quyền trong tài khoản quảng cáo.

Bước 3: Sau khi thực hiện xong cài đặt trên thì bạn có thể kiểm tra luồng đã cài tại màn hình Data transfer

Google Search Console

Bước 1: Tạo service account phục vụ việc kéo dữ liệu

• Tại trang IAM của Google Bigquery, chọn Grand Access

• Cấp quyền cho account service như sau:
  • Principals: search-console-data-export@system.gserviceaccount.com
  • Cấp quyền: BigQuery Job User và BigQuery Data Editor

Bước 2: Tại thanh công cụ của Google Search Console, chọn Settings/Bulk data export

Sau đó ta sẽ tiến hành điền các tham số:

• Project ID : Mã project chúng ta muốn chứa dữ liệu
• Tên dataset và dataset location

Sau khi tạo xong chúng ta sẽ đợi khoảng 24-48h để dữ liệu đổ vào dataset.

GA4

Bước 1: Trên giao diện GA4, vào Admin/Product Link/Bigquery Linking

Bước 2:

• Chọn Link, cài đặt project id là mã dự án muốn chứa dữ liệu
• Chọn Configure setting = daily (daily sẽ là free còn kéo dữ liệu streaming sẽ phải trả phí để dữ liệu được kéo về thường xuyên hơn)

• Lưu ý:
  • Service Account: firebase-measurement@system.gserviceaccount.com sẽ được tự động tạo trong IAM của Bigquery
  • Dataset để chứa dữ liệu cũng sẽ được tự tạo
  • Sau khi tiến hành cài đặt chúng ta sẽ đợi khoảng 24-48h để dữ liệu kéo về

Tổng kết và các tài liệu liên quan

Để được chuyên gia hướng dẫn thực hành chi tiết về cách kéo dữ liệu và nhận đề bài mẫu thực hành theo, hãy tham gia buổi thực hành online cùng chúng mình với chủ đề “Lấy dữ liệu và xây dựng báo cáo trên Power BI” nhé:

Hi vọng sau bài chia sẻ này thì các bạn sẽ kéo được dữ liệu mà các bạn cần về Google BigQuery để phục vụ cho việc làm báo cáo cũng như lưu trữ dữ liệu cần thiết.

Tài liệu liên quan:

• Google Search Console
• Google Ads
• Google Analytics 4

Chúc các bạn thành công!

Ngô Hoàng Ngọc