Cara Membuat Pelacak Peringkat Menggunakan Python & Google Search API

Intro

Bahkan dengan pentingnya pelacakan kata kunci, ToS (Ketentuan Layanan) Google melarang penggalian SERP (Halaman Hasil Mesin Pencari).

Langkah-langkah anti-scraping Google seperti CAPTCHA dan pemblokiran IP meningkatkan biaya layanan pemecahan CAPTCHA, termasuk biaya proxy bergilir. Hal ini membuat seluruh proses pemantauan SEO melalui web scraping menjadi semakin membuat frustasi.

Nah, jika Anda berada dalam situasi ini atau kesulitan mendapatkan data pencarian Google yang akurat dan legal untuk melacak peringkat kata kunci, berikut ini adalah alternatif yang legal dan dapat diandalkan. Mari kita jelajahi cara membuat pelacak peringkat menggunakan Python dan Google Search API.

Membangun Pelacak Peringkat Menggunakan Python & Google Search API

Untuk membuat pelacak peringkat menggunakan Python dan Google Search API, Anda membutuhkan keahlian dalam pemrograman Python, penanganan API, manajemen basis data, dan analisis data.

Perhatikan bahwa panduan ini berfokus pada pembuatan pelacak peringkat untuk pelacakan kata kunci global. Untuk pelacakan kata kunci lokal dan tingkat lanjut, mengintegrasikan skrip Python Anda dengan API pelacak peringkat akan sangat berguna.

Sekarang mari kita pelajari proses pembuatan pelacak peringkat menggunakan Python dan Google Search API.

1. Siapkan lingkungan dan persyaratan pemrograman Python Anda

Sebelum menulis skrip Python untuk melacak peringkat kata kunci, Anda harus menginstal Python versi terbaru dari situs web resmi. Proses instalasi bervariasi berdasarkan sistem operasi yang Anda jalankan.

Setelah terinstal, verifikasi instalasi di baris perintah atau terminal. Kemudian, instal IDE atau editor kode pilihan Anda. Di antara IDE yang ada, kode VS adalah yang paling direkomendasikan karena mendukung sebagian besar ekstensi skrip Python dan ringan.

Selanjutnya, instal lingkungan virtual untuk memisahkan ketergantungan setiap proyek yang Anda kembangkan, sehingga mencegah potensi konflik. Terakhir, instal pustaka dan alat Python yang diperlukan.

Di antara pustaka dan alat Python, Anda memerlukan pustaka Requests untuk melakukan panggilan API ke Google Search API, _JSON _untuk memproses respons API, Datetime untuk kueri timestamp, SQlite untuk menyimpan data peringkat dan riwayat, dan Plotly atau Matplotlib untuk visualisasi.

2. Mengonfigurasi API Google Penelusuran

Setelah menyiapkan dan menguji lingkungan pemrograman Python Anda, buka halaman Mesin Pencari yang Dapat Diprogram Google dan buat mesin pencari baru atau khusus.

Untuk tutorial ini, atur mesin pencari kustom Anda untuk mencari di seluruh web (pencarian global) dan salin nilai ID atau CX-nya. Kemudian, alihkan halaman ke Konsol Google Cloud dan aktifkan API JSON Pencarian Kustom untuk mendapatkan kunci API.

Setelah mendapatkan nilai CX dan kunci API, simpan keduanya dengan aman dalam file konfigurasi. Selalu hindari melakukan hardcoding nilai CX atau kunci API untuk mengurangi risiko keamanan.

3. Menulis skrip Python yang terstruktur dengan baik

Sejauh ini, Anda memiliki lingkungan pemrograman yang dikonfigurasi dengan benar dan ID (ditambah kunci API) dari mesin pencari Google khusus.

Berikut ini cara menyusun skrip Python Anda menjadi fungsi-fungsi modular untuk memastikan proses pelacakan peringkat kata kunci yang lancar dan otomatis.

Pertama, susunlah proyek Anda untuk menyertakan file _config.py, tracker.py, database.db, dan requirements.txt untuk navigasi dan pemeliharaan yang lebih baik.

Jangan lupa data/folder untuk menyimpan riwayat peringkat yang tersimpan. Setelah file-file ini dan foldernya ada, tuliskan fungsi-fungsi berikut ini untuk membaca, menulis, atau memodifikasi file-file tersebut:

a)Fungsi untuk melakukan Query Google Search API

Fungsi ini harus menerima kata kunci sebagai masukan dan membuat URL permintaan API menggunakan nilai CX dan kunci API dari file config.py. Kemudian, fungsi ini akan mengirimkan permintaan ke Google Search API, yang akan mengirimkan kembali respons JSON.

Terakhir, fungsi ini mem-parsing respons JSON, mengekstrak judul, URL, cuplikan, dan posisi peringkat dari 100 halaman pertama.

b)Fungsi untuk mengekstrak dan menyimpan data peringkat

Setelah mem-parsing hasil pencarian, fungsi ini untuk menemukan URL situs web Anda dalam daftar yang dikembalikan, menentukan posisi peringkatnya, dan menyimpan data peringkat dalam format terstruktur di SQlite.

Fungsi ini akan mengulang hasil pencarian dan menemukan posisi URL situs Anda. Jika ditemukan, fungsi ini akan mengekstrak dan mencatat posisi peringkatnya. Jika tidak ditemukan, fungsi ini akan mengasumsikan bahwa situs Anda tidak berada di peringkat 100 teratas untuk kata kunci yang ditentukan.

Anda dapat memiliki fungsi menyusun data ke dalam bidang basis data SQlite berikut ini - kata kunci yang dicari, data dan waktu pelacakan, posisi peringkat, dan URL.

c)Fungsi untuk menganalisis data dan memvisualisasikannya

Setelah berada di dalam basis data, fungsi ini menarik data peringkat yang tersimpan dari basis data, menganalisisnya, dan menggunakan pustaka seperti Plotly dan Matplotlib untuk memvisualisasikan tren. Anda juga dapat membuat model meneruskan data ke model statistik untuk mendeteksi penurunan dan peningkatan peringkat, membantu Anda memantau upaya SEO.

1. Mengotomatiskan pelacak peringkat Python

Uji fungsionalitas skrip Anda dan terapkan penanganan kesalahan.

Sebagai contoh, skrip harus dapat menangani batas waktu atau mencoba kembali permintaan yang gagal. Selain itu, catat permintaan yang gagal untuk menghindari kehilangan data.

Untuk memantau peringkat setelah interval tertentu, otomatiskan seluruh proses pelacakan menggunakan penjadwal seperti cron untuk mengotomatiskan pelacakan kata kunci setelah interval tertentu (berapa kali per hari, minggu, atau bulan). Siapkan pemicu untuk memberi tahu Anda setiap kali peringkat turun secara signifikan.

2. Menambahkan fitur-fitur canggih ke pelacak peringkat Python Anda

Terakhir, setelah Anda merasa nyaman dengan membuat pelacak peringkat dasar, Anda memiliki opsi untuk menambahkan fitur-fitur lanjutan berikut ini:

• Pelacakan khusus perangkat: Peringkat seluler dan desktop berbeda-beda. Itulah mengapa API Google Penelusuran memungkinkan Anda melacak peringkat secara terpisah.

• Pelacakan pesaing: Selain situs web Anda, Anda bisa melacak URL pesaing.

• Pelacakan peringkat berbasis geolokasi: Anda dapat mempersempit ke lokasi tertentu dan mengambil hasil yang mencerminkan maksud pencarian pengguna di kota atau negara tertentu.

• Deteksi fitur SERP: Jika Anda ingin mengetahui apakah halaman situs Anda muncul di hasil gambar, cuplikan unggulan, atau fitur SERP lainnya, Google Search API memungkinkan Anda untuk mengetahui hal ini secara spesifik.

Meskipun memiliki fitur-fitur canggih, perlu diketahui bahwa Anda memiliki sekitar 100 pertanyaan gratis per hari. Setelah Anda menghabiskannya, Anda harus membayar. Selain itu, Anda hanya dapat menarik hingga 100 hasil pencarian. Itulah mengapa sangat penting untuk menggabungkan pelacak peringkat Anda dengan API pelacak peringkat pihak ketiga untuk memperluas fungsinya.

Selesai!

Dan begitulah! Lima langkah yang perlu Anda ikuti untuk membuat pelacak peringkat menggunakan Python dan Google Search API.

Ingat, Google Search API membatasi pelacakan Anda hingga 100 hasil pencarian dan 100 kueri per hari. Meskipun demikian, Anda bisa melacak peringkat kata kunci secara efisien dan legal tanpa larangan IP atau memicu CAPTCHA. Selain itu, Anda diizinkan untuk mendistribusikan permintaan ke beberapa akun, meningkatkan jumlah kueri yang dapat Anda kirimkan dalam satu hari.