Cum să construiți un Rank Tracker folosind Python și Google Search API

Introducere

Chiar și cu importanța urmăririi cuvintelor cheie, Termenii de serviciu (ToS) ai Google interzic scraping-ul SERP-urilor (Search Engine Results Pages).

Măsurile anti-scraping ale Google, cum ar fi CAPTCHA-urile și blocarea IP-urilor, cresc costurile serviciilor de rezolvare a CAPTCHA-urilor, inclusiv costul proxy-urilor rotative. Acest lucru face ca întregul proces de monitorizare SEO prin web scraping să fie și mai frustrant.

Ei bine, dacă vă aflați în această situație sau vă străduiți să obțineți date de căutare Google exacte și legale pentru a urmări clasamentul cuvintelor cheie, iată o alternativă legală și de încredere. Să explorăm cum să construim un tracker de rank folosind Python și Google Search API.

Construirea unui Rank Tracker folosind Python și Google Search API

Pentru a construi un sistem de urmărire a rangurilor utilizând Python și Google Search API, aveți nevoie de competențe în programarea Python, gestionarea API, gestionarea bazelor de date și analiza datelor.

Rețineți că acest ghid se concentrează pe construirea unui rank tracker pentru urmărirea globală a cuvintelor cheie. Pentru urmărirea locală și avansată a cuvintelor cheie, integrarea scriptului Python cu un API de urmărire a rangurilor ar trebui să fie utilă.

Să analizăm acum procesul de construire a unui tracker de rang utilizând Python și Google Search API.

1. Configurați mediul de programare Python și cerințele

Înainte de a scrie un script Python pentru a urmări clasamentul cuvintelor cheie, trebuie să instalați cea mai recentă versiune a Python de pe site-ul oficial. Procesul de instalare variază în funcție de sistemul de operare pe care îl utilizați.

Odată instalat, verificați instalarea în linia de comandă sau în terminal. Apoi, instalați un IDE sau un editor de cod la alegere. Dintre IDE-uri, VS code este cel mai recomandat, deoarece acceptă majoritatea extensiilor de scripting Python și este ușor.

Apoi, instalați un mediu virtual pentru a separa dependențele fiecărui proiect pe care îl dezvoltați, prevenind astfel eventualele conflicte. Și, în final, instalați bibliotecile și instrumentele Python necesare.

Dintre bibliotecile și instrumentele Python, aveți nevoie de biblioteca Requests pentru a efectua apelurile API către Google Search API, _JSON _pentru a procesa răspunsurile API, Datetime pentru a marca timpul interogărilor, SQlite pentru a stoca datele și istoricul clasamentului și Plotly sau Matplotlib pentru vizualizare.

2. Configurați Google Search API

După configurarea și testarea mediului de programare Python, accesați pagina Motor de căutare programabil Google și creați un motor de căutare nou sau personalizat.

Pentru acest tutorial, setați motorul dvs. de căutare personalizat pentru a căuta pe întregul web (căutare globală) și copiați ID-ul sau valoarea CX a acestuia. Apoi, schimbați paginile la Google Cloud Console și activați API JSON de căutare personalizată pentru a obține o cheie API.

După obținerea valorii CX și a cheii API, salvați în siguranță cele două într-un fișier de configurare. Evitați întotdeauna codarea hard a valorii CX sau a cheii API pentru a reduce riscurile de securitate.

3. Scrieți un script Python bine structurat

Până acum, aveți un mediu de programare configurat corect și ID-ul (plus cheia API) unui motor de căutare Google personalizat.

Iată cum să vă structurați scriptul Python în funcții modulare pentru a asigura un proces de urmărire automată și fără probleme a rangurilor de cuvinte cheie.

În primul rând, structurați-vă proiectul pentru a include _config.py, tracker.py, database.db și requirements.txt _file pentru o mai bună navigare și întreținere.

Nu uitați de folderul data/ pentru a păstra istoricul clasamentelor. Odată ce aceste fișiere și folderul sunt la locul lor, scrieți următoarele funcții pentru a citi din, a scrie în sau a modifica fișierele:

a)O funcție pentru interogarea Google Search API

Această funcție trebuie să accepte un cuvânt cheie ca intrare și să construiască URL-ul solicitării API utilizând valoarea CX și cheia API din fișierul config.py. Ar trebui apoi să trimită solicitarea către Google Search API, care trimite înapoi un răspuns JSON.

În cele din urmă, funcția analizează răspunsul JSON, extrăgând titlurile, URL-urile, snippet-urile și pozițiile în clasament ale primelor 100 de pagini.

b)O funcție pentru extragerea și stocarea datelor de rang

După analizarea rezultatelor căutării, această funcție localizează URL-ul site-ului dvs. în lista returnată, determină poziția sa în clasament și stochează datele de clasament într-un format structurat în SQlite.

Funcția ar trebui să parcurgă în buclă rezultatele căutării și să găsească poziția URL-ului site-ului dvs. Dacă este găsit, ar trebui să extragă și să înregistreze poziția sa în clasament. Dacă nu este găsită, trebuie să presupună că site-ul dvs. nu se află în top 100 pentru cuvântul cheie specificat.

Aveți posibilitatea ca funcția să structureze datele în următoarele câmpuri ale bazei de date SQlite - cuvântul cheie căutat, datele și ora urmăririi, poziția în clasament și URL.

c)O funcție de analiză și vizualizare a datelor

Odată ajunsă în baza de date, această funcție extrage datele de clasament stocate din baza de date, le analizează și utilizează biblioteci precum Plotly și Matplotlib pentru a vizualiza tendințele. De asemenea, modelul poate transmite datele către modele statistice pentru a detecta scăderile și creșterile în clasament, ajutându-vă să monitorizați eforturile SEO.

1. Automatizarea tracker-ului de rang Python

Testați funcționalitatea scriptului dvs. și implementați gestionarea erorilor.

De exemplu, scriptul ar trebui să fie capabil să gestioneze timpii morți sau să reia cererile eșuate. De asemenea, trebuie să înregistreze cererile eșuate pentru a evita pierderea de date.

Pentru a monitoriza clasamentul după un anumit interval, automatizați întregul proces de urmărire utilizând un programator precum cron pentru a automatiza urmărirea cuvintelor cheie după un anumit interval (de câte ori pe zi, săptămână sau lună). Dispuneți de declanșatoare care să vă alerteze ori de câte ori clasamentul scade semnificativ.

2. Adăugați caracteristici avansate la tracker-ul dvs. de rank Python

În cele din urmă, odată ce vă simțiți confortabil cu construirea unui tracker de rang de bază, aveți opțiunea de a adăuga următoarele caracteristici avansate:

• Urmărire specifică dispozitivelor: Clasamentele pentru dispozitive mobile și desktop variază. Acesta este motivul pentru care API-ul de căutare Google vă permite să urmăriți fiecare clasament separat.

• Urmărirea concurenților: În afară de site-ul dvs. web, puteți urmări URL-urile concurenților.

• Urmărirea rangului pe baza geolocalizării: Puteți să vă limitați la o anumită locație și să obțineți rezultate care reflectă intențiile de căutare ale utilizatorilor dintr-un anumit oraș sau țară.

• Detectarea caracteristicilor SERP: Dacă doriți să știți dacă paginile site-ului dvs. apar în rezultatele cu imagini, în featured snippets sau în alte caracteristici SERP, Google Search API vă permite să fiți specific în acest sens.

În ciuda caracteristicilor avansate, rețineți că aveți aproximativ 100 de interogări gratuite pe zi. După ce ați epuizat acest număr, trebuie să plătiți. De asemenea, puteți extrage doar până la 100 de rezultate de căutare. De aceea, este esențial să combinați trackerul dvs. de rank cu un API de rank tracker terță parte pentru a-i extinde funcționalitatea.

Încheiere!

Și iată-le! Cei cinci pași pe care trebuie să îi urmați pentru a construi un tracker de rank folosind Python și Google Search API.

Rețineți că Google Search API vă limitează urmărirea la 100 de rezultate de căutare și 100 de interogări pe zi. În ciuda acestui fapt, puteți urmări în mod eficient și legal clasamentul cuvintelor cheie fără interdicții IP sau declanșarea CAPTCHA-urilor. În plus, vi se permite să distribuiți solicitările pe mai multe conturi, crescând numărul de interogări pe care le puteți trimite într-o zi.