Hvordan bygge en rangsporing ved hjelp av Python og Google Search API

Intro

Selv om søkeordsporing er viktig, forbyr Googles ToS (Terms of Service) skraping av SERP-er (Search Engine Results Pages).

Googles tiltak mot nettskraping, som CAPTCHA og IP-blokkering, driver opp kostnadene for CAPTCHA-løsningstjenester, inkludert kostnadene for roterende proxyer. Dette gjør hele SEO-overvåkingsprosessen gjennom webskraping enda mer frustrerende.

Vel, hvis du er i denne situasjonen eller sliter med å få nøyaktige og lovlige Google-søkedata for å spore søkeordrangering, her er et lovlig og pålitelig alternativ. La oss utforske hvordan du bygger en rangsporing ved hjelp av Python og Google Search API.

Bygge en rangsporing ved hjelp av Python og Google Search API

For å bygge en rangsporing ved hjelp av Python og Google Search API trenger du ferdigheter i Python-programmering, API-håndtering, databaseadministrasjon og dataanalyse.

Merk at denne veiledningen fokuserer på å bygge en rangsporing for global søkeordsporing. For lokal og avansert søkeordsporing kan det være nyttig å integrere Python-skriptet ditt med et API for rangsporing.

La oss nå fordype oss i prosessen med å bygge en rangsporing ved hjelp av Python og Google Search API.

1. Sett opp Python-programmeringsmiljøet og kravene

Før du skriver et Python-skript for å spore rangering av søkeord, må du installere den nyeste versjonen av Python fra det offisielle nettstedet. Installasjonsprosessen varierer avhengig av operativsystemet du kjører.

Når du har installert programmet, bekrefter du installasjonen på kommandolinjen eller i terminalen. Installer deretter en IDE eller kodeditor etter eget valg. Blant IDE-ene er VS code mest anbefalt, da det støtter de fleste Python-skriptutvidelser og er lett.

Deretter installerer du et virtuelt miljø for å skille avhengighetene til hvert prosjekt du utvikler, slik at du unngår potensielle konflikter. Og til slutt installerer du de nødvendige Python-bibliotekene og -verktøyene.

Blant Pythons biblioteker og verktøy trenger du Requests-biblioteket for å foreta API-anrop til Google Search API, _JSON _for å behandle API-svar, Datetime for å tidsstemple spørsmål, SQlite for å lagre rangeringsdata og historikk, og Plotly eller Matplotlib for visualisering.

2. Konfigurer Google Search API

Etter at du har konfigurert og testet Python-programmeringsmiljøet, går du til Googles side for programmerbare søk emotorer og oppretter en ny eller tilpasset søkemotor.

I denne veiledningen setter du den egendefinerte søkemotoren til å søke over hele nettet (globalt søk) og kopierer ID- eller CX-verdien. Deretter bytter du side til Google Cloud Console og aktiverer Custom Search JSON API for å få en API-nøkkel.

Når du har innhentet CX-verdien og API-nøkkelen, må du lagre dem i en konfigurasjonsfil på en sikker måte. Unngå alltid hardkoding av CX-verdien eller API-nøkkelen for å redusere sikkerhetsrisikoen.

3. Skriv et velstrukturert Python-skript

Så langt har du et korrekt konfigurert programmeringsmiljø og ID-en (pluss API-nøkkelen) til en tilpasset Google-søkemotor.

Slik strukturerer du Python-skriptet ditt i modulære funksjoner for å sikre en smidig og automatisert søkeordsporingsprosess.

Først må du strukturere prosjektet slik at det inkluderer _config.py, tracker.py, database.db og requirements.txt _filen for bedre navigering og vedlikehold.

Ikke glem data/mappen som skal inneholde den lagrede rangeringshistorikken. Når disse filene og mappen er på plass, skriver du følgende funksjoner for å lese fra, skrive til eller endre filene:

a)En funksjon for å spørre Google Search API

Denne funksjonen skal godta et nøkkelord som inndata og konstruere API-forespørselsadressen ved hjelp av CX-verdien og API-nøkkelen fra config.py-filen. Den skal deretter sende forespørselen til Google Search API, som sender tilbake et JSON-svar.

Til slutt analyserer funksjonen JSON-svaret og trekker ut titler, nettadresser, utdrag og rangeringsposisjoner for de 100 første sidene.

b)En funksjon for å hente ut og lagre rangdata

Etter at søkeresultatene er analysert, skal denne funksjonen finne nettadressen til nettstedet ditt i den returnerte listen, bestemme rangeringsposisjonen og lagre rangeringsdataene i et strukturert format i SQlite.

Funksjonen skal gå gjennom søkeresultatene og finne posisjonen til nettadressen til nettstedet ditt. Hvis den blir funnet, skal den trekke ut og registrere rangeringsposisjonen. Hvis den ikke blir funnet, skal den anta at nettstedet ditt ikke er blant de 100 beste for det angitte søkeordet.

Du kan få funksjonen til å strukturere dataene i følgende SQlite-databasefelt - søkeord, data og tidspunkt for sporing, rangert posisjon og URL-adresse.

c)En funksjon for å analysere data og visualisere dem

Når du er i databasen, henter denne funksjonen de lagrede rangeringsdataene fra databasen, analyserer dem og bruker biblioteker som Plotly og Matplotlib til å visualisere trender. Du kan også få modellen til å sende dataene til statistiske modeller for å oppdage fall og økninger i rangeringen, noe som hjelper deg med å overvåke SEO-innsatsen.

1. Automatiser rangsporing i Python

Test funksjonaliteten til skriptet ditt, og implementer feilhåndtering.

Skriptet bør for eksempel kunne håndtere tidsavbrudd eller prøve mislykkede forespørsler på nytt. Dessuten bør mislykkede forespørsler logges for å unngå tap av data.

For å overvåke rangeringen etter et bestemt intervall, kan du automatisere hele sporingsprosessen ved hjelp av en planlegger som cron for å automatisere søkeordsporing etter et bestemt intervall (hvor mange ganger per dag, uke eller måned). Ha utløsere på plass for å varsle deg når rangeringen faller betydelig.

2. Legg til avanserte funksjoner i din Python-rangsporing

Når du er komfortabel med å bygge opp en grunnleggende rangsporing, kan du legge til følgende avanserte funksjoner:

• Enhetsspesifikk sporing: Rangeringer på mobil og datamaskin varierer. Derfor lar Google Search API deg spore rangeringene separat.

• Sporing av konkurrenter: I tillegg til nettstedet ditt kan du spore konkurrenters nettadresser.

• Geolokasjonsbasert rangsporing: Du kan avgrense til et bestemt sted og hente resultater som gjenspeiler søkeintensjonene til brukerne i en bestemt by eller et bestemt land.

• Deteksjon av SERP-funksjoner: Hvis du vil vite om nettsidene dine vises i bilderesultatene, utvalgte utdrag eller andre SERP-funksjoner, kan du bruke Googles søke-API til å være så spesifikk.

Til tross for de avanserte funksjonene, må du være oppmerksom på at du har omtrent 100 gratis spørringer per dag. Når du har brukt opp dette, må du betale. Du kan også bare hente opp til 100 søkeresultater. Derfor er det viktig å kombinere rangsporeren din med et tredjeparts API for rangsporing for å utvide funksjonaliteten.

Vi avslutter!

Og der har du det! De fem trinnene du må følge for å bygge en rangsporing ved hjelp av Python og Google Search API.

Husk at Google Search API begrenser sporingen din til 100 søkeresultater og 100 spørsmål om dagen. Til tross for dette får du effektivt og lovlig spore søkeordrangering uten IP-forbud eller utløsende CAPTCHA-er. I tillegg har du lov til å distribuere forespørsler over flere kontoer, noe som øker antallet spørsmål du kan sende i løpet av en dag.