Как да създадем Rank Tracker с помощта на Python и Google Search API

Въведение

Дори и при значимостта на проследяването на ключови думи, Условията за ползване на Google забраняват остъргването на SERP (Search Engine Results Pages).

Мерките на Google за борба със scraping, като CAPTCHA и блокиране на IP адреси, увеличават разходите за услуги за решаване на CAPTCHA, включително разходите за ротационни проксита. Това прави целия процес на мониторинг на SEO чрез изстъргване на уеб страници още по-неудобен.

Ако сте в такава ситуация или се опитвате да получите точни и законни данни за търсене в Google, за да проследите класирането на ключовите думи, ето една законна и надеждна алтернатива. Нека да разгледаме как да създадем програма за проследяване на ранга с помощта на Python и Google Search API.

Изграждане на Rank Tracker с помощта на Python и Google Search API

За да създадете тракер за проследяване на ранг с помощта на Python и Google Search API, са ви необходими умения за програмиране в Python, работа с API, управление на бази данни и анализ на данни.

Обърнете внимание, че това ръководство се фокусира върху изграждането на ранг тракер за глобално проследяване на ключови думи. За локално и разширено проследяване на ключови думи интегрирането на скрипт на Python с API на програма за проследяване на ранг ще ви бъде от полза.

Нека сега да навлезем в процеса на изграждане на програма за проследяване на ранга с помощта на Python и Google Search API.

1. Създаване на среда за програмиране в Python и изисквания

Преди да напишете скрипт на Python за проследяване на класирането на ключови думи, трябва да инсталирате най-новата версия на Python от официалния уебсайт. Процесът на инсталиране се различава в зависимост от операционната система, която използвате.

След като се инсталира, проверете инсталацията в командния ред или терминала. След това инсталирайте IDE или редактор на код по ваш избор. Сред IDE най-препоръчителен е VS code, тъй като поддържа повечето скриптови разширения на Python и е лек.

След това инсталирайте виртуална среда, за да разделите зависимостите на всеки разработван проект и да предотвратите потенциални конфликти. И накрая инсталирайте необходимите библиотеки и инструменти на Python.

Сред библиотеките и инструментите на Python ви е необходима библиотеката Requests за осъществяване на API повиквания към API за търсене в Google, _JSON _за обработка на API отговорите, Datetime за поставяне на времеви маркери на заявките, SQlite за съхраняване на данни за класиране и история и Plotly или Matplotlib за визуализация.

2. Конфигуриране на API за търсене в Google

След като настроите и тествате средата си за програмиране в Python, отидете на страницата на програмируемата търсачка на Google и създайте нова или персонализирана търсачка.

За този урок задайте персонализираната си търсачка да търси в цялата мрежа (глобално търсене) и копирайте нейния ID или CX стойност. След това превключете страниците в Google Cloud Console и активирайте API JSON за персонализирано търсене, за да получите API ключ.

След като получите стойността CX и ключа API, запазете ги сигурно в конфигурационен файл. Винаги избягвайте твърдото кодиране на CX стойността или API ключа, за да намалите рисковете за сигурността.

3. Напишете добре структуриран скрипт на Python

Досега имате правилно конфигурирана среда за програмиране и идентификатор (плюс API ключ) на персонализирана търсачка на Google.

Ето как да структурирате скрипта си в Python на модулни функции, за да осигурите плавен и автоматизиран процес на проследяване на ключови думи.

Първо, структурирайте проекта си така, че да включва _config.py, tracker.py, database.db и requirements.txt _файлове за по-добра навигация и поддръжка.

Не забравяйте папката с данни, в която се съхранява историята на класирането. След като тези файлове и папката са създадени, напишете следните функции за четене от, записване в или промяна на файловете:

а)Функция за запитване към Google Search API

Тази функция трябва да приеме ключова дума като вход и да конструира URL адреса на API заявката, като използва стойността CX и API ключа от файла config.py. След това тя трябва да изпрати заявката към API за търсене на Google, който изпраща обратно JSON отговор.

Накрая функцията анализира JSON отговора, като извлича заглавията, URL адресите, фрагментите и позициите в класацията на първите 100 страници.

б)Функция за извличане и съхраняване на данни за ранг

След като анализира резултатите от търсенето, тази функция трябва да открие URL адреса на вашия уебсайт в върнатия списък, да определи позицията му в класацията и да съхрани данните за класацията в структуриран формат в SQlite.

Функцията трябва да премине през резултатите от търсенето и да намери позицията на URL адреса на сайта ви. Ако бъде намерен, тя трябва да извлече и запише позицията му в класацията. Ако не бъде намерена, тя трябва да приеме, че сайтът ви не се класира в топ 100 за зададената ключова дума.

Можете да възложите на функцията да структурира данните в следните полета на базата данни SQlite - търсена ключова дума, данни и време на проследяване, класирана позиция и URL.

в)Функция за анализ на данни и визуализация.

След като влезе в базата данни, тази функция извлича съхранените данни за класиране от базата данни, анализира ги и използва библиотеки като Plotly и Matplotlib, за да визуализира тенденциите. Можете също така да наредите на модела да предаде данните на статистически модели, за да открие спадове и увеличения на класирането, като ви помогне да наблюдавате усилията за SEO.

1. Автоматизиране на проследяването на ранга в Python

Тествайте функционалността на вашия скрипт и въведете обработка на грешки.

Например, скриптът трябва да може да обработва времеви паузи или да повтаря неуспешни заявки. Също така да регистрира неуспешните заявки, за да се избегне загубата на данни.

За да наблюдавате класирането след определен интервал, автоматизирайте целия процес на проследяване с помощта на програма за планиране като cron, за да автоматизирате проследяването на ключови думи след определен интервал (колко пъти на ден, седмица или месец). Разполагайте с тригери, които да ви предупреждават, когато класирането спадне значително.

2. Добавяне на усъвършенствани функции към вашия тракер за ранг в Питон

И накрая, след като сте се справили с изграждането на основен инструмент за проследяване на ранга, имате възможност да добавите следните разширени функции:

• Специфично за устройството проследяване: Класациите за мобилни устройства и настолни компютри се различават. Ето защо API за търсене в Google ви позволява да проследявате поотделно всяко от тези класирания.

• Проследяване на конкуренти: Освен вашия уебсайт, можете да проследявате и URL адресите на конкурентите.

• Проследяване на ранг на базата на геолокация: Можете да се ограничите до конкретно местоположение и да получите резултати, които отразяват намеренията за търсене на потребителите в определен град или държава.

• Откриване на функции на SERP: Ако искате да разберете дали страниците на сайта ви се появяват в резултатите с изображения, препоръчани извадки или други функции на SERP, API за търсене в Google ви позволява да направите това.

Въпреки разширените функции имайте предвид, че разполагате с около 100 свободни заявки на ден. След като ги изчерпите, трябва да платите. Освен това можете да изтеглите само до 100 резултата от търсенето. Ето защо е от съществено значение да комбинирате вашия инструмент за проследяване на ранг с API на инструмент за проследяване на ранг на трета страна, за да разширите функционалността му.

Приключваме!

И ето го! Петте стъпки, които трябва да следвате, за да създадете програма за проследяване на ранга с помощта на Python и API за търсене в Google.

Не забравяйте, че API за търсене в Google ограничава проследяването до 100 резултата от търсенето и 100 заявки на ден. Въпреки това можете ефективно и законно да проследявате класирането на ключови думи без забрани за IP адреси или задействане на CAPTCHA. Освен това имате право да разпределяте заявките в няколко акаунта, като по този начин увеличавате броя на заявките, които можете да изпратите в рамките на един ден.