Quizá no sabías que para scrapear los resultados de Google pueden crear un buscador customizable y enviar 100 solicitudes diarias a la API GRATIS y es por ello en este artículo te comparto un código sencillo para que tú también puedas aprovechar esta herramienta en tu día a día.
Pasos necesarios para crear tu custom search engine
- 1. Acceder a esta URL para crear tu propio buscador custom.
- 2. Acceder a tu consola de Google Cloud y habilitar la Custom Search API.
- 3. Conseguir el ID de tu buscador custom («cx» que se puede ver en el apartado URL Pública) y generar una clave API de la Custom Search API.
- 4. Necesitarás crear un Script de Python y cambiar los valores de las variables cx y api_key_search, aquí te dejo un ejemplo de como obtener los resultados con tu buscador custom.
Script en Python para custom search engine
# Librerías
import requests
# Introducir keyword por consola
keyword = input("Introduce una keyword para buscar: ")
# Configuración del buscador
api_key_search = "aquí_tu_clave_de_custom_search_api"
cx = "aquí_tu_código_cx_del_buscador_"
base_url = "https://www.googleapis.com/customsearch/v1"
params = {
"key": api_key_search,
"cx": cx,
"q": keyword,
"start": 1 # Si quieres que te devuelva resultados a partir de la segunda página de resultados cambia el 1 por un 11
}
response = requests.get(base_url, params=params)
print(response)
data = response.json()
urls = []
if "items" in data:
for item in data["items"]:
urls.append(item["link"])
print("Resultados\n\n")
for url in urls:
print(url)
