ChatGPT y la recolección de datos: Implicaciones para el software de recolección de datos web

Contenido del artículo:

1. ¿Es posible la recolección de datos solo con ChatGPT y un sitio web de proxy confiable?
2. Escenario de muestra con ChatGPT y proxies geográficamente dirigidos
3. Estado actual de ChatGPT en la recolección de datos de internet

El rápido desarrollo de modelos LLM y la implementación de ChatGPT para la extracción de datos web plantea una pregunta natural: si las herramientas impulsadas por IA reemplazarán a los web scrapers tal como los conocemos. Para comprender las implicaciones prácticas de este avance tecnológico, comenzamos con un problema obvio y decidimos verificar si ChatGPT puede raspar sitios web o no.

¿Es posible la recolección de datos solo con ChatGPT y un sitio web de proxy confiable?

Un miembro del equipo que trabaja en Dexodata, un sitio web de proxy confiable con proxies geográficamente dirigidos y configuraciones flexibles, preguntó directamente a ChatGPT si puede raspar sitios web. El marco respondió lo siguiente:

Luego, nuestro equipo pidió a la IA que escribiera un código para un software que adquiera información en línea. Nos interesa la recolección de datos a gran escala para fines comerciales. Nuestra infraestructura se utiliza comúnmente como fuente de IPs intermedias para la recolección de información en línea. Los objetos son sitios de comercio electrónico, como Amazon, AliExpress, etc. Las consultas de búsqueda de “proxy de eBay” también son una razón popular para obtener proxies para redes sociales.

Nuestra orden fue “Generar código para un web scraper para raspar eBay.” Como resultado, obtuvimos este código en Python basado en BeautifulSoup. Estas son soluciones que llevan numerosas tendencias inspiradoras en la recolección de datos web:

import requests
from bs4 import BeautifulSoup

# URL de la página de eBay que deseas raspar
url = "https://www.ebay.com/"

# Envía una solicitud GET a la URL
response = requests.get(url)

# Analiza el contenido HTML usando BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")

# Encuentra e imprime los títulos de los elementos en la página
items = soup.find_all("h3", class_="s-item__title")
for item in items:
    print(item.text)

Hemos investigado el resultado y hemos llegado a algunas conclusiones sobre el fenómeno de ChatGPT scraping.

Primero, no logrará hacer todo de inmediato. Introducir algo como “ChatGTP, raspa esto por mí” no será suficiente. Lo que significa que no puede reemplazar las herramientas existentes, tanto internas como externas. Aunque puede ayudar a diseñar una, y algunas manipulaciones aún tendrán su costo.

Describiríamos la esencia de un algoritmo basado en IA con las palabras “asistente de chatbot para web scraping”. Se basa en un modelo de lenguaje que no puede realizar todo el procedimiento de recolección de información de forma autónoma. No escaneará ni recuperará detalles mencionados en eBay con un proxy de eBay de Dexodata. Pero es capaz de dar consejos valiosos, guiando a los usuarios a través del proceso. ChatGPT funciona bastante bien como un asistente digital avanzado para los usuarios del sitio web de proxy confiable. 

Aquí está cómo se ve un flujo típico de un proyecto de adquisición automatizada de información en línea habilitado por proxy de ChatGPT: 

1. Uno solicita a la IA que genere código que abarque la URL de interés como objetivo.
2. Los algoritmos conversacionales dan líneas de código. Todo lo que se necesita ahora es copiar y pegar.
3. Además, el asistente de chat inteligente puede identificar las bibliotecas que mejor se ajustan para obtener información crucial.
4. Cuanto más especifiquen los usuarios sus tareas, mejor código enviará el robot autoaprendizaje. Así que prepárate para iterar.

En esta capacidad, la nueva herramienta inteligente ahorra recursos en dos dimensiones:

• Menos tiempo necesario para escribir código manualmente.
• No es necesario hacer una investigación extensa por tu cuenta y buscar guías disponibles. 

La conclusión clave es que ChatGPT no está en posición de reemplazar el software de recuperación de información web. No puede entender matices y ofrecer soluciones únicas para todos aún. Por otro lado, es capaz de ayudar a elegir y configurar software y recolectar datos web sin habilidades de codificación. Vamos a realizar un par de iteraciones por nosotros mismos.

Escenario de muestra con ChatGPT, sitios web de proxy e iteraciones

Un sitio web de proxy confiable, Dexodata, se centra en proxies para redes sociales y sitios de comercio electrónico destinados a mejorar el nivel de análisis en línea. En cualquier nivel, tanto corporativo como individual, lo primero que hay que hacer antes de ejecutar un script de recolección de información automatizado es identificar qué pretendemos adquirir.

Paso 1. Siendo, entre otras cosas, una fuente de proxies de eBay, Dexodata te invita a trabajar con este gigante del comercio electrónico. La creación de un scraper de ChatGPT busca detalles adicionales. Alimenta esta información en el modelo de lenguaje. 

Haz clic derecho en la pieza de datos requerida, luego elige “Inspeccionar”, y explora el código HTML, nos referimos al atributo de clase en particular.

Paso 2. Ha llegado el momento de que el modelo de NLP actúe. Dale el siguiente comando. Como ves, especificamos qué estamos inclinados a usar: 

“Por favor, raspa este sitio web a través de Python y Scrapy. Localiza todos los elementos con el nombre del atributo "class"”.

ChatGPT responde:

import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"
    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

def parse(self, response):
    elements = response.css('[class]')
    for element in elements:
        class_attribute = element.attrib.get('class')
        yield {
            'class_attribute': class_attribute
        }

Paso 3. El ecosistema de proxies geográficamente dirigidos de Dexodata ofrece reducir el alcance de nuestra misión. Imponemos límites en el atributo de clase, así: 

“Por favor, raspa este sitio web a través de Python y Scrapy. Localiza todos los elementos con el nombre del atributo "class="b-info__title"”.

ChatGPT reacciona rápidamente:

import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"

    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

    def parse(self, response):
        elements = response.xpath('//*[@class="b-info__title "]')
        for element in elements:
            title = element.xpath('text()').get()
            yield {
                'title': title.strip()
            }

Todo el procedimiento tomó cinco minutos. Ahora uno puede probar este código y ajustarlo más adelante, si es necesario.

Estado actual de ChatGPT en la recolección de datos de internet

Nuestro veredicto es que ChatGPT transformará las actividades de recuperación de información web y la automatización de navegadores en un futuro previsible, pero no reemplazará completamente las soluciones de recolección automatizada. Así que los programadores que usan varios lenguajes, por ejemplo, PHP, Python, JS, etc., pueden relajarse. La nueva herramienta ahora facilita su trabajo, no está a punto de reemplazarlos para siempre.

Apreciamos la contribución que los sistemas de conversación automatizados hacen a la industria de extracción de información en línea. Animamos a los lectores a probar las posibilidades de web scraping de ChatGPT en acción. Es una oportunidad para obtener una prueba gratuita de nuestros IPs geográficamente dirigidos que está disponible para nuevos usuarios.

Los proxies geográficamente dirigidos de Dexodata están ubicados en más de 100 países. Estas son direcciones IP residenciales, móviles y de centro de datos disponibles a precios razonables. Regístrate en el sitio web oficial y obtén acceso a las poderosas herramientas que mejoran el análisis de datos avanzados junto con ChatGPT y otras soluciones de software mejoradas por IA.