ChatGPT et collecte de données : Implications pour les logiciels de collecte de données web

Contenu de l'article :

1. La collecte de données est-elle possible avec seulement ChatGPT et un site web proxy de confiance ?
2. Scénario d'exemple avec ChatGPT et des proxies géo-ciblés
3. Statut actuel de ChatGPT dans la collecte de données sur Internet

Le développement rapide des modèles LLM et l'implémentation de ChatGPT pour l'extraction de données web soulèvent une question naturelle : les outils pilotés par l'IA remplaceront-ils les web scrapers tels que nous les connaissons ? Pour comprendre les implications pratiques de cette avancée technologique, nous avons commencé par une question évidente et avons décidé de vérifier si ChatGPT peut scraper des sites web ou non.

La collecte de données est-elle possible avec seulement ChatGPT et un site web proxy de confiance ?

Un membre de l'équipe travaillant chez Dexodata, un site web proxy de confiance avec des proxies géo-ciblés et des paramètres flexibles, a demandé directement à ChatGPT s'il pouvait scraper des sites web. Le cadre a répondu ce qui suit :

Ensuite, notre équipe a demandé à l'IA d'écrire du code pour un logiciel acquérant des informations en ligne. Nous nous intéressons à la collecte de données à grande échelle à des fins commerciales. Notre infrastructure est couramment utilisée comme source d'IPs intermédiaires pour la collecte d'informations en ligne. Les objets sont des sites de commerce électronique, tels qu'Amazon, AliExpress, etc. Les requêtes de recherche "proxy eBay" sont également une raison populaire pour obtenir des proxies pour les réseaux sociaux.

Notre commande était de "Générer du code pour un web scraper pour scraper eBay." En conséquence, nous avons obtenu ce code Python s'appuyant sur BeautifulSoup. Ce sont des solutions portant de nombreuses tendances inspirantes dans la collecte de données web :

import requests
from bs4 import BeautifulSoup

# URL de la page eBay que vous souhaitez scraper
url = "https://www.ebay.com/"

# Envoyer une requête GET à l'URL
response = requests.get(url)

# Analyser le contenu HTML en utilisant BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")

# Trouver et imprimer les titres des articles sur la page
items = soup.find_all("h3", class_="s-item__title")
for item in items:
    print(item.text)

Nous avons examiné le résultat et avons tiré quelques conclusions sur le phénomène de ChatGPT scraping.

Tout d'abord, il ne fera pas tout d'un coup. Entrer quelque chose comme "ChatGTP, scrape ça pour moi" ne suffira pas. Ce qui signifie qu'il ne peut pas remplacer les outils existants, qu'ils soient internes ou externes. Bien qu'il puisse aider à en concevoir un, et certaines manipulations prendront encore leur temps.

Nous décririons l'essence d'un algorithme basé sur l'IA en ces termes : "chatbot d'assistance au web scraping". Il est basé sur un modèle de langage qui ne peut pas effectuer l'ensemble de la procédure de collecte d'informations de manière autonome. Il ne scannera pas et ne récupérera pas les détails mentionnés sur eBay avec un proxy eBay de Dexodata. Mais il est capable de donner des conseils précieux, guidant les utilisateurs à travers le processus. ChatGPT fonctionne plutôt bien en tant qu'assistant numérique avancé pour les utilisateurs du site proxy de confiance.

Voici à quoi ressemble le flux typique d'un projet d'acquisition automatisée d'informations en ligne activé par un proxy ChatGPT :

1. On demande à l'IA de générer du code qui englobe l'URL d'intérêt comme cible.
2. Les algorithmes conversationnels fournissent des lignes de code. Tout ce qu'il faut maintenant, c'est de les copier et de les coller.
3. De plus, l'assistant de chat intelligent peut identifier les bibliothèques les mieux adaptées pour obtenir des informations cruciales.
4. Plus les utilisateurs précisent leurs tâches, meilleur est le code soumis par le robot auto-apprenant. Alors soyez prêt à itérer.

Dans cette capacité, le nouvel outil intelligent économise des ressources dans deux dimensions :

• Moins de temps nécessaire pour écrire du code manuellement.
• Pas besoin de faire des recherches approfondies par vous-même et de googler des guides disponibles.

La conclusion clé est que ChatGPT n'est pas en mesure de remplacer les logiciels de récupération d'informations web. Il ne peut pas encore comprendre les nuances et offrir des solutions universelles. D'un autre côté, il est capable d'aider à choisir et à configurer des logiciels et à récolter des données web sans compétences en codage. Passons en revue quelques itérations par nous-mêmes.

Scénario d'exemple avec ChatGPT, sites proxy et itérations

Un site proxy de confiance, Dexodata, se concentre sur les proxies pour les réseaux sociaux et les sites de commerce électronique destinés à améliorer le niveau d'analytique en ligne. À tout niveau, qu'il soit corporate ou individuel, la première chose à faire avant de lancer un script de collecte d'informations automatisé est d'identifier ce que nous avons l'intention d'acquérir.

Étape 1. Étant, entre autres choses, une source de proxies eBay, Dexodata vous invite à travailler avec ce géant du commerce électronique. La création d'un scraper ChatGPT vise à obtenir des détails supplémentaires. Alimentez cette information dans le modèle de langage.

Faites un clic droit sur la donnée requise, puis choisissez "Inspecter", et explorez le code HTML, nous voulons dire l'attribut de classe en particulier.

Étape 2. Le moment est venu pour le modèle NLP d'agir. Donnez-lui la commande ci-dessous. Comme vous le voyez, nous avons spécifié ce que nous avons l'intention d'utiliser :

“Veuillez, scraper ce site web via Python et Scrapy. Localisez tous les éléments avec le nom d'attribut "class"”.

ChatGPT répond :

 import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"
    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

def parse(self, response):
    elements = response.css('[class]')
    for element in elements:
        class_attribute = element.attrib.get('class')
        yield {
            'class_attribute': class_attribute
        }

Étape 3. L'écosystème Dexodata de proxies géo-ciblés offre de restreindre la portée de notre mission. Nous imposons des limites sur l'attribut de classe, comme ceci : 

“Veuillez, scraper ce site web via Python et Scrapy. Localisez tous les éléments avec le nom d'attribut "class="b-info__title"”.

ChatGPT réagit rapidement :

import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"

    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

    def parse(self, response):
        elements = response.xpath('//*[@class="b-info__title "]')
        for element in elements:
            title = element.xpath('text()').get()
            yield {
                'title': title.strip()
            }

La procédure entière a pris cinq minutes. Maintenant, on peut tester ce code et l'ajuster davantage, si nécessaire.

Statut actuel de ChatGPT dans la collecte de données sur Internet

Notre verdict est que ChatGPT transformera les activités de récupération d'informations web et l'automatisation des navigateurs dans un avenir prévisible, mais ne remplacera pas totalement les solutions de collecte automatisée. Ainsi, les programmeurs utilisant divers langages, par exemple PHP, Python, JS, etc., peuvent se détendre. Le nouvel outil facilite désormais leur travail, il n'est pas sur le point de les remplacer définitivement.

Nous apprécions la contribution des systèmes de conversation automatisés à l'industrie de l'extraction d'informations en ligne. Nous encourageons les lecteurs à essayer les possibilités de web scraping de ChatGPT en action. C'est une chance d'obtenir un essai gratuit de nos IPs géo-ciblés qui est disponible pour les nouveaux utilisateurs.

Les proxies géo-ciblés de Dexodata sont situés dans plus de 100 pays. Ce sont des adresses IP résidentielles, mobiles et de centre de données disponibles à des prix raisonnables. Inscrivez-vous sur le site officiel et accédez aux outils puissants améliorant l'analytique avancée des données avec ChatGPT et d'autres solutions logicielles améliorées par l'IA.