[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},102,"blog","fr-chatgpt-and-data-collection-implications-for-web-data-harvesting-software","ChatGPT et collecte de données : Implications pour les logiciels de collecte de données web","https://blog.dexodata.com/storage/uploads/previews/15-4-s-trusted-proxy-website-chatgpt-and-scraping-implications-cover-1032x491-c9d78d89-7239-4f36-9e57-3de8b335a60c.webp","https://blog.dexodata.com/storage/uploads/covers/15-4-b-trusted-proxy-website-chatgpt-and-scraping-implications-cover-1032x491-5f5a859b-9fc4-4c7d-813d-8e3c8935ef35.webp","2023/07/04","2024/02/16","Rôles du web scraping de ChatGPT et du site web proxy de confiance Dexodata","Le site web proxy de confiance Dexodata fournissant des proxies géo-ciblés sur liste blanche explique les implications de technologies telles que ChatGPT pour le web scraping.","trusted proxy website, geo targeted proxies, proxies for social networks","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Contenu de l'article :\u003C/strong>\u003C/em>\u003C/p>\n\u003Col>\n\u003Cli>\u003Ca href=\"#anchor1\">La collecte de données est-elle possible avec seulement ChatGPT et un site web proxy de confiance ?\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Scénario d'exemple avec ChatGPT et des proxies géo-ciblés\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">Statut actuel de ChatGPT dans la collecte de données sur Internet\u003C/a>\u003C/li>\n\u003C/ol>\n\u003Cp>Le développement rapide des modèles LLM et l'implémentation de \u003Ca href=\"https://dexodata.com/en/blog/how-to-use-chatgpt-for-web-data-extraction-in-2023\" target=\"_blank\" rel=\"noopener\">ChatGPT pour l'extraction de données web\u003C/a> soulèvent une question naturelle : les outils pilotés par l'IA remplaceront-ils les web scrapers tels que nous les connaissons ? Pour comprendre les implications pratiques de cette avancée technologique, nous avons commencé par une question évidente et avons décidé de vérifier si ChatGPT peut scraper des sites web ou non.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>La collecte de données est-elle possible avec seulement ChatGPT et un site web proxy de confiance ?\u003C/h2>\n\u003Cp>Un membre de l'équipe travaillant chez Dexodata, un site web proxy de confiance avec \u003Ca href=\"https://dexodata.com/en/blog/10-credible-reasons-to-use-dexodata\" target=\"_blank\" rel=\"noopener\">des proxies géo-ciblés et des paramètres flexibles,\u003C/a> a demandé directement à ChatGPT s'il pouvait scraper des sites web. Le cadre a répondu ce qui suit :\u003C/p>\n\u003Cp>\u003Cimg style=\"display: block; margin-left: auto; margin-right: auto;\" src=\"https://blog.dexodata.com/storage/uploads/images/new/15-4-1-geo-targeted-proxies-chatgpt-and-scraping-pic-1032x491-3f08cff2-2914-452a-89d0-96e2d85aaa73.png\" alt=\"ChatGPT peut-il faire du web scraping avec des proxies géo-ciblés ?\" width=\"711\" height=\"171\">\u003C/p>\n\u003Cp>Ensuite, notre équipe a demandé à l'IA d'écrire du code pour un logiciel acquérant des informations en ligne. Nous nous intéressons à la collecte de données à grande échelle à des fins commerciales. Notre infrastructure est couramment utilisée comme source d'IPs intermédiaires pour la collecte d'informations en ligne. Les objets sont des sites de commerce électronique, tels qu'Amazon, AliExpress, etc. Les requêtes de recherche \"proxy eBay\" sont également une raison populaire pour obtenir des proxies pour les réseaux sociaux.\u003C/p>\n\u003Cp>Notre commande était de \"\u003Cem>Générer du code pour un web scraper pour scraper eBay\u003C/em>.\" En conséquence, nous avons obtenu ce code Python s'appuyant sur BeautifulSoup. Ce sont des solutions portant de nombreuses tendances inspirantes dans la collecte de données web :\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 83.9387%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cpre style=\"color: #283160; font-size: 16px; font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #236fa1;\">import\u003C/span> requests\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">from\u003C/span> bs4 \u003Cspan style=\"color: #236fa1;\">import\u003C/span> BeautifulSoup\u003Cbr>\u003Cbr>\u003C/code>\u003Ccode>\u003Cspan style=\"color: #7e8c8d;\"># URL de la page eBay que vous souhaitez scraper\u003C/span>\u003C/code>\u003Cbr>\u003Ccode>url = \"\u003Cspan style=\"color: #2dc26b;\">https://www.ebay.com/\u003C/span>\"\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># Envoyer une requête GET à l'URL\u003C/span>\u003Cbr>\u003Ccode>response = requests.get(url)\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># Analyser le contenu HTML en utilisant BeautifulSoup\u003C/span>\u003Cbr>\u003Ccode>soup = BeautifulSoup(response.content, \"\u003Cspan style=\"color: #2dc26b;\">html.parser\u003C/span>\")\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># Trouver et imprimer les titres des articles sur la page\u003C/span>\u003Cbr>\u003Ccode>items = soup.find_all(\"\u003Cspan style=\"color: #2dc26b;\">h3\u003C/span>\", class_=\"\u003Cspan style=\"color: #2dc26b;\">s-item__title\u003C/span>\")\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">for\u003C/span> item \u003Cspan style=\"color: #236fa1;\">in\u003C/span> items:\u003Cbr>\u003Cspan style=\"color: #f1c40f;\">    print\u003C/span>(item.text)\u003C/code>\u003C/pre>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>Nous avons examiné le résultat et avons tiré quelques conclusions sur le phénomène de \u003Ca href=\"https://dexodata.com/en/blog/understanding-the-benefits-of-chatgpt-for-web-scraping\" target=\"_blank\" rel=\"noopener\">ChatGPT scraping\u003C/a>.\u003C/p>\n\u003Cp>Tout d'abord, il ne fera pas tout d'un coup. Entrer quelque chose comme \"\u003Cem>ChatGTP, scrape ça pour moi\u003C/em>\" ne suffira pas. Ce qui signifie qu'il ne peut pas remplacer les outils existants, qu'ils soient internes ou externes. Bien qu'il puisse aider à en concevoir un, et certaines manipulations prendront encore leur temps.\u003C/p>\n\u003Cp>Nous décririons l'essence d'un algorithme basé sur l'IA en ces termes : \"chatbot d'assistance au web scraping\". Il est basé sur un modèle de langage qui ne peut pas effectuer l'ensemble de la procédure de collecte d'informations de manière autonome. Il ne scannera pas et ne récupérera pas les détails mentionnés sur eBay avec un \u003Ca href=\"https://dexodata.com/en/ebay\" target=\"_blank\" rel=\"noopener\">proxy eBay de Dexodata\u003C/a>. Mais il est capable de donner des conseils précieux, guidant les utilisateurs à travers le processus. ChatGPT fonctionne plutôt bien en tant qu'assistant numérique avancé pour les utilisateurs du site proxy de confiance.\u003C/p>\n\u003Cp>Voici à quoi ressemble le flux typique d'un projet d'acquisition automatisée d'informations en ligne activé par un proxy ChatGPT :\u003C/p>\n\u003Col>\n\u003Cli>On demande à l'IA de générer du code qui englobe l'URL d'intérêt comme cible.\u003C/li>\n\u003Cli>Les algorithmes conversationnels fournissent des lignes de code. Tout ce qu'il faut maintenant, c'est de les copier et de les coller.\u003C/li>\n\u003Cli>De plus, l'assistant de chat intelligent peut identifier les bibliothèques les mieux adaptées pour obtenir des informations cruciales.\u003C/li>\n\u003Cli>Plus les utilisateurs précisent leurs tâches, meilleur est le code soumis par le robot auto-apprenant. Alors soyez prêt à itérer.\u003C/li>\n\u003C/ol>\n\u003Cp>Dans cette capacité, le nouvel outil intelligent économise des ressources dans deux dimensions :\u003C/p>\n\u003Cul>\n\u003Cli>Moins de temps nécessaire pour écrire du code manuellement.\u003C/li>\n\u003Cli>Pas besoin de faire des recherches approfondies par vous-même et de googler des guides disponibles.\u003C/li>\n\u003C/ul>\n\u003Cp>La conclusion clé est que ChatGPT n'est pas en mesure de remplacer les logiciels de récupération d'informations web. Il ne peut pas encore comprendre les nuances et offrir des solutions universelles. D'un autre côté, il est capable d'aider à choisir et à configurer des logiciels et à \u003Ca href=\"https://dexodata.com/en/blog/7-web-data-types-to-harvest-successfully-without-coding-skills\" target=\"_blank\" rel=\"noopener\">récolter des données web sans compétences en codage\u003C/a>. Passons en revue quelques itérations par nous-mêmes.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>Scénario d'exemple avec ChatGPT, sites proxy et itérations\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Un site proxy de confiance, Dexodata, se concentre sur les proxies pour les réseaux sociaux et les sites de commerce électronique destinés à améliorer le niveau d'analytique en ligne. À tout niveau, qu'il soit corporate ou individuel, la première chose à faire avant de lancer un script de collecte d'informations automatisé est d'identifier ce que nous avons l'intention d'acquérir.\u003C/p>\n\u003Cp>\u003Cstrong>\u003Cspan style=\"text-decoration: underline;\">Étape 1\u003C/span>\u003C/strong>. Étant, entre autres choses, une source de proxies eBay, Dexodata vous invite à travailler avec ce géant du commerce électronique. La création d'un scraper ChatGPT vise à obtenir des détails supplémentaires. Alimentez cette information dans le modèle de langage.\u003C/p>\n\u003Cp>\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/new/15-4-3-geo-targeted-proxies-chatgpt-and-scraping-pic-1032x491-4460da69-9f1d-4f69-a6ba-7429903a5318.png\" alt=\"Comment ChatGPT peut-il faire du web scraping avec des proxies géo-ciblés\" width=\"1032\" height=\"589\">\u003C/p>\n\u003Cp>Faites un clic droit sur la donnée requise, puis choisissez \"Inspecter\", et explorez le code HTML, nous voulons dire l'attribut de classe en particulier.\u003C/p>\n\u003Cp>\u003Cspan style=\"text-decoration: underline;\">\u003Cstrong>Étape 2\u003C/strong>\u003C/span>. Le moment est venu pour le modèle NLP d'agir. Donnez-lui la commande ci-dessous. Comme vous le voyez, nous avons spécifié ce que nous avons l'intention d'utiliser :\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Cem>\u003Cstrong>“Veuillez, \u003Ca href=\"https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101\" target=\"_blank\" rel=\"noopener\">scraper ce site web\u003C/a> via Python et Scrapy. Localisez tous les éléments avec le nom d'attribut \"class\"”.\u003C/strong>\u003C/em>\u003C/p>\n\u003Cp>ChatGPT répond :\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 99.9794%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 97.0536%;\">\n\u003Cpre style=\"color: #283160; font-size: 16px; font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #236fa1;\"> import\u003C/span> scrapy\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">class\u003C/span> \u003Cspan style=\"color: #e03e2d;\">EbaySpider\u003C/span>(scrapy.Spider):\u003C/code>\u003Cbr>\u003Ccode>    name = \u003Cspan style=\"color: #2dc26b;\">\"ebay\"\u003C/span>\u003C/code>\u003Cbr>\u003Ccode>    start_urls = [\u003Cspan style=\"color: #2dc26b;\">'https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101'\u003C/span>]\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">def\u003C/span> \u003Cspan style=\"color: #e03e2d;\">parse\u003C/span>(self, response):\u003C/code>\u003Cbr>\u003Ccode>    elements = response.css(\u003Cspan style=\"color: #2dc26b;\">'[class]'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>    \u003Cspan style=\"color: #236fa1;\">for\u003C/span> element \u003Cspan style=\"color: #236fa1;\">in\u003C/span> elements:\u003C/code>\u003Cbr>\u003Ccode>        class_attribute = element.attrib.get(\u003Cspan style=\"color: #2dc26b;\">'class'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>        \u003Cspan style=\"color: #236fa1;\">yield\u003C/span> {\u003C/code>\u003Cbr>\u003Ccode>            \u003Cspan style=\"color: #2dc26b;\">'class_attribute'\u003C/span>: class_attribute\u003C/code>\u003Cbr>\u003Ccode>        }\u003C/code>\u003C/pre>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"text-decoration: underline;\">\u003Cstrong>Étape 3\u003C/strong>\u003C/span>. L'écosystème Dexodata de proxies géo-ciblés offre de restreindre la portée de notre mission. Nous imposons des limites sur l'attribut de classe, comme ceci : \u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Cstrong>\u003Cem>“Veuillez, scraper ce site web via Python et Scrapy. Localisez tous les éléments avec le nom d'attribut \"class=\"b-info__title\"”.\u003C/em>\u003C/strong>\u003C/p>\n\u003Cp>ChatGPT réagit rapidement :\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 99.9794%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 97.0536%;\">\n\u003Cpre style=\"color: #283160; font-size: 16px; font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #236fa1;\">import\u003C/span> scrapy\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">class\u003C/span> \u003Cspan style=\"color: #e03e2d;\">EbaySpider\u003C/span>(scrapy.Spider):\u003C/code>\u003Cbr>\u003Ccode>    name = \u003Cspan style=\"color: #2dc26b;\">\"ebay\"\u003C/span>\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>    start_urls = [\u003Cspan style=\"color: #2dc26b;\">'https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101'\u003C/span>]\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>    \u003Cspan style=\"color: #236fa1;\">def\u003C/span> \u003Cspan style=\"color: #e03e2d;\">parse\u003C/span>(self, response):\u003C/code>\u003Cbr>\u003Ccode>        elements = response.xpath(\u003Cspan style=\"color: #2dc26b;\">'//*[@class=\"b-info__title \"]'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>        \u003Cspan style=\"color: #236fa1;\">for\u003C/span> element \u003Cspan style=\"color: #236fa1;\">in\u003C/span> elements:\u003C/code>\u003Cbr>\u003Ccode>            title = element.xpath(\u003Cspan style=\"color: #2dc26b;\">'text()'\u003C/span>).get()\u003C/code>\u003Cbr>\u003Ccode>            \u003Cspan style=\"color: #236fa1;\">yield\u003C/span> {\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #2dc26b;\">                'title'\u003C/span>: title.strip()\u003C/code>\u003Cbr>\u003Ccode>            }\u003C/code>\u003C/pre>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>La procédure entière a pris cinq minutes. Maintenant, on peut tester ce code et l'ajuster davantage, si nécessaire.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>Statut actuel de ChatGPT dans la collecte de données sur Internet\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Notre verdict est que ChatGPT transformera les activités de récupération d'informations web et \u003Ca href=\"https://dexodata.com/en/blog/browser-automation-for-data-harvesting-explained\" target=\"_blank\" rel=\"noopener\">l'automatisation des navigateurs\u003C/a> dans un avenir prévisible, mais ne remplacera pas totalement les solutions de collecte automatisée. Ainsi, les programmeurs utilisant divers langages, par exemple PHP, Python, JS, etc., peuvent se détendre. Le nouvel outil facilite désormais leur travail, il n'est pas sur le point de les remplacer définitivement.\u003C/p>\n\u003Cp>Nous apprécions la contribution des systèmes de conversation automatisés à l'industrie de l'extraction d'informations en ligne. Nous encourageons les lecteurs à essayer les possibilités de web scraping de ChatGPT en action. C'est une chance d'obtenir un essai gratuit de nos \u003Ca href=\"https://dexodata.com/en/residential-proxies\" target=\"_blank\" rel=\"noopener\">IPs géo-ciblés\u003C/a> qui est disponible pour les nouveaux utilisateurs.\u003C/p>\n\u003Cp>Les proxies géo-ciblés de Dexodata sont situés dans plus de 100 pays. Ce sont des adresses IP résidentielles, mobiles et de centre de données disponibles à des \u003Ca href=\"https://dexodata.com/en/pricing\" target=\"_blank\" rel=\"noopener\">prix raisonnables\u003C/a>. Inscrivez-vous sur le site officiel et accédez aux outils puissants améliorant l'analytique avancée des données avec ChatGPT et d'autres solutions logicielles améliorées par l'IA.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936368917]