[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},129,"blog","fr-php-for-data-harvesting-in-collaboration-with-a-trusted-proxy-website","PHP pour la collecte de données en collaboration avec un site web proxy de confiance","https://blog.dexodata.com/storage/uploads/previews/15-3-s-trusted-proxy-website-php-and-data-collection-cover-1032x491-058e15f3-9c89-4100-a80c-ca121dc343ea.webp","https://blog.dexodata.com/storage/uploads/covers/15-3-b-trusted-proxy-website-php-and-data-collection-cover-1032x491-accb4767-8ff9-4506-aa0e-4cf5aac6a61e.webp","2024/08/13","2024/07/31","Comment collecter des données en PHP avec un site web proxy de confiance","Exploration du potentiel de PHP pour le scraping sur Internet avec Dexodata, un site web proxy de confiance avec un pool de proxies géo-ciblés sur liste blanche.","trusted proxy website, geo targeted proxies, paid proxy free trial, proxies for social media","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Contenu de l'article :\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">Scraping web avec PHP : bases et prérequis\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Collecte de données web avec PHP : scénario d'exemple\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">Évolution. Bibliothèques et outils\u003C/a>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor4\">Goutte\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor5\">Simple HTML DOM\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor6\">PHP Scraper\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor7\">PHP cURL pour les opérations de scraping\u003C/a>\u003C/li>\n\u003C/ul>\n\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor8\">Création d'un scraper : un scénario d'exemple\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor9\">Remarques finales\u003C/a>\u003C/li>\n\u003C/ul>\n\u003Cp>Le texte que vous êtes en train de lire finalise notre long voyage à travers le domaine difficile du scraping web. Le \u003Ca href=\"https://dexodata.com/en/blog/10-credible-reasons-to-use-dexodata\" target=\"_blank\" rel=\"noopener\">site web proxy de confiance Dexodata avec des paramètres avancés et flexibles\u003C/a> a déjà exploré le potentiel de Python, JavaScript et Java. Nous invitons maintenant les lecteurs à se concentrer sur une autre direction bien appréciée pour récolter des informations. Nous parlons du bon vieux PHP.\u003C/p>\n\u003Cp>Pourquoi les utilisateurs devraient-ils essayer si ils ont l'intention de récupérer le contenu d'une présence web et vont recourir à nos proxies géo-ciblés à cet effet ? Voici une réponse. Fondamentalement, PHP peut être décrit comme un langage de script côté serveur à usage général né dès 1995. En tant que tel, il est, par nature, destiné au développement web (la \u003Ca href=\"https://php.watch/versions/8.4\" target=\"_blank\" rel=\"noopener\">dernière version de PHP est 8.4\u003C/a>). La part que PHP a gagnée et conservée est encore énorme.  \u003C/p>\n\u003Col>\n\u003Cli>Quiconque connaissant au moins un peu les aspects techniques d'Internet sait ce qu'est WordPress. Basé sur PHP, ce CMS alimente et maintient environ 40 % de tous les sites web existants. Tous ne sont pas si populaires, 40 % des sites ne signifient pas nécessairement 40 % du trafic ou 40 % des données. Mais ce fait parle de lui-même.\u003C/li>\n\u003Cli>En dehors de tout ce qui concerne la gestion de contenu, \u003Ca href=\"https://w3techs.com/technologies/details/pl-php\" target=\"_blank\" rel=\"noopener\">environ 80 % des sites web reposent sur PHP\u003C/a> (lorsque leur propriété côté serveur peut être identifiée).\u003C/li>\n\u003Cli>Enfin, des produits véritablement avancés et très demandés peuvent être conçus avec PHP. Par exemple, ceux qui demandent notre essai gratuit de proxy payant en tant que nouveaux utilisateurs pour appliquer des adresses comme proxies pour les réseaux sociaux devraient savoir que Slack repose sur du code PHP. Oui, ce n'est pas un réseau social dans sa forme la plus pure, mais quand même.\u003C/li>\n\u003C/ol>\n\u003Cp>En tant que langage \"prédisposé\" pour le Web, PHP est une option décente pour des scénarios de faible à moyenne complexité. Grâce à lui, les développeurs peuvent :\u003C/p>\n\u003Cul>\n\u003Cli>Initier des requêtes à transférer vers une page donnée;  \u003C/li>\n\u003Cli>Récupérer des informations;\u003C/li>\n\u003Cli>Enregistrer des informations sous une forme organisée, par exemple dans des formats tels que CSV, JSON ou XML.\u003C/li>\n\u003C/ul>\n\u003Cp>Pour résumer : PHP est certainement une ressource à appliquer aux tâches de scraping, car il est capable d'interagir avec des sites et de comprendre et manipuler HTML, ainsi que de récupérer des informations à partir de présences via une gamme de fonctions et de bibliothèques adaptées. En cette capacité, PHP n'est pas si avancé et flexible et ne devrait pas être choisi pour du contenu dynamique, même ainsi, c'est une option viable et fonctionnelle (dans une certaine mesure). Nous le disons en tant que site web proxy de confiance avec \u003Ca href=\"https://dexodata.com/en/data-gathering\" target=\"_blank\" rel=\"noopener\">des adresses pour le scraping web\u003C/a> connaissant bien ce métier de collecte de données.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>Scraping web avec PHP : bases et prérequis\u003C/h2>\n\u003Cp>Avant d'aller plus loin, validez si vous êtes bien conscient des éléments ci-dessous.\u003C/p>\n\u003Col>\n\u003Cli>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>Requêtes HTTP\u003C/strong>\u003C/span>. Ici, nous entendons le protocole appliqué par les serveurs pour envoyer et obtenir des informations. Pour obtenir des données d'une présence, un utilisateur doit diriger une requête HTTP vers le serveur responsable de l'hébergement de la page. PHP dispose de fonctions intégrées telles que \u003Ccode>cURL\u003C/code>, \u003Ccode>file_get_contents()\u003C/code>, ainsi que \u003Ccode>fopen()\u003C/code> permettant de diriger des requêtes HTTP et d'obtenir des informations à partir des pages.\u003C/li>\n\u003Cli>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>Analyse HTML\u003C/strong>\u003C/span>. En tant que langage conçu pour \"construire\" des pages web, PHP offre des éléments intégrés tels que \u003Ccode>DOMDocument\u003C/code> ainsi que \u003Ccode>SimpleXMLElement\u003C/code> permettant aux utilisateurs d'analyser HTML pour récupérer des informations.\u003C/li>\n\u003Cli>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>Expressions régulières\u003C/strong>\u003C/span> servent d'outil fonctionnel et puissant pour faire correspondre des motifs et manipuler des textes. Encore une fois, PHP propose des fonctions intégrées, par exemple \u003Ccode>preg_match()\u003C/code> ainsi que \u003Ccode>preg_replace()\u003C/code> qui permettent d'appliquer des expressions régulières pour récupérer des informations provenant de sites.\u003C/li>\n\u003C/ol>\n\u003Cp>Ces notions de base suffiraient si les utilisateurs ont l'intention de créer un programme PHP simple capable de transférer des requêtes HTTP vers une présence, de \"sauver\" le HTML, et finalement d'analyser le code ainsi que de récupérer les informations recherchées avec l'écosystème de proxies géo-ciblés éthiques de Dexodata (avec essai gratuit de proxy payant, y compris des proxies pour les réseaux sociaux).\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>Collecte de données web avec PHP : scénario d'exemple\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Supposons qu'il soit nécessaire de récupérer des informations contenues par une présence sous forme d'une liste d'articles à vendre (ce que nous allons montrer est un cas très basique, il y aura des cas plus avancés dans les sections suivantes). Il est impératif de récupérer le nom, le coût et l'image de chaque article et d'enregistrer ces informations sous forme de fichier CSV. Voici la manière la plus simple de procéder, c'est-à-dire lorsqu'il n'y a pas de scénarios complexes et d'obstacles. Suivez simplement les étapes de l'écosystème Dexodata de proxies géo-ciblés sur liste blanche.\u003C/p>\n\u003Cp>\u003Ccode><?php\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$url = 'https://sample.com/items';\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$html = file_get_contents($url);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$dom = new DOMDocument();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$dom->loadHTML($html);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$products = $dom->getElementsByTagName('article');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$data = [];\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($items as $items) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $name = $item->getElementsByTagName('h2')[0]->textContent;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $price = $item->getElementsByTagName('span')[0]->textContent;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $image = $item->getElementsByTagName('img')[0]->getAttribute('src');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $data[] = [$name, $price, $image];\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$fp = fopen('items.csv', 'w');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($data as $fields) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    fputcsv($fp, $fields);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>fclose($fp);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>?>\u003C/code>\u003C/p>\n\u003Cp>Rien n'a jamais été aussi facile !\u003C/p>\n\u003Cp>Ce que les lecteurs voient ici, c'est que nous transférons d'abord une requête HTTP vers la présence par le biais de \u003Ccode>file_get_contents()\u003C/code>. Ensuite, nous passons à l'analyse du contenu HTML via la classe \u003Ccode>DOMDocument\u003C/code> et récupérons des informations pertinentes via la technique \u003Ccode>getElementsByTagName()\u003C/code>. Ensuite, nous sommes libres d'enregistrer les informations récupérées dans un tableau multidimensionnel, qui est ensuite écrit dans un fichier CSV via \u003Ccode>fputcsv()\u003C/code>.\u003C/p>\n\u003Cp>Si vous pensez que tout est clair, passons à la suite. Le site web proxy de confiance Dexodata avec des options d'essai gratuit de proxy payant vous montrera le chemin vers les données.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>Évolution. Bibliothèques et outils\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Depuis sa création, PHP a évolué de manière significative. Probablement, ses bibliothèques ne semblent pas si \"à la mode\" et \"élégantes\" (ce n'est pas Python), néanmoins, ce langage dispose d'une énorme communauté de participants soutenant des bibliothèques fonctionnelles. Examinons-les dans le contexte du scraping web. Nous, en tant que site web proxy de confiance gérant un écosystème de proxies géo-ciblés (y compris \u003Ca href=\"https://dexodata.com/en/blog/dexodata-proxies-for-instagram-tools\" target=\"_blank\" rel=\"noopener\">des proxies pour les réseaux sociaux, comme Instagram\u003C/a>) proposons l'échelle suivante, à notre avis, des options les plus simples aux plus avancées.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor4\">\u003C/a>1. Goutte\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>\u003Ca href=\"https://github.com/FriendsOfPHP/Goutte\" target=\"_blank\" rel=\"noopener\">Goutte sert de bibliothèque entièrement fonctionnelle\u003C/a> que l'on peut appliquer avec le framework PHP. Elle peut être maîtrisée même par des débutants pour récupérer des données provenant de HTML. La courbe d'apprentissage dans ce cas n'est pas non plus difficile, grâce à son design orienté objet compréhensible. En ce qui concerne les autres avantages, ils incluent une communauté visible, un volume impressionnant de documentation utile, et enfin, la vitesse. Grâce au fait qu'elle repose sur des connexions persistantes HTTP 1.1, cela implique qu'un navigateur n'a besoin que d'une connexion au serveur. Après cela, la même connexion sera utilisée pour toutes les requêtes après la première.\u003C/p>\n\u003Cp>Il y a aussi quelques inconvénients. Dans certains projets, des limitations insurmontables concernant le contenu dynamique peuvent être rencontrées. Essayons Goutte et PHP en action et cliquons sur la page d'intérêt (comme d'habitude, lorsque vous scrapez quoi que ce soit sur le web, n'oubliez pas les \u003Ca href=\"https://dexodata.com/en/pricing\" target=\"_blank\" rel=\"noopener\">proxies géo-ciblés résidentiels, de centre de données et mobiles de Dexodata disponibles à des tarifs avantageux\u003C/a>).\u003C/p>\n\u003Cp>Pour commencer, il faut \u003Ca href=\"https://getcomposer.org/\" target=\"_blank\" rel=\"noopener\">installer Composer\u003C/a>. Ce dernier est utilisé pour gérer les dépendances en ce qui concerne PHP. Il permet de déclarer les bibliothèques importantes pour un projet.\u003C/p>\n\u003Cp>Tout ce qu'il faut faire est d'exécuter ce type de commande dans le terminal :\u003C/p>\n\u003Cp>\u003Ccode>composer require fabpot/goutte\u003C/code>\u003C/p>\n\u003Cp>Ensuite, générez un script PHP pour l'initiative. Donnez-lui le nom que vous voulez. Ensuite, ouvrez votre nouveau script et complétez ces lignes de code pour faire fonctionner Goutte :\u003C/p>\n\u003Cp>\u003Ccode>require 'vendor/autoload.php';\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>use Goutte\\Client;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$client = new Client();\u003C/code>\u003C/p>\n\u003Cp>Super, Goutte est en pleine action et initialisé ! Après cela, fournissez ce couple de lignes ci-dessous à la fin du fichier pour récupérer une URL par le biais de la fonction \u003Ccode>client->request()\u003C/code>.\u003C/p>\n\u003Cp>\u003Ccode>$url = \"http://instance.com/\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$crawler = $client->request('GET', $url);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// Cliquez sur le lien \"Plus d'informations...\"\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$link = $crawler->selectLink('Plus d'informations…')->link();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$crawler = $client->click($link);\u003C/code>\u003C/p>\n\u003Cp>Il nous a fallu juste quelques lignes de code pour nous retrouver dans la bonne position pour naviguer vers une présence et faire des clics. Maintenant, il est temps de passer à la deuxième manche avec le site web proxy de confiance Dexodata.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor5\">\u003C/a>2. Simple HTML DOM\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>En tant que parseur, ce programme est conçu pour travailler avec n'importe quel document HTML, y compris ceux qui sont définis comme invalides par les spécifications HTML correspondantes. Son grand avantage est qu'il est facile à maîtriser, et il ne contient aucun élément JS externe à charger séparément avant de commencer à travailler. D'autres avantages incluent la vitesse (les utilisateurs n'ont pas besoin de charger une page entière en mémoire, donc vous pouvez traiter un tas de pages HTML simultanément sans que votre performance soit affectée) et le fait qu'il soit léger (c'est-à-dire qu'il n'est pas nécessaire d'installer un logiciel ou des bibliothèques supplémentaires, PHP seul suffira).\u003C/p>\n\u003Cp>Sans aucun doute, il existe des contraintes. Votre accès aux composants de la page sera limité : on peut effectuer des manipulations avec la structure d'une page, mais son contenu sera hors de portée. Il est à noter que Simple HTML DOM est assez rigide, donc à moins que vous ne soyez un dieu de HTML, le potentiel sera restreint.\u003C/p>\n\u003Cp>Assez de théorie, passons à la pratique.\u003C/p>\n\u003Cp>Pour commencer, obtenez la dernière version en visitant cet \u003Ca href=\"https://simplehtmldom.sourceforge.io/docs/1.9/index.html\" target=\"_blank\" rel=\"noopener\">espace de documentation Simple HTML DOM\u003C/a>. Cela vous donnera tout ce dont vous avez besoin.\u003C/p>\n\u003Cp>Tout d'abord, copiez le fichier \u003Ccode>simple_html_dom.php\u003C/code>. Ensuite, collez simplement ce dernier dans votre projet actif.\u003C/p>\n\u003Cp>Générez votre fichier PHP (les noms n'ont pas d'importance). Par exemple, webscrapingstuff.php.\u003C/p>\n\u003Cp>Maintenant, ouvrez le fichier et \"armez\" votre projet avec la bibliothèque Simple HTML DOM en l'ajoutant. Utilisez le code proposé par le site web proxy de confiance Dexodata ci-dessous :\u003C/p>\n\u003Cp>\u003Ccode>include('simple_html_dom.php');\u003C/code>\u003C/p>\n\u003Cp>Entrez cette ligne de code. Elle est importante, car elle vous dirigera vers la page elle-même :\u003C/p>\n\u003Cp>\u003Ccode>$html = file_get_html('http://instance.com/')\u003C/code>\u003C/p>\n\u003Cp>Le \u003Ccode>file_get_html\u003C/code>, étant une partie de Simple HTML DOM, est capable de récupérer le HTML associé à l'URL spécifiée. Plus tard, il livre un objet DOM stockant notre variable \u003Ccode>$html\u003C/code>.\u003C/p>\n\u003Cp>Disons que vous avez besoin du titre principal. Pour obtenir ce premier titre H1, appliquez ce code :\u003C/p>\n\u003Cp>\u003Ccode>echo $html->find('h1', 0)->plaintext;\u003C/code>\u003C/p>\n\u003Cp>Si vous ouvrez ce fichier résultant sur votre serveur web, vous trouverez ce dont vous avez besoin.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor6\">\u003C/a>3. PHP Scraper\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>En tant qu'écosystème d'adresses IP sur liste blanche et éthiquement sourcées axées sur la collecte de données, nous ne pouvons pas ignorer \u003Ca href=\"https://phpscraper.de\" target=\"_blank\" rel=\"noopener\">PHP Scraper\u003C/a>. Ce dernier sert d'outil permettant aux collecteurs de scraper des informations via des scripts PHP. Cette approche implique qu'il n'est pas nécessaire de coder beaucoup par vous-même. Tout ce qui est nécessaire est d'appliquer des commandes simples telles que \u003Ccode>find_element_by_class\u003C/code> ou \u003Ccode>find_element_by_id\u003C/code>. Elles suffiront pour des composants spécifiques sur une présence particulière en tapant leur classe ou leur numéro d'identification.\u003C/p>\n\u003Cp>Des problèmes ? Bien sûr, il existe quelques-uns. PHP Scraper peut ne pas correspondre à chaque cas d'utilisation possible, tant qu'il est, naturellement, basé sur PHP. Ainsi, il est compatible avec des serveurs associés à Apache ou Nginx et configurés via \u003Ccode>mod_rewrite\u003C/code> activé par défaut. PHP Scraper n'est pas votre direction à suivre si vous avez l'intention de récupérer des informations d'une API ou d'analyser des présences HTML sophistiquées.\u003C/p>\n\u003Cp>Quoi qu'il en soit, exécutons un scénario de base.\u003C/p>\n\u003Cp>Nos lecteurs doivent installer Composer, comme nous l'avons fait dans la section Goutte. Après cela, complétez votre projet avec la bibliothèque discutée, avec ce code via Composer :\u003C/p>\n\u003Cp>\u003Ccode>composer require spekulatius/phpscraper\u003C/code>\u003C/p>\n\u003Cp>Une fois l'étape d'installation derrière nous, l'autoloader de Composer prend en charge le package. Dans le cas où l'on travaille avec une bibliothèque VanillaPHP, il faut incorporer l'autoloader dans leur script, comme montré ci-dessous :\u003C/p>\n\u003Cp>\u003Ccode>require 'vendor/autoload.php'\u003C/code>\u003C/p>\n\u003Cp>En guise d'exercice, générez un script qui accède à une présence et énumère le nombre de liens publiés là-bas. Démarrez le programme et donnez-lui une variable, comme montré ici :\u003C/p>\n\u003Cp>\u003Ccode>$web = new \\spekulatius\\phpscraper();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>Donnez l'ordre au programme de visiter l'URL :  \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$web->go(' [http://instance.com/](http://instance.com/) ');\u003C/code>\u003C/p>\n\u003Cp>Complétez cette section de code chargée de prendre chaque lien contenu par la présence et d'imprimer leur nombre.\u003C/p>\n\u003Cp>\u003Ccode>// Imprimer le nombre de liens.\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>echo \"Cette page contient \" . count($web->links) . \" liens.\n\n\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// Boucle à travers les liens\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($web->links as $link) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>echo \" - \" . $link . \"\n\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>/**\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>* Ce code imprimera :\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>*\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>* Cette page contient 1 lien.\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>*\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>* - https://www.iana.org/domains/instance\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>*/\u003C/code>\u003C/p>\n\u003Cp>Rappelez-vous juste : Nous utilisons une adresse fictive.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor7\">\u003C/a>4. PHP cURL pour les opérations de scraping\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Après avoir revisité une gamme d'options mises à disposition pour les activités de collecte par PHP, notre site web proxy de confiance Dexodata vous offre une option supplémentaire pratique et largement utilisée. Nous parlons bien sûr de \u003Ca href=\"https://www.php.net/manual/en/book.curl.php\" target=\"_blank\" rel=\"noopener\">\u003Ccode>cURL\u003C/code>, une bibliothèque et un outil en ligne de commande\u003C/a> (normalement disponible avec le langage par défaut) permettant aux utilisateurs d'envoyer et de recevoir des fichiers via HTTP et FTP. En travaillant avec, on peut appliquer des proxies géo-ciblés (y compris ceux fournis avec notre essai gratuit de proxy payant), transmettre des données via des connexions SSL, définir des cookies, et plus encore. Essayons-le en pratique.\u003C/p>\n\u003Cp>Générez un nouveau script PHP et complétez ce code :\u003C/p>\n\u003Cp>\u003Ccode>// Initialiser curl\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$ch = curl_init();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// URL pour le scraping\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($ch, CURLOPT_URL,\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>'https://dexodata.com/en/blog');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// Retourner le transfert vrai\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$output = curl_exec($ch);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// Fermeture de cURL\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_close($ch);\u003C/code>\u003C/p>\n\u003Cp>Définir \u003Ccode>CURLOPT_RETURNTRANSFER\u003C/code> comme \u003Ccode>TRUE \u003C/code>soumet la page sous forme de chaîne au lieu de l'afficher directement. Ainsi, notre code prend les informations que nous devons récolter sur le site.\u003C/p>\n\u003Cp>On peut jeter un œil à ces données via un echo avec la variable de stockage des données :\u003C/p>\n\u003Cp>\u003Ccode>echo $output\u003C/code>\u003C/p>\n\u003Cp>Notre prochaine étape consiste à placer ces informations dans un document DOM, ce qui nous permettra d'y accéder à des fins de scraping.\u003C/p>\n\u003Cp>\u003Ccode>$dom = new DOMDocument;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$dom->loadHTML($output);\u003C/code>\u003C/p>\n\u003Cp>Actuellement, nous avons nos informations sous forme de structure HTML à l'intérieur d'une variable. Générez un code supplémentaire pour imprimer chaque lien mis à disposition par la page HTML :\u003C/p>\n\u003Cp>\u003Ccode>$tags = $dom->getElementsByTagName('a');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>for($I=0; $I < $tags->length; $I++){\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$link = $tags->item($i);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>echo \" - \" . $link . \"\n\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>Au fait, en tant que source de proxies géo-ciblés avec des opportunités d'essai gratuit de proxy payant, nous exhortons les utilisateurs à ne pas oublier de protéger leurs initiatives de scraping avec les adresses que nous fournissons (par exemple, nos \u003Ca href=\"https://dexodata.com/en/residential-proxies\" target=\"_blank\" rel=\"noopener\">IP résidentielles de premier ordre des FAI\u003C/a> ou, alternativement, nos proxies mobiles de haute qualité). L'écosystème Dexodata montrera aux lecteurs comment procéder via \u003Ccode>cURL\u003C/code>. Tout ce qu'ils doivent faire est de suivre la syntaxe.\u003C/p>\n\u003Cp>\u003Ccode>curl --proxy <proxy-ip>:<proxy-port> <url>\u003C/code>\u003C/p>\n\u003Cp>Tout d'abord, la section <proxy-ip> est destinée à insérer l'IP, tandis que la seconde section <proxy-port> est destinée, prévisiblement, au numéro de port. Finalement, cela ressemblera à :\u003C/p>\n\u003Cp>\u003Ccode>curl --proxy 193.191.56.12:7070 -k https://dexodata.com/en/blog\u003C/code>\u003C/p>\n\u003Cp>À condition que l'adresse soit fonctionnelle et que la requête soit réussie, notre script affichera le contenu de la présence pour ensuite sortir. \u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor8\">\u003C/a>Création d'un scraper : un scénario d'exemple\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Imaginons une présence e-commerce avec une liste d'articles à vendre que nous voulons récolter via PHP. Que devrions-nous faire ? Quelles alternatives devrions-nous utiliser ? Suivez notre site web proxy de confiance et examinez ce scénario d'exemple.\u003C/p>\n\u003Cp>Commencez par télécharger l'intégralité du HTML de la présence e-commerce via le potentiel de PHP et le bon vieux \u003Cspan style=\"font-family: monospace; background-color: #b4d7ff;\">cURL\u003C/span>, comme ceci :\u003C/p>\n\u003Cp>\u003Ccode>// initialiser la requête cURL \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$curl = curl_init(); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// définir l'URL à atteindre avec une requête HTTP GET \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_URL, \"https://scrapeme.live/shop/\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// obtenir les données retournées par la requête cURL sous forme de chaîne \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// faire en sorte que la requête cURL suive d'éventuelles redirections, \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// et atteindre la page finale d'intérêt \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// exécuter la requête cURL et \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// obtenir le HTML de la page sous forme de chaîne \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$html = curl_exec($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// libérer les ressources cURL \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_close($curl);\u003C/code>\u003C/p>\n\u003Cp>Les éléments liés au HTML sont à notre entière disposition, sous la forme de la variable \u003Ccode>$html\u003C/code>, comme le souligne Dexodata. Votre prochaine mesure est de charger \u003Ccode>$html\u003C/code> dans une instance \u003Ccode>HtmlDomParser\u003C/code> avec la fonction \u003Ccode>str_get_html()\u003C/code>. Voyez comment cela peut être fait ci-dessous :\u003C/p>\n\u003Cp>\u003Ccode>require_once __DIR__ . \"../../vendor/autoload.php\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>use voku\\helper\\HtmlDomParser; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$curl = curl_init(); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_URL, \"https://scrapeme.live/shop/\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$html = curl_exec($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_close($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// initialiser HtmlDomParser \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$htmlDomParser = HtmlDomParser::str_get_html($html);\u003C/code>\u003C/p>\n\u003Cp>Vous et notre site web proxy de confiance êtes maintenant en bonne position pour appliquer \u003Ccode>HtmlDomParser\u003C/code> dans le but ultime de parcourir le DOM de la présence HTML et d'initier efficacement le processus de collecte de données.\u003C/p>\n\u003Cp>C'est ce que Dexodata est sur le point d'accomplir. Pour y parvenir, \"sauvez\" la liste complète de tous les liens liés à la pagination dans notre scénario. Dans notre cas, cela nous donnera l'opportunité de parcourir l'ensemble de la section de la présence web. Faites un clic droit sur le composant HTML lié au chiffre de pagination et choisissez \"Inspecter\". Après cela, nos DevTools nous montreront l'élément DOM.\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/129/15-3-geo-targeted-proxies-php-and-data-collection-1032x491-d5d805e4-e80c-4dfc-a6e5-401c7a54a0fc.png\" alt=\"Comment collecter des données en PHP avec un site web proxy de confiance\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>Passons à l'écosystème de proxies géo-ciblés de Dexodata. On peut s'attendre à ce que le \u003Ccode>.page-numbers\u003C/code>, en tant que classe CSS, identifie les composants HTML liés à la pagination. Cependant, l'équipe de notre site web proxy de confiance nous rappellerait que une classe CSS peut ne pas nécessairement identifier un composant HTML de manière unique. Plusieurs nœuds peuvent en fait être liés à la même classe unique.\u003C/p>\n\u003Cp>Par conséquent, si votre intention est d'appliquer un sélecteur CSS pour récupérer les composants dans le DOM, il est inévitable d'appliquer la classe CSS avec d'autres sélecteurs. Plus précisément, les utilisateurs pourraient appliquer l'assistant HtmlDomParser, avec le sélecteur CSS \u003Ccode>.page-numbers\u003C/code>, pour choisir tous les composants HTML liés à la pagination. Ensuite, notre écosystème de proxies géo-ciblés vous suggérerait d'itérer à travers eux pour récupérer chaque URL nécessaire directement à partir de l'attribut href.\u003C/p>\n\u003Cp>Vérifiez cela :\u003C/p>\n\u003Cp>\u003Ccode>// récupérer les éléments HTML de pagination avec \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// le sélecteur CSS \".page-numbers a\" \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$paginationElements = $htmlDomParser->find(\".page-numbers a\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$paginationLinks = []; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($paginationElements as $paginationElement) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>// peupler l'ensemble paginationLinks avec l'URL \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>// extraite de l'attribut href de l'élément HTML de pagination \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$paginationLink = $paginationElement->getAttribute(\"href\"); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>// éviter les doublons dans la liste des URLs \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>if (!in_array($paginationLink, $paginationLinks)) { \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$paginationLinks[] = $paginationLink; \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>}  \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// imprimer le tableau paginationLinks \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>print_r($paginationLinks);\u003C/code>\u003C/p>\n\u003Cp>Faites attention au fait que \u003Ccode>find()\u003C/code> permet aux utilisateurs de \u003Ca href=\"https://github.com/voku/simple_html_dom/blob/master/README_API.md#findstring-selector-intnull-idx-simplehtmldominterfacesimplehtmldominterfacesimplehtmldomnodeinterfacesimplehtmldominterface\" target=\"_blank\" rel=\"noopener\">récupérer des composants DOM\u003C/a> sur la base d'un sélecteur CSS. De plus, dans le scénario hypothétique de Dexodata, les composants liés à la pagination sont présents deux fois sur chaque page de la présence e-commerce. Il faut fournir une astuce unique et ajustée pour gérer le problème des composants en double lorsque le tableau \u003Ccode>$paginationLinks\u003C/code> est en jeu.\u003C/p>\n\u003Cp>Voici ce que nous verrons si nous essayons d'exécuter notre script pour le scénario :\u003C/p>\n\u003Cp>\u003Ccode>Array ( \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>[0] => https://scrapeme.live/shop/page/2/ \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>[1] => https://scrapeme.live/shop/page/3/ \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>[2] => https://scrapeme.live/shop/page/4/ \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>[3] => https://scrapeme.live/shop/page/46/ \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>[4] => https://scrapeme.live/shop/page/47/ \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>[5] => https://scrapeme.live/shop/page/50/ \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>)\u003C/code>\u003C/p>\n\u003Cp>Notez que toutes les adresses possèdent une structure identique. C'est-à-dire qu'elles sont toutes marquées par le chiffre final responsable de la pagination. Si les lecteurs ont l'intention d'itérer sur chacune d'elles, la seule chose dont ils ont besoin est le chiffre identifiant associé à la dernière page.\u003C/p>\n\u003Cp>Il est sujet à être récupéré comme montré ci-dessous :\u003C/p>\n\u003Cp>\u003Ccode>// supprimer tous les caractères non numériques dans le dernier élément de \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// le tableau $paginationLinks pour récupérer le plus grand numéro de pagination \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$highestPaginationNumber = preg_replace(\"/\\D/\", \"\", end($paginationLinks));\u003C/code>\u003C/p>\n\u003Cp>Disons que notre \u003Ccode>$highestPaginationNumber\u003C/code> sera \"50\".\u003C/p>\n\u003Cp>Il est donc temps de récupérer les informations décrivant un produit individuel avec l'équipe Dexodata. Nous devons faire un clic droit sur un article et activer la fenêtre DevTools, suivie de \"Inspecter\". On peut s'attendre à ce qu'un article soit \"composé de\" un élément HTML \u003Ccode>li.product\u003C/code> englobant une URL, une image, un titre et une étiquette de prix. Ces informations proviennent des composants HTML \u003Ccode>a\u003C/code>, puis \u003Ccode>mg\u003C/code>, puis \u003Ccode>h2\u003C/code>, puis \u003Ccode>span\u003C/code>, respectivement.\u003C/p>\n\u003Cp>Le site web proxy de confiance Dexodata propose cette manière de récupérer ces informations via HtmlDomParser :\u003C/p>\n\u003Cp>\u003Ccode>$productDataLit = array(); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// récupérer la liste des produits sur la page \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$productElements = $htmlDomParser->find(\"li.product\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($productElements as $productElement) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>// extraire les données du produit \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$url = $productElement->findOne(\"a\")->getAttribute(\"href\"); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$image = $productElement->findOne(\"img\")->getAttribute(\"src\"); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$name = $productElement->findOne(\"h2\")->text; \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$price = $productElement->findOne(\".price span\")->text; \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>// transformer les données du produit en un tableau associatif \u003C/span>\u003C/p>\n\u003Cp>\u003Ccode>$productData = array( \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"url\" => $url, \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"image\" => $image, \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"name\" => $name, \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"price\" => $price \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$productDataList[] = $productData; \u003C/code>\u003C/p>\n\u003Cp>}\u003C/p>\n\u003Cp>Une fois notre logique ayant réussi à récupérer tous les morceaux d'informations sur les articles d'une seule page et à les enregistrer ensuite sous forme de tableau \u003Ccode>$productDataList\u003C/code>. Appliquez cette logique à chaque page.\u003C/p>\n\u003Cp>\u003Ccode>// itérer sur toutes les pages \"/shop/page/X\" et récupérer toutes les données des produits \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>for ($paginationNumber = 1; $paginationNumber <= $highestPaginationNumber; $paginationNumber++) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$curl = curl_init(); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>curl_setopt($curl, CURLOPT_URL, \"https://scrapeme.live/shop/page/$paginationNumber/\"); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$pageHtml = curl_exec($curl); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>curl_close($curl); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$paginationHtmlDomParser = HtmlDomParser::str_get_html($pageHtml); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>// logique de scraping... \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>}\u003C/p>\n\u003Cp>Super ! Nous sommes arrivés à la situation où nous pouvons extraire des données comme prévu.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor9\">\u003C/a>Remarques finales \u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>En gérant un écosystème de proxies géo-ciblés, nous aimerions finaliser ce guide avec quelques remarques. Essayez d'éviter d'être détecté et restreint en tant que scraper. Pour cela, nous vous rappelons les proxies que nous avons déjà mentionnés.\u003C/p>\n\u003Cp>Voici un autre rappel sur la manière dont on peut ajouter leurs identifiants de proxy :\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_PROXY, \"<PROXY_URL>\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_PROXYPORT, \"<PROXY_PORT>\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_PROXYTYPE, \"<PROXY_TYPE>\");\u003C/code>\u003C/p>\n\u003Cp>1. Une couche supplémentaire de protection peut être constituée par un en-tête HTTP user-agent. Par définition, \u003Cspan style=\"font-family: monospace; background-color: #b4d7ff;\">cURL\u003C/span> définirait toujours quelque chose comme \u003Ccode>curl/XX.YY.ZZ\u003C/code>. Ce ne sera pas un gros problème de détecter un utilisateur avec un tel en-tête. Au lieu de cela, essayez de \"jouer\" avec l'en-tête ici.\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_USERAGENT, \"<USER_AGENT_STRING>\");\u003C/code>\u003C/p>\n\u003Cp>En conséquence, vous placerez quelque chose comme ceci, un exemple trouvé sur Internet :\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_USERAGENT, \"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6\")\u003C/code>\u003C/p>\n\u003Cp>2. Une autre remarque de Dexodata est axée sur le contenu dynamique. Nous avons souligné que la requête \u003Ccode>GET cURL\u003C/code> habituelle ne vous aidera pas avec cela, des techniques plus avancées seront nécessaires. Revenez à notre \u003Ca href=\"https://dexodata.com/en/blog/using-java-for-data-scraping-and-harvesting-on-the-web\" target=\"_blank\" rel=\"noopener\">guide dédié à JS\u003C/a> et apprenez-en plus sur les navigateurs sans tête, c'est-à-dire des packages logiciels de navigation sans interface utilisateur. Cela vous aidera à construire un scraper interagissant avec une présence comme un véritable utilisateur et extrayant du contenu dynamique simultanément.\u003C/p>\n\u003Cp>3. Notre troisième remarque est dédiée au scraping parallèle. Le multi-threading en PHP est difficile mais parfois inévitable. Voici comment vous pouvez relever ce défi avec le site web proxy de confiance Dexodata. Notre concept est de permettre à votre script de scraping d'être exécuté sur plusieurs instances en appliquant des paramètres \u003Ccode>HTTP GET\u003C/code>.\u003C/p>\n\u003Cp>Modifiez le script afin qu'il n'itère pas sur toutes les pages et se concentre plutôt sur des morceaux parallèles plus petits. Voici comment on peut modifier le script et définir les limites d'un \"morceau\". Il suffit de définir quelques paramètres GET, comme souligné ci-dessous :\u003C/p>\n\u003Cp>\u003Ccode>$from = null; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$to = null; \u003C/code>\u003C/p>\n\u003Cp> \u003C/p>\n\u003Cp>\u003Ccode>if (isset($_GET[\"from\"]) && is_numeric($_GET[\"from\"])) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$from = $_GET[\"from\"]; \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>} \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>if (isset($_GET[\"to\"]) && is_numeric($_GET[\"to\"])) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>$to = $_GET[\"to\"]; \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>} \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>if (is_null($from) || is_null($to) || $from > $to) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>die(\"Paramètres from et to invalides !\"); \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>} \u003C/p>\n\u003Cp>// scrape uniquement les pages de pagination dont le numéro va \u003C/p>\n\u003Cp>// de \"$from\" à \"$to\" \u003C/p>\n\u003Cp>\u003Ccode>for ($paginationNumber = $from; $paginationNumber <= $to; $paginationNumber++) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: normal;\">\u003Cspan style=\"white-space: pre;\"> \u003C/span>// logique de scraping... \u003C/span>\u003C/code>\u003C/p>\n\u003Cp>}\u003C/p>\n\u003Cp>// écrire les données extraites dans une base de données/fichier\u003C/p>\n\u003Cp>Cela vous préparera à initier plusieurs instances en activant plusieurs liens dans le navigateur :\u003C/p>\n\u003Cp>\u003Ccode>https://instance.com/scripts/scrapeme.live/scrape-products.php?from=1&to=5 \u003C/code>\u003C/p>\n\u003Cp>et similaires.\u003C/p>\n\u003Cp>Ils seront exécutés simultanément et scraperont la présence en parallèle. C'est tout. Merci de rester avec Dexodata, votre écosystème éthique de proxies mobiles, de centre de données et résidentiels \u003Ca href=\"https://dexodata.com/en/blog/why-dexodata-implements-aml-and-kyc-policies\" target=\"_blank\" rel=\"noopener\">avec toutes les normes KYC et AML appliquées\u003C/a>.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936367240]