[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},129,"blog","ua-php-i-avtomatizirovannyi-sbor-dannyx","PHP та автоматизоване збору даних","https://blog.dexodata.com/storage/uploads/previews/15-3-s-trusted-proxy-website-php-and-data-collection-cover-1032x491-058e15f3-9c89-4100-a80c-ca121dc343ea.webp","https://blog.dexodata.com/storage/uploads/covers/15-3-b-trusted-proxy-website-php-and-data-collection-cover-1032x491-accb4767-8ff9-4506-aa0e-4cf5aac6a61e.webp","2024/08/13","2024/07/31","Як збирати дані в Мережі з PHP та орендою проксі","Потенціал PHP для збору даних в інтернеті. Вивчаємо разом з Dexodata, сайтом проксі сервером з пулом найкращих резидентних та мобільних проксі для роботи.","","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Зміст:\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">Основи та вимоги до дата-харвестингу з PHP\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Автоматизований збір даних через PHP: Пробний сценарій\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">Еволюція. Бібліотеки та інструменти PHP\u003C/a>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor4\">Goutte\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor5\">Simple HTML DOM\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor6\">PHP Scraper\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor7\">cURL для збору даних з PHP\u003C/a>\u003C/li>\n\u003C/ul>\n\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor8\">Створюємо скрейпер на PHP: приклад\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor9\">Підсумкові зауваження \u003C/a>\u003C/li>\n\u003C/ul>\n\u003Cp>Стаття нижче підводить проміжний підсумок серії матеріалів по світу дата-харвестингу за допомогою мов програмування. Сайт проксі сервер Dexodata з системою гнучких налаштувань вже вивчив потенціал Python, JavaScript та мови Java. Тепер час попрацювати з PHP (в майбутньому ми плануємо торкнутися й інших тем).\u003C/p>\n\u003Cp>Існує думка, що ця опція застаріла. Чому розкривати її для читачів, яким потрібна оренда проксі для роботи з власноруч написаною програмою? Причини є. \u003Ca href=\"https://uk.wikipedia.org/wiki/PHP\" target=\"_blank\" rel=\"noopener\">PHP є серверною скриптовою мовою\u003C/a>, що з'явилася в 1995 році. В цьому статусі вона досі обслуговує потреби веб-розробників та розвивається (\u003Ca href=\"https://php.watch/versions/8.4\" target=\"_blank\" rel=\"noopener\">остання версія PHP — 8.4\u003C/a>):  \u003C/p>\n\u003Cul>\n\u003Cli>В інтернет-світі не так багато людей, які не знають, що таке WordPress. Ця CMS працює на PHP та підтримує близько 40% сайтів у світі. Не всі вони популярні. 40% сторінок не дорівнюють 40% трафіку або 40% даних. Але частка суттєва; \u003C/li>\n\u003Cli>Окрім управління контентом, в 80% випадків PHP забезпечує серверні потреби сайтів (коли цей факт можна встановити);\u003C/li>\n\u003Cli>На PHP досі з'являються сучасні продукти. Користувачі, що звертаються до наших найкращих резидентних та мобільних проксі для роботи в соціальних мережах, можуть не знати, але \u003Ca href=\"https://slack.engineering/taking-php-seriously/\" target=\"_blank\" rel=\"noopener\">Slack побудований на PHP\u003C/a>. Так, це не соцмережа, але схожі елементи там є.\u003C/li>\n\u003C/ul>\n\u003Cp>Як мова, спочатку «предрасположена» для інтернету, PHP є робочим варіантом для сценаріїв низької та середньої складності. З його допомогою реально:\u003C/p>\n\u003Col>\n\u003Cli>Ініціювати запити;\u003C/li>\n\u003Cli>Забирати інформацію;\u003C/li>\n\u003Cli>Зберігати дані в підходящому форматі, як то CSV, JSON або XML.\u003C/li>\n\u003C/ol>\n\u003Cp>Підсумок: PHP є ресурсом для парсингу, оскільки він здатний взаємодіяти з сайтами, розуміти та обробляти HTML, а також збирати інформацію про сторінку за допомогою ряду функцій та бібліотек. Він не такий просунутий та гнучкий, і його не слід вибирати для динамічного контенту. І все ж він є життєздатною альтернативою. Ми говоримо про це як експерти в \u003Ca href=\"https://dexodata.com/ru/data-gathering\" target=\"_blank\" rel=\"noopener\">сфері веб-скрейпінгу\u003C/a>.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>Основи та вимоги до дата-харвестингу з PHP\u003C/h2>\n\u003Cp>Перш ніж рухатися далі, варто впевнитися в наступних моментах:\u003C/p>\n\u003Col>\n\u003Cli>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>HTTP-запити\u003C/strong>\u003C/span>. Тут ми маємо на увазі протокол, застосовуваний серверами для відправки та отримання інформації. Щоб прийняти дані про сайт, користувач повинен надіслати HTTP-запит на сервер, що відповідає за розміщення цієї сторінки. В PHP є такі вбудовані функції, як \u003Ccode>cURL\u003C/code>, \u003Ccode>file_get_contents()\u003C/code>, а також \u003Ccode>fopen()\u003C/code>, що дозволяють направляти HTTP-запити та «знімати» інформацію зі сторінок;\u003C/li>\n\u003Cli>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>Парсинг HTML\u003C/strong>\u003C/span>. Як мова, призначена для «конструювання» веб-сторінок, PHP пропонує такі вбудовані функції, як \u003Ccode>DOMDocument\u003C/code> та \u003Ccode>SimpleXMLElement\u003C/code>, що дозволяють аналізувати HTML для отримання даних;\u003C/li>\n\u003Cli>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>Регулярні вирази\u003C/strong>\u003C/span> слугують інструментом для співставлення шаблонів та здійснення маніпуляцій з текстовим контентом. Знову ж, і тут PHP пропонує вбудовані функції, наприклад, \u003Ccode>preg_match()\u003C/code> разом з \u003Ccode>preg_replace()\u003C/code>, що дозволяють використовувати регулярні вирази для скрейпінгу.\u003C/li>\n\u003C/ol>\n\u003Cp>Цих понять буде достатньо, якщо користувачі мають намір створити в PHP просту програму для передачі HTTP-запитів на сайт, «ухоплення» HTML та аналізу коду.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>Автоматизований збір даних через PHP: Пробний сценарій\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Припустимо, необхідно витягти відомості, що містяться на сайті e-commerce у вигляді списку товарів (нижче показується простий випадок, у наступних розділах будуть більш складні задачі). Потрібно отримати найменування, вартість та зображення кожного предмета та зберегти цю інформацію у вигляді CSV. Ось найпрямолінійніший шлях.\u003C/p>\n\u003Cp>\u003Ccode><?php\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$url = 'https://sample.com/items';\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$html = file_get_contents($url);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$dom = new DOMDocument();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$dom->loadHTML($html);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$items = $dom->getElementsByTagName('article');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$data = [];\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($items as $item) { // Fixed variable name from $items to $item\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $name = $item->getElementsByTagName('h2')[0]->textContent;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $price = $item->getElementsByTagName('span')[0]->textContent;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $image = $item->getElementsByTagName('img')[0]->getAttribute('src');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    $data[] = [$name, $price, $image];\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$fp = fopen('items.csv', 'w');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($data as $fields) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    fputcsv($fp, $fields);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>fclose($fp);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>?>\u003C/code>\u003C/p>\n\u003Cp>Ми спочатку передаємо HTTP-запит на сайт за допомогою \u003Ccode>file_get_contents()\u003C/code>, потім переключаємося на синтаксичний аналіз вмісту HTML з \u003Ccode>DOMDocument\u003C/code> та отримуємо відповідну інформацію за допомогою методу \u003Ccode>getElementsByTagName()\u003C/code>. Потім можна зберегти отримані дані в масиві для запису в CSV-файл через \u003Ccode>fputcsv()\u003C/code>. \u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>Еволюція. Бібліотеки та інструменти PHP\u003C/h3>\n\u003Ch3>\u003Ca name=\"anchor4\">\u003C/a>1. Goutte\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>\u003Ca href=\"https://github.com/FriendsOfPHP/Goutte\" target=\"_blank\" rel=\"noopener\">Goutte слугує повнофункціональною бібліотекою\u003C/a> в рамках роботи з PHP. Її здатні освоїти новачки, і все завдяки зрозумілому об'єктно-орієнтованому характеру. Що стосується інших переваг, то це ком'юніті вражаючих розмірів, обширна документація і, нарешті, швидкість. Через те, що Goutte покладається на HTTP 1.1, браузеру потрібно лише одне з'єднання з сервером. Після цього одне й те ж з'єднання буде використовуватися для всіх наступних запитів. Є й недоліки. Наприклад, можуть виникнути непереборні перешкоди щодо динамічного контенту.\u003C/p>\n\u003Cp>Спробуємо Goutte, щоб зробити клік на потрібному сайті (як і при інших подібних маніпуляціях, не забувайте про резидентні проксі від Dexodata, а також про наші мобільні адреси та \u003Ca href=\"https://dexodata.com/ru/pricing\" target=\"_blank\" rel=\"noopener\">серверні IP від 3,65 USD за 1 Гб\u003C/a>).\u003C/p>\n\u003Cp>Для початку \u003Ca href=\"https://getcomposer.org/\" target=\"_blank\" rel=\"noopener\">встановимо Composer\u003C/a>. Так можна буде управляти залежностями і взагалі працювати з бібліотеками. Даємо вводну в терміналі:\u003C/p>\n\u003Cp>\u003Ccode>composer require fabpot/goutte\u003C/code>\u003C/p>\n\u003Cp>Потім створюємо PHP-скрипт і називаємо, як хочемо. Відкриваємо його і вносимо код для початку роботи з Goutte:\u003C/p>\n\u003Cp>\u003Ccode>require 'vendor/autoload.php';\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>use Goutte\\Client;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$client = new Client();\u003C/code>\u003C/p>\n\u003Cp>Goutte ми запустили! Ставимо цей код в кінці файлу, щоб ухопити URL через функцію \u003Ccode>client->request()\u003C/code>.\u003C/p>\n\u003Cp>\u003Ccode>$url = \"http://instance.com/\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$crawler = $client->request('GET', $url);\u003C/code>\u003C/p>\n\u003Cp> \u003C/p>\n\u003Cp>\u003Ccode>// Click on the \"More information...\" link\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$link = $crawler->selectLink('More information…')->link();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$crawler = $client->click($link);\u003C/code>\u003C/p>\n\u003Cp>Ось так ми й відправилися до потрібної сторінки і дали команду на клік.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor5\">\u003C/a>2. Simple HTML DOM\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Будучи парсером, ця програма призначена для роботи з будь-яким документом HTML. Плюс в тому, що його легко освоїти. Він не строго прив'язаний до зовнішніх матеріалів, пов'язаних з JS, які потрібно було б підвантажувати окремо до старту роботи. Інші достоїнства включають швидкість (користувачам не потрібно завантажувати в пам'ять цілий сайт, тому можна одночасно обробляти кілька HTML-сторінок без шкоди для продуктивності) і простоту установки (немає необхідності ставити додаткове ПЗ або бібліотеки, достатньо PHP).\u003C/p>\n\u003Cp>Обмеження теж є. Доступ до компонентів сторінки буде обмежений: можна виконувати маніпуляції зі структурою, але вміст залишиться поза зоною доступу. І взагалі треба непогано знати HTML. Але перейдемо до практики.\u003C/p>\n\u003Cp>Ідемо на \u003Ca href=\"https://simplehtmldom.sourceforge.io/docs/1.9/index.html\" target=\"_blank\" rel=\"noopener\">сторінку з документацією Simple HTML DOM\u003C/a>. Копіюємо \u003Ccode>simple_html_dom.php\u003C/code>. Вставляємо в активний проект. Генеруємо файл PHP (імена знову неважливі), нехай буде \u003Cspan style=\"color: #3598db;\">\u003Cem>\u003Cstrong>webscrapingstuff.php\u003C/strong>\u003C/em>\u003C/span>. Тепер відкриваємо файл і «озброюємо» проект бібліотекою Simple HTML DOM:\u003C/p>\n\u003Cp>\u003Ccode>include('simple_html_dom_php');\u003C/code>\u003C/p>\n\u003Cp>Далі додаємо код, який направить нас до сторінки:\u003C/p>\n\u003Cp>\u003Ccode>$html = file_get_html('http://instance.com/')\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>file_get_html\u003C/code>, як частина Simple HTM DOM, здатна витягти HTML зі сторінки з заданим URL. Потім вона підвантажує DOM-об'єкт для зберігання змінної \u003Ccode>$html\u003C/code>.\u003C/p>\n\u003Cp>Припустимо, нам потрібен головний заголовок. Щоб отримати H1, застосовуємо код:\u003C/p>\n\u003Cp>\u003Ccode>echo $html->find('h1', 0)->plaintext;\u003C/code>\u003C/p>\n\u003Cp>Відкриваємо підсумковий файл і знаходимо його там.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor6\">\u003C/a>3. PHP Scraper\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Як \u003Ca href=\"https://dexodata.com/en/data-scraping\" target=\"_blank\" rel=\"noopener\">екосистема для етичного дата-харвестингу, Dexodata\u003C/a> не може обійти увагою PHP Scraper. Для користувачів цей варіант відкриває канал для скрейпінгу за допомогою PHP-скриптів. Такий підхід не передбачає необхідності писати багато коду. Все, що потрібно, — це застосування таких незамысловатих команд, як \u003Ccode>find_element_by_class\u003C/code> або \u003Ccode>find_element_by_id\u003C/code>. Їх вистачить для збору елементів з сайту при введенні id та класу.\u003C/p>\n\u003Cp>Але й без проблем не обійдеться. \u003Ca href=\"https://phpscraper.de\" target=\"_blank\" rel=\"noopener\">PHP Scraper\u003C/a> може не відповідати кожному можливому варіанту використання. Його використання «заточене» під сайти на Apache або Nginx та налаштовані через активований за замовчуванням mod_rewrite. PHP Scraper — не варіант, якщо треба отримувати інформацію з API або аналізувати складні HTML-блоки.\u003C/p>\n\u003Cp>Рухаємось далі.\u003C/p>\n\u003Cp>Потрібно встановити Composer, як це було зроблено в розділі з Goutte. Після чого ставимо там код для активації:\u003C/p>\n\u003Cp>\u003Ccode>composer require spekulatius/phpscraper\u003C/code>\u003C/p>\n\u003Cp>Установка позаду, автоматичний підвантажувач Composer підхопить наш пакет. Якщо користувач працює з VanillaPHP, то підвантажувачі треба інтегрувати в скрипт, ось так:\u003C/p>\n\u003Cp>\u003Ccode>require 'vendor/autoload.php'\u003C/code>\u003C/p>\n\u003Cp>В якості вправи створимо проект, який здатний зайти на сайт, порахувати та зібрати розміщені там посилання. Запускаємо програму і даємо їй змінну:\u003C/p>\n\u003Cp>\u003Ccode>$web = new \\spekulatius\\phpscraper();\u003C/code>\u003C/p>\n\u003Cp>Вказуємо програмі напрямок у вигляді URL:\u003C/p>\n\u003Cp>\u003Ccode>$web->go(' [http://instance.com/](http://instance.com/) ');\u003C/code>\u003C/p>\n\u003Cp>Вносимо цей розділ коду, відповідальний за «висмикування» кожного посилання на сайті та виведення їх кількості.\u003C/p>\n\u003Cp>\u003Ccode>// Print the number of links.\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>echo \"This page contains \" . count($web->links) . \" links.\n\n\";\u003C/code>\u003C/p>\n\u003Cp> \u003C/p>\n\u003Cp>\u003Ccode>// Loop through the links\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($web->links as $link) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>echo \" - \" . $link . \"\n\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp> \u003C/p>\n\u003Cp>\u003Ccode>/**\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>* This code will print out:\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>*\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>* This page contains 1 link.\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>*\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>* - https://www.iana.org/domains/instance\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>*/\u003C/code>\u003C/p>\n\u003Cp>Не забувайте: ми тут використовуємо вигадані адреси.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor7\">\u003C/a>4. cURL для збору даних з PHP\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Розглянувши три приклади, виділимо в окремий розділ, можливо, найвідомішу опцію — \u003Ccode>cURL\u003C/code>. Це бібліотека та інструмент для роботи з командним рядком, що дозволяє відправляти та отримувати файли через HTTP та FTP. При його використанні можна застосовувати геотаргетовані проксі від Dexodata (в тому числі ті, що надаються в рамках безкоштовного пробного періоду), передавати дані через SSL-з'єднання та багато іншого. Протестуємо цей варіант на практиці.\u003C/p>\n\u003Cp>Створюємо PHP-скрипт і використовуємо запропонований код:\u003C/p>\n\u003Cp>\u003Ccode>// Initialize curl\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$ch = curl_init();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// URL for Scraping\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($ch, CURLOPT_URL,\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>'https://example.com');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// Retun Transfer True\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$output = curl_exec($ch);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// Closing cURL\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_close($ch);\u003C/code>\u003C/p>\n\u003Cp>Визначення \u003Ccode>CURLOPT_RETURNTRANSFER\u003C/code> як \u003Ccode>TRUE \u003C/code>надає нам сторінку у вигляді рядка. А значить, наш код може забрати інформацію для подальших дій.\u003C/p>\n\u003Cp>Взглянути на ці дані можна через echo з змінною для зберігання даних:\u003C/p>\n\u003Cp>\u003Ccode>echo $output\u003C/code>\u003C/p>\n\u003Cp>Наступний крок — розмістити інформацію в документі DOM, що дозволить нам піддати її скрейпінгу.\u003C/p>\n\u003Cp>\u003Ccode>$dom = new DOMDocument;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$dom->loadHTML($output);\u003C/code>\u003C/p>\n\u003Cp>В даний момент у нас є інформація у вигляді якоїсь HTML-структури всередині змінної. Розмістіть додатковий код, щоб роздрукувати кожне посилання, доступне на HTML-сторінці:\u003C/p>\n\u003Cp>\u003Ccode>$tags = $dom->getElementsByTagName('a');\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>for($I=0; $I < $tags->length; $I++){\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$link = $tags->item($i);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>echo \" - \" . $link . \"\n\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>Як екосистема геотаргетованих проксі, закликаємо не забувати про захист від виявлення з боку адміністраторів за допомогою адрес, які ми надаємо (наприклад, наші \u003Ca href=\"https://dexodata.com/ru/residential-proxies\" target=\"_blank\" rel=\"noopener\">резидентні IP від інтернет-провайдерів\u003C/a> або мобільні проксі з ротацією). Dexodata підкаже, як використовувати їх у \u003Ccode>cURL\u003C/code>. Просто дотримуйтесь синтаксису:\u003C/p>\n\u003Cp>\u003Ccode>curl --proxy <proxy-ip>:<proxy-port> <url>\u003C/code>\u003C/p>\n\u003Cp>В <<proxy-ip>> ставимо адресу, а секція <<proxy-port>> призначена для номера порту. На виході повинно вийти нещо на зразок:\u003C/p>\n\u003Cp>\u003Ccode>curl --proxy 193.191.56.12:7070 -k https://example.com\u003C/code>\u003C/p>\n\u003Cp>Якщо використовуваний проксі є функціональним, а запит увінчався успіхом, наш скрипт покаже потрібний вміст. \u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor8\">\u003C/a>Створюємо скрейпер на PHP: приклад\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Ще раз уявимо собі сайт e-commerce зі списком товарів, які ми хочемо витягти за допомогою PHP, вже на більш складному рівні. Ось набір дій від Dexodata.\u003C/p>\n\u003Cp>Стартуйте з завантаження всього HTML-коду за рахунок можливостей PHP та \u003Cspan style=\"font-family: monospace; background-color: #b4d7ff;\">cURL\u003C/span>:\u003C/p>\n\u003Cp>\u003Ccode>// initialize the cURL request \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$curl = curl_init(); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// set the URL to reach with a GET HTTP request \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_URL, \"https://scrapeme.live/shop/\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// get the data returned by the cURL request as a string \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// make the cURL request follow eventual redirects, \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// and reach the final page of interest \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// execute the cURL request and \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// get the HTML of the page as a string \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$html = curl_exec($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// release the cURL resources \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_close($curl);\u003C/code>\u003C/p>\n\u003Cp>Тепер матеріал, пов'язаний з HTML, знаходиться в нашому розпорядженні у вигляді змінної \u003Ccode>$html\u003C/code>. Наступний етап — завантажити \u003Ccode>$html\u003C/code> в \u003Ccode>HtmlDomParser \u003C/code>з функцією \u003Ccode>str_get_html()\u003C/code>:\u003C/p>\n\u003Cp>\u003Ccode>require_once __DIR__ . \"../../vendor/autoload.php\"; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>use voku\\helper\\HtmlDomParser; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$curl = curl_init(); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_URL, \"https://scrapeme.live/shop/\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$html = curl_exec($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_close($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// initialize HtmlDomParser \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$htmlDomParser = HtmlDomParser::str_get_html($html);\u003C/code>\u003C/p>\n\u003Cp>Тепер можна застосувати \u003Ccode>HtmlDomParser \u003C/code>для роботи з DOM для ініціювання скрейпінгу. Щоб це зробити, «висмикуємо» повний список усіх посилань, пов'язаних з пагінацією. Це дасть нам можливість просканувати весь сайт магазину. Щелкніть правою кнопкою миші на компонент HTML, пов'язаний з пагінацією, і виберіть «Inspect». Після цього DevTools покажуть нам елемент, пов'язаний з DOM.\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/129/15-3-geo-targeted-proxies-php-and-data-collection-1032x491-9e8bc641-6481-435d-ba86-a72096270302.png\" alt=\"Як збирати дані в Мережі з PHP та орендою проксі\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>В рамках нашого сценарію можна очікувати, що .\u003Ccode>page-numbers\u003C/code>, в якості CSS-класу, вказують на пов'язаний з пагінацією HTML. Однак CSS-клас не обов'язково буде однозначно ідентифікувати потрібний нам компонент. Одразу кілька елементів можуть бути пов'язані з одним і тим же класом.\u003C/p>\n\u003Cp>Тому, якщо є намір застосувати селектор CSS для «захоплення» компонентів у DOM, доведеться застосувати клас CSS у поєднанні з іншими селекторами. Зокрема, користувачі можуть застосувати помічник \u003Ccode>HtmlDomParser \u003C/code>з \u003Ccode>.page-numbers\u003C/code> в якості селектора CSS, щоб вибрати всі HTML-компоненти, пов'язані з нумерацією сторінок. Пройдемося по сайту, щоб отримати всі необхідні URL-адреси з атрибута \u003Ccode>href\u003C/code>.\u003C/p>\n\u003Cp>Дивіться:\u003C/p>\n\u003Cp>\u003Ccode>// retrieve the HTML pagination elements with \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// the \".page-numbers a\" CSS selector \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$paginationElements = $htmlDomParser->find(\".page-numbers a\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$paginationLinks = []; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($paginationElements as $paginationElement) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>// populate the paginationLinks set with the URL \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>// extracted from the href attribute of the HTML pagination element \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$paginationLink = $paginationElement->getAttribute(\"href\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>// avoid duplicates in the list of URLs \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>if (!in_array($paginationLink, $paginationLinks)) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$paginationLinks[] = $paginationLink; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>}  \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp> \u003C/p>\n\u003Cp>\u003Ccode>// print the paginationLinks array \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>print_r($paginationLinks);\u003C/code>\u003C/p>\n\u003Cp>Зверніть увагу, що \u003Ca href=\"https://github.com/voku/simple_html_dom/blob/master/README_API.md#findstring-selector-intnull-idx-simplehtmldominterfacesimplehtmldominterfacesimplehtmldomnodeinterfacesimplehtmldominterface\" target=\"_blank\" rel=\"noopener\">f\u003Ccode>ind()\u003C/code> дозволяє ухоплювати компоненти DOM\u003C/a> на базі CSS селектора. В цьому гіпотетичному сценарії від Dexodata компоненти, пов'язані з пагінацією, представлені по два рази на кожній сторінці. Потрібно застосувати спеціальний трюк для вирішення проблеми дублікації компонентів у світлі масиву \u003Ccode>$paginationLinks\u003C/code>.\u003C/p>\n\u003Cp>Ось що ми побачимо, якщо спробуємо запустити наш скрипт:\u003C/p>\n\u003Cp>\u003Ccode>Array ( \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>[0] => https://scrapeme.live/shop/page/2/ \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>[1] => https://scrapeme.live/shop/page/3/ \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>[2] => https://scrapeme.live/shop/page/4/ \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>[3] => https://scrapeme.live/shop/page/46/ \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>[4] => https://scrapeme.live/shop/page/47/ \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>[5] => https://scrapeme.live/shop/page/50/ \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>)\u003C/code>\u003C/p>\n\u003Cp>Зверніть увагу, що всі адреси мають однакову структуру. Всі вони відзначені кінцевою цифрою, що відповідає за пагінацію. Ось як її витягти:\u003C/p>\n\u003Cp>\u003Ccode>// remove all non-numeric characters in the last element of \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// the $paginationLinks array to retrieve the highest pagination number \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$highestPaginationNumber = preg_replace(\"/\\D/\", \"\", end($paginationLinks));\u003C/code>\u003C/p>\n\u003Cp>Припустимо, показник \u003Ccode>$highestPaginationNumber\u003C/code> буде «50».\u003C/p>\n\u003Cp>А тепер зберемо дані про кожен окремий продукт. Робимо правий клік по елементу і активуємо DevTools, а потім жмемо на «Inspect». Можна очікувати, що товар буде «зроблений» з HTML-елемента \u003Ccode>li.product\u003C/code>, що включає URL, зображення, заголовок та цінник. Така інформація виходить з «\u003Ccode>a\u003C/code>», «\u003Ccode>mg\u003C/code>», «\u003Ccode>h2\u003C/code>» та «\u003Ccode>span\u003C/code>» елементів HTML.\u003C/p>\n\u003Cp>Захоплюємо інформацію через \u003Ccode>HtmlDomParser\u003C/code>:\u003C/p>\n\u003Cp>\u003Ccode>$productDataLit = array(); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// retrieve the list of products on the page \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$productElements = $htmlDomParser->find(\"li.product\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>foreach ($productElements as $productElement) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>// extract the product data \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$url = $productElement->findOne(\"a\")->getAttribute(\"href\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$image = $productElement->findOne(\"img\")->getAttribute(\"src\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$name = $productElement->findOne(\"h2\")->text; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$price = $productElement->findOne(\".price span\")->text; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>// transform the product data into an associative array \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$productData = array( \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"url\" => $url, \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"image\" => $image, \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"name\" => $name, \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>\"price\" => $price \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$productDataList[] = $productData; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>На цій стадії наша логіка здатна зібрати всі фрагменти інформації про елемент з кожної сторінки і в подальшому зберегти її як масив \u003Ccode>$productDataList\u003C/code>. Застосуємо її до всіх сторінок.\u003C/p>\n\u003Cp>\u003Ccode>// iterate over all \"/shop/page/X\" pages and retrieve all product data \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>for ($paginationNumber = 1; $paginationNumber <= $highestPaginationNumber; $paginationNumber++) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$curl = curl_init(); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>curl_setopt($curl, CURLOPT_URL, \"https://scrapeme.live/shop/page/$paginationNumber/\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$pageHtml = curl_exec($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>curl_close($curl); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$paginationHtmlDomParser = HtmlDomParser::str_get_html($pageHtml); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>// scraping logic... \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>Місія виконана.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor9\">\u003C/a>Підсумкові зауваження\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Завершуючи цей огляд, наведемо кілька підсумкових зауважень, важливих при скрейпінгу. Постарайтеся не бути поміченими при харвестингу даних, для цього використовуйте проксі (інакше IP може потрапити під обмеження). Ось ще один ремайндер про те, як це можна зробити при роботі з \u003Ccode>cURL\u003C/code>.\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_PROXY, \"<PROXY_URL>\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_PROXYPORT, \"<PROXY_PORT>\"); \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_PROXYTYPE, \"<PROXY_TYPE>\");\u003C/code>\u003C/p>\n\u003Cp>1. Додатковий рівень захисту може також дати HTTP-заголовок користувацького агента. За визначенням \u003Ccode>cURL \u003C/code>завжди буде встановлювати щось на зразок \u003Ccode>curl/XX.YY.ZZ\u003C/code>. Ідентифікувати користувача з таким заголовком та зрозуміти, що йдеться про скрейпінг, не складе великої праці. Замість цього спробуйте тут «пограти» з заголовком.\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_USERAGENT, \"<USER_AGENT_STRING>\");\u003C/code>\u003C/p>\n\u003Cp>В результаті повинно вийти нещо на зразок цього прикладу з інтернету:\u003C/p>\n\u003Cp>\u003Ccode>curl_setopt($curl, CURLOPT_USERAGENT, \"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6\")\u003C/code>\u003C/p>\n\u003Cp>2. Ще одна ремарка від Dexodata стосується динамічного контенту. Ми вже підкреслювали, що звичайний запит \u003Ccode>GET\u003C/code> з \u003Cspan style=\"font-family: monospace; background-color: #b4d7ff;\">cURL \u003C/span>вам з ним не допоможе, знадобляться додаткові методи. Поверніться до нашого \u003Ca href=\"https://dexodata.com/ru/blog/kak-ispolzovat-java-dlya-skreipinga-dannyx-v-seti\" target=\"_blank\" rel=\"noopener\">гайду, присвяченого JS\u003C/a>, та вивчіть тему headless-браузерів. Це допоможе створити парсер, що взаємодіє з сайтом як реальний користувач та витягує динамічний контент. \u003C/p>\n\u003Cp>3. Наше третє зауваження присвячене паралельному парсингу. Многопоточність у PHP — тема складна, але подеколи неминуча. Ось варіант вирішення цієї проблеми від Dexodata. Наша концепція полягає в тому, щоб скрипт міг виконуватися на кількох сторінках, застосовуючи параметри \u003Ccode>HTTP GET\u003C/code> не до всього сайту, а до його частин. \u003C/p>\n\u003Cp>Модифікуйте скрипт, щоб він не охоплював сайт цілком, а зосередився на більш дрібних паралельних фрагментах. Ось як можна встановити межі таких «кусочків»: \u003C/p>\n\u003Cp>\u003Ccode>$from = null; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>$to = null; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>if (isset($_GET[\"from\"]) && is_numeric($_GET[\"from\"])) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$from = $_GET[\"from\"]; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>} \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>if (isset($_GET[\"to\"]) && is_numeric($_GET[\"to\"])) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>$to = $_GET[\"to\"]; \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>} \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>if (is_null($from) || is_null($to) || $from > $to) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>die(\"Invalid from and to parameters!\"); \u003C/code>\u003C/p>\n\u003Cp>} \u003C/p>\n\u003Cp>\u003Ccode>// scrape only the pagination pages whose number goes \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>// from \"$from\" to \"$to\" \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>for ($paginationNumber = $from; $paginationNumber <= $to; $paginationNumber++) { \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>\u003Cspan style=\"white-space: pre;\"> \u003C/span>// scraping logic... \u003C/code>\u003C/p>\n\u003Cp>}\u003C/p>\n\u003Cp>\u003Ccode>// write the data scraped to a database/file\u003C/code>\u003C/p>\n\u003Cp>Тепер користувач може проставити в браузері такі приклади, як посилання нижче, щоб обробити їх одразу кілька. Скрейпінг буде виконуватися паралельно.\u003C/p>\n\u003Cp>\u003Ccode>https://instance.com/scripts/scrapeme.live/scrape-products.php?from=1&to=5 \u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>https://instance.com/scripts/scrapeme.live/scrape-products.php?from=6&to=10 \u003C/code>\u003C/p>\n\u003Cp>І так далі.\u003C/p>\n\u003Cp>Ось і все. Дякуємо за те, що пройшли цей шлях з \u003Ca href=\"https://dexodata.com/ru/blog/kak-dexodata-primenyaet-principy-aml-i-kyc\" target=\"_blank\" rel=\"noopener\">Dexodata, етичною екосистемою проксі, що застосовує стандарти KYC та AML\u003C/a> для гарантії вашої безпеки.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936342979]