[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},88,"blog","ua-avtomatizaciya-brauzera-v-kontekste-data-xarvestinga","Автоматизація браузера в контексті дата-харвестингу","https://blog.dexodata.com/storage/uploads/previews/12-3-trusted-proxy-website-browser-automation-cover2064x982-b76ac942-fe8b-414d-a7b7-14af0e168683.webp","https://blog.dexodata.com/storage/uploads/covers/da3261b6-1062-4309-999e-3de952894416.webp","2023/04/04","2023/05/29","Гайд по автоматизації браузера від сайту проксі сервера","Автоматизація браузера в контексті дата-харвестингу за версією Dexodata, сайту проксі сервера, що пропонує оренду проксі з білих списків по всьому світу.","сайт прокси сервер, аренда прокси, попробовать прокси бесплатно, лучшие резидентные и мобильные прокси","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Зміст статті:\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">Що таке автоматизація браузера з найкращими сайтами проксі\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Автоматизація браузера на практиці\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">Порівняння найкращих рішень для автоматизації браузера\u003C/a>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor4\">Selenium\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor5\">Puppeteer\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor6\">Playwright\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor7\">Cypress\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor8\">Axiom\u003C/a>\u003C/li>\n\u003C/ul>\n\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor9\">Яке з описаних вище рішень ми рекомендуємо\u003C/a>\u003C/li>\n\u003C/ul>\n\u003Cp>\u003Ca href=\"https://blogs.worldbank.org/opendata/data-harvesting-what-it-and-how-can-you-benefit\" target=\"_blank\" rel=\"noopener\">Всесвітній Банк справедливо зазначив\u003C/a>, що дата-харвестинг, що здійснюється людиною вручну, виснажливий і забирає багато часу. Ми в \u003Ca href=\"https://dexodata.com/ru\" target=\"_blank\" rel=\"noopener\">Dexodata — команді сайту проксі сервера\u003C/a>, що пропонує оренду проксі — погоджуємося з цим. Автоматизація процесу, в тому числі й автоматизація браузера, — ключ до успіху при зборі веб-даних. На ринку є ряд рішень по автоматизації браузера для подібних цілей, від складних і що вимагають написання особливого коду для нетипових ситуацій до простих і платних засобів, що не вимагають жодного рядка. Розглянемо їх детальніше. Після прочитання цього матеріалу використання \u003Ca href=\"https://dexodata.com/ru/residential-proxies\" target=\"_blank\" rel=\"noopener\">найкращих резидентних проксі\u003C/a> та мобільних стане більш ефективним. Якщо ви новий користувач, є варіант спробувати проксі безкоштовно.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>Що таке автоматизація браузера з найкращими сайтами проксі\u003C/h2>\n\u003Cp>Під автоматизацією браузера розуміється програмне та автоматизоване виконання в браузері певних завдань за рахунок скриптів. Подібний підхід корисний при різних сценаріях, включаючи витяг даних. Застосовуючи належний інструмент для автоматизації браузера, можна виконувати відповідні маніпуляції швидко, акуратно і зі швидкістю, несравненною з людською.\u003C/p>\n\u003Cp>Наприклад, Selenium (про нього ми поговоримо нижче) дає можливість:\u003C/p>\n\u003Cul>\n\u003Cli>Скролити;\u003C/li>\n\u003Cli>Клікати;\u003C/li>\n\u003Cli>Робити скріншоти;\u003C/li>\n\u003Cli>Заповнювати та відправляти форми;\u003C/li>\n\u003Cli>Виконувати код, написаний на JavaScript.\u003C/li>\n\u003C/ul>\n\u003Cp>«Навіщо мені це потрібно?» — запитаєте ви. У випадку подібних сумнівів, лінія аргументації зводиться до:\u003C/p>\n\u003Cp>\u003Cem>«Все, що я хочу зробити, це зібрати інформацію з ряду сайтів. Для цієї мети я можу використовувати спеціально розроблений скрипт для витягнення даних. Він буде надсилати мої запити, отримувати відповіді з цікавих мені HTML-сторінок і зберігати результати, скажімо, у вигляді CSV-файла. Навіщо тоді автоматизація браузера?»\u003C/em>\u003C/p>\n\u003Cp>Відповідь проста. З статичними веб-сайтами це так. Коли йдеться про них, то їх вміст завжди залишається незмінним, якщо тільки хтось не модифікує його навмисно, на рівні адміністратора. Єдина активна сторона тут — сторона сервера. \u003C/p>\n\u003Cp>З динамічним контентом все інакше. Вміст динамічних сторінок змінюється в залежності від місцезнаходження користувача, мовних переваг та інших властивостей профілю. Так що, разом із сервером, тут роль грає і клієнтська сторона.\u003C/p>\n\u003Cp>А тепер головне. Дані динамічних сторінок генеруються індивідуально, по кожному окремому користувацькому запиту.  І щоб запустити процес і змусити сторінку дати нам дані для харвестингу, ми повинні здійснити певні дії на сторінці, щось з нею зробити. В ідеалі, застосувати найкращі резидентні та \u003Ca href=\"https://dexodata.com/ru/mobile-proxies\" target=\"_blank\" rel=\"noopener\">мобільні проксі з геотаргетингом\u003C/a> від сайтів проксі серверів, таких як Dexodata. З нами доступна як платна оренда проксі, так і початковий період для того, щоб спробувати проксі безкоштовно. \u003C/p>\n\u003Cp>Без такого стартового імпульсу динамічна сторінка ніяких даних не дасть. І ось тут інструменти для автоматизації браузера йдуть до нас на допомогу: для скролінгу, кліків, введення даних, відправки заповнених форм і т.д.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>Автоматизація браузера на практиці\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Базова задача для автоматизації браузера — зробити поведінку ПЗ схожим на справжній веб-серфінг, що здійснюється реальним користувачем. У цьому якості браузер пропонує більше, ніж перегляд веб-сторінок. Так, наприклад, можна запускати автоматизоване тестування сайтів, виявляти не працюючі посилання, виконувати рутинні повторювані завдання і багато іншого. \u003C/p>\n\u003Cp>Ми зосередимося на скрейпінгу веб-сторінок у рамках обраної теми.\u003C/p>\n\u003Cp>Базову причину, чому потрібна автоматизація браузера, ми назвали. Це робота з динамічним контентом, який складає левову частку в Мережі. Крім того, можна вказати і на наступні її плюси:\u003C/p>\n\u003Col>\n\u003Cli>Завдяки автоматизації браузера легше зберегти парсер в незаблокованому стані. Він «змішується з натовпом» і не видає себе;\u003C/li>\n\u003Cli>Бізнес-процеси в Мережі спрощуються після ряду вкладень в автоматизацію браузера;\u003C/li>\n\u003Cli>Є можливість виконувати різні завдання паралельно, у фоновому режимі;\u003C/li>\n\u003Cli>Устраняються ризики людського фактора та помилок.\u003C/li>\n\u003C/ol>\n\u003Cp>Що можна добути в Мережі за допомогою такого автоматизованого підходу? Майже все:\u003C/p>\n\u003Cul>\n\u003Cli>Рейтинги E-commerce-сайтів та інформацію про ціни на них;\u003C/li>\n\u003Cli>Дані з пошуковиків;\u003C/li>\n\u003Cli>Інформацію з соціальних мереж;\u003C/li>\n\u003Cli>Ціни на авіаквитки;\u003C/li>\n\u003Cli>Інформацію про вигідні ціни на лімітовані серії кросівок. \u003C/li>\n\u003C/ul>\n\u003Cp>Головне знайти адекватно працюючий сайт проксі сервер для оренди проксі, наприклад, найкращих резидентних і мобільних проксі від Dexodata. Для нових користувачів у нас передбачена можливість спробувати проксі безкоштовно. Деталі доступні в \u003Ca href=\"https://dexodata.com/en/faq\" target=\"_blank\" rel=\"noopener\">розділі FAQ\u003C/a>.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>Порівняння найкращих рішень для автоматизації браузера\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Досить теорії, переходимо до практики. Який перелік робочих рішень для автоматизації браузера на ринку? За версією Dexodata, шортлист виглядає так:\u003C/p>\n\u003Col>\n\u003Cli>Selenium\u003C/li>\n\u003Cli>Puppeteer\u003C/li>\n\u003Cli>Playwright\u003C/li>\n\u003Cli>Cypress\u003C/li>\n\u003Cli>Axiom.\u003C/li>\n\u003C/ol>\n\u003Cp>Розглянемо плюси і мінуси кожного з них.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor4\">\u003C/a>1. Selenium\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Якщо загуглити запит «автоматизація браузера для дата-харвестингу», то \u003Ca href=\"https://www.selenium.dev/\" target=\"_blank\" rel=\"noopener\">Selenium\u003C/a> буде одним з частих варіантів. Даний інструмент з відкритим вихідним кодом застосовується для професійного витягнення даних.\u003C/p>\n\u003Cp>Selenium безкоштовний, з ним немає труднощів з адаптацією коду під унікальні вимоги. Що стосується операційних систем, з якими він сумісний, вони включають: Windows, Linux, macOS. Створені для нього сценарії можуть одночасно виконуватися в різних браузерах, включаючи Chrome та Safari. Як інструмент, Selenium гордиться \u003Ca href=\"https://github.com/SeleniumHQ/selenium\" target=\"_blank\" rel=\"noopener\">великим співтовариством\u003C/a>, тому знайти відповіді та рішення для різних кейсів — не проблема.\u003C/p>\n\u003Cp>Базовий бар'єр у тому, що він вимагає просунутих знань у галузі програмування. Selenium гнучкий і дозволяє працювати на Python, Java, C#, Ruby та JavaScript. Весь проект був запущений як невелика програма на базі JavaScript. Продовжуючи говорити про мінуси, варто вказати на відсутність техпідтримки: крім як у співтоваристві, поради отримати ніде. Нарешті, Selenium в плані застосування орієнтований тільки на веб-додатки — можливо, теж мінус для вас.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor5\">\u003C/a>2. Puppeteer\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>\u003Ca href=\"https://pptr.dev/\" target=\"_blank\" rel=\"noopener\">Puppeteer\u003C/a> працює як бібліотека Node.js з відкритим вихідним кодом. Попит на неї великий, адже бібліотека відкриває доступ до високорівневого API. Це дозволяє працювати з \u003Ca href=\"https://en.wikipedia.org/wiki/Headless_browser#Usage\" target=\"_blank\" rel=\"noopener\">headless-браузерами\u003C/a> Chrome або Chromium через протокол DevTools. Документація проекту знаходиться в відмінному стані, \u003Ca href=\"https://github.com/puppeteer/puppeteer\" target=\"_blank\" rel=\"noopener\">Puppeteer-співтовариство активно зростає\u003C/a> — тому можна швидко знайти засоби для усунення проблемних точок. Це — варіант запустити headless-браузер для збору даних без великих часових витрат на завантаження.\u003C/p>\n\u003Cp>Мінуси Puppeteer є продовженням достоїнств. Його можна використовувати тільки для Chrome і Chromium (окремі можливості доступні в Firefox). Крім того, програма підтримує виключно JavaScript. Щоб ним користуватися, потрібно вміти програмувати, хоч і це і простіше, ніж у випадку застосування Selenium.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor6\">\u003C/a>3. Playwright\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>\u003Ca href=\"https://playwright.dev/python/docs/intro\" target=\"_blank\" rel=\"noopener\">Playwright\u003C/a> порівнянний з Puppeteer. Даний інструмент також функціонує як бібліотека Node.js, і це опція з відкритим вихідним кодом. Суттєва відмінність полягає в тому, що Puppeteer нерозривно пов'язаний з Google, а Playwright був створений командою Microsoft.\u003C/p>\n\u003Cp>Playwright відносно легко освоїти. Для запуску цього headless-інструмента достатньо ввести базовий код, і він сам подбає про решту. Оскільки цей інструмент відмінно працює з Chromium, Firefox і Safari і відрізняється швидкістю виконання команд, він підходить для масштабного харвестингу. \u003C/p>\n\u003Cp>Додатковий фактор, який робить цей шлях привабливим, можливість використовувати Node.js, Python, Java та .NET з опорою на вичерпну документацію. Підводячи підсумок, відзначимо, що це крос-браузерний, крос-мовний і крос-платформений інструмент з підтримкою проксі. З ним можна \u003Ca href=\"https://dexodata.com/ru/blog/geotargeting-proksi-cto-eto-i-zacem-nuzno\" target=\"_blank\" rel=\"noopener\">орендувати проксі з геотаргетингом\u003C/a>, що пропонуються надійними сайтами проксі серверами. Наприклад, купивши найкращі резидентні та мобільні проксі або спробувавши проксі безкоштовно з Dexodata.\u003C/p>\n\u003Cp>Існує як мінімум один «підводний камінь». Це відносно молодий продукт, без великого ком'юніті користувачів.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor7\">\u003C/a>4. Cypress\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>\u003Ca href=\"https://www.cypress.io/\" target=\"_blank\" rel=\"noopener\">Cypress\u003C/a> може здаватися несподіваним варіантом. Це не headless-браузер. Офіційно, це фреймворк для тестування, а не для автоматизації браузера. У цьому якості він працює як безкоштовний Test Runner (з платними функціями) на базі відкритого вихідного коду. Технічно, це сервіс з дашбордом, що потребує локальної установки. Його цільова місія полягає в тому, щоб тестувати прогресивні веб-додатки, що працюють на основі технологій React та AngularJS. В той же час Cypress застосовний для парсингу веб-сторінок.\u003C/p>\n\u003Cp>Очевидною перевагою є те, що програма не вимагає складної настройки і може бути встановлена як файл .exe. Після чого релевантні драйвери та залежності будуть встановлені та забезпечені автоматично.\u003C/p>\n\u003Cp>Перелічимо недоліки інструмента. По-перше, Cypress працює в реальному, а не в headless-браузері. З цього випливає, що єдиний мова програмування, який Cypress приймає для кодування тестового сценарію — JavaScript. Крім того, софт відносно молодий: у нього немає \u003Ca href=\"https://github.com/cypress-io/cypress/issues\" target=\"_blank\" rel=\"noopener\">достатнього ком'юніті\u003C/a>, щоб протягом робочого дня отримати відповідь на питання.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor8\">\u003C/a>5. Axiom\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>\u003Ca href=\"https://axiom.ai\" target=\"_blank\" rel=\"noopener\">Axiom\u003C/a> простий і підходить тим, хто шукає варіант без потреби в написанні коду. Axiom працює як розширення Chrome і не вимагає навичок програмування. Щоб почати працювати, достатньо задіяти функцію «Get data from a webpage». Вкажіть, які дані необхідно отримати, натиснувши на кнопку «Select Data». Як інструмент Axiom дозволяє зберігати отриману інформацію у вигляді табличної структури. Кожен стовпець — це окремий вид даних.\u003C/p>\n\u003Cp>Здавалося б, елементарно. Однак, як і з іншими інструментами, можуть виникнути труднощі.\u003C/p>\n\u003Col>\n\u003Cli>По-перше, за Axiom потрібно заплатити.\u003C/li>\n\u003Cli>По-друге, існує проблема з типами даних, які можна витягти. Axiom практикує наступний процес: щоб вибрати інформацію для колонки, потрібно натиснути на неї. Теоретично Axiom заздалегідь готовий вирішувати типові проблеми, тому вибраний тип інформації буде виділений кольоровою заливкою. Після цього він відобразиться в таблиці попереднього перегляду.\u003C/li>\n\u003C/ol>\n\u003Cp>Команда Axiom чесно попереджає користувачів: якщо потрібний тип відсутній серед доступних варіантів, клікніть на цьому елементі. Після чого Axiom автоматично ідентифікує паттерн у вибраному відрізку і знайде схожі елементи. За заявою розробників, зазвичай потрібно 2 або 3 кліка.\u003C/p>\n\u003Cp>Підтверджуючи сказане, відзначимо: при виборі «no code» інструментів доводиться покладатися на їх «мозок» та внутрішні механізми. Адаптувати код з їх допомогою не можна, протестувати — теж. Тому отримати миттєво ідеальний результат неможливо.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor9\">\u003C/a>Яке з описаних вище рішень ми рекомендуємо\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Універсальної відповіді не існує. Єдине універсальне правило — для \u003Ca href=\"https://dexodata.com/ru/data-collection\" target=\"_blank\" rel=\"noopener\">ефективного збору даних\u003C/a> потрібно орендувати проксі від сайтів проксі серверів. Не ігноруйте найкращі резидентні та мобільні проксі від Dexodata, користуйтеся можливістю спробувати проксі безкоштовно. \u003C/p>\n\u003Cp>Для зручності вибору пропонуємо застосовувати розроблену нами схему:\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/88/12-3-geo-targeted-proxies-browser-automation-pic-1032x491-fd7c1b98-61e7-43e7-9943-69c9db06712f.png\" alt=\"Гайд по автоматизації браузера при скрейпінгу веб-даних\" width=\"1020\" height=\"485\">\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Csup>Як вибрати відповідне рішення для автоматизації браузера\u003C/sup>\u003C/p>\n\u003Cp>Інший спосіб визначитися з вибором — проаналізувати, що віддають перевагу інші користувачі. Ось цифри, що стосуються завантажень розглянутих вище інструментів:\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg style=\"display: block; margin-left: auto; margin-right: auto;\" src=\"https://blog.dexodata.com/storage/uploads/images/88/1679667994406-1-1422222d-be0e-45b5-870b-8422d80147a6.png\" alt=\"Як провести автоматизацію браузера з орендою проксі\" width=\"1020\" height=\"614\">\u003Csup>Кількість завантажень програм для автоматизації браузера за два роки\u003C/sup>\u003C/p>\n\u003Cp>Команда Dexodata, просунутого сайту проксі сервера, що пропонує оренду \u003Ca href=\"https://dexodata.com/ru/pricing\" target=\"_blank\" rel=\"noopener\">проксі за адекватними цінами\u003C/a>, рекомендує наступне. Написання коду для Puppeteer не складно, а браузери Chrome і на базі Chromium відповідають за більшість інструментів для серфінгу. Тому ми рекомендуємо Puppeteer в плані автоматизації браузера. Незалежно від вашого вибору, рекомендуємо купити \u003Ca href=\"https://dexodata.com/ru/pricing\" target=\"_blank\" rel=\"noopener\">найкращі резидентні та мобільні проксі Dexodata\u003C/a>, а перед цим спробувати проксі безкоштовно. Наша інфраструктура для розвитку мережевої аналітики сумісна з будь-яким автоматизованим ПЗ.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936346013]