[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},155,"blog","ua-kak-po-s-otkrytym-kodom-pomogaet-v-sbore-internet-dannyx","Як ПЗ з відкритим кодом допомагає у зборі інтернет-даних","https://blog.dexodata.com/storage/uploads/previews/21-3-s-trusted-proxy-website-what-is-open-source-technology-in-web-data-collection-cover-a5b0e8d7-4111-4b77-aeed-8c95730e3d8e.webp","https://blog.dexodata.com/storage/uploads/covers/21-3-b-trusted-proxy-website-what-is-open-source-technology-in-web-data-collection-cover-0ccef474-1efa-4edd-98ef-c2bba9e882e8.webp","2024/06/07","2024/05/27","Що означає відкритий вихідний код для веб-скрейпінгу","Як працює відкритий вихідний код у процесі веб-скрейпінгу при оренді проксі від Dexodata. Браузерний і безбраузерний підхід. Стандартні та headless-браузери. HTTP та SOCKS.","лучшие резидентные и мобильные прокси, аренда прокси, открытый исходный код, веб-скрейпинг","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Зміст:\u003C/strong>\u003C/em>\u003C/p>\n\u003Col>\n\u003Cli>\u003Ca href=\"#anchor1\">Браузерний і безбраузерний підхід\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Веб-скрейпінг за допомогою стандартних браузерів і headless-програм\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">HTTP або SOCKS\u003C/a>\u003C/li>\n\u003C/ol>\n\u003Cp>Границя інтернету розширюється. Минулого року \u003Ca href=\"https://www.klerk.ru/soft/news/399105/\" target=\"_blank\" rel=\"noopener\">в Мережі існувало 1+ мільярд сайтів\u003C/a>, і скоро людство досягне двох мільярдів унікальних веб-ресурсів, не рахуючи додатків. Зростаючі обсяги даних означають, що збирати датасети стає складніше. Будь-який раунд веб-скрейпінгу вимагає своєї комбінації інструментів. Більшість таких рішень працює на базі відкритого вихідного коду. Сьогодні команда Dexodata розгляне кілька варіантів ПЗ цього класу та підкреслить переважні критерії. Їх вивчення перед орендою проксі допоможе ідентифікувати підходящі опції. Це зробить рішення про покупку кращих резидентних і мобільних проксі обґрунтованим і заточеним під очікуваний результат. \u003C/p>\n\u003Cp>Будучи глобальною \u003Ca href=\"https://dexodata.com/ru/blog/rynok-arendy-proksi-v-2024-godu-glavnye-trendy-i-osobennosti\" target=\"_blank\" rel=\"noopener\">екосистемою проксі з геотаргетингом\u003C/a>, ми знаємо, наскільки трудомістким є дата-харвестинг великих датасетів. Зібрати їх вручну неможливо. Платне закрите ПЗ здатне полегшити життя. Однак цей шлях передбачає витрати і не дає бажаної гнучкості. І тут рятують технології з відкритим вихідним кодом. Адже їх можна самостійно кастомізувати під релевантні сценарії.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>1. Браузерний і безбраузерний підхід\u003C/h2>\n\u003Cp>Первісна дилема розмежовує браузерні та безбраузерні техніки веб-скрейпінгу:\u003C/p>\n\u003Cul>\n\u003Cli>Браузерний метод полягає в харвестингу даних за рахунок «роботизованого» взаємодії з браузерами, включаючи headless-рішення. Тобто ми одночасно активуємо і програми для веб-серфінгу (наприклад, Chrome або Firefox), і \u003Ca href=\"https://dexodata.com/ru/blog/avtomatizaciya-brauzera-v-kontekste-data-xarvestinga\" target=\"_blank\" rel=\"noopener\">засоби автоматизації браузера\u003C/a> (на кшталт Selenium або BeautifulSoup);\u003C/li>\n\u003Cli>В рамках безбраузерного методу ми звертаємося до джерела інформації шляхом прямих HTTP-запитів, без посередників.\u003C/li>\n\u003C/ul>\n\u003Ctable style=\"border-collapse: collapse; width: 99.9794%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 49.5063%; text-align: center;\">\u003Cspan style=\"color: #2e95d3;\">\u003Cstrong>Браузерний спосіб\u003C/strong>\u003C/span>\u003C/td>\n\u003Ctd style=\"width: 50.4937%; text-align: center;\">\u003Cspan style=\"color: #2e95d3;\">\u003Cstrong>Безбраузерний спосіб\u003C/strong>\u003C/span>\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd style=\"width: 100%; text-align: center;\" colspan=\"2\">\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>Аргументи «за» в контексті ПЗ з відкритим кодом\u003C/strong>\u003C/span>\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd style=\"width: 49.5063%;\">\n\u003Cp style=\"font-weight: 400;\">1. Рендеринг JS. Сучасні сайти спираються на потенціал JavaScript для завантаження динамічного контенту. Використання браузерів паралельно з Selenium або Puppeteer дозволяє скрейпити таке вміст.\u003C/p>\n\u003Cp style=\"font-weight: 400;\">2. Користувацька взаємодія. Якщо платформи вимагають маніпуляцій для витягнення даних (кліків або заповнення форм), розумні інструменти з автоматизації їх імітують.\u003C/p>\n\u003Cp style=\"font-weight: 400;\">3. Візуальна оцінка відбувається. Веб-скрейпінг на основі браузерів дає шанс спостерігати за відбувається на сторінках-джерелах власними очима.\u003C/p>\n\u003C/td>\n\u003Ctd style=\"width: 50.4937%;\">\n\u003Cp style=\"margin-top: 32px;\">1. Оперативні сесії веб-скрейпінгу. Відправка прямих запитів проходить швидше, ніж запуск браузера і робота з ним. Це полегшує масштабні проекти.\u003C/p>\n\u003Cp>2. Зниження витрат. Оскільки немає потреби в ініціюванні браузера, ми виграємо за рахунок економії ресурсів і обчислювальних потужностей.\u003C/p>\n\u003Cp>3. Менше рядків у скрипті. Блоки коду під безпосередні запити менші за обсягом, в них не потрібно прописувати стільки нюансів.\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd style=\"width: 100%; text-align: center;\" colspan=\"2\">\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>Аргументи «проти» в контексті ПЗ з відкритим кодом\u003C/strong>\u003C/span>\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd style=\"width: 49.5063%;\">\n\u003Cp style=\"margin-top: 32px; font-weight: 400;\">1. Складність. Нові інструменти для веб-серфінгу навантажені вбудованими інтеграціями та успадкованим кодом. Адаптація таких масивів під харвестинг різнорідних датасетів забирає час і сили.\u003C/p>\n\u003Cp style=\"font-weight: 400;\">2. Навантаження. Запуск повнофункціональних браузерів вимагає додаткових ресурсів. Це негативно позначається на масштабованості.\u003C/p>\n\u003Cp style=\"font-weight: 400;\">3. Недостаток швидкості. Багаторівневі конфігурації для автоматизації браузера працюють повільно, навіть при використанні headless-опцій.\u003C/p>\n\u003C/td>\n\u003Ctd style=\"width: 50.4937%;\">\n\u003Cp style=\"margin-top: 32px;\">1. Труднощі з JS. Безбраузерні операції не призначені для вивантаження динамічного контенту. З ним доводиться працювати вручну.\u003C/p>\n\u003Cp>2. Перешкоди у вигляді користувацьких взаємодій. Якщо на сайті потрібно здійснювати маніпуляції для витягнення даних, то HTTP запити непродуктивні.\u003C/p>\n\u003Cp>4. Відсутність візуального охоплення. Оскільки сторінка не відображається, ухопити логіку розташування вмісту неможливо. Що підвищує ймовірність збоїв.\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>2. Веб-скрейпінг за допомогою стандартних браузерів і headless-програм\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Порівнявши прямі запити та дата-харвестинг на браузерній основі, зробимо ще один крок. Припустимо, обрані браузери. Тут виникає друга дилема. Питання в тому, будуть вони стандартними чи headless. Обидва варіанти допустимі з точки зору обробки JS та здійснення дій на сторінці. Згадаємо два моменти:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 99.9794%; height: 450px;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr style=\"height: 30px;\">\n\u003Ctd style=\"width: 100%; text-align: center; height: 30px;\" colspan=\"2\">\u003Cspan style=\"color: #3598db;\">Відмінності\u003C/span>\u003C/td>\n\u003C/tr>\n\u003Ctr style=\"height: 30px;\">\n\u003Ctd style=\"width: 48.6784%; text-align: center; height: 30px;\">\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>\u003Cspan style=\"text-align: start;\">Стандартні браузери\u003C/span>\u003C/strong>\u003C/span>\u003C/td>\n\u003Ctd style=\"width: 51.3216%; text-align: center; height: 30px;\">\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>\u003Cspan style=\"text-align: start;\">Headless-браузери\u003C/span>\u003C/strong>\u003C/span>\u003C/td>\n\u003C/tr>\n\u003Ctr style=\"height: 30px;\">\n\u003Ctd style=\"width: 100%; text-align: center; height: 30px;\" colspan=\"2\">\u003Cspan style=\"color: #3598db;\">\u003Cstrong>\u003Cspan style=\"text-align: start;\">Момент №1\u003C/span>\u003C/strong>\u003C/span>\u003C/td>\n\u003C/tr>\n\u003Ctr style=\"height: 300px;\">\n\u003Ctd style=\"width: 48.6784%; height: 300px;\">\u003Cspan style=\"color: #455298; font-weight: 400;\">Відкриваються реальні вікна з елементами графічного користувацького інтерфейсу (GUI). Скрипти на основі відкритого вихідного коду працюють саме з ними. Користувач здатний візуально моніторити процес парсингу, взаємодіючи безпосередньо з веб-сторінками.\u003C/span>\u003C/td>\n\u003Ctd style=\"width: 51.3216%; height: 300px;\">Headless-інструменти функціонують без GUI. Дата-харвестинг проходить у фоновому режимі, робочі процеси не мають графічного відображення. Це прискорює процес і оптимізує витрати на витягнення датасетів.\u003C/td>\n\u003C/tr>\n\u003Ctr style=\"height: 30px;\">\n\u003Ctd style=\"width: 100%; text-align: center; height: 30px;\" colspan=\"2\">\u003Cspan style=\"color: #3598db;\">\u003Cstrong>\u003Cspan style=\"text-align: start;\">Момент №2\u003C/span>\u003C/strong>\u003C/span>\u003C/td>\n\u003C/tr>\n\u003Ctr style=\"height: 30px;\">\n\u003Ctd style=\"width: 48.6784%; height: 30px;\">\u003Cspan style=\"color: #455298; font-weight: 400;\">Зоровий контакт зі сторінкою допомагає при налагодженні ПЗ з відкритим кодом («дебаггинг»). Можна власноруч проінспектувати кожен елемент, швидше аналізувати логи, стежити за реакцією з боку сайту.\u003C/span>\u003C/td>\n\u003Ctd style=\"width: 51.3216%; height: 30px;\">Налагодження ускладнюється, адже процес веб-скрейпінгу проходить без графічного представлення. Доводиться проводити більше часу з логами та іншими дебаггинг-інструментами.\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>3. HTTP або SOCKS\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Придбає користувач кращі резидентні та мобільні проксі під ПЗ з відкритим кодом або зупиниться на оренді проксі серверного типу, перед ним постане останнє питання — вибір протоколу IP. Головні \u003Ca href=\"https://dexodata.com/ru/blog/tipi-proksi-v-zavisimosti-ot-protokola\" target=\"_blank\" rel=\"noopener\">відмінності між HTTP та SOCKS\u003C/a> зводяться до:\u003C/p>\n\u003Col>\n\u003Cli>HTTP-проксі працюють на рівні додатку. При оренді проксі SOCKS фокус зміщується на рівень нижче, часто на транспортний;\u003C/li>\n\u003Cli>Як випливає з назви, HTTP затребуваний під HTTP-трафік. SOCKS тут зайвий. Паралельно цей протокол забезпечує гнучкість у плані FTP, SMTP тощо;\u003C/li>\n\u003Cli>Оренда проксі з протоколом HTTP дає можливість модифікувати хедери. Це корисно, наприклад, для зміни юзер-агентів і мімікрії під різні браузери. Проксі SOCKS обробляють інформацію без перетворень.\u003C/li>\n\u003C/ol>\n\u003Cp>В одній книзі Шерлок Холмс зауважив: «Помилка — будувати теорію, не зібравши даних... починаєш підганяти факти під теорію, а не теорію під факти». Незалежно від того, які у користувачів бізнес-гіпотези, ми знаємо, як зібрати під них фактуру за допомогою \u003Ca href=\"https://foss.kruzhok.org/opensourceintegration\" target=\"_blank\" rel=\"noopener\">ПЗ з відкритим вихідним кодом\u003C/a>.\u003C/p>\n\u003Cp>Якими б не були переваги щодо IP, будь це кращі резидентні та мобільні проксі або серверні проксі, пул адресів Dexodata доступний з показником безперебійної роботи 99%. Наші IP сумісні з популярними програмними пакетами і дають доступ до регіонів США та Канади, ЄС та СНД. Доступно 100+ країн, з легким переключенням між HTTPS та SOCKS5. Спробуйте цей потенціал у дії. Новим користувачам пропонується \u003Ca href=\"https://dashboard.dexodata.com/admin/register?lang=ru\" target=\"_blank\" rel=\"noopener\">спробувати проксі безкоштовно\u003C/a>.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936343039]