[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},91,"blog","ua-kak-ispolzovat-java-dlya-skreipinga-dannyx-v-seti","Як використовувати Java для скрейпінгу даних в Мережі","https://blog.dexodata.com/storage/uploads/previews/14-1-s-trusted-proxy-website-using-java-for-data-scraping-cover-2064x982-c0fd137c-641b-402a-8d44-a31b0fe45d1a.webp","https://blog.dexodata.com/storage/uploads/covers/f41fe3da-d419-4dbb-b49a-5e6e094208a9.webp","2023/06/02","2023/08/07","Java для дата-харвестингу з сайтом проксі-сервером","Посібник по використанню Java при зборі даних в інтернеті від Dexodata, сайту проксі сервера, що пропонує купити приватні проксі з геотаргетингом.","сайт прокси сервер, аренда прокси, попробовать прокси, купить приватные прокси","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Зміст:\u003C/strong>\u003C/em>\u003C/p>\n\u003Col>\n\u003Cli>\u003Ca href=\"#anchor1\">Огляд інструментів від сайту проксі сервера\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Основи CSS-селекторів для тих, кого цікавить оренда проксі від Dexodata\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">Покроковий гайд по створенню Java-скрейпера\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor4\">Тонкощі запитів\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor5\">Висновок\u003C/a>\u003C/li>\n\u003C/ol>\n\u003Cp>Dexodata, сайт проксі сервер, що пропонує оренду проксі за ціною від \u003Ca href=\"https://dexodata.com/ru/pricing\" target=\"_blank\" rel=\"noopener\">3.65 доларів за 1 Гб\u003C/a>, працює з користувачами, яким потрібно регулярно збирати дані в інтернеті. Наша команда набула в цій сфері експертного досвіду. І ми знаємо, що Java — не єдиний варіант мови програмування для скриптів дата-харвестингу.\u003C/p>\n\u003Cp>З цими цілями люди звертаються і до PHP, і до Node.js, і до C#, і до Python. І все ж Java особливо популярна. У цьому матеріалі наша команда розповість про потенціал цієї мови на практичних прикладах. У подальшому читачі зможуть звернутися до цього гайду, щоб застосувати ці знання на практиці, спробувавши проксі безкоштовно або купивши приватні проксі Dexodata.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>Огляд інструментів від сайту проксі сервера \u003C/h2>\n\u003Cp>Коли йдеться про парсинг за допомогою Java, часто згадуються ці інструменти: \u003Ca href=\"https://jsoup.org/\" target=\"_blank\" rel=\"noopener\">JSoup\u003C/a> і \u003Ca href=\"https://htmlunit.sourceforge.io/\" target=\"_blank\" rel=\"noopener\">HtmlUnit\u003C/a>.\u003C/p>\n\u003Cp>JSoup працює як ефективна і при цьому відносно проста бібліотека, здатна працювати з деформованими документами HTML. Її тому і називають «JSoup», адже позначення «tag soup» застосовується якраз до безсистемних блоків даних.\u003C/p>\n\u003Cp>Що стосується HtmlUnit, то його можна описати як headless-браузер (т. е. браузер без графічного інтерфейсу), пристосований для інструментів на основі Java. Він здатний імітувати дії, характерні для браузера і, як випливає з назви, застосовується для юніт-тестування. Тобто, він «симулює» дії браузера в рамках тестового сценарію.\u003C/p>\n\u003Cp>У цьому статусі він здатний виділяти фрагменти, заповнювати форми, клікати по елементах і т.д. Для автоматизованого \u003Ca href=\"https://dexodata.com/ru/blog/10-veskix-povodov-doverit-sbor-dannyx-dexodata\" target=\"_blank\" rel=\"noopener\">збору інформації в інтернеті через проксі\u003C/a> подібні здібності — в самий раз. HtmlUnit насправді спрощує взаємодію зі сторінкою. Це ми підтверджуємо з точки зору сайту проксі сервера для оренди проксі з пулів адрес з геотаргетингом і ротацією (з нами можна не тільки купити приватні проксі, але й спробувати проксі безкоштовно).\u003C/p>\n\u003Cp>Додатковий аргумент на користь HtmlUnit стосовно перегляду веб-сторінок і збору даних: користувачу потрібно лише одна рядок коду, щоб деактивувати як JS, так і CSS.\u003C/p>\n\u003Cp>\u003Cem>Важливо: Цей гайд передбачає, що читачі вже в якійсь мірі освоїли Java, а також на достатньому рівні знають Maven. В додаток до основам Java вони повинні мати уявлення про те, \u003Ca href=\"https://ru.wikipedia.org/wiki/HTML\" target=\"_blank\" rel=\"noopener\">як функціонують веб-сторінки з точки зору HTML\u003C/a>. Знайомство з селекторами XPath або CSS також бажане. \u003C/em>\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>Основи CSS-селекторів для тих, кого цікавить оренда проксі від Dexodata \u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Зупинимося на секунду, щоб освіжити в пам'яті релевантні CSS-селектори:\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>#firstname\u003C/strong> — бере кожен елемент, id якого відповідає «firstname»;\u003C/li>\n\u003Cli>\u003Cstrong>.blue\u003C/strong> — бере кожен елемент, клас якого має відношення до «.blue»;\u003C/li>\n\u003Cli>\u003Cstrong>p\u003C/strong> — бере кожен тег <p>;\u003C/li>\n\u003Cli>\u003Cstrong>div#firstname\u003C/strong> — бере базові елементи <div>, id яких відповідає  «firstname»;\u003C/li>\n\u003Cli>\u003Cstrong>p.link.new\u003C/strong> — зверніть увагу на відсутність пробілів. Ця частина відповідальна за вибір <p class=\"link new\">;\u003C/li>\n\u003Cli>\u003Cstrong>p.link .new\u003C/strong> — а от тут пробіл є. Ця частина відповідальна за вибір кожного компонента, що відноситься до класу «new», який можна знайти всередині <p class=\"link\">.\u003C/li>\n\u003C/ul>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>Покроковий гайд по створенню Java-скрейпера\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>На базі досвіду, який ми набули в якості сайту проксі сервера, Dexodata починає процес розробки Java-скрейпера. Робити це ми будемо за допомогою Maven, JSoup і HtmlUnit. \u003C/p>\n\u003Cp>Результат наших зусиль, власне скрейпер, краще використовувати в комбінації з орендованими \u003Ca href=\"https://dexodata.com/ru/blog/kakie-proksi-s-rotaciei-lucse-kupit-dlya-biznesa\" target=\"_blank\" rel=\"noopener\">проксі з ротацією IP\u003C/a>. У нових користувачів, на додаток до можливості купити приватні проксі, є право \u003Ca href=\"https://dashboard.dexodata.com/admin/register?lang=ru\" target=\"_blank\" rel=\"noopener\">запросити пробний період\u003C/a> і спробувати проксі безкоштовно. \u003C/p>\n\u003Cp>1. Для початку добудемо бібліотеки.\u003C/p>\n\u003Cp>Тут допоможе Maven. Якщо вона з якоїсь причини не підходить, то пройдіть на \u003Ca href=\"https://jsoup.org/download\" target=\"_blank\" rel=\"noopener\">цю веб-сторінку\u003C/a>, тут є альтернативи. Ми ж працюємо з Maven, \u003Ca href=\"https://maven.apache.org/install.html\" target=\"_blank\" rel=\"noopener\">скачати його можна тут\u003C/a>. \u003C/p>\n\u003Cp>Як тільки установка закінчена, запустіть там новий проект за допомогою команди:\u003C/p>\n\u003Cp>\u003Ccode>mvn archetype:generate -DgroupId=com.mycompany.parser -DartifactId=java-parser -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false\u003C/code>\u003C/p>\n\u003Cp>Поступивши так, користувачі створять нову проектну папку під назвою «java-parser». Це надасть в їх розпорядження всі потрібні файли Maven і базову структуру. \u003C/p>\n\u003Cp>2. Тепер додамо залежності до файлу pom.xml.\u003C/p>\n\u003Cp>У файлі pom.xml («pom» означає «Project Object Model») треба додати новий розділ для роботи з залежностями в рамках JSoup. Ідемо до папки «java-parser» і відкриваємо файл pom.xml. Включаємо залежності під тегом <dependencies>:\u003C/p>\n\u003Cp>\u003Ccode><dependency>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    <groupId>org.jsoup</groupId>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    <artifactId>jsoup</artifactId>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    <version>1.14.3</version>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode></dependency>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode><dependency>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    <groupId>net.sourceforge.htmlunit</groupId>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    <artifactId>htmlunit</artifactId>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    <version>2.56.0</version>\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode></dependency>\u003C/code>\u003C/p>\n\u003Cp>Зберігаємо pom.xml і продовжуємо наш маршрут з Dexodata, \u003Ca href=\"https://dexodata.com/ru/about\" target=\"_blank\" rel=\"noopener\">сайтом проксі сервером\u003C/a> і сьогоднішнім інструктором по створенню скрейперів. \u003C/p>\n\u003Cp>3. Генеруємо новий клас Java.\u003C/p>\n\u003Cp>У папці src/main/java/com/mycompany/parser створюємо новий файл Java під назвою «HtmlParser.java». Цей елемент послужить точкою збору і входу для майбутнього парсера.\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/91/14-1-1-geo-targeted-proxies-using-java-for-data-scraping-pic-1032x491-1850bcf8-dc44-498e-b031-04a17851689b.png\" alt=\"Java для дата-харвестинга с сайтом прокси-сервером\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>4. Імпортуємо потрібні бібліотеки в «HtmlParser.java».\u003C/p>\n\u003Cp>Відкриємо файл у текстовому редакторі або ж у вибраній середовищі розробки, а потім проставимо ці рядки на самому початку файлу «HtmlParser.java»:\u003C/p>\n\u003Cp>\u003Ccode>import org.jsoup.Jsoup;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>import org.jsoup.nodes.Document;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>import com.gargoylesoftware.htmlunit.WebClient;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>import com.gargoylesoftware.htmlunit.html.HtmlPage;\u003C/code>\u003C/p>\n\u003Cp>Ми вже пройшли немалий шлях, продовжуємо слідувати за заданим маршрутом з нашим сайтом проксі сервером.\u003C/p>\n\u003Cp>5. Запустіть об'єкт «WebClient» і деактивуйте JS і CSS.\u003C/p>\n\u003Cp>Всередині класу «HtmlParser» задайте методи для створення об'єкта «WebClient», витягування HTML за допомогою HtmlUnit, аналізу вмісту HTML за допомогою JSoup і збору вузько визначених даних (таких, як заголовок, опис і зображення) у потрібній послідовності.\u003C/p>\n\u003Cp>\u003Ccode>public class HtmlParser {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    private static WebClient createWebClient() {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        WebClient webClient = new WebClient();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        webClient.getOptions().setJavaScriptEnabled(false);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        webClient.getOptions().setCssEnabled(false);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        return webClient;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    }\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>6. Створюємо метод для витягування HTML за допомогою HtmlUnit:\u003C/p>\n\u003Cp>\u003Ccode>public static HtmlPage fetchHtmlPage(String url) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    try (WebClient webClient = createWebClient()) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        return webClient.getPage(url);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    } catch (Exception e) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        e.printStackTrace();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        return null;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    }\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>7. Створюємо метод для парсингу HTML-контенту з JSoup:\u003C/p>\n\u003Cp>\u003Ccode>public static Document parseHtmlContent(String htmlContent) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    return Jsoup.parse(htmlContent);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>8. Продовжуємо працювати з HTML: \u003C/p>\n\u003Cp>\u003Ccode>public static void extractInformation(Document document) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // Витягнути інформацію з проаналізованого HTML-документа за допомогою методів JSoup\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // наприклад, document.select(\"a[href]\"), document.select(\"img[src$=.png]\")\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // Для більш детальної інформації зверніться до документації JSoup: https://jsoup.org/cookbook/\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>9. Створюємо метод для «витягування» інформації з HTML:\u003C/p>\n\u003Cp>\u003Ccode>public static void main(String[] args) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    String url = \"https://www.example.com\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    HtmlPage htmlPage = fetchHtmlPage(url);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    if (htmlPage != null) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        String htmlContent = htmlPage.asXml();\u003C/code>\u003C/p>\n\u003Cp>Як видно, всі ці кроки — зовсім не біном Ньютона. Принаймні, якщо покластися на досвід сайту проксі сервера Dexodata з пулом адрес для оренди проксі по всьому світу. \u003C/p>\n\u003Cp>Попередня частина охоплювала підготовчі заходи загального порядку: витягненню HTML-вмісту за допомогою HtmlUnit і роботі з ним за допомогою JSoup.\u003C/p>\n\u003Cp>Тепер зосередимося на «витягуванні» більш конкретних і специфічних даних, наприклад, заголовків, описів і зображень. Щоб це зробити, треба спочатку ідентифікувати HTML-теги і атрибути, пов'язані з цими компонентами. Тобто, необхідно скористатися інструментами розробника, що містяться в веб-браузерах, і «просканувати» вихідний HTML на предмет розташування і оформлення таких компонентів.\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/91/14-1-2-geo-targeted-proxies-using-java-for-data-scraping-pic-1032x491-3f649151-e240-4398-9fae-e8a88138bee4.png\" alt=\"Гайд по використанню Java для збору даних через сайт проксі сервер.\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>10. Уявімо типову ситуацію з веб-магазином. Після того як ідентифіковані всі потрібні компоненти HTML, приходить час використовувати розширені можливості JSoup для отримання таких даних. \u003C/p>\n\u003Cp>Припустимо, що заголовок знаходиться в тегу <h1>, опис — в тегу <div> з класом «product-description», а зображення — в тегу <img> з класом «product-image». Проставте ці атрибути в коді, як зроблено у фрагменті нижче. Як видно, застосовується метод extractInformation():\u003C/p>\n\u003Cp>\u003Ccode>public static void extractInformation(Document document) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // Витягнути заголовок\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    String title = document.select(\"h1\").text();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    System.out.println(\"Title: \" + title);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // Витягнути опис\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    String description = document.select(\"div.product-description\").text();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    System.out.println(\"Description: \" + description);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // Витягнути URL зображення\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    String imageUrl = document.select(\"img.product-image\").attr(\"src\");\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    System.out.println(\"Image URL: \" + imageUrl);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>11. Якщо сайт, з яким відбувається робота, зав'язаний на JavaScript для \u003Ca href=\"https://ru.wikipedia.org/wiki/%D0%94%D0%B8%D0%BD%D0%B0%D0%BC%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D1%81%D0%B0%D0%B9%D1%82\" target=\"_blank\" rel=\"noopener\">динамічної завантаження контенту\u003C/a>, треба активувати в HtmlUnit підтримку JS. Зробити це можна за рахунок ось такої маніпуляції з методом «createWebClient()»:\u003C/p>\n\u003Cp>\u003Ccode>private static WebClient createWebClient() {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    WebClient webClient = new WebClient();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    webClient.getOptions().setJavaScriptEnabled(true);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    webClient.getOptions().setCssEnabled(false);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    webClient.getOptions().setThrowExceptionOnScriptError(false);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    webClient.waitForBackgroundJavaScript(5000); // Чекати, поки JavaScript закінчить завантаження\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    return webClient;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>Зверніть увагу: включення JavaScript може збільшити час завантаження і створити ризик помилок. Dexodata, як сайт проксі сервер, в курсі регулярних скарг користувачів на проблеми через JS, однак подібні ситуації неминучі при роботі з динамічними сторінками.\u003C/p>\n\u003Cp>12. Після отримання заголовків, описів і зображень може виникнути потреба зберегти цю інформацію для подальшого аналізу або обробки.\u003C/p>\n\u003Cp>Поширеним методом є зберігання зібраної інформації у файлах CSV, JSON або XML. У цьому сценарії команда сайту проксі сервера Dexodata збереже інформацію в \u003Ca href=\"https://ru.wikipedia.org/wiki/CSV\" target=\"_blank\" rel=\"noopener\">файлі CSV\u003C/a>. Це відбувається наступним чином.\u003C/p>\n\u003Cp>Створюємо метод трансформації в CSV:\u003C/p>\n\u003Cp>\u003Ccode>import java.io.BufferedWriter;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>import java.io.FileWriter;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>import java.io.IOException;\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>public static void writeToCSV(String title, String description, String imageUrl, String outputFilePath) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    try (BufferedWriter writer = new BufferedWriter(new FileWriter(outputFilePath, true))) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        String csvLine = String.join(\",\", \"\\\"\" + title.replace(\"\\\"\", \"\\\"\\\"\") + \"\\\"\",\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>                                      \"\\\"\" + description.replace(\"\\\"\", \"\\\"\\\"\") + \"\\\"\",\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>                                      \"\\\"\" + imageUrl.replace(\"\\\"\", \"\\\"\\\"\") + \"\\\"\");\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        writer.write(csvLine);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        writer.newLine();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    } catch (IOException e) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        e.printStackTrace();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    }\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>Цей підхід використовує заголовок, опис, imageUrl, а також outputFilePath в якості вхідних параметрів.\u003C/p>\n\u003Cp>13. Оновіть «extractInformation()», щоб викликати метод «writeToCSV()» для роботи з витягнутою раніше інформацією:\u003C/p>\n\u003Cp>\u003Ccode>public static void extractInformation(Document document, String outputFilePath) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // Витягнути заголовок, опис і URL зображення, як і раніше\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    // Записати витягнуті дані у файл CSV\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    writeToCSV(title, description, imageUrl, outputFilePath);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>14. Також модифікуйте основний метод, щоб охопити шлях до вихідного файлу і передати його \u003Ccode>«extractInformation()»\u003C/code>:\u003C/p>\n\u003Cp>\u003Ccode>public static void main(String[] args) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    String url = \"https://www.example.com\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    String outputFilePath = \"output.csv\";\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    HtmlPage htmlPage = fetchHtmlPage(url);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    if (htmlPage != null) {\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        String htmlContent = htmlPage.asXml();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        Document document = parseHtmlContent(htmlContent);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>        extractInformation(document, outputFilePath);\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>    }\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>}\u003C/code>\u003C/p>\n\u003Cp>Тепер при запуску парсер бере заголовок, опис і URL-адресу зображення зі сторінки інтернет-магазину і записує дані в вказаний CSV-файл. Є також можливість додатково налаштувати формат виходу файлу, додати підзаголовки або ж зберегти інформацію в JSON або XML.\u003C/p>\n\u003Cp>Протестуйте свій парсер, застосувавши головний метод на URL-адреси інтернет-магазину. Обов'язково налаштуйте селектори JSoup відповідно до реальної структури його сторінок. Парсер завжди можна проапгрейдити, щоб витягти додаткову інформацію: ціни, специфікації або відгуки користувачів. \u003C/p>\n\u003Cp>\u003Ca href=\"https://dexodata.com/ru/retail\" target=\"_blank\" rel=\"noopener\">Аналіз бізнес-даних у сфері e-commerce\u003C/a> є одним з ключових сценаріїв для \u003Ca href=\"https://dexodata.com/ru/blog/geotargeting-proksi-cto-eto-i-zacem-nuzno\" target=\"_blank\" rel=\"noopener\">оренди проксі з геотаргетингом\u003C/a> від сайту проксі сервера Dexodata. Тож наша команда знає, наскільки корисним може бути такий інструмент. \u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor4\">\u003C/a>Тонкощі запитів\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Надсилати запити на витяг інформації — базова мета скрейпінгових програм на Java. Щодо бібліотеки JSoup, існує кілька способів отримання цікавих нам компонентів. Ці методи включають getElementByID або getElementsByTag. З їх допомогою серйозно спрощується робота на базі DOM-методів. \u003C/p>\n\u003Cp>Наш сценарій дозволяє використовувати як getElementByID, так і getElementsByClass. Зверніть увагу на важливу відмінність. У той час як getElementByID (в однині) призначений для видачі одного об'єкта Element, то з getElementsByClass (число вже множинне) буде видано Array-список, що містить всі підходящі об'єкти Element.\u003C/p>\n\u003Cp>Зручно, що в JSoup є клас Elements. Завдяки йому, Array-список <Element> може бути розширений. В результаті код стане акуратнішим і чистішим і забезпечить додаткові функції. \u003C/p>\n\u003Cp>Так, уривок, показаний нижче, застосує техніку first() для видачі першого компонента в Array-список. Як тільки цей крок зроблено, метод text() витягне для нас з нього потрібний текстовий контент.\u003C/p>\n\u003Cp>\u003Ccode>Element firstHeading = document.getElementsByClass(\"firstHeading\").first();\u003C/code>\u003C/p>\n\u003Cp>\u003Ccode>System.out.println(firstHeading.text()); \u003C/code>\u003C/p>\n\u003Cp>Паралельно, не варто також скидати з рахунків метод selectFirst(), який видасть нам перше ж співпадіння:\u003C/p>\n\u003Cp>\u003Ccode>Element firstHeading= document.selectFirst(\".firstHeading\"); \u003C/code>\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor5\">\u003C/a>Висновок\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Результативність \u003Ca href=\"https://dexodata.com/ru/data-scraping\" target=\"_blank\" rel=\"noopener\">автоматизованого збору онлайн-даних\u003C/a> — основний критерій процедури, до якої час від часу вдається кожна компанія. Мати необхідний рівень знань для створення парсерів на основі Java — серйозне перевага в конкурентній боротьбі. І як можуть бачити читачі, нічого надскладного в написанні коду немає.\u003C/p>\n\u003Cp>Наприкінці підкреслимо, що створений Java-парсер краще використовувати в комбінації з сайтом проксі сервером, що пропонує адекватний пул адрес для оренди проксі. З командою Dexodata користувачі можуть купити приватні проксі для збору даних, ну а новачкам доступна можливість спробувати проксі безкоштовно завдяки пробному періоду. Наша екосистема пропонує \u003Ca href=\"https://dexodata.com/ru/pricing\" target=\"_blank\" rel=\"noopener\">всі типи IP-адрес проксі\u003C/a>: серверні, резидентні та мобільні. \u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936345703]