[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},102,"blog","ua-chatgpt-i-sbor-dannyx-kakoe-budushhee-zdet-profilnoe-po-s-tocki-zreniya-proksi-saita","ChatGPT та збір даних: яке майбутнє чекає профільне ПЗ з точки зору проксі-сайту","https://blog.dexodata.com/storage/uploads/previews/15-4-s-trusted-proxy-website-chatgpt-and-scraping-implications-cover-1032x491-c9d78d89-7239-4f36-9e57-3de8b335a60c.webp","https://blog.dexodata.com/storage/uploads/covers/15-4-b-trusted-proxy-website-chatgpt-and-scraping-implications-cover-1032x491-5f5a859b-9fc4-4c7d-813d-8e3c8935ef35.webp","2023/07/04","2024/02/16","Роль ChatGPT при зборі даних очима проксі сайту","Проксі сайт Dexodata, що пропонує найкращі резидентні та мобільні проксі з 100+ країн, розповідає про роль ChatGPT при зборі та аналізі даних веб-сайтів.","прокси сайт, лучшие резидентные и мобильные прокси, аренда прокси","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Зміст:\u003C/strong>\u003C/em>\u003C/p>\n\u003Col>\n\u003Cli>\u003Ca href=\"#anchor1\">Збір даних за допомогою ChatGPT з орендою проксі\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Приклад сценарію для збору веб-даних з ChatGPT та проксі-сайтом\u003C/a>\u003C/li>\n\u003C/ol>\n\u003Cp>Швидкий розвиток LLM-моделей та впровадження \u003Ca href=\"https://dexodata.com/ru/blog/kak-chatgpt-pomogaet-izvlekat-veb-dannye-v-2023-godu\" target=\"_blank\" rel=\"noopener\">ChatGPT для витягання веб-даних\u003C/a> піднімає природне питання, чи замінять інструменти на основі ІІ існуючі програмні рішення. А також, яке місце в майбутньому займе оренда проксі від Dexodata та інших екосистем по підвищенню якості онлайн-аналітики. Щоб зрозуміти практичні наслідки подібного технологічного прориву, ми почали з очевидної проблеми і вирішили перевірити, чи здатен ChatGPT на скрейпінг веб-сайтів.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>Збір даних за допомогою ChatGPT з орендою проксі\u003C/h2>\n\u003Cp>Dexodata надає найкращі резидентні та мобільні проксі з геотаргетингом. Існує ряд вагомих \u003Ca href=\"https://dexodata.com/ru/blog/10-veskix-povodov-doverit-sbor-dannyx-dexodata\" target=\"_blank\" rel=\"noopener\">причин застосовувати проксі для збору даних\u003C/a>, тому нас цікавило, чи може ІІ самостійно проводити веб-скрейпінг сайтів з їх допомогою. На це було дано наступну відповідь (зверніть увагу, алгоритм поки що має труднощі з загальноприйнятими формами української мови):\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/102/15-4-1-geo-targeted-proxies-chatgpt-and-scraping-pic-1032x491-rus-4e0c42a9-9be0-4c1c-a149-5d38f26d6cb6.png\" alt=\"Роль ChatGPT при зборі даних очима проксі сайту\" width=\"600\" height=\"162\">\u003C/p>\n\u003Cp>Далі наша команда попросила лінгвістичну модель написати код для програмного забезпечення, що збирає інформацію в Інтернеті. Оренда проксі часто має на меті отримання інформації для розвитку \u003Ca href=\"https://dexodata.com/ru/blog/5-glavnyx-pricin-kupit-proksi-dlya-elektronnoi-kommercii-v-2023-godu\" target=\"_blank\" rel=\"noopener\">електронної комерції\u003C/a>, тому ми задали більш чіткі параметри запиту. Як приклад був використаний маркетплейс eBay, і оскільки українська мова не є «рідною» для ChatGPT, ми сформулювали прохання англійською: «Generate code for a web scraper to scrape eBay». В результаті ми отримали наведений нижче код на Python з використанням BeautifulSoup. Це мова програмування та бібліотека, які задають нові \u003Ca href=\"https://dexodata.com/ru/blog/top-10-trendov-sbora-veb-dannyx-s-pomoshhyu-python-v-2023-godu\" target=\"_blank\" rel=\"noopener\">тренди в зборі веб-даних\u003C/a>. Зазначимо, що мовна модель сама запропонувала подібні інструменти:\u003C/p>\n\u003Cpre>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">import\u003C/span> requests\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">from\u003C/span> bs4 \u003Cspan style=\"color: #236fa1;\">import\u003C/span> BeautifulSoup\u003Cbr>\u003Cbr>\u003C/code>\u003Ccode>\u003Cspan style=\"color: #7e8c8d;\"># URL of the eBay page you want to scrape\u003C/span>\u003C/code>\u003Cbr>\u003Ccode>url = \"\u003Cspan style=\"color: #2dc26b;\">https://www.ebay.com/\u003C/span>\"\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># Send a GET request to the URL\u003C/span>\u003Cbr>\u003Ccode>response = requests.get(url)\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># Parse the HTML content using BeautifulSoup\u003C/span>\u003Cbr>\u003Ccode>soup = BeautifulSoup(response.content, \"\u003Cspan style=\"color: #2dc26b;\">html.parser\u003C/span>\")\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># Find and print the titles of the items on the page\u003C/span>\u003Cbr>\u003Ccode>items = soup.find_all(\"\u003Cspan style=\"color: #2dc26b;\">h3\u003C/span>\", class_=\"\u003Cspan style=\"color: #2dc26b;\">s-item__title\u003C/span>\")\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">for\u003C/span> item \u003Cspan style=\"color: #236fa1;\">in\u003C/span> items:\u003Cbr>\u003Cspan style=\"color: #f1c40f;\">    print\u003C/span>(item.text)\u003C/code>\u003C/pre>\n\u003Cp>Ми вивчили результат і зробили попередні висновки про \u003Ca href=\"https://dexodata.com/ru/blog/preimushhestva-chatgpt-dlya-sbora-dannyx-s-arendoi-proksi-dexodata\" target=\"_blank\" rel=\"noopener\">переваги збору веб-даних з ChatGPT\u003C/a>.\u003C/p>\n\u003Cp>По-перше, досягти успіху з першої спроби важко. «Від і до», з нуля, ChatGPT проблему не вирішить. Лінгвістична модель не зможе проаналізувати заданий сайт і виділити шукану інформацію на основі елементарного речення. Значить, наявні онлайн-інструменти вона повністю не замінить. Зате алгоритм здатен сприяти в написанні коду для зовнішніх додатків, якщо додати до запиту вводні відомості та уточнити контекст. \u003C/p>\n\u003Cp>Виступаючи в якості екосистеми збору та аналітики мережевих відомостей з функціями \u003Ca href=\"https://dexodata.com/ru/ebay\" target=\"_blank\" rel=\"noopener\">проксі-сайту для eBay\u003C/a> та інших маркетплейсів, було б помилковим описувати ІІ-модель як чат-бота для скрейпінгу. Скоріше, ті, хто застосовує оренду проксі, знайдуть в його особі оперативного, виконавчого та розумного асистента. \u003C/p>\n\u003Cp>Типовий сценарій автоматизованого збору онлайн-даних з ChatGPT виглядає наступним чином:\u003C/p>\n\u003Col>\n\u003Cli>Просимо AI написати код, вказуючи точний цільовий URL;\u003C/li>\n\u003Cli>Діалогові алгоритми надають рядки коду, які слід скопіювати та вставити в сторонній фреймворк. Рекомендуємо коригувати запити, уточнюючи їх деталі;\u003C/li>\n\u003Cli>Інтелектуальний ІІ-помічник надає рекомендації щодо підходящих бібліотек.\u003C/li>\n\u003C/ol>\n\u003Cp>Модель обробки природної мови економить ресурси дослідника, оскільки:\u003C/p>\n\u003Cul>\n\u003Cli>Вимагає менше часу, ніж написання коду вручну;\u003C/li>\n\u003Cli>Позбавляє від необхідності проводити самостійне дослідження, вивчаючи онлайн-інструкції.\u003C/li>\n\u003C/ul>\n\u003Cp>Ключовий висновок полягає в тому, що ChatGPT не в змозі замінити ПЗ для автоматизованого пошуку інформації в інтернеті через проксі-сайт. Принаймні, на даному етапі розвитку. Він повільно розбирається в контексті та нюансах задачі, і пропонує узагальнені рішення. Пошук і відбір найкращих резидентних та мобільних проксі також доводиться проводити самостійно. З іншого боку, асистент на основі ІІ допомагає вибрати та налаштувати програмне забезпечення — в тому числі, для \u003Ca href=\"https://dexodata.com/ru/blog/kak-uspesno-sobirat-veb-dannye-ne-znaya-programmirovaniya\" target=\"_blank\" rel=\"noopener\">збору онлайн-інформації без навичок програмування\u003C/a>.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>Приклад сценарію для збору веб-даних з ChatGPT та проксі-сайтом\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Припустимо, що нам знадобилися деталі товарної лінійки наручних годинників з eBay. У нас є проксі сайт з \u003Ca href=\"https://dexodata.com/ru/mobile-proxies\" target=\"_blank\" rel=\"noopener\">IP-адресами для соціальних мереж\u003C/a> та сторінок електронної комерції. Залишається сформулювати код і протестувати його. Звернемося до ChatGPT. \u003C/p>\n\u003Cp>Перший крок, який робить довірений проксі-сайт Dexodata, приділяючи особливу увагу проксі для, — це визначення того, що ми збираємо.\u003C/p>\n\u003Cp>\u003Cspan style=\"text-decoration: underline;\">\u003Cstrong>Крок 1\u003C/strong>\u003C/span>. Успішна робота з штучним інтелектом вимагає додаткових відомостей, що було продемонстровано вище. Тому надамо їх. Для цього зайдемо на шукану сторінку eBay і визначимо потрібний елемент. Далі виконаємо правий клік миші і виберемо команду «Inspect». Особливу увагу зверніть на клас в коді сайту.\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/102/15-4-3-geo-targeted-proxies-chatgpt-and-scraping-pic-1032x491-825a6520-4cd9-475f-952d-c6d8a2e060cd.png\" alt=\"Роль ChatGPT при зборі даних очима проксі сайту\" width=\"1032\" height=\"589\">\u003C/p>\n\u003Cp>\u003Cspan style=\"text-decoration: underline;\">\u003Cstrong>Крок 2\u003C/strong>\u003C/span>. Залучаємо інтелектуального чат-агента. Задаємо йому:\u003C/p>\n\u003Col>\n\u003Cli>Мову програмування\u003C/li>\n\u003Cli>Сумісну бібліотеку\u003C/li>\n\u003Cli>Шукані атрибути. \u003C/li>\n\u003C/ol>\n\u003Cp>Виглядає запит наступним чином: «Please, \u003Ca href=\"https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101\" target=\"_blank\" rel=\"noopener\">scrape this website\u003C/a> via Python and Scrapy. Locate all the elements with «class» attribute name». В ньому містяться адреса, інструменти та вказівка на конкретний об'єкт. На це отримуємо наступну відповідь:\u003C/p>\n\u003Cpre>\u003Ccode>\u003Cspan style=\"color: #236fa1;\"> import\u003C/span> scrapy\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">class\u003C/span> \u003Cspan style=\"color: #e03e2d;\">EbaySpider\u003C/span>(scrapy.Spider):\u003C/code>\u003Cbr>\u003Ccode>    name = \u003Cspan style=\"color: #2dc26b;\">\"ebay\"\u003C/span>\u003C/code>\u003Cbr>\u003Ccode>    start_urls = [\u003Cspan style=\"color: #2dc26b;\">'https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101'\u003C/span>]\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">def\u003C/span> \u003Cspan style=\"color: #e03e2d;\">parse\u003C/span>(self, response):\u003C/code>\u003Cbr>\u003Ccode>    elements = response.css(\u003Cspan style=\"color: #2dc26b;\">'[class]'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>    \u003Cspan style=\"color: #236fa1;\">for\u003C/span> element \u003Cspan style=\"color: #236fa1;\">in\u003C/span> elements:\u003C/code>\u003Cbr>\u003Ccode>        class_attribute = element.attrib.get(\u003Cspan style=\"color: #2dc26b;\">'class'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>        \u003Cspan style=\"color: #236fa1;\">yield\u003C/span> {\u003C/code>\u003Cbr>\u003Ccode>            \u003Cspan style=\"color: #2dc26b;\">'class_attribute'\u003C/span>: class_attribute\u003C/code>\u003Cbr>\u003Ccode>        }\u003C/code>\u003C/pre>\n\u003Cp>\u003Cspan style=\"text-decoration: underline;\">\u003Cstrong>Крок 3\u003C/strong>\u003C/span>. Пропонуємо ChatGPT більше уточнень. Чим чіткіше прописана задача, тим результативніше буде запропоноване автоматизованою системою рішення. І тим менше будуть витрати на додаткові інструменти, зокрема, адреси проксі-сайту. Припустимо, для роботи потрібно лише назва товару. Прописуємо в \u003Ca href=\"https://chat.openai.com/\" target=\"_blank\" rel=\"noopener\">інтерфейсі ІІ-моделі\u003C/a>: «Please, scrape this website via Python and Scrapy. Locate all the elements with \"class=\"b-info__title \" attribute name». \u003C/p>\n\u003Cp>Реакція буде такою, як зазначено нижче:\u003C/p>\n\u003Cpre>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">import\u003C/span> scrapy\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">class\u003C/span> \u003Cspan style=\"color: #e03e2d;\">EbaySpider\u003C/span>(scrapy.Spider):\u003C/code>\u003Cbr>\u003Ccode>    name = \u003Cspan style=\"color: #2dc26b;\">\"ebay\"\u003C/span>\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>    start_urls = [\u003Cspan style=\"color: #2dc26b;\">'https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101'\u003C/span>]\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>    \u003Cspan style=\"color: #236fa1;\">def\u003C/span> \u003Cspan style=\"color: #e03e2d;\">parse\u003C/span>(self, response):\u003C/code>\u003Cbr>\u003Ccode>        elements = response.xpath(\u003Cspan style=\"color: #2dc26b;\">'//*[@class=\"b-info__title \"]'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>        \u003Cspan style=\"color: #236fa1;\">for\u003C/span> element \u003Cspan style=\"color: #236fa1;\">in\u003C/span> elements:\u003C/code>\u003Cbr>\u003Ccode>            title = element.xpath(\u003Cspan style=\"color: #2dc26b;\">'text()'\u003C/span>).get()\u003C/code>\u003Cbr>\u003Ccode>            \u003Cspan style=\"color: #236fa1;\">yield\u003C/span> {\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #2dc26b;\">                'title'\u003C/span>: title.strip()\u003C/code>\u003Cbr>\u003Ccode>            }\u003C/code>\u003C/pre>\n\u003Cp>Тепер отриманий код необхідно протестувати і при необхідності скоригувати. Мовна модель ІІ також займається налагодженням, якщо уточнити параметри, що потребують виправлення.\u003C/p>\n\u003Cp>Сумарно ми витратили близько п’яти хвилин на описані вище дії. Вердикт на даному етапі такий: ChatGPT має достатній потенціал, щоб змінити звичні процедури витягування веб-інформації та \u003Ca href=\"https://dexodata.com/ru/blog/avtomatizaciya-brauzera-v-kontekste-data-xarvestinga\" target=\"_blank\" rel=\"noopener\">автоматизації браузерів\u003C/a> для них. Однак повністю замінити людей-експертів у мовах PHP, Python, JS тощо в обозримому майбутньому алгоритм не здатен. Новий інструмент полегшує роботу програміста, але не забирає її.\u003C/p>\n\u003Cp>Команда екосистеми для збору та обробки онлайн-даних за допомогою оренди проксі з 100+ країн вважає ChatGPT корисним помічником при скрейпінгу і всім радить попрацювати з ним. Не більше і не менше. Вкласти власні сили, увагу та знання все ще залишається обов’язковою умовою при веб-скрейпінгу.\u003C/p>\n\u003Cp>Екосистема Dexodata пропонує найкращі резидентні та мобільні \u003Ca href=\"https://dexodata.com/ru/pricing\" target=\"_blank\" rel=\"noopener\">проксі за вигідними цінами\u003C/a> з геотаргетингом у більш ніж 100 країнах. З точки зору нашого досвіду, ми високо оцінюємо внесок автоматизованих систем спілкування в індустрію збору та обробки веб-інформації. Закликаємо вас спробувати проксі безкоштовно і заодно протестувати можливості ChatGPT. Головне пам’ятайте, що на даному етапі розвитку лінгвістичні ІІ-моделі — це продуктивний помічник, але не повноцінний виконавець. Прикласти власні сили, знання та вміння все ще доведеться як у мережевій аналітиці, так і в інших \u003Ca href=\"https://dexodata.com/ru/blog/zacem-biznesu-nuzny-proksi\" target=\"_blank\" rel=\"noopener\">цілях оренди проксі для бізнесу\u003C/a>.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936345626]