УвійтиЗареєструватися
🇺🇦 UA

ChatGPT та збір даних: яке майбутнє чекає профільне ПЗ з точки зору проксі-сайту

image

Зміст:

  1. Збір даних за допомогою ChatGPT з орендою проксі
  2. Приклад сценарію для збору веб-даних з ChatGPT та проксі-сайтом

Швидкий розвиток LLM-моделей та впровадження ChatGPT для витягання веб-даних піднімає природне питання, чи замінять інструменти на основі ІІ існуючі програмні рішення. А також, яке місце в майбутньому займе оренда проксі від Dexodata та інших екосистем по підвищенню якості онлайн-аналітики. Щоб зрозуміти практичні наслідки подібного технологічного прориву, ми почали з очевидної проблеми і вирішили перевірити, чи здатен ChatGPT на скрейпінг веб-сайтів.

Збір даних за допомогою ChatGPT з орендою проксі

Dexodata надає найкращі резидентні та мобільні проксі з геотаргетингом. Існує ряд вагомих причин застосовувати проксі для збору даних, тому нас цікавило, чи може ІІ самостійно проводити веб-скрейпінг сайтів з їх допомогою. На це було дано наступну відповідь (зверніть увагу, алгоритм поки що має труднощі з загальноприйнятими формами української мови):

Роль ChatGPT при зборі даних очима проксі сайту

Далі наша команда попросила лінгвістичну модель написати код для програмного забезпечення, що збирає інформацію в Інтернеті. Оренда проксі часто має на меті отримання інформації для розвитку електронної комерції, тому ми задали більш чіткі параметри запиту. Як приклад був використаний маркетплейс eBay, і оскільки українська мова не є «рідною» для ChatGPT, ми сформулювали прохання англійською: «Generate code for a web scraper to scrape eBay». В результаті ми отримали наведений нижче код на Python з використанням BeautifulSoup. Це мова програмування та бібліотека, які задають нові тренди в зборі веб-даних. Зазначимо, що мовна модель сама запропонувала подібні інструменти:

import requests
from bs4 import BeautifulSoup

# URL of the eBay page you want to scrape
url = "https://www.ebay.com/"

# Send a GET request to the URL
response = requests.get(url)

# Parse the HTML content using BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")

# Find and print the titles of the items on the page
items = soup.find_all("h3", class_="s-item__title")
for item in items:
    print(item.text)

Ми вивчили результат і зробили попередні висновки про переваги збору веб-даних з ChatGPT.

По-перше, досягти успіху з першої спроби важко. «Від і до», з нуля, ChatGPT проблему не вирішить. Лінгвістична модель не зможе проаналізувати заданий сайт і виділити шукану інформацію на основі елементарного речення. Значить, наявні онлайн-інструменти вона повністю не замінить. Зате алгоритм здатен сприяти в написанні коду для зовнішніх додатків, якщо додати до запиту вводні відомості та уточнити контекст. 

Виступаючи в якості екосистеми збору та аналітики мережевих відомостей з функціями проксі-сайту для eBay та інших маркетплейсів, було б помилковим описувати ІІ-модель як чат-бота для скрейпінгу. Скоріше, ті, хто застосовує оренду проксі, знайдуть в його особі оперативного, виконавчого та розумного асистента. 

Типовий сценарій автоматизованого збору онлайн-даних з ChatGPT виглядає наступним чином:

  1. Просимо AI написати код, вказуючи точний цільовий URL;
  2. Діалогові алгоритми надають рядки коду, які слід скопіювати та вставити в сторонній фреймворк. Рекомендуємо коригувати запити, уточнюючи їх деталі;
  3. Інтелектуальний ІІ-помічник надає рекомендації щодо підходящих бібліотек.

Модель обробки природної мови економить ресурси дослідника, оскільки:

  • Вимагає менше часу, ніж написання коду вручну;
  • Позбавляє від необхідності проводити самостійне дослідження, вивчаючи онлайн-інструкції.

Ключовий висновок полягає в тому, що ChatGPT не в змозі замінити ПЗ для автоматизованого пошуку інформації в інтернеті через проксі-сайт. Принаймні, на даному етапі розвитку. Він повільно розбирається в контексті та нюансах задачі, і пропонує узагальнені рішення. Пошук і відбір найкращих резидентних та мобільних проксі також доводиться проводити самостійно. З іншого боку, асистент на основі ІІ допомагає вибрати та налаштувати програмне забезпечення — в тому числі, для збору онлайн-інформації без навичок програмування.

 

Приклад сценарію для збору веб-даних з ChatGPT та проксі-сайтом

 

Припустимо, що нам знадобилися деталі товарної лінійки наручних годинників з eBay. У нас є проксі сайт з IP-адресами для соціальних мереж та сторінок електронної комерції. Залишається сформулювати код і протестувати його. Звернемося до ChatGPT. 

Перший крок, який робить довірений проксі-сайт Dexodata, приділяючи особливу увагу проксі для, — це визначення того, що ми збираємо.

Крок 1. Успішна робота з штучним інтелектом вимагає додаткових відомостей, що було продемонстровано вище. Тому надамо їх. Для цього зайдемо на шукану сторінку eBay і визначимо потрібний елемент. Далі виконаємо правий клік миші і виберемо команду «Inspect». Особливу увагу зверніть на клас в коді сайту.

Роль ChatGPT при зборі даних очима проксі сайту

Крок 2. Залучаємо інтелектуального чат-агента. Задаємо йому:

  1. Мову програмування
  2. Сумісну бібліотеку
  3. Шукані атрибути. 

Виглядає запит наступним чином: «Please, scrape this website via Python and Scrapy. Locate all the elements with «class» attribute name». В ньому містяться адреса, інструменти та вказівка на конкретний об'єкт. На це отримуємо наступну відповідь:

 import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"
    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

def parse(self, response):
    elements = response.css('[class]')
    for element in elements:
        class_attribute = element.attrib.get('class')
        yield {
            'class_attribute': class_attribute
        }

Крок 3. Пропонуємо ChatGPT більше уточнень. Чим чіткіше прописана задача, тим результативніше буде запропоноване автоматизованою системою рішення. І тим менше будуть витрати на додаткові інструменти, зокрема, адреси проксі-сайту. Припустимо, для роботи потрібно лише назва товару. Прописуємо в інтерфейсі ІІ-моделі: «Please, scrape this website via Python and Scrapy. Locate all the elements with "class="b-info__title " attribute name». 

Реакція буде такою, як зазначено нижче:

import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"

    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

    def parse(self, response):
        elements = response.xpath('//*[@class="b-info__title "]')
        for element in elements:
            title = element.xpath('text()').get()
            yield {
                'title': title.strip()
            }

Тепер отриманий код необхідно протестувати і при необхідності скоригувати. Мовна модель ІІ також займається налагодженням, якщо уточнити параметри, що потребують виправлення.

Сумарно ми витратили близько п’яти хвилин на описані вище дії. Вердикт на даному етапі такий: ChatGPT має достатній потенціал, щоб змінити звичні процедури витягування веб-інформації та автоматизації браузерів для них. Однак повністю замінити людей-експертів у мовах PHP, Python, JS тощо в обозримому майбутньому алгоритм не здатен. Новий інструмент полегшує роботу програміста, але не забирає її.

Команда екосистеми для збору та обробки онлайн-даних за допомогою оренди проксі з 100+ країн вважає ChatGPT корисним помічником при скрейпінгу і всім радить попрацювати з ним. Не більше і не менше. Вкласти власні сили, увагу та знання все ще залишається обов’язковою умовою при веб-скрейпінгу.

Екосистема Dexodata пропонує найкращі резидентні та мобільні проксі за вигідними цінами з геотаргетингом у більш ніж 100 країнах. З точки зору нашого досвіду, ми високо оцінюємо внесок автоматизованих систем спілкування в індустрію збору та обробки веб-інформації. Закликаємо вас спробувати проксі безкоштовно і заодно протестувати можливості ChatGPT. Головне пам’ятайте, що на даному етапі розвитку лінгвістичні ІІ-моделі — це продуктивний помічник, але не повноцінний виконавець. Прикласти власні сили, знання та вміння все ще доведеться як у мережевій аналітиці, так і в інших цілях оренди проксі для бізнесу.

Back

Ми їмо печиво. Дізнайтеся більше про політику використання файлів cookie