3 перешкоди при зборі даних з ІІ та проксі-сайтами
Зміст статті:
Обсяги даних для збору зростають. У 2023 році кожен день в інтернеті додавалося 3.5 квінтильйона байтів інформації. У порівнянні з 2015 роком, коли ця цифра становила 2.5 квінтильйона, динаміка очевидна. А скільки квінтильйонів буде в 2030? Цього не передбачити. Але одне передбачити можна. Незважаючи на експоненціальні темпи, дані будуть агрегуватися і оброблятися. В ролі екосистеми для оренди проксі при зборі даних Dexodata спостерігає за гонкою. Хто переможе, будуть це безкінечні датасети чи розумні інструменти ІІ для їх збору?
Парадокс збору даних на основі ІІ
Обчислювальні потужності набрали галопуючий темп розвитку. Статистика показує:
- З 2010 року сукупність обчислювальних ресурсів у частині МО збільшилася в 10 мільярдів раз;
- Як нагадує Time, ІІ вже зрівнявся з людиною і перевершив людей при розпізнаванні почерку і усної мови, аналізі зображень і текстів. Навіть побутовий контекст схоплюється на льоту.
Встає логічне питання. Якщо ІІ все оперативніше інтерпретує дані, то які можливі перешкоди при зборі даних на основі ІІ? Адже збирати інформацію повинно бути простіше, ніж оцінювати. Парадоксальним чином, тут присутні три нюанси, які опише наш проксі-сайт.
Перешкода при зборі даних з ІІ №1. Упередження
Дані генеруються людьми, відображаючи людську природу. Як соціальні одиниці ми відчуваємо упередження. Відповідно, дані також містять упередження. Збір таких даних, з властивою їм упередженістю, призведе до спотворених і помилкових висновків. Незалежно від того, наскільки розумно працює ІІ. Якщо він накопичує і інтерпретує неправильну або неповну інформацію, він збере дефектні датасети і запропонує неправильні рішення. Це стандартна перешкода при зборі даних з ІІ. Як показують недавні дослідження, організації часто страждають від негативних наслідків через упередженість ІІ. Так, в одному опитуванні 36% респондентів заявили, що їх компанії зіткнулися з ними.
Станом на 2024 рік вирішити цю задачу без живих людей неможливо. Остаточні матеріали повинні вручну переглядатися кількома рецензентами з урахуванням контексту, щоб виявити упередженість.
Перешкода при зборі даних з ІІ №2. Якість
За даними Gartner, якість даних входить до ТОП-3 перешкод при роботі з ІІ. Його підтримання в процесі збору — нетривіальна задача. Інформація часто неструктурована, що вимагає зусиль по її оперативній обробці. ІІ має в цьому плані певний потенціал. Він здатний на корисні маніпуляції, такі як: очищення даних, їх транскрибування тощо. При цьому штучний інтелект все одно потрібно навчати і контролювати.
Для цього члени ІІ-команди по збору даних повинні розуміти, як:
- Ідентифікувати відсутні дані в датасетах;
- Перевіряти датасети на цілісність і несуперечливість;
- Розпізнавати неактуальність даних;
- Розбиратися в питаннях їх надмірності.
Перешкода при зборі даних з ІІ №3. Динаміка даних
Великі дані постійно генеруються за рахунок IoT, включаючи датчики, розумну побутову техніку та мобільні гаджети. Новинні сайти, стрічки соціальних мереж, додатки, а також користувацький контент поповнюють Мережу нескінченним потоком. У динаміці ці швидкості та обсяги призводять до перевантажень, помилкового аналізу та затримок при обробці. А деякі дані й зовсім залишаються невикористаними. На них не вистачає потужностей.
Через подібний дрейф даних є ймовірність проявлення трьох проблем другого рівня:
- Часові розбіжності
Дані підлягають постійним змінам через зміни в бізнес-середовищі, поведінкових патернах, технологічних рішеннях. Те, що інформативно сьогодні, може стати нерелевантним завтра. А ІІ продовжить збирати цю вже непотрібну інформацію.
- Підтримання ІІ-моделей в робочому стані
У міру таких часових зсувів, ІІ, навчений на застарілих даних, почне допускати збої. Тому проблематично натренувати розумних збирачів і кібер аналітиків за принципом «раз і назавжди». Інструменти доведеться постійно переучувати.
- Відсутність історичних даних
Коли йдеться про нові явища або трансформації, дає про себе знати нестача знань про минуле. ІІ не зможе витягти і врахувати їх, адже їх просто не існує.
Подолання цих перешкод через дрейф даних можливе за двома напрямками:
- Постійні ручні оновлення, що передбачають переобучення моделі за рахунок свіжих даних. Є також варіант налаштувати автоматичні раунди переобучення за рахунок підгрузки і поглинання даних з певною періодичністю;
- Гнучкі саморазвиваючі алгоритми, що використовують методології активного навчання. Цей варіант технічно складний і дорогий, але дає моделям адаптуватися у фоновому режимі. В тому числі стоїть проекції в минуле, по якому немає відомостей.
Платформа для оренди проксі з геотаргетингом Dexodata підкреслює об'єктивний факт. ІІ не є панацеєю при зборі та обробці даних. Участь людей все ще необхідна. Звісно, ІІ серйозно допомагає і полегшує технічну частину. Але без живих співробітників штучний інтелект деградує.
Проксі-сайт Dexodata готовий таким працівникам допомогти. Оренда проксі резидентного і мобільного типу для збору даних на основі ІІ пропонується по 100+ країнам. Новим користувачам доступний безкоштовний пробний період для тесту проксі при зборі даних.
