[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},139,"blog","ua-raspoznavanie-imenovannyx-sushhnostei-v-html-posredstvom-python-i-ii","Розпізнавання іменованих сутностей в HTML за допомогою Python та ШІ","https://blog.dexodata.com/storage/uploads/previews/20-4-s-trusted-proxy-website-how-to-detect-entities-in-html-using-nlp-cover-589853d8-b958-4c4f-bac1-265d13ce9578.webp","https://blog.dexodata.com/storage/uploads/covers/20-4-b-trusted-proxy-website-how-to-detect-entities-in-html-using-nlp-cover-12ba1551-74ef-4a7f-8be3-44b589c42970.webp","2024/04/10","2024/03/01","Як розпізнати іменовані сутності в HTML за допомогою Python та ШІ","Гід по розпізнаванню іменованих сутностей в HTML через ШІ та бібліотеки Python. Як оренда проксі Dexodata спрощує роботу з NLP та NER.","купить лучшие прокси, аренда прокси","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>Зміст:\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">Що таке обробка природної мови\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">Як використовувати обробку природної мови для витягування іменованих сутностей\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">Складнощі виявлення іменованих сутностей\u003C/a>\u003C/li>\n\u003C/ul>\n\u003Cp>\u003Ca href=\"https://dexodata.com/ru/blog/kak-ii-pomogaet-sobirat-veb-dannye\" target=\"_blank\" rel=\"noopener\">Штучний інтелект спрощує збір веб-даних\u003C/a>, прискорюючи виявлення, отримання та обробку HTML-елементів. При цьому витягування інформації з неструктурованих текстів викликає складнощі. Причинами є різноманітність мов та залежність значень одних і тих же слів від контексту. Рішенням стає застосування \u003Cstrong>моделей обробки природної мови (NLP)\u003C/strong>. ШІ бере на себе розширений семантичний аналіз, тоді як початковий етап автоматизованого збору онлайн-даних передбачає оренду проксі. Інфраструктура Dexodata пропонує IP-адреси від $3.65 за 1 Гб для етичного витягування інформації з інтернету.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>Що таке обробка природної мови\u003C/h2>\n\u003Cp>\u003Ca href=\"https://ru.wikipedia.org/wiki/%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0\" target=\"_blank\" rel=\"noopener\">Обробка природної мови\u003C/a> (Named-entity recognition, NER або ОЕЯ) — технологія, яка виконує роль посередника між ШІ-алгоритмами та людською мовою. Завдяки розпізнаванню усної та письмової мови, обробка природної мови:\u003C/p>\n\u003Cul>\n\u003Cli>Підвищує ефективність текстових редакторів;\u003C/li>\n\u003Cli>Спрощує переклади з іноземних мов;\u003C/li>\n\u003Cli>Прискорює роботу пошукових систем;\u003C/li>\n\u003Cli>Автоматизує роботу служб підтримки через чат-боти.\u003C/li>\n\u003C/ul>\n\u003Cp>Купити найкращі проксі краще на першому етапі етичного автоматизованого веб-харвестингу. Це забезпечить безперешкодний доступ до публічної інформації формату HTML на сайтах-джерелах. Наступна фаза — \u003Ca href=\"https://dexodata.com/ru/blog/rassirennaya-analitika-big-data-s-ii-i-saitami-proksi-serverov\" target=\"_blank\" rel=\"noopener\">розширений аналіз веб-даних за допомогою ШІ\u003C/a>. Цілі застосування NER-технологій полягають у:\u003C/p>\n\u003Col>\n\u003Cli>Пошуку підходящих для вивчення HTML-елементів;\u003C/li>\n\u003Cli>Перетворенні їх у текст;\u003C/li>\n\u003Cli>Маркуванні слів, знаків пунктуації тощо як токенів і частин мови (Parts-of-Speech);\u003C/li>\n\u003Cli>Пошуку залежностей між словами;\u003C/li>\n\u003Cli>Ідентифікації та витягуванні іменованих сутностей.\u003C/li>\n\u003C/ol>\n\u003Cp>ШІ наділяє неструктуровані фрагменти датасетів певними значеннями та знаходить закономірності між несвязаними на перший погляд значеннями. Потім ці інформаційні блоки аналізують для складання точних бізнес-прогнозів або оптимізації поточних виробничих процесів.\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/139/20-4-geo-targeted-proxies-how-to-detect-entities-in-html-using-nlp-pic-03f0e407-86a4-48d4-91ee-239f7ea266b4.png\" alt=\"Як розпізнати іменовані сутності в HTML за допомогою Python та ШІ\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>Розпізнавання іменованих об'єктів (\u003Ca href=\"https://en.wikipedia.org/wiki/Named-entity_recognition\" target=\"_blank\" rel=\"noopener\">Named Entity Recognition, NER\u003C/a>) є приватним випадком обробки природної мови. Самоучні алгоритми NER виявляють і класифікують окремі слова та числа в текстовій формі, надаючи кожному певне значення. «Осмислені» текстові елементи стають іменованими сутностями (named entities), такими як:\u003C/p>\n\u003Cul>\n\u003Cli>Особисті імена;\u003C/li>\n\u003Cli>Географічне розташування;\u003C/li>\n\u003Cli>Організації;\u003C/li>\n\u003Cli>Бренди;\u003C/li>\n\u003Cli>Дати та час;\u003C/li>\n\u003Cli>Товари.\u003C/li>\n\u003C/ul>\n\u003Cp>Кожна модель NER навчається відповідно до специфіки задачі та вихідних характеристик HTML. Аналогічним чином під особливості розпізнавання іменованих сутностей в HTML вибирають, де купити найкращі проксі, з якою геолокацією та типами IP-адресів.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>Як використовувати обробку природної мови для витягування іменованих сутностей\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Робота з NLP-моделями починається з вибору мови програмування. \u003Ca href=\"https://dexodata.com/ru/blog/top-10-trendov-sbora-veb-dannyx-s-pomoshhyu-python-v-2023-godu\" target=\"_blank\" rel=\"noopener\">Переваги Python для скрейпінгу\u003C/a> та категоризації веб-даних полягають у високій швидкості компіляції, лаконічному коді та підтримці сотень бібліотек. Популярними платформами обробки природної мови на Python є:\u003C/p>\n\u003Cul>\n\u003Cli>spaCy\u003C/li>\n\u003Cli>Gensim\u003C/li>\n\u003Cli>Natural Language Toolkit (NLTK)\u003C/li>\n\u003Cli>TextBlob\u003C/li>\n\u003Cli>Polyglot\u003C/li>\n\u003Cli>scikit-learn.\u003C/li>\n\u003C/ul>\n\u003Cp>Фреймворки різняться в деталях і роблять акцент на окремих аспектах, таких як багатомовність (Polyglot), тематичне моделювання (Gensim) або універсальність (spaCy, NLTK). Загальний порядок роботи з ними є єдиним і включає 6 базових кроків.\u003C/p>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>1. Витягування тексту з HTML\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>Оренда проксі етичної екосистеми, що відповідає нормам AML/KYC, є першим етапом. Це отримання «сирих» масивів онлайн-даних, в яких ми знайдемо іменовані сутності для роботи. Оскільки в якості прикладу використовується Python, наводимо скрипт для скрейпінгу веб-даних через бібліотеку BeautifulSoup:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 95.9143%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">from\u003C/span> bs4 \u003Cspan style=\"color: #2e95d3;\">import\u003C/span> BeautifulSoup\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\">#  Визначте рамки HTML-масиву\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>html = \u003Cspan style=\"color: #00a67d;\">\"<html>...</html>\"\u003C/span>  \u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Виберіть BS для роботи з HTML\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>soup = BeautifulSoup(html, \u003Cspan style=\"color: #00a67d;\">'html.parser'\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Витягніть текст\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>text = soup.get_text()\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>2. Очищення бази даних\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>Існує два способи видалити з неструктурованого тексту небажані HTML-теги, надмірні пробіли та технічні символи:\u003C/p>\n\u003Col>\n\u003Cli>Запуск модулів NER;\u003C/li>\n\u003Cli>Використання \u003Ca href=\"https://docs.python.org/3/library/re.html\" target=\"_blank\" rel=\"noopener\">бібліотек регулярних виразів «\u003Ccode>re\u003C/code>»\u003C/a>.\u003C/li>\n\u003C/ol>\n\u003Cp>Скористаємося другим способом:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 94.9255%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">import\u003C/span> re\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Видаліть HTML-теги та зайві пробіли\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003C/code>\u003Ccode>cleaned_text = re.sub(\u003Cspan style=\"color: #00a67d;\">r'\\s+'\u003C/span>, \u003Cspan style=\"color: #00a67d;\">' '\u003C/span>, text).strip()\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>3. Категоризація тексту (токени та POS-теги)\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>Токенізація — це перший етап процедури розпізнавання іменованих сутностей. Він полягає в розбивці тексту на керовані одиниці — токени. Потім токени маркуються тегами як граматичні частини мови (POS): іменники, прикметники тощо. Застосуємо бібліотеку SpaCy:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 95.2551%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">import \u003C/span>spacy\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Завантажте російськомовний модуль\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>nlp = spacy.load(\u003Cspan style=\"color: #00a67d;\">\"ru2_combined_400ks_96\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Введіть заздалегідь очищений текст\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>text = \u003Cspan style=\"color: #00a67d;\">\"Приклад для розпізнавання іменованих сутностей через ОЕЯ-модуль.\"\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Виберіть spaCy для NLP-роботи з текстом\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>doc = nlp(text)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Запустіть токенізацію\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>tokens = [token.text \u003Cspan style=\"color: #2e95d3;\">for \u003C/span>token \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>doc]\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Виконайте присвоєння тегів частинам мови Parts-of-Speech (POS)\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>pos_tags = [(token.text, token.pos_) \u003Cspan style=\"color: #2e95d3;\">for \u003C/span>token \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>doc]\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Виведення токенів на екран\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">\"Tokens:\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(tokens)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Виведення POS-тегів на екран\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">\"\nPOS Tags:\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">for\u003C/span>\u003Cspan style=\"color: #2e95d3;\"> \u003C/span>token, pos_tag \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>pos_tags:\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>    \u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">f\"{token}: {pos_tag}\"\u003C/span>)\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>4. Розпізнавання об'єктів\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>Четвертий етап — основний в розпізнаванні іменованих сутностей. ШІ-алгоритми вивчають текст з токенами, щоб відповідно до тегів об'єднати їх в окремі категорії. Це можуть бути особи, організації, місця, дати та багато іншого. Кожна іменована сутність маркується, а згодом їх можна об'єднати в патерни. Цифровий інтелект співвідносить об'єкти за зразками, заданими на етапі машинного навчання моделі. Далі він шукає взаємозв'язки між сутностями:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 99.9794%;\" border=\"1\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 97.0536%;\">\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># Запустіть розпізнавання іменованих сутностей (NER)\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">\u003Cspan style=\"font-weight: bold; font-family: Gilroy, sans-serif;\">for\u003C/span>\u003Cspan style=\"font-weight: bold;\"> \u003C/span>\u003C/span>ent \u003Cspan style=\"color: #2e95d3; font-weight: bold;\">in\u003C/span>\u003Cspan style=\"color: #2e95d3; font-weight: bold;\"> \u003C/span>tokens.ents:\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>    \u003Cspan style=\"color: #e9950c; font-weight: bold;\">print\u003C/span>(ent.text, ent.label_)\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>5. Постобробка\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>Необхідність повторної обробки виникає, якщо текст має лінгвістичні особливості, містить багатозначні слова тощо. Нерелевантні токени ШІ відкидає, а інші нормалізує. Так дослідники отримують внутрішньо несуперечливий текстовий масив. При нестачі інформації, пропусках або сумнівах у цінності даних застосовується \u003Ca href=\"https://dexodata.com/ru/blog/obogashhenie-dannyx-pri-pomoshhi-ii-3-scenariya-i-potrebnost-v-arende-proksi\" target=\"_blank\" rel=\"noopener\">збагачення даних за допомогою штучного інтелекту\u003C/a>. Оренда проксі слугує для етичного збору навчальних даних в межах заданої геолокації.\u003C/p>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>6. Підсумковий збір даних\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>Заключний етап — це каталогізація структурованих за тегами токенів. Тепер їх можна вивчати як іменовані сутності завдяки виявленим взаємозв'язкам. Результат зберігають у вигляді CSV-таблиць або в іншому форматі.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>Складнощі виявлення іменованих сутностей\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>Розпізнавання неструктурованих об'єктів HTML за допомогою NER-технології супроводжується труднощами. До них відносять динамічну JS-структуру цільових сайтів, багатозначні слова та неточність ШІ-моделей. Тоді алгоритм обробки природної мови додатково навчають на персоналізованих базах даних.\u003C/p>\n\u003Cp>Знижувати обсяг нерелевантного контенту слід на попередньому етапі HTML-скрейпінгу. Для цього перед початком розпізнавання іменованих сутностей у тексті \u003Ca href=\"https://dexodata.com/ru/pricing\" target=\"_blank\" rel=\"noopener\">купіть найкращі проксі Dexodata\u003C/a> — етичної інфраструктури для підвищення рівня онлайн-аналітики на корпоративному рівні. Ми діємо в повному відповідності з політиками KYC та AML і пропонуємо спробувати проксі безкоштовно.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936343181]