تسجيل الدخولتسجيل الخروج
🇸🇦 AR

كيفية اكتشاف الكيانات في HTML باستخدام معالجة اللغة الطبيعية

image

محتويات المقال:

تعزز الذكاء الاصطناعي جمع بيانات الويب وتبسط اكتشاف والحصول على ومعالجة عناصر HTML. ومع ذلك، فإن المعلومات الخام الموجودة في شكل نصي لا تزال صعبة الهيكلة بسبب تنوع اللغات والمفردات ومعاني الكلمات المحددة. تكمن الحلول في تنفيذ نماذج معالجة اللغة الطبيعية لتحليل الدلالات المتقدمة. تبقى المرحلة الأولية من جمع الرؤى عبر الإنترنت كما هي، وتفترض متطلبات شراء البروكسيات السكنية والمتحركة. هذه هي عناوين IP التي تقدمها بنية Dexodata التحتية لاستخراج معلومات الإنترنت الأخلاقية.

ما هي معالجة اللغة الطبيعية؟

معالجة اللغة الطبيعية (NLP) تشكل تخصصًا ذاتيًا ضمن علم البيانات والذكاء الاصطناعي. تلعب خوارزمياتها دور الوسيط بين أجهزة الكمبيوتر واللغات البشرية لأنها تفهم وتتعامل مع النص المكتوب. يتم تطبيق معالجة اللغة الطبيعية في:

  • إدارة الكلمات، مما يعزز كفاءة محرري النصوص.
  • برامج الترجمة، مما يسهل التواصل عبر اللغات.
  • محركات البحث، مما يمكّن المستخدمين من استرجاع المعلومات ذات الصلة من مستودعات رقمية ضخمة.
  • تطبيقات البنوك، التي تستخدم التفاعلات الطبيعية للتحقق من الأرصدة أو إجراء المعاملات.
  • الدردشة الآلية، التي تقدم تفاعلات شبيهة بالبشر في خدمة العملاء والدعم.

بعد أن تشتري فريق بحثي IP سكني للوصول السلس إلى مصادر الإنترنت، تدخل تقنيات معالجة اللغة الطبيعية حيز التنفيذ لتحسين تحليل البيانات المتقدمة باستخدام الذكاء الاصطناعي. تتكون أهدافها من:

  1. البحث عن عناصر HTML المناسبة
  2. توسيمها كرموز وأجزاء من الكلام
  3. تحديد الاعتماديات من خلال NER
  4. تحديد الكيانات المسماة.

تمكن هذه الإجراءات قطع المعلومات غير المهيكلة من معاني معينة مهمة لتوقعات الأعمال المعتمدة على الذكاء الاصطناعي أو تحسين العمليات الحالية.

كيف يمكنني استخراج الكيانات من النص أو HTML باستخدام معالجة اللغة الطبيعية

NER تعني التعرف على الكيانات المسماة وتمثل مرحلة فرعية مخصصة من معالجة اللغة الطبيعية. إنها قادرة على اكتشاف وتصنيف الكيانات المسماة داخل النص. الكيانات المسماة، بدورها، هي قطع محددة من المعلومات تأخذ أشكالًا متنوعة، مثل:

  • الأسماء الشخصية
  • المواقع الجغرافية
  • المنظمات
  • العلامات التجارية
  • التواريخ والأوقات
  • المنتجات.

يمكن تدريب كل نموذج NER وفقًا لخصوصيات المهمة وخصائص HTML الأولية. يتم اتخاذ القرار بشراء البروكسيات المتحركة وعناوين IP السكنية أو مراكز البيانات بنفس الطريقة.

 

استخدام معالجة اللغة الطبيعية لاكتشاف الكيانات: الخطوات الرئيسية

 

تبدأ عملية اختيار نماذج معالجة اللغة الطبيعية من اختيار لغة البرمجة. تشمل مزايا بايثون في الحصول على المعلومات عبر الإنترنت سرعة التجميع العالية، الشيفرة المفهومة، ونطاق واسع من المكتبات. أطر معالجة اللغة الطبيعية الشائعة في بايثون هي:

  • spaCy
  • Gensim
  • مجموعة أدوات معالجة اللغة الطبيعية (NLTK)
  • TextBlob
  • Polyglot
  • scikit-learn.

تختلف في التفاصيل وتوفر تجارب مختلفة مع التركيز على الكيانات متعددة اللغات (Polyglot)، نمذجة الموضوعات (Gensim)، والمرونة (spaCy، NLTK). لذلك، يتبعون خطوات شائعة. مراحل اكتشاف الكيانات في HTML هي:

1. استخراج النص

باستخدام عناوين IP السكنية التي تشتريها من نظام متوافق مع AML/KYC، اجمع بيانات النص من مصادر قائمة على HTML. إليك مثال على تنفيذ BeautifulSoup:

from bs4 import BeautifulSoup

# تحليل HTML

html = "<html>...</html>"

# ضع محتوى HTML غير المهيكل هنا

soup = BeautifulSoup(html, 'html.parser')

# استخراج النص

text = soup.get_text()

2. تنظيف قاعدة البيانات الأولية

هناك طريقتان لحذف علامات HTML غير المرغوب فيها، والرموز الغريبة، والمسافات. تشغيل وحدات NER هو الخيار الأول، بينما الخيار الثاني هو استخدام مكتبة التعبيرات العادية re لتنظيف العناصر غير الدقيقة:

import re

# إزالة علامات HTML والمسافات الزائدة

cleaned_text = re.sub(r'\s+', ' ', text).strip()

3. تقسيم النص وتوسيم أجزاء الكلام

تقسيم النص هو الفعل الأول لتقسيم النص إلى وحدات قابلة للإدارة ضمن إجراء التعرف على الكيانات المسماة. كل رمز يعمل كجزء من الصورة العامة. ثم يتم وسم الرموز كأجزاء من الكلام (POS) مع تعيين معلومات نحوية. إليك مثال على استخدام بايثون spaCy:

import spacy

# تحميل نموذج اللغة الإنجليزية، على سبيل المثال.

nlp = spacy.load("en_core_web_sm")

# تعريف النص المنظف سابقًا

text = "نموذج لاكتشاف الكيانات بواسطة وحدات معالجة اللغة الطبيعية."

# إدارة النص باستخدام spaCy

doc = nlp(text)

# تنفيذ تقسيم النص

tokens = [token.text for token in doc]

# تنفيذ وسم أجزاء الكلام (POS)

pos_tags = [(token.text, token.pos_) for token in doc]

# طباعة الرموز

print("الرموز:")

print(tokens)

# طباعة وسم أجزاء الكلام

print(" وسوم أجزاء الكلام:")

for token, pos_tag in pos_tags:

    print(f"{token}: {pos_tag}")

4. التعرف على الكيانات

تبدأ الأعمال الأساسية مع الكيانات المسماة هنا. تقوم نماذج NER بمسح النص المقسم، وتبحث عن الكيانات وتصنفها إلى أنواع متميزة. يمكن أن تكون هذه أفرادًا، منظمات، أماكن، تواريخ، وأكثر. يتم وضع علامة على كل كيان مسمى ثم يصبح مادة لإجراء أكثر تعقيدًا، وهو مطابقة الأنماط القائم على القواعد. بدلاً من التعبيرات العادية، تجمع نموذج معالجة اللغة الطبيعية الرموز في تسلسلات وفقًا للقواعد المحددة مسبقًا، وتكشف عن الاعتماديات:

# معالجة التعرف على الكيانات المسماة (NER)

for ent in tokens.ents:

    print(ent.text, ent.label_)

5. المعالجة اللاحقة

اعتمادًا على المهام، قد تظهر الحاجة إلى تحسين الكيانات. يتخلص الذكاء الاصطناعي من الرموز غير ذات الصلة ويمرر الآخرين عبر التطبيع لضمان التناسق ضمن الرؤى التي تم الحصول عليها. اشترِ عناوين IP سكنية للحصول على تحسين البيانات المعزز بالذكاء الاصطناعي الاختياري.

6. جمع الرؤى

تتكون المرحلة الأخيرة من نشر الرموز التي تعتبر كيانات مسماة. يتم أرشفتها في قواعد بيانات CSV لمزيد من التحليل.

 

تحديات اكتشاف الكيانات المسماة

 

تتبع عدة عقبات اكتشاف الكيانات المعتمدة على NER في HTML بالإضافة إلى صعوبات جمع البيانات المعتمدة على الذكاء الاصطناعي المعروفة جمع البيانات المعتمد على الذكاء الاصطناعي. تشمل هذه الهياكل المتغيرة، الكيانات المراوغة، الألغاز السياقية، والدعوة لتدريب نماذج مخصصة. لتقليل كمية المحتوى غير ذي الصلة من بداية اكتشاف الكيانات في HTML بواسطة معالجة اللغة الطبيعية، اشترِ بروكسيات سكنية من Dexodata وعناوين IP المتحركة. تعمل هذه البنية التحتية لجمع بيانات الإنترنت الأخلاقية على الامتثال الصارم لسياسات KYC وAML، مما يوفر نتائج تجريف صحيحة.

Back

نحن نسهل ملفات تعريف الارتباط، قراءة المزيد حولسياسة ملفات تعريف الارتباط