[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},139,"blog","ar-how-to-detect-entities-in-html-using-nlp","كيفية اكتشاف الكيانات في HTML باستخدام معالجة اللغة الطبيعية","https://blog.dexodata.com/storage/uploads/previews/20-4-s-trusted-proxy-website-how-to-detect-entities-in-html-using-nlp-cover-589853d8-b958-4c4f-bac1-265d13ce9578.webp","https://blog.dexodata.com/storage/uploads/covers/20-4-b-trusted-proxy-website-how-to-detect-entities-in-html-using-nlp-cover-12ba1551-74ef-4a7f-8be3-44b589c42970.webp","2024/04/10","2024/03/01","كيف يمكنني استخراج الكيانات من النص أو HTML باستخدام معالجة اللغة الطبيعية","دليل حول اكتشاف الكيانات المسماة في HTML عبر نماذج معالجة اللغة الطبيعية. 7 خطوات يجب اتخاذها بعد شراء البروكسيات السكنية والمتحركة من نظام Dexodata الأخلاقي.","buy residential and mobile proxies, buy residential ip","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>محتويات المقال:\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">ما هي معالجة اللغة الطبيعية؟\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">استخدام معالجة اللغة الطبيعية لاكتشاف الكيانات: الخطوات الرئيسية\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">تحديات اكتشاف الكيانات المسماة\u003C/a>\u003C/li>\n\u003C/ul>\n\u003Cp>\u003Ca href=\"https://dexodata.com/en/blog/how-does-ai-enhance-web-data-gathering\" target=\"_blank\" rel=\"noopener\">تعزز الذكاء الاصطناعي جمع بيانات الويب\u003C/a> وتبسط اكتشاف والحصول على ومعالجة عناصر HTML. ومع ذلك، فإن المعلومات الخام الموجودة في شكل نصي لا تزال صعبة الهيكلة بسبب تنوع اللغات والمفردات ومعاني الكلمات المحددة. تكمن الحلول في تنفيذ نماذج \u003Cstrong>معالجة اللغة الطبيعية\u003C/strong> لتحليل الدلالات المتقدمة. تبقى المرحلة الأولية من جمع الرؤى عبر الإنترنت كما هي، وتفترض متطلبات شراء البروكسيات السكنية والمتحركة. هذه هي عناوين IP التي تقدمها بنية Dexodata التحتية لاستخراج معلومات الإنترنت الأخلاقية.\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>ما هي معالجة اللغة الطبيعية؟\u003C/h2>\n\u003Cp>\u003Ca href=\"https://en.wikipedia.org/wiki/Natural_language_processing\" target=\"_blank\" rel=\"noopener\">معالجة اللغة الطبيعية (NLP)\u003C/a> تشكل تخصصًا ذاتيًا ضمن علم البيانات والذكاء الاصطناعي. تلعب خوارزمياتها دور الوسيط بين أجهزة الكمبيوتر واللغات البشرية لأنها تفهم وتتعامل مع النص المكتوب. يتم تطبيق معالجة اللغة الطبيعية في:\u003C/p>\n\u003Cul>\n\u003Cli>إدارة الكلمات، مما يعزز كفاءة محرري النصوص.\u003C/li>\n\u003Cli>برامج الترجمة، مما يسهل التواصل عبر اللغات.\u003C/li>\n\u003Cli>محركات البحث، مما يمكّن المستخدمين من استرجاع المعلومات ذات الصلة من مستودعات رقمية ضخمة.\u003C/li>\n\u003Cli>تطبيقات البنوك، التي تستخدم التفاعلات الطبيعية للتحقق من الأرصدة أو إجراء المعاملات.\u003C/li>\n\u003Cli>الدردشة الآلية، التي تقدم تفاعلات شبيهة بالبشر في خدمة العملاء والدعم.\u003C/li>\n\u003C/ul>\n\u003Cp>بعد أن تشتري فريق بحثي IP سكني للوصول السلس إلى مصادر الإنترنت، تدخل تقنيات معالجة اللغة الطبيعية حيز التنفيذ لتحسين \u003Ca href=\"https://dexodata.com/en/blog/how-do-ai-and-trusted-proxy-websites-improve-advanced-data-analytics\" target=\"_blank\" rel=\"noopener\">تحليل البيانات المتقدمة باستخدام الذكاء الاصطناعي\u003C/a>. تتكون أهدافها من:\u003C/p>\n\u003Col>\n\u003Cli>البحث عن عناصر HTML المناسبة\u003C/li>\n\u003Cli>توسيمها كرموز وأجزاء من الكلام\u003C/li>\n\u003Cli>تحديد الاعتماديات من خلال NER\u003C/li>\n\u003Cli>تحديد الكيانات المسماة.\u003C/li>\n\u003C/ol>\n\u003Cp>تمكن هذه الإجراءات قطع المعلومات غير المهيكلة من معاني معينة مهمة لتوقعات الأعمال \u003Ca href=\"https://dexodata.com/en/blog/what-is-ai-based-business-forecasting-with-geo-targeted-proxies\" target=\"_blank\" rel=\"noopener\">المعتمدة على الذكاء الاصطناعي\u003C/a> أو تحسين العمليات الحالية.\u003C/p>\n\u003Cp>\u003Cimg style=\"text-align: center; display: block; margin-left: auto; margin-right: auto;\" src=\"https://blog.dexodata.com/storage/uploads/images/139/20-4-geo-targeted-proxies-how-to-detect-entities-in-html-using-nlp-pic-03f0e407-86a4-48d4-91ee-239f7ea266b4.png\" alt=\"كيف يمكنني استخراج الكيانات من النص أو HTML باستخدام معالجة اللغة الطبيعية\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>NER تعني التعرف على الكيانات المسماة وتمثل مرحلة فرعية مخصصة من معالجة اللغة الطبيعية. إنها قادرة على اكتشاف وتصنيف الكيانات المسماة داخل النص. الكيانات المسماة، بدورها، هي قطع محددة من المعلومات تأخذ أشكالًا متنوعة، مثل:\u003C/p>\n\u003Cul>\n\u003Cli>الأسماء الشخصية\u003C/li>\n\u003Cli>المواقع الجغرافية\u003C/li>\n\u003Cli>المنظمات\u003C/li>\n\u003Cli>العلامات التجارية\u003C/li>\n\u003Cli>التواريخ والأوقات\u003C/li>\n\u003Cli>المنتجات.\u003C/li>\n\u003C/ul>\n\u003Cp>يمكن تدريب كل نموذج NER وفقًا لخصوصيات المهمة وخصائص HTML الأولية. يتم اتخاذ القرار بشراء البروكسيات المتحركة و\u003Ca href=\"https://dexodata.com/en/blog/pros-and-cons-of-residential-and-datacenter-proxies\" target=\"_blank\" rel=\"noopener\">عناوين IP السكنية أو مراكز البيانات\u003C/a> بنفس الطريقة.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>استخدام معالجة اللغة الطبيعية لاكتشاف الكيانات: الخطوات الرئيسية\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>تبدأ عملية اختيار نماذج معالجة اللغة الطبيعية من اختيار لغة البرمجة. تشمل مزايا بايثون في الحصول على المعلومات عبر الإنترنت سرعة التجميع العالية، الشيفرة المفهومة، ونطاق واسع من المكتبات. \u003Cstrong>أطر معالجة اللغة الطبيعية الشائعة في بايثون\u003C/strong> هي:\u003C/p>\n\u003Cul>\n\u003Cli>spaCy\u003C/li>\n\u003Cli>Gensim\u003C/li>\n\u003Cli>مجموعة أدوات معالجة اللغة الطبيعية (NLTK)\u003C/li>\n\u003Cli>TextBlob\u003C/li>\n\u003Cli>Polyglot\u003C/li>\n\u003Cli>scikit-learn.\u003C/li>\n\u003C/ul>\n\u003Cp>تختلف في التفاصيل وتوفر تجارب مختلفة مع التركيز على الكيانات متعددة اللغات (Polyglot)، نمذجة الموضوعات (Gensim)، والمرونة (spaCy، NLTK). لذلك، يتبعون خطوات شائعة. مراحل اكتشاف الكيانات في HTML هي:\u003C/p>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>1. استخراج النص\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>باستخدام عناوين IP السكنية التي تشتريها من نظام متوافق مع AML/KYC، اجمع بيانات النص من مصادر قائمة على HTML. إليك مثال على تنفيذ BeautifulSoup:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 95.9143%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">from\u003C/span> bs4 \u003Cspan style=\"color: #2e95d3;\">import\u003C/span> BeautifulSoup\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># تحليل HTML\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>html = \u003Cspan style=\"color: #00a67d;\">\"<html>...</html>\"\u003C/span> \u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># ضع محتوى HTML غير المهيكل هنا\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>soup = BeautifulSoup(html, \u003Cspan style=\"color: #00a67d;\">'html.parser'\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># استخراج النص\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>text = soup.get_text()\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>2. تنظيف قاعدة البيانات الأولية\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>هناك طريقتان لحذف علامات HTML غير المرغوب فيها، والرموز الغريبة، والمسافات. تشغيل وحدات NER هو الخيار الأول، بينما الخيار الثاني هو استخدام \u003Ca href=\"https://docs.python.org/3/library/re.html\" target=\"_blank\" rel=\"noopener\">مكتبة التعبيرات العادية \u003Ccode>\u003Cspan style=\"color: #236fa1;\">re\u003C/span>\u003C/code>\u003C/a> لتنظيف العناصر غير الدقيقة:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 96.0242%; height: 198px;\" border=\"2\">\n\u003Ctbody style=\"padding-left: 40px;\">\n\u003Ctr style=\"padding-left: 40px; height: 198px;\">\n\u003Ctd style=\"width: 100%; padding-left: 40px; height: 198px;\">\n\u003Cp style=\"font-weight: 400;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">import\u003C/span> re\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># إزالة علامات HTML والمسافات الزائدة\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400;\">\u003Ccode>\u003C/code>\u003Ccode>cleaned_text = re.sub(\u003Cspan style=\"color: #00a67d;\">r'\\s+'\u003C/span>, \u003Cspan style=\"color: #00a67d;\">' '\u003C/span>, text).strip()\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>3. تقسيم النص وتوسيم أجزاء الكلام\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>تقسيم النص هو الفعل الأول لتقسيم النص إلى وحدات قابلة للإدارة ضمن إجراء التعرف على الكيانات المسماة. كل رمز يعمل كجزء من الصورة العامة. ثم يتم وسم الرموز كأجزاء من الكلام (POS) مع تعيين معلومات نحوية. إليك مثال على استخدام بايثون spaCy:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 96.5735%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">import \u003C/span>spacy\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># تحميل نموذج اللغة الإنجليزية، على سبيل المثال.\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>nlp = spacy.load(\u003Cspan style=\"color: #00a67d;\">\"en_core_web_sm\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># تعريف النص المنظف سابقًا\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>text = \u003Cspan style=\"color: #00a67d;\">\"نموذج لاكتشاف الكيانات بواسطة وحدات معالجة اللغة الطبيعية.\"\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># إدارة النص باستخدام spaCy\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>doc = nlp(text)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># تنفيذ تقسيم النص\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>tokens = [token.text \u003Cspan style=\"color: #2e95d3;\">for \u003C/span>token \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>doc]\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># تنفيذ وسم أجزاء الكلام (POS)\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>pos_tags = [(token.text, token.pos_) \u003Cspan style=\"color: #2e95d3;\">for \u003C/span>token \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>doc]\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># طباعة الرموز\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">\"الرموز:\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(tokens)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># طباعة وسم أجزاء الكلام\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">\"\nوسوم أجزاء الكلام:\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">for\u003C/span>\u003Cspan style=\"color: #2e95d3;\"> \u003C/span>token, pos_tag \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>pos_tags:\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>    \u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">f\"{token}: {pos_tag}\"\u003C/span>)\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>4. التعرف على الكيانات\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>تبدأ الأعمال الأساسية مع الكيانات المسماة هنا. تقوم نماذج NER بمسح النص المقسم، وتبحث عن الكيانات وتصنفها إلى أنواع متميزة. يمكن أن تكون هذه أفرادًا، منظمات، أماكن، تواريخ، وأكثر. يتم وضع علامة على كل كيان مسمى ثم يصبح مادة لإجراء أكثر تعقيدًا، وهو مطابقة الأنماط القائم على القواعد. بدلاً من التعبيرات العادية، تجمع نموذج معالجة اللغة الطبيعية الرموز في تسلسلات وفقًا للقواعد المحددة مسبقًا، وتكشف عن الاعتماديات:\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 96.6834%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># معالجة التعرف على الكيانات المسماة (NER)\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">\u003Cspan style=\"font-weight: bold; font-family: Gilroy, sans-serif;\">for\u003C/span>\u003Cspan style=\"font-weight: bold;\"> \u003C/span>\u003C/span>ent \u003Cspan style=\"color: #2e95d3; font-weight: bold;\">in\u003C/span>\u003Cspan style=\"color: #2e95d3; font-weight: bold;\"> \u003C/span>tokens.ents:\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>    \u003Cspan style=\"color: #e9950c; font-weight: bold;\">print\u003C/span>(ent.text, ent.label_)\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>5. المعالجة اللاحقة\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>اعتمادًا على المهام، قد تظهر الحاجة إلى تحسين الكيانات. يتخلص الذكاء الاصطناعي من الرموز غير ذات الصلة ويمرر الآخرين عبر التطبيع لضمان التناسق ضمن الرؤى التي تم الحصول عليها. اشترِ عناوين IP سكنية للحصول على \u003Ca href=\"https://dexodata.com/en/blog/what-is-data-enrichment-with-ai-3-scenarios-and-a-case-for-proxies\" target=\"_blank\" rel=\"noopener\">تحسين البيانات المعزز بالذكاء الاصطناعي\u003C/a> الاختياري.\u003C/p>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>6. جمع الرؤى\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>تتكون المرحلة الأخيرة من نشر الرموز التي تعتبر كيانات مسماة. يتم أرشفتها في قواعد بيانات CSV لمزيد من التحليل.\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>تحديات اكتشاف الكيانات المسماة\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>تتبع عدة عقبات اكتشاف الكيانات المعتمدة على NER في HTML بالإضافة إلى صعوبات جمع البيانات المعتمدة على الذكاء الاصطناعي المعروفة \u003Ca href=\"https://dexodata.com/en/blog/how-to-cope-with-difficulties-of-ai-based-data-gathering-in-2023\" target=\"_blank\" rel=\"noopener\">جمع البيانات المعتمد على الذكاء الاصطناعي\u003C/a>. تشمل هذه الهياكل المتغيرة، الكيانات المراوغة، الألغاز السياقية، والدعوة لتدريب نماذج مخصصة. لتقليل كمية المحتوى غير ذي الصلة من بداية اكتشاف الكيانات في HTML بواسطة معالجة اللغة الطبيعية، \u003Ca href=\"https://dexodata.com/en/residential-proxies\" target=\"_blank\" rel=\"noopener\">اشترِ بروكسيات سكنية من Dexodata\u003C/a> وعناوين IP المتحركة. تعمل هذه البنية التحتية لجمع بيانات الإنترنت الأخلاقية على الامتثال الصارم لسياسات KYC وAML، مما يوفر نتائج تجريف صحيحة.\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936375353]