[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},139,"blog","cn-how-to-detect-entities-in-html-using-nlp","如何使用自然语言处理在HTML中检测实体","https://blog.dexodata.com/storage/uploads/previews/20-4-s-trusted-proxy-website-how-to-detect-entities-in-html-using-nlp-cover-589853d8-b958-4c4f-bac1-265d13ce9578.webp","https://blog.dexodata.com/storage/uploads/covers/20-4-b-trusted-proxy-website-how-to-detect-entities-in-html-using-nlp-cover-12ba1551-74ef-4a7f-8be3-44b589c42970.webp","2024/04/10","2024/03/01","我如何使用自然语言处理从文本或HTML中提取实体","关于通过自然语言处理模型在HTML中检测命名实体的指南。购买Dexodata伦理生态系统中的住宅和移动代理后需要采取的7个步骤。","buy residential and mobile proxies, buy residential ip","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>文章内容：\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">什么是自然语言处理？\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">使用自然语言处理进行实体检测：主要步骤\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">命名实体检测的挑战\u003C/a>\u003C/li>\n\u003C/ul>\n\u003Cp>\u003Ca href=\"https://dexodata.com/en/blog/how-does-ai-enhance-web-data-gathering\" target=\"_blank\" rel=\"noopener\">人工智能增强了网络数据收集\u003C/a>，并简化了HTML元素的发现、获取和处理。然而，由于语言、词汇和特定单词的含义多样，文本形式的原始信息仍然难以结构化。解决方案在于实施\u003Cstrong>自然语言处理\u003C/strong>模型进行高级语义分析。在线洞察收集的初始阶段无论如何保持不变，并要求购买住宅和移动代理。这些是Dexodata基础设施提供的用于道德互联网信息提取的IP。\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>什么是自然语言处理？\u003C/h2>\n\u003Cp>\u003Ca href=\"https://en.wikipedia.org/wiki/Natural_language_processing\" target=\"_blank\" rel=\"noopener\">自然语言处理（NLP）\u003C/a>是数据科学和人工智能中的一个自学习学科。其算法在计算机和人类语言之间扮演中介角色，因为它们能够理解和处理书面文本。自然语言处理应用于：\u003C/p>\n\u003Cul>\n\u003Cli>单词管理，提高文本编辑器的效率。\u003C/li>\n\u003Cli>翻译软件，促进跨语言交流。\u003C/li>\n\u003Cli>搜索引擎，使用户能够从庞大的数字库中检索相关信息。\u003C/li>\n\u003Cli>银行应用，利用自然语言交互检查余额或进行交易。\u003C/li>\n\u003Cli>聊天机器人，在客户服务和支持中提供类人交互。\u003C/li>\n\u003C/ul>\n\u003Cp>在研究团队购买住宅IP以无缝访问互联网资源后，自然语言处理技术开始发挥作用，以\u003Ca href=\"https://dexodata.com/en/blog/how-do-ai-and-trusted-proxy-websites-improve-advanced-data-analytics\" target=\"_blank\" rel=\"noopener\">通过AI改善高级数据分析\u003C/a>。其目标包括：\u003C/p>\n\u003Col>\n\u003Cli>寻找合适的HTML元素\u003C/li>\n\u003Cli>将其标记为标记和词性\u003C/li>\n\u003Cli>通过命名实体识别（NER）建立依赖关系\u003C/li>\n\u003Cli>识别命名实体。\u003C/li>\n\u003C/ol>\n\u003Cp>这些程序赋予非结构化信息特定的意义，这对未来的\u003Ca href=\"https://dexodata.com/en/blog/what-is-ai-based-business-forecasting-with-geo-targeted-proxies\" target=\"_blank\" rel=\"noopener\">基于AI的商业预测\u003C/a>或当前过程的优化至关重要。\u003C/p>\n\u003Cp>\u003Cimg style=\"text-align: center; display: block; margin-left: auto; margin-right: auto;\" src=\"https://blog.dexodata.com/storage/uploads/images/139/20-4-geo-targeted-proxies-how-to-detect-entities-in-html-using-nlp-pic-03f0e407-86a4-48d4-91ee-239f7ea266b4.png\" alt=\"我如何使用自然语言处理从文本或HTML中提取实体\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>NER代表命名实体识别，是NLP的一个专门子阶段。它能够在文本中挖掘和分类命名实体。命名实体是特定的信息片段，具有多种形式，例如：\u003C/p>\n\u003Cul>\n\u003Cli>个人姓名\u003C/li>\n\u003Cli>地理位置\u003C/li>\n\u003Cli>组织\u003C/li>\n\u003Cli>品牌\u003C/li>\n\u003Cli>日期和时间\u003C/li>\n\u003Cli>产品。\u003C/li>\n\u003C/ul>\n\u003Cp>每个NER模型可以根据任务的具体要求和初始HTML特征进行训练。购买移动和\u003Ca href=\"https://dexodata.com/en/blog/pros-and-cons-of-residential-and-datacenter-proxies\" target=\"_blank\" rel=\"noopener\">住宅代理或数据中心IP\u003C/a>的决策也是如此。\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>使用自然语言处理进行实体检测：主要步骤\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>选择NLP模型从选择计算语言开始。Python在在线信息获取中的优势包括高编译速度、可理解的代码和广泛的库。\u003Cstrong>流行的Python自然语言处理框架\u003C/strong>包括：\u003C/p>\n\u003Cul>\n\u003Cli>spaCy\u003C/li>\n\u003Cli>Gensim\u003C/li>\n\u003Cli>自然语言工具包（NLTK）\u003C/li>\n\u003Cli>TextBlob\u003C/li>\n\u003Cli>Polyglot\u003C/li>\n\u003Cli>scikit-learn。\u003C/li>\n\u003C/ul>\n\u003Cp>它们在细节上有所不同，并提供不同的体验，重点关注多语言实体（Polyglot）、主题建模（Gensim）、多功能性（spaCy、NLTK）。因此，它们遵循共同的步骤。HTML中实体检测的阶段包括：\u003C/p>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>1. 提取文本\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>利用您从AML/KYC合规生态系统购买的住宅IP，从基于HTML的来源收集文本数据。以下是BeautifulSoup实现的示例：\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 95.9143%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">from\u003C/span> bs4 \u003Cspan style=\"color: #2e95d3;\">import\u003C/span> BeautifulSoup\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 解析HTML\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>html = \u003Cspan style=\"color: #00a67d;\">\"<html>...</html>\"\u003C/span> \u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 在此处放置非结构化HTML内容\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>soup = BeautifulSoup(html, \u003Cspan style=\"color: #00a67d;\">'html.parser'\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 提取文本\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>text = soup.get_text()\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>2. 清理初始数据库\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>删除不需要的HTML标签、特殊符号和空格有两种方法。运行NER模块是第一种选择，而第二种选择是利用\u003Ca href=\"https://docs.python.org/3/library/re.html\" target=\"_blank\" rel=\"noopener\">正则表达式的\u003Ccode>\u003Cspan style=\"color: #236fa1;\">re\u003C/span>\u003C/code>库\u003C/a>来清除不准确的元素：\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 96.0242%; height: 198px;\" border=\"2\">\n\u003Ctbody style=\"padding-left: 40px;\">\n\u003Ctr style=\"padding-left: 40px; height: 198px;\">\n\u003Ctd style=\"width: 100%; padding-left: 40px; height: 198px;\">\n\u003Cp style=\"font-weight: 400;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">import\u003C/span> re\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 删除HTML标签和多余的空白\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400;\">\u003Ccode>\u003C/code>\u003Ccode>cleaned_text = re.sub(\u003Cspan style=\"color: #00a67d;\">r'\\s+'\u003C/span>, \u003Cspan style=\"color: #00a67d;\">' '\u003C/span>, text).strip()\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>3. 分词和词性标注\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>分词是将文本分解为可管理单元的第一步，属于命名实体识别过程。每个标记作为整体图像的一部分。然后将标记标记为词性（POS），分配语法信息。以下是Python spaCy使用的示例：\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 96.5735%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">import \u003C/span>spacy\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 加载英语语言模型，例如\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>nlp = spacy.load(\u003Cspan style=\"color: #00a67d;\">\"en_core_web_sm\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 定义之前清理过的文本\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>text = \u003Cspan style=\"color: #00a67d;\">\"示例：通过NLP模块检测实体。\"\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 使用spaCy管理文本\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>doc = nlp(text)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 进行分词\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>tokens = [token.text \u003Cspan style=\"color: #2e95d3;\">for \u003C/span>token \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>doc]\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 执行词性标注（POS）\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>pos_tags = [(token.text, token.pos_) \u003Cspan style=\"color: #2e95d3;\">for \u003C/span>token \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>doc]\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 打印标记\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">\"标记:\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(tokens)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 打印词性标记\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">\"\n词性标记:\"\u003C/span>)\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">for\u003C/span>\u003Cspan style=\"color: #2e95d3;\"> \u003C/span>token, pos_tag \u003Cspan style=\"color: #2e95d3;\">in \u003C/span>pos_tags:\u003C/code>\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Ccode>    \u003Cspan style=\"color: #e9950c;\">print\u003C/span>(\u003Cspan style=\"color: #00a67d;\">f\"{token}: {pos_tag}\"\u003C/span>)\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>4. 实体识别\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>命名实体的核心工作从这里开始。NER模型扫描标记化的文本，寻找实体并将其分类为不同类型。这些可以是个人、组织、地点、日期等。每个命名实体都被标记，然后成为更复杂的过程、基于规则的模式匹配的材料。NLP模型根据先前设定的规则将标记组合为序列，并揭示依赖关系，而不是使用正则表达式：\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 96.6834%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #999999;\"># 处理命名实体识别（NER）\u003C/span>\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #2e95d3;\">\u003Cspan style=\"font-weight: bold; font-family: Gilroy, sans-serif;\">for\u003C/span>\u003Cspan style=\"font-weight: bold;\"> \u003C/span>\u003C/span>ent \u003Cspan style=\"color: #2e95d3; font-weight: bold;\">in\u003C/span>\u003Cspan style=\"color: #2e95d3; font-weight: bold;\"> \u003C/span>tokens.ents:\u003C/code>\u003C/p>\n\u003Cp style=\"font-weight: 400; padding-left: 40px;\">\u003Ccode>    \u003Cspan style=\"color: #e9950c; font-weight: bold;\">print\u003C/span>(ent.text, ent.label_)\u003C/code>\u003C/p>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>5. 后处理\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>根据任务的不同，可能需要对实体进行细化。AI会丢弃无关的标记，并对其他标记进行规范化，以确保所获得洞察的一致性。购买住宅IP地址以进行可选的\u003Ca href=\"https://dexodata.com/en/blog/what-is-data-enrichment-with-ai-3-scenarios-and-a-case-for-proxies\" target=\"_blank\" rel=\"noopener\">AI增强的数据丰富\u003C/a>。\u003C/p>\n\u003Cp>\u003Cspan style=\"color: #236fa1;\">\u003Cstrong>6. 收集洞察\u003C/strong>\u003C/span>\u003C/p>\n\u003Cp>最后阶段是部署被视为命名实体的标记。它们被存档在CSV数据库中以供进一步分析。\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>命名实体检测的挑战\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>除了已知的\u003Ca href=\"https://dexodata.com/en/blog/how-to-cope-with-difficulties-of-ai-based-data-gathering-in-2023\" target=\"_blank\" rel=\"noopener\">基于AI的数据收集\u003C/a>的困难外，基于NER的实体检测在HTML中还面临几个障碍。这些包括结构变化、难以捉摸的实体、上下文谜题，以及对定制模型训练的需求。为了最小化在通过NLP检测HTML中的实体时从一开始就出现的无关内容，\u003Ca href=\"https://dexodata.com/en/residential-proxies\" target=\"_blank\" rel=\"noopener\">购买Dexodata住宅代理\u003C/a>和移动IP。这一基础设施用于道德的企业级互联网数据收集，严格遵守KYC和AML政策，提供有效的抓取结果。\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936351807]