[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},88,"blog","cn-browser-automation-for-data-harvesting-explained-by-dexodata","Dexodata解释的数据采集浏览器自动化","https://blog.dexodata.com/storage/uploads/previews/12-3-trusted-proxy-website-browser-automation-cover2064x982-b76ac942-fe8b-414d-a7b7-14af0e168683.webp","https://blog.dexodata.com/storage/uploads/covers/da3261b6-1062-4309-999e-3de952894416.webp","2023/04/04","2023/05/29","受信任的代理网站解释的浏览器自动化","Dexodata，一个受信任的代理网站，解释了数据采集背景下的浏览器自动化，为您提供顶级的白名单地理定位代理。","geo targeted proxies, trusted proxy website, paid proxy free trial, buy residential IP","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>文章内容：\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">与受信任的代理网站的浏览器自动化介绍\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">浏览器自动化的相关示例\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">比较几种最佳浏览器自动化工具\u003C/a>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor4\">Selenium\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor5\">Puppeteer\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor6\">Playwright\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor7\">Cypress\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor8\">Axiom\u003C/a>\u003C/li>\n\u003C/ul>\n\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor9\">关于成功浏览器自动化的结论\u003C/a>\u003C/li>\n\u003C/ul>\n\u003Cp>\u003Ca href=\"https://blogs.worldbank.org/opendata/data-harvesting-what-it-and-how-can-you-benefit\" target=\"_blank\" rel=\"noopener\">正如世界银行所说\u003C/a>，手动数据采集，即逐个提取数据，是耗时且乏味的。作为一个\u003Ca href=\"https://dexodata.com/en/blog/10-credible-reasons-to-use-dexodata\" target=\"_blank\" rel=\"noopener\">拥有地理定位代理的受信任代理网站\u003C/a>，人们可以在这里购买住宅IP并利用付费代理的免费试用期，\u003Ca href=\"https://dexodata.com\" target=\"_blank\" rel=\"noopener\">Dexodata数据采集生态系统\u003C/a>对此深有体会。这就是为什么自动化是成功且具有成本效益的抓取过程的关键。幸运的是，市场上确实存在一些可用的浏览器自动化工具，从需要编码能力的全能套件到简单但付费的无代码选项。让我们来讨论一下它们。 \u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>与受信任的代理网站的浏览器自动化介绍\u003C/h2>\n\u003Cp>浏览器自动化是指以编程方式在浏览器中执行某些任务并将这些任务委托给机器人。因此，它对各种用例（包括数据提取）是无价的。通过应用合适的浏览器自动化工具，可以快速、精确地进行适用的操作，并且其规模无法与人类相比。 \u003C/p>\n\u003Cp>例如，使用Selenium（我们将在下面讨论）用户可以：\u003C/p>\n\u003Cul>\n\u003Cli>滚动\u003C/li>\n\u003Cli>点击\u003C/li>\n\u003Cli>截图\u003C/li>\n\u003Cli>填写并提交各种表单\u003C/li>\n\u003Cli>此外，甚至执行JavaScript代码。\u003C/li>\n\u003C/ul>\n\u003Cp>“这有什么必要？”有人可能会问。在这种情况下，论点如下： \u003C/p>\n\u003Cp>“我想做的就是抓取一堆页面。为此，我可以使用一个专门设计的机器人（即，基本上是一个脚本）来提取数据。机器人将发送我的查询，从感兴趣的HTML页面获取答案，并将结果保存为CSV文件。为什么要麻烦浏览器自动化？” \u003C/p>\n\u003Cp>答案很简单。对于静态网站，确实是那么简单。对于它们来说，内容始终保持不变，除非有人故意修改它。这里唯一的活跃方是服务器端。对于动态内容，情况则完全不同。它们的内容会根据用户的位置、语言偏好和用户配置文件的其他属性而变化。因此，客户端在这里也很重要。 \u003C/p>\n\u003Cp>现在是关键的事情。动态页面的数据是在每个用户查询后单独生成的，经过第一次页面加载请求。因此，为了使事情运转起来，我们必须（理想情况下，使用\u003Ca href=\"https://csrc.nist.gov/glossary/term/proxy\" target=\"_blank\" rel=\"noopener\">受信任代理网站提供的地理定位代理\u003C/a>，例如Dexodata，在这里一个人可以\u003Ca href=\"https://dexodata.com/en/blog/how-to-choose-effective-residential-proxies-comprehensive-guide\" target=\"_blank\" rel=\"noopener\">购买住宅IP\u003C/a>或尝试付费代理的免费试用）进行某些操作并对该页面做一些事情。这就是人们需要浏览器自动化工具来滚动、点击、输入数据、提交填写的表单等的原因。 \u003C/p>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>浏览器自动化的相关示例 \u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>再次强调，浏览器自动化解决方案的使命是使用户能够自动化他们的浏览器，使其看起来像真正的网络冲浪者。在这方面，它们提供的功能远不止网页抓取。例如，人们能够运行网站测试、识别断开的链接、执行重复性任务等等。然而，在这篇文章中，我们专注于网页抓取。\u003C/p>\n\u003Cp>我们已经提到了浏览器自动化的关键原因，即处理动态内容，而这占据了全球所有内容的绝大部分。此外，它还提供以下优势： \u003C/p>\n\u003Col>\n\u003Cli>浏览器自动化实践使得保持抓取器不被阻止变得更容易，因为与原始HTTP查询相比，更容易在“人群”中混合浏览器。\u003C/li>\n\u003Cli>在投入一些努力后，他们的生活变得更加轻松，因为一切都在自动运行，更快。\u003C/li>\n\u003Cli>可以处理并发任务。\u003C/li>\n\u003Cli>消除了人为因素和错误。 \u003C/li>\n\u003C/ol>\n\u003Cp>通过这种方式可以抓取什么？几乎任何依赖数据和网络的公司所需的东西。您可以抓取： \u003C/p>\n\u003Cul>\n\u003Cli>电子商务排名和定价信息\u003C/li>\n\u003Cli>搜索引擎信息\u003C/li>\n\u003Cli>社交媒体信息\u003C/li>\n\u003Cli>活动门票\u003C/li>\n\u003Cli>打折的运动鞋，等等。 \u003C/li>\n\u003C/ul>\n\u003Cp>只需确保与受信任的代理网站合作使用地理定位代理。例如，使用Dexodata，人们不仅可以购买住宅IP。除此之外，新的用户还可以获得付费代理的免费试用。您可以在我们的\u003Ca href=\"https://dexodata.com/en/faq\" target=\"_blank\" rel=\"noopener\">特殊FAQ部分\u003C/a>中了解更多。 \u003C/p>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>比较几种最佳浏览器自动化工具 \u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>不再讨论理论，让我们进入实践。目前有哪些最佳的浏览器自动化解决方案？在我们看来，这是一个合适的简短清单：\u003C/p>\n\u003Col>\n\u003Cli>Selenium\u003C/li>\n\u003Cli>Puppeteer\u003C/li>\n\u003Cli>Playwright\u003C/li>\n\u003Cli>Cypress\u003C/li>\n\u003Cli>Axiom。\u003C/li>\n\u003C/ol>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor4\">\u003C/a>1. Selenium\u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>如果有人搜索“用于网页抓取的浏览器自动化工具”，\u003Ca href=\"https://www.selenium.dev/\" target=\"_blank\" rel=\"noopener\">Selenium\u003C/a>可能会排在前面。作为一个开源工具，它确实被高级和专业用户广泛应用于抓取活动。\u003C/p>\n\u003Cp>它的优点包括完全免费。调整其代码以满足个人独特需求没有问题。至于它兼容的操作系统，包括Windows、Linux以及Apple。此外，人们为其创建的脚本可以与多种浏览器同时执行，包括Chrome和Safari。作为一个工具，Selenium以其庞大的社区而自豪，因此找到答案和\u003Ca href=\"https://github.com/SeleniumHQ/selenium\" target=\"_blank\" rel=\"noopener\">满足个人需求的现成配方\u003C/a>并不是问题。 \u003C/p>\n\u003Cp>问题在于它需要高级的编码知识。然而，作为一个完整的强大工具，它支持Python、Java、C#、Ruby和JavaScript（实际上，它多年前作为一个小规模的JavaScript程序推出）。所以如果您的业务雇佣了这样的团队成员，请不要犹豫去尝试它。在浏览器自动化的背景下，还有一些其他缺点，即缺乏技术支持（几乎没有，除了社区）以及它仅专注于基于Web的应用程序。\u003C/p>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor5\">\u003C/a>2. Puppeteer\u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>2. \u003Ca href=\"https://pptr.dev/\" target=\"_blank\" rel=\"noopener\">Puppeteer\u003C/a>作为一个开源Node.js库，需求量很大。它的使命是为您提供高层API，并使您能够通过DevTools协议与（无头）Chrome或Chromium浏览器进行工作。由于该项目的文档状况良好，并且\u003Ca href=\"https://github.com/puppeteer/puppeteer\" target=\"_blank\" rel=\"noopener\">其社区正在积极发展\u003C/a>，人们很快就能找到任何痛点的解决方案。实际上，它执行的是启动一个\u003Ca href=\"https://en.wikipedia.org/wiki/Headless_browser#Usage\" target=\"_blank\" rel=\"noopener\">用于数据收集的无头浏览器\u003C/a>，几乎不需要加载时间。\u003C/p>\n\u003Cp>它的缺点是它在浏览器自动化方面延续了其优点。即，它仅可用于Chrome和Chromium（某些功能也适用于Firefox，仅此而已）。最后，它仅支持JavaScript。顺便说一下，使用它，用户当然需要知道如何编码，尽管这比使用Selenium简单。\u003C/p>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor6\">\u003C/a>3. Playwright\u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>\u003Ca href=\"https://playwright.dev/python/docs/intro\" target=\"_blank\" rel=\"noopener\">Playwright\u003C/a> 与Puppeteer相当。该工具作为Node.js库运行。正如您可能已经猜到的，它也是一个开源选项。从表面上看，唯一显著的区别是，Puppeteer与Google密不可分，而Playwright是由微软团队创建的。但这并不是唯一的区别。\u003C/p>\n\u003Cp>它相对容易掌握。只需输入一些基本代码来启动这个无头工具，它将处理其余的事情。由于该工具与Chromium、Firefox和Safari兼容，并且以其快速的执行时间而闻名，因此它非常适合基于浏览器自动化的大规模数据抓取项目。使这个选项令人愉快的是，您可以自由使用Node.js、Python、Java和.NET，并依赖于丰富的文档。总之，它是一个出色的跨浏览器、跨语言和跨平台的工具，同时也支持代理使用。因此，您可以利用受信任代理网站提供的\u003Ca href=\"https://dexodata.com/en/blog/what-are-geo-targeted-proxies-all-about\" target=\"_blank\" rel=\"noopener\">地理定位代理\u003C/a>（如Dexodata），例如，购买住宅IP或尝试付费代理的免费试用。\u003C/p>\n\u003Cp>有没有什么绊脚石？有一个障碍。它是一个相对年轻的产品，因此，如果您必须依赖于\u003Ca href=\"https://github.com/microsoft/playwright\" target=\"_blank\" rel=\"noopener\">广泛的社区\u003C/a>，那么目前请跳过它。\u003C/p>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor7\">\u003C/a>4. Cypress\u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>\u003Ca href=\"https://www.cypress.io/\" target=\"_blank\" rel=\"noopener\">Cypress\u003C/a>可能看起来是一个令人惊讶的选择。它不是一个无头浏览器。更重要的是，它官方上是一个可靠的测试框架。在这个能力上，它作为一个免费的（带有付费功能）开源测试运行器和基于仪表板的服务，需要在本地安装。因此，它应该测试基于现代技术（如React和AngularJS）运行的渐进式Web应用程序。同时，它也可以用于网页抓取。  \u003C/p>\n\u003Cp>它的明显优点是，它不需要配置，可以作为.exe文件安装。之后，所有适用的驱动程序和依赖项将自动到位。\u003C/p>\n\u003Cp>同时，这个工具也不是没有缺点。首先，它在真实浏览器中工作。这意味着Cypress接受的唯一编程语言是JavaScript。此外，该工具相对年轻，因此，它并没有提供\u003Ca href=\"https://github.com/cypress-io/cypress/issues\" target=\"_blank\" rel=\"noopener\">显著的Cypress社区\u003C/a>。\u003C/p>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor8\">\u003C/a>5. Axiom\u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>最后，让我们评估最简单类型的工具。如果您在寻找无代码解决方案，那么您一定听说过\u003Ca href=\"https://axiom.ai\" target=\"_blank\" rel=\"noopener\">Axiom\u003C/a>。它作为Chrome扩展运行，不需要编码技能。要开始工作，您只需使用“从网页获取数据”的功能。可以通过单击“选择数据”按钮来指定需要获取的数据。作为一个工具，Axiom使用户能够将抓取的信息保存为表格结构，由列和行组成。每一列代表一种要抓取和保存的单独数据。\u003C/p>\n\u003Cp>看起来这很简单。然而，与其他任何工具一样，可能会出现问题。首先，您需要为Axiom付费。其次，存在可以提取的数据类型的问题。事实上，Axiom提供以下过程：要选择一列的信息，您需要单击它。理论上，Axiom已经准备好处理典型问题，因此所选类型将以颜色突出显示。之后，所选类型将在预览表中显示。有什么问题吗？\u003C/p>\n\u003Cp>好吧，Axiom团队明确警告他们的用户：如果您打算选择的任何内容缺失，请也单击一下。之后，Axiom将自动尝试识别所单击元素的模式并找到类似的元素。根据他们的说法，通常只需2或3次点击。但有时可能需要更多。\u003C/p>\n\u003Cp>这正是我们所指的。每当您选择无代码选项时，您必须依赖它们的“智能”和内部浏览器自动化机制来获得结果。您无法编码理想的结果，测试编写的代码，并获得确切的想要的结果。\u003C/p>\n\u003Cp>我们会推荐上述哪种解决方案？没有一刀切的答案（唯一的通用规则是，来自受信任代理网站的地理定位代理对于\u003Ca href=\"https://dexodata.com/en/data-collection\" target=\"_blank\" rel=\"noopener\">可靠的网络数据采集\u003C/a>是必须的，因此不要忽视购买住宅IP或尝试代理免费试用的想法）。为了更大的便利，我们在下面创建了一个简单的决策树。 \u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/88/12-3-geo-targeted-proxies-browser-automation-pic-1032x491-0eb0d774-df44-4934-af01-6d9c1461be04.png\" alt=\"受信任代理网站的数据采集中的浏览器自动化是什么\" width=\"1020\" height=\"485\">\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Csup>如何选择浏览器自动化解决方案\u003C/sup>\u003C/p>\n\u003Cp>理解该做什么的另一种方法是分析其他用户的偏好。以下是一些关于他们下载的数字。\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/88/1679667994406-6d05e07b-f748-487f-9de5-69bc38f5b48f.png\" alt=\"\" width=\"1020\" height=\"614\">\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Csup>流行浏览器自动化解决方案的下载趋势\u003C/sup>\u003C/p>\n\u003Cp>如您所见，大多数人试图避免过于复杂，并试图通过尝试Puppeteer和Cypress来保持中庸。\u003C/p>\n\u003Cp> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor9\">\u003C/a>关于成功浏览器自动化的结论 \u003C/h3>\n\u003Cp> \u003C/p>\n\u003Cp>我们在Dexodata，作为一个提供地理定位\u003Ca href=\"https://dexodata.com/en/pricing\" target=\"_blank\" rel=\"noopener\">价格合理的代理\u003C/a>的受信任代理网站（在这里您可以购买住宅IP并利用\u003Ca href=\"https://dexodata.com/en/residential-proxies\" target=\"_blank\" rel=\"noopener\">付费代理的免费试用\u003C/a>），会这样说：只要Puppeteer的编码不那么具有挑战性，并且Chrome和类似Chromium的浏览器占据了大多数网络冲浪工具，我们会在浏览器自动化的背景下推荐Puppeteer。在我们后续的文章中，我们将展示一些关于如何编写简单代码进行网页抓取的实际案例研究。\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936354870]