[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},102,"blog","cn-chatgpt-and-data-collection-implications-for-web-data-harvesting-software","ChatGPT与数据收集：对网络数据采集软件的影响","https://blog.dexodata.com/storage/uploads/previews/15-4-s-trusted-proxy-website-chatgpt-and-scraping-implications-cover-1032x491-c9d78d89-7239-4f36-9e57-3de8b335a60c.webp","https://blog.dexodata.com/storage/uploads/covers/15-4-b-trusted-proxy-website-chatgpt-and-scraping-implications-cover-1032x491-5f5a859b-9fc4-4c7d-813d-8e3c8935ef35.webp","2023/07/04","2024/02/16","ChatGPT和Dexodata可信代理网站的网络爬虫角色","Dexodata可信代理网站提供白名单地理定位代理，解释了ChatGPT等技术对网络爬虫的影响。","trusted proxy website, geo targeted proxies, proxies for social networks","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>文章内容：\u003C/strong>\u003C/em>\u003C/p>\n\u003Col>\n\u003Cli>\u003Ca href=\"#anchor1\">仅使用ChatGPT和可信代理网站进行数据收集是否可能？\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor2\">与ChatGPT和地理定位代理的示例场景\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">当前ChatGPT在互联网数据采集中的状态\u003C/a>\u003C/li>\n\u003C/ol>\n\u003Cp>大型语言模型的快速发展以及实施\u003Ca href=\"https://dexodata.com/en/blog/how-to-use-chatgpt-for-web-data-extraction-in-2023\" target=\"_blank\" rel=\"noopener\">ChatGPT进行网络数据提取\u003C/a>引发了一个自然的问题，即AI驱动的工具是否会取代我们所知的网络爬虫。为了理解这一技术突破的实际影响，我们从一个显而易见的问题开始，决定检查ChatGPT是否能够抓取网站。\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>仅使用ChatGPT和可信代理网站进行数据收集是否可能？\u003C/h2>\n\u003Cp>在Dexodata工作的团队成员，Dexodata是一家拥有\u003Ca href=\"https://dexodata.com/en/blog/10-credible-reasons-to-use-dexodata\" target=\"_blank\" rel=\"noopener\">地理定位代理和灵活设置的可信代理网站\u003C/a>，直接询问ChatGPT是否可以抓取网站。该框架回答如下：\u003C/p>\n\u003Cp>\u003Cimg style=\"display: block; margin-left: auto; margin-right: auto;\" src=\"https://blog.dexodata.com/storage/uploads/images/new/15-4-1-geo-targeted-proxies-chatgpt-and-scraping-pic-1032x491-3f08cff2-2914-452a-89d0-96e2d85aaa73.png\" alt=\"ChatGPT能否使用地理定位代理进行网络爬虫？\" width=\"711\" height=\"171\">\u003C/p>\n\u003Cp>然后我们的团队要求AI编写一些用于获取在线见解的软件代码。我们对大规模的数据收集感兴趣，目的是为了商业用途。我们的基础设施通常用作在线信息收集的中间IP来源。对象是电子商务网站，例如亚马逊、AliExpress等。“eBay代理”搜索查询也是获取社交网络代理的一个流行原因。\u003C/p>\n\u003Cp>我们的命令是“\u003Cem>生成一个用于抓取eBay的网络爬虫代码\u003C/em>。”结果，我们获得了依赖于BeautifulSoup的Python代码。这些是携带众多灵感趋势的网络数据采集解决方案：\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 83.9387%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 100%;\">\n\u003Cpre style=\"color: #283160; font-size: 16px; font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #236fa1;\">import\u003C/span> requests\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">from\u003C/span> bs4 \u003Cspan style=\"color: #236fa1;\">import\u003C/span> BeautifulSoup\u003Cbr>\u003Cbr>\u003C/code>\u003Ccode>\u003Cspan style=\"color: #7e8c8d;\"># 你想要抓取的eBay页面的URL\u003C/span>\u003C/code>\u003Cbr>\u003Ccode>url = \"\u003Cspan style=\"color: #2dc26b;\">https://www.ebay.com/\u003C/span>\"\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># 向URL发送GET请求\u003C/span>\u003Cbr>\u003Ccode>response = requests.get(url)\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># 使用BeautifulSoup解析HTML内容\u003C/span>\u003Cbr>\u003Ccode>soup = BeautifulSoup(response.content, \"\u003Cspan style=\"color: #2dc26b;\">html.parser\u003C/span>\")\u003Cbr>\u003C/code>\u003Cbr>\u003Cspan style=\"color: #7e8c8d;\"># 查找并打印页面上项目的标题\u003C/span>\u003Cbr>\u003Ccode>items = soup.find_all(\"\u003Cspan style=\"color: #2dc26b;\">h3\u003C/span>\", class_=\"\u003Cspan style=\"color: #2dc26b;\">s-item__title\u003C/span>\")\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">for\u003C/span> item \u003Cspan style=\"color: #236fa1;\">in\u003C/span> items:\u003Cbr>\u003Cspan style=\"color: #f1c40f;\">    print\u003C/span>(item.text)\u003C/code>\u003C/pre>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>我们调查了结果，并对\u003Ca href=\"https://dexodata.com/en/blog/understanding-the-benefits-of-chatgpt-for-web-scraping\" target=\"_blank\" rel=\"noopener\">ChatGPT抓取\u003C/a>现象做出了一些结论。\u003C/p>\n\u003Cp>首先，它不会直接完成所有事情。输入类似“\u003Cem>ChatGTP，帮我抓取这个\u003C/em>”是不够的。这意味着它不能替代现有的工具，无论是内部构建的还是外部的。尽管它可以帮助设计一个，某些操作仍然会付出代价。\u003C/p>\n\u003Cp>我们会用“辅助网络爬虫聊天机器人”来描述基于AI的算法的本质。它基于一种语言模型，无法自主执行整个信息收集过程。它不会通过\u003Ca href=\"https://dexodata.com/en/ebay\" target=\"_blank\" rel=\"noopener\">Dexodata的eBay代理\u003C/a>扫描和检索eBay上提到的详细信息。但它能够提供有价值的建议，引导用户完成过程。ChatGPT作为可信代理网站用户的高级数字助手表现得相当不错。\u003C/p>\n\u003Cp>以下是一个典型的ChatGPT代理启用的自动在线见解获取项目的流程：\u003C/p>\n\u003Col>\n\u003Cli>用户请求AI生成包含目标URL的代码。\u003C/li>\n\u003Cli>对话算法给出代码行。现在只需复制并粘贴它们。\u003C/li>\n\u003Cli>此外，智能聊天助手可以识别最佳匹配的库以获取关键信息。\u003C/li>\n\u003Cli>用户越具体地指定任务，自学习机器人提交的代码就越好。因此要准备好进行迭代。\u003C/li>\n\u003C/ol>\n\u003Cp>在这个能力下，这种新智能工具在两个维度上节省了资源：\u003C/p>\n\u003Cul>\n\u003Cli>手动编写代码所需的时间更少。\u003C/li>\n\u003Cli>不需要自己进行广泛的研究和搜索可用的指南。\u003C/li>\n\u003C/ul>\n\u003Cp>关键要点是ChatGPT无法替代网络信息检索软件。它尚不能理解细微差别并提供一刀切的解决方案。另一方面，它能够帮助选择和设置软件，并\u003Ca href=\"https://dexodata.com/en/blog/7-web-data-types-to-harvest-successfully-without-coding-skills\" target=\"_blank\" rel=\"noopener\">在没有编码技能的情况下收集网络数据\u003C/a>。让我们自己进行几次迭代。\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>与ChatGPT、代理网站和迭代的示例场景\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>可信代理网站Dexodata专注于社交网络和电子商务网站的代理，旨在提高在线分析水平。在任何层面，无论是企业还是个人，运行自动化见解收集脚本之前，首先要做的就是确定我们打算获取的内容。\u003C/p>\n\u003Cp>\u003Cstrong>\u003Cspan style=\"text-decoration: underline;\">步骤1\u003C/span>\u003C/strong>。作为eBay代理的来源之一，Dexodata邀请您与这个电子商务巨头合作。ChatGPT爬虫创建努力寻求额外的细节。将这些信息输入语言模型。\u003C/p>\n\u003Cp>\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/new/15-4-3-geo-targeted-proxies-chatgpt-and-scraping-pic-1032x491-4460da69-9f1d-4f69-a6ba-7429903a5318.png\" alt=\"ChatGPT如何使用地理定位代理进行网络爬虫\" width=\"1032\" height=\"589\">\u003C/p>\n\u003Cp>右键单击所需的数据，然后选择“检查”，并探索HTML代码，特别是类属性。\u003C/p>\n\u003Cp>\u003Cspan style=\"text-decoration: underline;\">\u003Cstrong>步骤2\u003C/strong>\u003C/span>。NLP模型行动的时刻到了。给它以下命令。正如您所看到的，我们指定了我们倾向于使用的内容：\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Cem>\u003Cstrong>“请通过Python和Scrapy抓取\u003Ca href=\"https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101\" target=\"_blank\" rel=\"noopener\">这个网站\u003C/a>。定位所有具有'class'属性名称的元素。”\u003C/strong>\u003C/em>\u003C/p>\n\u003Cp>ChatGPT回答：\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 99.9794%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 97.0536%;\">\n\u003Cpre style=\"color: #283160; font-size: 16px; font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #236fa1;\"> import\u003C/span> scrapy\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">class\u003C/span> \u003Cspan style=\"color: #e03e2d;\">EbaySpider\u003C/span>(scrapy.Spider):\u003C/code>\u003Cbr>\u003Ccode>    name = \u003Cspan style=\"color: #2dc26b;\">\"ebay\"\u003C/span>\u003C/code>\u003Cbr>\u003Ccode>    start_urls = [\u003Cspan style=\"color: #2dc26b;\">'https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101'\u003C/span>]\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">def\u003C/span> \u003Cspan style=\"color: #e03e2d;\">parse\u003C/span>(self, response):\u003C/code>\u003Cbr>\u003Ccode>    elements = response.css(\u003Cspan style=\"color: #2dc26b;\">'[class]'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>    \u003Cspan style=\"color: #236fa1;\">for\u003C/span> element \u003Cspan style=\"color: #236fa1;\">in\u003C/span> elements:\u003C/code>\u003Cbr>\u003Ccode>        class_attribute = element.attrib.get(\u003Cspan style=\"color: #2dc26b;\">'class'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>        \u003Cspan style=\"color: #236fa1;\">yield\u003C/span> {\u003C/code>\u003Cbr>\u003Ccode>            \u003Cspan style=\"color: #2dc26b;\">'class_attribute'\u003C/span>: class_attribute\u003C/code>\u003Cbr>\u003Ccode>        }\u003C/code>\u003C/pre>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>\u003Cspan style=\"text-decoration: underline;\">\u003Cstrong>步骤3\u003C/strong>\u003C/span>。Dexodata的地理定位代理生态系统提供了缩小我们任务范围的机会。我们对类属性施加限制，如下所示：\u003C/p>\n\u003Cp style=\"padding-left: 40px;\">\u003Cstrong>\u003Cem>“请通过Python和Scrapy抓取这个网站。定位所有具有\"class=\"b-info__title\"属性名称的元素。”\u003C/em>\u003C/strong>\u003C/p>\n\u003Cp>ChatGPT迅速反应：\u003C/p>\n\u003Ctable style=\"border-collapse: collapse; width: 99.9794%;\" border=\"2\">\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd style=\"width: 97.0536%;\">\n\u003Cpre style=\"color: #283160; font-size: 16px; font-weight: 400; padding-left: 40px;\">\u003Ccode>\u003Cspan style=\"color: #236fa1;\">import\u003C/span> scrapy\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #236fa1;\">class\u003C/span> \u003Cspan style=\"color: #e03e2d;\">EbaySpider\u003C/span>(scrapy.Spider):\u003C/code>\u003Cbr>\u003Ccode>    name = \u003Cspan style=\"color: #2dc26b;\">\"ebay\"\u003C/span>\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>    start_urls = [\u003Cspan style=\"color: #2dc26b;\">'https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101'\u003C/span>]\u003C/code>\u003Cbr>\u003Cbr>\u003Ccode>    \u003Cspan style=\"color: #236fa1;\">def\u003C/span> \u003Cspan style=\"color: #e03e2d;\">parse\u003C/span>(self, response):\u003C/code>\u003Cbr>\u003Ccode>        elements = response.xpath(\u003Cspan style=\"color: #2dc26b;\">'//*[@class=\"b-info__title \"]'\u003C/span>)\u003C/code>\u003Cbr>\u003Ccode>        \u003Cspan style=\"color: #236fa1;\">for\u003C/span> element \u003Cspan style=\"color: #236fa1;\">in\u003C/span> elements:\u003C/code>\u003Cbr>\u003Ccode>            title = element.xpath(\u003Cspan style=\"color: #2dc26b;\">'text()'\u003C/span>).get()\u003C/code>\u003Cbr>\u003Ccode>            \u003Cspan style=\"color: #236fa1;\">yield\u003C/span> {\u003C/code>\u003Cbr>\u003Ccode>\u003Cspan style=\"color: #2dc26b;\">                'title'\u003C/span>: title.strip()\u003C/code>\u003Cbr>\u003Ccode>            }\u003C/code>\u003C/pre>\n\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\n\u003Cp>整个过程花了五分钟。现在可以自由测试这段代码，并在需要时进一步调整。\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>当前ChatGPT在互联网数据采集中的状态\u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>我们的结论是，ChatGPT将在可预见的未来改变获取网络信息和\u003Ca href=\"https://dexodata.com/en/blog/browser-automation-for-data-harvesting-explained\" target=\"_blank\" rel=\"noopener\">浏览器自动化\u003C/a>的活动，但不会完全取代自动化采集解决方案。因此，使用各种语言的程序员，例如PHP、Python、JS等，可以放松心情。这种新工具现在促进了他们的工作，而不是要完全取代他们。\u003C/p>\n\u003Cp>我们欣赏自动化对话系统对在线见解提取行业的贡献。我们鼓励读者尝试ChatGPT在网络爬虫中的可能性。这是一个机会，可以获得我们\u003Ca href=\"https://dexodata.com/en/residential-proxies\" target=\"_blank\" rel=\"noopener\">地理定位IP\u003C/a>的免费试用，适用于新用户。\u003C/p>\n\u003Cp>Dexodata的地理定位代理位于100多个国家。这些是住宅、移动和数据中心IP地址，价格\u003Ca href=\"https://dexodata.com/en/pricing\" target=\"_blank\" rel=\"noopener\">合理\u003C/a>。请在官方网站上注册，获取访问强大工具的权限，以改善与ChatGPT和其他AI增强软件解决方案一起进行的高级数据分析。\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936353683]