ChatGPT与数据收集：对网络数据采集软件的影响

2023/07/04

文章内容：

仅使用ChatGPT和可信代理网站进行数据收集是否可能？
与ChatGPT和地理定位代理的示例场景
当前ChatGPT在互联网数据采集中的状态

大型语言模型的快速发展以及实施ChatGPT进行网络数据提取引发了一个自然的问题，即AI驱动的工具是否会取代我们所知的网络爬虫。为了理解这一技术突破的实际影响，我们从一个显而易见的问题开始，决定检查ChatGPT是否能够抓取网站。

仅使用ChatGPT和可信代理网站进行数据收集是否可能？

在Dexodata工作的团队成员，Dexodata是一家拥有地理定位代理和灵活设置的可信代理网站，直接询问ChatGPT是否可以抓取网站。该框架回答如下：

ChatGPT能否使用地理定位代理进行网络爬虫？

然后我们的团队要求AI编写一些用于获取在线见解的软件代码。我们对大规模的数据收集感兴趣，目的是为了商业用途。我们的基础设施通常用作在线信息收集的中间IP来源。对象是电子商务网站，例如亚马逊、AliExpress等。“eBay代理”搜索查询也是获取社交网络代理的一个流行原因。

我们的命令是“生成一个用于抓取eBay的网络爬虫代码。”结果，我们获得了依赖于BeautifulSoup的Python代码。这些是携带众多灵感趋势的网络数据采集解决方案：

import requests
from bs4 import BeautifulSoup

# 你想要抓取的eBay页面的URL
url = "https://www.ebay.com/"

# 向URL发送GET请求
response = requests.get(url)

# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.content, "html.parser")

# 查找并打印页面上项目的标题
items = soup.find_all("h3", class_="s-item__title")
for item in items:
    print(item.text)

我们调查了结果，并对ChatGPT抓取现象做出了一些结论。

首先，它不会直接完成所有事情。输入类似“ChatGTP，帮我抓取这个”是不够的。这意味着它不能替代现有的工具，无论是内部构建的还是外部的。尽管它可以帮助设计一个，某些操作仍然会付出代价。

我们会用“辅助网络爬虫聊天机器人”来描述基于AI的算法的本质。它基于一种语言模型，无法自主执行整个信息收集过程。它不会通过Dexodata的eBay代理扫描和检索eBay上提到的详细信息。但它能够提供有价值的建议，引导用户完成过程。ChatGPT作为可信代理网站用户的高级数字助手表现得相当不错。

以下是一个典型的ChatGPT代理启用的自动在线见解获取项目的流程：

用户请求AI生成包含目标URL的代码。
对话算法给出代码行。现在只需复制并粘贴它们。
此外，智能聊天助手可以识别最佳匹配的库以获取关键信息。
用户越具体地指定任务，自学习机器人提交的代码就越好。因此要准备好进行迭代。

在这个能力下，这种新智能工具在两个维度上节省了资源：

手动编写代码所需的时间更少。
不需要自己进行广泛的研究和搜索可用的指南。

关键要点是ChatGPT无法替代网络信息检索软件。它尚不能理解细微差别并提供一刀切的解决方案。另一方面，它能够帮助选择和设置软件，并在没有编码技能的情况下收集网络数据。让我们自己进行几次迭代。

与ChatGPT、代理网站和迭代的示例场景

可信代理网站Dexodata专注于社交网络和电子商务网站的代理，旨在提高在线分析水平。在任何层面，无论是企业还是个人，运行自动化见解收集脚本之前，首先要做的就是确定我们打算获取的内容。

步骤1。作为eBay代理的来源之一，Dexodata邀请您与这个电子商务巨头合作。ChatGPT爬虫创建努力寻求额外的细节。将这些信息输入语言模型。

ChatGPT如何使用地理定位代理进行网络爬虫

右键单击所需的数据，然后选择“检查”，并探索HTML代码，特别是类属性。

步骤2。NLP模型行动的时刻到了。给它以下命令。正如您所看到的，我们指定了我们倾向于使用的内容：

“请通过Python和Scrapy抓取这个网站。定位所有具有'class'属性名称的元素。”

ChatGPT回答：

 import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"
    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

def parse(self, response):
    elements = response.css('[class]')
    for element in elements:
        class_attribute = element.attrib.get('class')
        yield {
            'class_attribute': class_attribute
        }

步骤3。Dexodata的地理定位代理生态系统提供了缩小我们任务范围的机会。我们对类属性施加限制，如下所示：

“请通过Python和Scrapy抓取这个网站。定位所有具有"class="b-info__title"属性名称的元素。”

ChatGPT迅速反应：

import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"

    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

    def parse(self, response):
        elements = response.xpath('//*[@class="b-info__title "]')
        for element in elements:
            title = element.xpath('text()').get()
            yield {
                'title': title.strip()
            }

整个过程花了五分钟。现在可以自由测试这段代码，并在需要时进一步调整。

当前ChatGPT在互联网数据采集中的状态

我们的结论是，ChatGPT将在可预见的未来改变获取网络信息和浏览器自动化的活动，但不会完全取代自动化采集解决方案。因此，使用各种语言的程序员，例如PHP、Python、JS等，可以放松心情。这种新工具现在促进了他们的工作，而不是要完全取代他们。

我们欣赏自动化对话系统对在线见解提取行业的贡献。我们鼓励读者尝试ChatGPT在网络爬虫中的可能性。这是一个机会，可以获得我们地理定位IP的免费试用，适用于新用户。

Dexodata的地理定位代理位于100多个国家。这些是住宅、移动和数据中心IP地址，价格合理。请在官方网站上注册，获取访问强大工具的权限，以改善与ChatGPT和其他AI增强软件解决方案一起进行的高级数据分析。

移动代理

常驻代理

代理服务器

ChatGPT与数据收集：对网络数据采集软件的影响

仅使用ChatGPT和可信代理网站进行数据收集是否可能？

与ChatGPT、代理网站和迭代的示例场景

当前ChatGPT在互联网数据采集中的状态