ChatGPT وجمع البيانات: الآثار المترتبة على برامج جمع بيانات الويب

محتويات المقال:

1. هل من الممكن جمع البيانات باستخدام ChatGPT فقط وموقع بروكسي موثوق؟
2. سيناريو عينة مع ChatGPT وبروكسيات مستهدفة جغرافياً
3. الحالة الحالية لـ ChatGPT في جمع بيانات الإنترنت

يطرح التطور السريع لنماذج LLM وتنفيذ ChatGPT لجمع بيانات الويب سؤالاً طبيعياً، هل ستستبدل الأدوات المدفوعة بالذكاء الاصطناعي برامج جمع البيانات كما نعرفها. لفهم الآثار العملية لهذا الاختراق التكنولوجي، بدأنا بمسألة واضحة وقررنا التحقق، هل يمكن لـ ChatGPT جمع بيانات من المواقع أم لا.

هل من الممكن جمع البيانات باستخدام ChatGPT فقط وموقع بروكسي موثوق؟

سأل أحد أعضاء الفريق العامل في Dexodata، وهو موقع بروكسي موثوق يحتوي على بروكسيات مستهدفة جغرافياً وإعدادات مرنة، ChatGPT مباشرة إذا كان بإمكانه جمع بيانات من المواقع. أجاب الإطار بما يلي:

ثم طلب فريقنا من الذكاء الاصطناعي كتابة بعض الأكواد لبرامج جمع المعلومات عبر الإنترنت. نحن مهتمون بجمع البيانات على نطاق واسع لأغراض تجارية. تُستخدم بنيتنا التحتية عادةً كمصدر لعناوين IP الوسيطة لجمع المعلومات عبر الإنترنت. تشمل الأهداف مواقع التجارة الإلكترونية، مثل أمازون، وعلي إكسبريس، وما إلى ذلك. تعتبر استعلامات البحث عن "بروكسي eBay" أيضًا سببًا شائعًا للحصول على بروكسيات لشبكات التواصل الاجتماعي.

كانت أوامرنا هي "إنشاء كود لجمع بيانات من eBay." ونتيجة لذلك، حصلنا على هذا الكود بلغة بايثون يعتمد على BeautifulSoup. هذه هي الحلول التي تحمل العديد من الاتجاهات الملهمة في جمع بيانات الويب:

import requests
from bs4 import BeautifulSoup

# عنوان URL لصفحة eBay التي تريد جمع بياناتها
url = "https://www.ebay.com/"

# إرسال طلب GET إلى عنوان URL
response = requests.get(url)

# تحليل محتوى HTML باستخدام BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")

# العثور على عناوين العناصر على الصفحة وطباعة
items = soup.find_all("h3", class_="s-item__title")
for item in items:
    print(item.text)

لقد قمنا بالتحقيق في النتائج، وخرجنا ببعض الاستنتاجات حول ظاهرة جمع بيانات ChatGPT.

أولاً، لن يتمكن من إنجاز كل شيء على الفور. إدخال شيء مثل "ChatGTP، اجمع لي هذا" لن يكون كافياً. مما يعني أنه لا يمكنه استبدال الأدوات الحالية، سواء كانت مبنية داخليًا أو خارجياً. على الرغم من أنه يمكن أن يساعد في تصميم واحدة، وبعض التلاعبات ستظل تأخذ وقتها.

سنصف جوهر خوارزمية قائمة على الذكاء الاصطناعي بكلمات "مساعد دردشة لجمع بيانات الويب". إنها تعتمد على نموذج لغوي لا يمكنه إجراء عملية جمع المعلومات بالكامل بشكل مستقل. لن يقوم بمسح واسترجاع التفاصيل المذكورة على eBay باستخدام بروكسي eBay من Dexodata. لكنه قادر على تقديم نصائح قيمة، وإرشاد المستخدمين خلال العملية. يعمل ChatGPT بشكل جيد كمساعد رقمي متقدم لمستخدمي موقع البروكسي الموثوق.

إليك ما يبدو عليه تدفق مشروع جمع المعلومات عبر الإنترنت المعتمد على بروكسي ChatGPT:

1. يطلب المرء من الذكاء الاصطناعي إنشاء كود يشمل عنوان URL المعني كهدف.
2. تقدم الخوارزميات الحوارية خطوطًا من الأكواد. كل ما يتطلبه الأمر الآن هو النسخ واللصق.
3. بالإضافة إلى ذلك، يمكن للمساعد الذكي تحديد أفضل المكتبات المطابقة للحصول على المعلومات الحاسمة.
4. كلما كان المستخدمون أكثر تحديدًا لمهامهم، كان الكود الذي يقدمه الروبوت المتعلم ذاتيًا أفضل. لذا كن مستعدًا للتكرار.

في هذا السياق، يوفر الأداة الذكية الجديدة الموارد في بعدين:

• وقت أقل مطلوب لكتابة الكود يدويًا.
• لا حاجة لإجراء بحث مكثف بنفسك والبحث عن الأدلة المتاحة.

النقطة الرئيسية هي أن ChatGPT ليس في وضع يسمح له باستبدال برامج استرجاع المعلومات من الويب. لا يمكنه فهم الفروق الدقيقة وتقديم حلول تناسب الجميع بعد. من ناحية أخرى، فإنه قادر على مساعدة المرء في اختيار وإعداد البرامج وجمع بيانات الويب دون مهارات برمجية. دعنا نجري بعض التكرارات بأنفسنا.

سيناريو عينة مع ChatGPT، مواقع البروكسي، والتكرارات

يركز موقع البروكسي الموثوق Dexodata على البروكسيات لمواقع التواصل الاجتماعي ومواقع التجارة الإلكترونية بهدف تعزيز مستوى التحليلات عبر الإنترنت. على أي مستوى، سواء كان مؤسسيًا أو فرديًا، فإن أول شيء يجب القيام به قبل تشغيل برنامج جمع المعلومات الآلي هو تحديد ما نعتزم جمعه.

الخطوة 1. كونها، من بين أمور أخرى، مصدرًا لبروكسيات eBay، تدعو Dexodata للعمل مع هذا العملاق في التجارة الإلكترونية. يسعى إنشاء جامع بيانات ChatGPT للحصول على تفاصيل إضافية. قم بإدخال هذه المعلومات في نموذج اللغة.

قم بالنقر بزر الماوس الأيمن على قطعة البيانات المطلوبة، ثم اختر "تفقد"، واستكشف كود HTML، نعني خاصية الفئة على وجه الخصوص.

الخطوة 2. حان الوقت لنموذج معالجة اللغة الطبيعية للعمل. أعطه الأمر أدناه. كما ترى، حددنا ما نميل إلى استخدامه:

"من فضلك، اجمع بيانات من هذا الموقع عبر بايثون وScrapy. حدد جميع العناصر التي تحمل اسم خاصية "class"".

أجاب ChatGPT:

 import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"
    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

def parse(self, response):
    elements = response.css('[class]')
    for element in elements:
        class_attribute = element.attrib.get('class')
        yield {
            'class_attribute': class_attribute
        }

الخطوة 3. يوفر نظام Dexodata البيئي للبروكسيات المستهدفة جغرافياً تضييق نطاق مهمتنا. نفرض حدودًا على خاصية الفئة، مثل هذا:

"من فضلك، اجمع بيانات من هذا الموقع عبر بايثون وScrapy. حدد جميع العناصر التي تحمل اسم خاصية "class="b-info__title"".

يستجيب ChatGPT بسرعة:

import scrapy

class EbaySpider(scrapy.Spider):
    name = "ebay"

    start_urls = ['https://www.ebay.com/b/Black-GPS-Running-Watches/75230/bn_115254101']

    def parse(self, response):
        elements = response.xpath('//*[@class="b-info__title "]')
        for element in elements:
            title = element.xpath('text()').get()
            yield {
                'title': title.strip()
            }

استغرق الإجراء بأكمله خمس دقائق. الآن يمكن للمرء اختبار هذا الكود وضبطه لاحقًا، عند الحاجة.

الحالة الحالية لـ ChatGPT في جمع بيانات الإنترنت

حكمنا هو أن ChatGPT سيحول الأنشطة المتعلقة باسترجاع معلومات الويب وأتمتة المتصفحات في أي مستقبل يمكن توقعه، لكنه لن يستبدل حلول الجمع الآلي تمامًا. لذا يمكن للمبرمجين الذين يستخدمون لغات مختلفة، مثل PHP وPython وJS، أن يستريحوا. الأداة الجديدة الآن تسهل وظائفهم، وليست على وشك أخذها منهم للأبد.

نحن نقدر المساهمة التي تقدمها أنظمة المحادثة الآلية في صناعة استخراج المعلومات عبر الإنترنت. نشجع القراء على تجربة إمكانيات جمع بيانات الويب من ChatGPT في العمل. إنها فرصة للحصول على تجربة مجانية من بروكسيات مستهدفة جغرافياً المتاحة للمستخدمين الجدد.

توجد بروكسيات Dexodata المستهدفة جغرافياً في أكثر من 100 دولة. هذه هي عناوين IP السكنية، والمتحركة، ومراكز البيانات المتاحة بأسعار معقولة. قم بالتسجيل على الموقع الرسمي واحصل على وصول إلى الأدوات القوية التي تحسن تحليلات البيانات المتقدمة مع ChatGPT وحلول البرمجيات المعززة بالذكاء الاصطناعي الأخرى.