أتمتة المتصفح لجني البيانات كما شرحتها Dexodata

محتويات المقال:

• مقدمة في أتمتة المتصفح مع مواقع البروكسي الموثوقة
• أمثلة ذات صلة على أتمتة المتصفح
• مقارنة بين عدة من أفضل أدوات أتمتة المتصفح
  • سيلينيوم
  • بابتيير
  • بلاي رايت
  • سايبريس
  • أكسيوم
• استنتاجات حول أتمتة المتصفح الناجحة

كما قال البنك الدولي بشكل صحيح، فإن جني البيانات يدوياً، أي استخراج البيانات قطعة قطعة بنفسك، يستغرق وقتاً طويلاً ومملاً. كونك موقع بروكسي موثوق مع بروكسيات مستهدفة جغرافياً، حيث يمكن للناس شراء عناوين IP سكنية واللجوء إلى فترات تجريبية مجانية للبروكسي المدفوع، فإن نظام جمع البيانات من Dexodata يعرف ذلك جيداً. لهذا السبب، تعتبر الأتمتة هي المفتاح لعمليات جني البيانات الناجحة والفعالة من حيث التكلفة. لحسن الحظ، هناك عدد غير قليل من أدوات أتمتة المتصفح المتاحة في السوق، تتراوح بين مجموعات شاملة تتطلب القدرة على البرمجة إلى خيارات بسيطة ولكن مدفوعة بدون كود. دعونا نناقشها. 

مقدمة في أتمتة المتصفح مع مواقع البروكسي الموثوقة

تشير أتمتة المتصفح إلى تنفيذ مهام معينة في المتصفح برمجياً وتفويض هذه المهام إلى الروبوتات. وبالتالي، فهي لا تقدر بثمن لمجموعة كبيرة من حالات الاستخدام، بما في ذلك استخراج البيانات. من خلال تطبيق أداة أتمتة متصفح مناسبة، يمكن للمرء إجراء التلاعبات القابلة للتطبيق بسرعة وبدقة وعلى نطاق لا يمكن مقارنته بالبشر. 

على سبيل المثال، مع سيلينيوم (سنناقشه أدناه) يمكن للمستخدمين:

• التمرير
• إجراء النقرات
• التقاط لقطات الشاشة
• ملء وتقديم نماذج متنوعة
• علاوة على ذلك، تنفيذ كود JavaScript.

“لماذا يحتاج ذلك؟”، قد يسأل المرء. في حالة الشكوك، تكون الحجة كما يلي: 

“كل ما أريد القيام به هو جني مجموعة من الصفحات. لهذا الغرض، يمكنني استخدام روبوت مصمم خصيصاً (أي، في الأساس، سكربت) لاستخراج البيانات. سيرسل الروبوت استفساراتي، ويحصل على إجابات من صفحات HTML ذات الصلة، ويحفظ النتائج كملف CSV، لماذا أزعج نفسي بأتمتة المتصفح؟” 

الإجابة بسيطة. مع المواقع الثابتة، الأمر سهل بالفعل. عندما يتعلق الأمر بها، يبقى محتواها دائماً سليماً وغير متغير، ما لم يقم شخص ما بتعديله عمداً. الطرف النشط الوحيد المعني هنا هو جانب الخادم. مع المحتوى الديناميكي، الأمر مختلف تماماً. يتغير محتواها، اعتماداً على موقع المستخدم، وتفضيلات لغته، وخصائص أخرى لملف تعريف المستخدم. لذا فإن جانب العميل مهم هنا أيضاً. 

الآن هو الشيء الرئيسي. يتم إنشاء بيانات الصفحات الديناميكية بشكل فردي، لكل استفسار مستخدم، بعد أول طلب تحميل صفحة. لذا، لبدء الأمور، يجب علينا (يفضل، مع بروكسيات مستهدفة جغرافياً المقدمة من موقع بروكسي موثوق، مثل Dexodata، حيث يمكن للشخص، على سبيل المثال، شراء عناوين IP سكنية أو تجربة فترة تجريبية مجانية للبروكسي المدفوع) القيام ببعض الإجراءات وفعل شيء ما في هذه الصفحة. هذا هو الوقت الذي يحتاج فيه الناس إلى أدوات أتمتة المتصفح للتمرير، والنقر، وإدخال البيانات، وتقديم النماذج المملوءة، وما إلى ذلك. 

 

أمثلة ذات صلة على أتمتة المتصفح 

 

مرة أخرى، مهمة حلول أتمتة المتصفح هي تمكين مستخدميها من أتمتة متصفحاتهم وجعلها تشبه المتصفحين الحقيقيين على الويب. في هذا الصدد، تقدم الكثير أكثر من مجرد جني البيانات. على سبيل المثال، يمكن للمرء إجراء اختبارات على المواقع، وتحديد الروابط المعطلة، وإجراء مهام متكررة، وأكثر من ذلك. ومع ذلك، في هذه القطعة، نركز على جني البيانات.

لقد ذكرنا بالفعل السبب الرئيسي وراء الحاجة إلى أتمتة المتصفح، أي العمل مع المحتوى الديناميكي، وهذا هو الجزء الأكبر من جميع المحتويات في جميع أنحاء العالم. بالإضافة إلى ذلك، فإنه يقدم المزايا التالية: 

1. ممارسات أتمتة المتصفح التي تجعل من الأسهل الحفاظ على عدم حظر جني البيانات، حيث أنه من الأسهل التفاعل مع المتصفح في “الزحام”، مقارنةً باستفسارات HTTP الخام.
2. بعد أن يستثمر المرء بعض الجهد في ذلك، تصبح حياته أسهل بكثير، حيث كل شيء يسير بمفرده، بشكل أسرع.
3. يمكن معالجة المهام المتزامنة.
4. يتم القضاء على العامل البشري والأخطاء. 

ما الذي يمكن جني بياناته بهذه الطريقة؟ تقريباً أي شيء قد تحتاجه شركة تعتمد على البيانات والويب. يمكنك الحصول على: 

• تصنيفات التجارة الإلكترونية ومعلومات التسعير
• معلومات محركات البحث
• معلومات وسائل التواصل الاجتماعي
• تذاكر الأحداث
• أحذية رياضية معروضة للبيع، وأكثر من ذلك بكثير. 

فقط تأكد من تطبيق بروكسيات مستهدفة جغرافياً بالتعاون مع موقع بروكسي موثوق. على سبيل المثال، مع Dexodata يمكن للمرء ليس فقط شراء عناوين IP سكنية. من بين أشياء أخرى، تتوفر أيضاً فترة تجريبية مجانية للبروكسي المدفوع للمستخدمين الجدد. يمكنك معرفة المزيد في قسم الأسئلة الشائعة الخاصة بنا. 

 

مقارنة بين عدة من أفضل أدوات أتمتة المتصفح 

 

لا مزيد من النظرية، دعونا ننتقل إلى الممارسة. ما هي أفضل حلول أتمتة المتصفح المتاحة حتى الآن؟ في رأينا، هذه هي القائمة المناسبة:

1. سيلينيوم
2. بابتيير
3. بلاي رايت
4. سايبريس
5. أكسيوم.

 

1. سيلينيوم

 

إذا بحث المرء عن “أداة أتمتة المتصفح لجني البيانات”، فمن المحتمل أن يكون سيلينيوم في المقدمة. كأداة مفتوحة المصدر، يتم استخدامها على نطاق واسع في أنشطة جني البيانات، بالفعل، من قبل المستخدمين المتقدمين والمحترفين.

تشمل مزاياها أنها مجانية تماماً. لا توجد مشكلة في تعديل كودها لتلبية متطلبات الفرد الفريدة. أما بالنسبة لنظام التشغيل الذي تتوافق معه، فهي تشمل ويندوز، لينوكس، وكذلك أبل. بالإضافة إلى ذلك، يمكن تنفيذ السكربتات التي ينشئها الناس لها في وقت واحد مع مجموعة متنوعة من المتصفحات، بما في ذلك كروم وسفاري. كأداة، تفخر سيلينيوم بمجتمعها الضخم، لذا ليس من الصعب العثور على إجابات ووصفات جاهزة للاستخدام لاحتياجات الفرد. 

المشكلة هي أنها تتطلب معرفة متقدمة بالبرمجة. ومع ذلك، كقوة كاملة، تدعم بايثون، جافا، C#، روبي، وجافا سكريبت (في الواقع، تم إطلاقها كبرنامج جافا سكريبت صغير قبل عدة سنوات). لذا إذا كانت أعمالك توظف مثل هؤلاء الأعضاء، فلا تتردد في تجربتها. لتسمية بعض العيوب الأخرى في سياق أتمتة المتصفح، فهي غياب الدعم الفني (بشكل حرفي، باستثناء المجتمع) وتركيزها فقط على التطبيقات المستندة إلى الويب.

 

2. بابتيير

 

2. بابتيير يعمل كمكتبة مفتوحة المصدر من Node.js ذات طلب عالٍ. مهمته هي منحك الوصول إلى واجهة برمجة تطبيقات عالية المستوى وتمكينك من العمل مع متصفحات (بدون واجهة) كروم أو كروميوم من خلال بروتوكول أدوات المطورين. نظرًا لأن وثائق المشروع في حالة جيدة ومجتمعه ينمو بنشاط، سيكون من السهل على الناس العثور على حلول لأي نقاط ألم. عملياً، ما ينفذه هو إطلاق متصفح بدون واجهة لجمع البيانات مع تقريباً عدم قضاء وقت على التحميل.

عيوبه هي استمرار مزاياه من حيث أتمتة المتصفح. أي، يمكن استخدامه فقط مع كروم وكروميوم (بعض الميزات متاحة أيضاً مع فايرفوكس، وهذا كل شيء). أخيراً، يدعم جافا سكريبت فقط. بالمناسبة، لاستخدامه، يحتاج المستخدمون بالتأكيد إلى معرفة كيفية البرمجة، على الرغم من أنه أسهل من سيلينيوم.

 

3. بلاي رايت

 

بلاي رايت قابل للمقارنة مع بابتيير. تعمل هذه الأداة كمكتبة Node.js. كما قد تكون قد خمّنت بالفعل، فهي خيار مفتوح المصدر أيضاً. على السطح، الاختلاف الكبير الوحيد هو أنه، بينما يرتبط بابتيير ارتباطاً وثيقاً بجوجل، تم إنشاء بلاي رايت من قبل فريق مايكروسوفت. لكن هذا ليس الاختلاف الوحيد.

من السهل نسبياً إتقانها. يمكن للمرء ببساطة إدخال بعض الأكواد الأساسية لتشغيل هذه الأداة بدون واجهة، وستقوم بالاهتمام بالباقي بدلاً منك. نظرًا لأن هذه الأداة تعمل بشكل جيد مع كروميوم، فايرفوكس، وسفاري وتشتهر بوقت تنفيذها السريع، فهي مناسبة جداً لمبادرات جني البيانات على نطاق واسع المعتمدة على أتمتة المتصفح. ما يجعل هذا الخيار جذاباً هو أنك حر في استخدام Node.js، بايثون، جافا، و.NET معها والاعتماد على وثائق مفيدة. لتلخيص ذلك، إنها أداة رائعة عبر المتصفحات، وعبر اللغات، وعبر الأنظمة الأساسية التي تدعم أيضاً استخدام البروكسي. لذا يمكنك استخدام بروكسيات مستهدفة جغرافياً المقدمة من مواقع بروكسي موثوقة  (مثل Dexodata) من خلال، على سبيل المثال، شراء عناوين IP سكنية أو تجربة فترة تجريبية مجانية للبروكسي المدفوع.

هل هناك أي عقبات؟ هناك عقبة. إنه منتج حديث نسبياً، لذا إذا كانت توفر مجتمع واسع ضرورة بالنسبة لك، في الوقت الحالي، تخطاه.

 

4. سايبريس

 

سايبريس قد تبدو كخيار مفاجئ. إنها ليست متصفحاً بدون واجهة. أكثر من ذلك، إنها، رسمياً، إطار موثوق للاختبار. في هذه السعة، تعمل كأداة اختبار مجانية (مع ميزات مدفوعة) ومصدر مفتوح يجب تثبيته محلياً. على هذا النحو، من المفترض أن تختبر تطبيقات الويب التقدمية التي تعمل على أساس تقنيات حديثة مثل React وAngularJS. في نفس الوقت، يمكن استخدامها لجني البيانات.  

ميزتها الواضحة هي أنها لا تتطلب تكوين ويمكن تثبيتها كملف .exe. بعد ذلك، ستكون جميع السائقين والاعتمادات القابلة للتطبيق في مكانها تلقائياً.

في الوقت نفسه، هذه الأداة ليست بدون عيوب أيضاً. أولاً، تعمل ضمن متصفح حقيقي. هذه الحقيقة تعني أن اللغة البرمجية الوحيدة التي تقبلها سايبريس لكتابة سيناريو الاختبار هي جافا سكريبت. أيضاً، هذه الأداة حديثة نسبياً، وبالتالي، لا تقدم مجتمع سايبريس كبير.

 

5. أكسيوم

 

أخيراً، دعونا نقيم أبسط نوع من الأدوات. في حالة كنت تبحث عن حلول بدون كود، فيجب أن تكون قد سمعت عن أكسيوم. تعمل كإضافة لمتصفح كروم، ولا تتطلب مهارات برمجية. لبدء الأمور، يمكن للمرء ببساطة اللجوء إلى وظيفة "الحصول على البيانات من صفحة ويب". من الممكن تحديد البيانات التي تحتاج إلى الحصول عليها، من خلال النقر على زر "تحديد البيانات". كأداة، تمكّن أكسيوم المستخدمين من حفظ المعلومات التي تم جنيها كهيكل جدولي، يتكون من أعمدة وصفوف. يمثل كل عمود نوعاً فردياً من البيانات التي سيتم جنيها وحفظها.

يبدو أنه بسيط. ومع ذلك، كما هو الحال مع أي أدوات أخرى، قد تكون هناك مشاكل. أولاً، يحتاج المرء إلى الدفع مقابل أكسيوم. ثانياً، هناك مشكلة مع أنواع البيانات التي يمكن استخراجها. الحقيقة هي أن أكسيوم تقدم العملية التالية: لاختيار معلومات لعمود، يُفترض أن ينقر المرء عليها. نظرياً، تم إعداد أكسيوم مسبقاً للتعامل مع القضايا النموذجية، لذا سيتم تمييز النوع المختار بلون. بعد ذلك، سيتم عرض النوع المختار في جدول المعاينة. هل يمكن أن يكون هناك شيء خاطئ؟

حسناً، تحذر فريق أكسيوم صراحة مستخدميها: في حال كان أي شيء تنوي اختياره مفقوداً، انقر على ذلك أيضاً. بعد ذلك، ستقوم أكسيوم، تلقائياً، بمحاولة تحديد نمط في العنصر الذي تم النقر عليه والعثور على عناصر مشابهة. وفقاً لهم، عادةً، كل ما يتطلبه الأمر هو 2 أو 3 نقرات. لكن أحياناً قد يستغرق الأمر أكثر.

هذا بالضبط ما نعنيه. كلما اخترت خيارات بدون كود، عليك الاعتماد على “عقولهم” وآلية أتمتة المتصفح الداخلية للحصول على النتائج. لا يمكن للمرء كتابة النتيجة المثالية، اختبار الكود المكتوب، والحصول على ما يريد بالضبط.

أي من الحلول الموصوفة أعلاه نوصي بها؟ لا توجد إجابة واحدة تناسب الجميع (القاعدة العالمية الوحيدة هي أن البروكسيات المستهدفة جغرافياً من مواقع البروكسي الموثوقة ضرورية لجمع البيانات من الويب بشكل موثوق، لذا لا تتجاهل فكرة شراء عناوين IP سكنية أو تجربة فترة تجريبية للبروكسي). لراحة أكبر، أنشأنا شجرة قرار بسيطة أدناه. 

^{كيفية اختيار حل أتمتة المتصفح}

طريقة أخرى لفهم ما يجب القيام به، هي تحليل ما يفضله المستخدمون الآخرون. إليك بعض الأرقام المتعلقة بتنزيلاتهم.

^{اتجاهات تنزيل حلول أتمتة المتصفح الشائعة}

كما يتضح، يحاول معظم الناس تجنب التعقيد الزائد ويحاولون اتباع مسار وسط من خلال تجربة بابتيير وسايبريس.

 

استنتاجات حول أتمتة المتصفح الناجحة 

 

نحن في Dexodata، كموقع بروكسي موثوق يقدم بروكسيات مستهدفة جغرافياً بأسعار معقولة (هنا يمكنك شراء عناوين IP سكنية واللجوء إلى فترة تجريبية مجانية للبروكسي المدفوع)، نقول شيئاً مثل هذا: طالما أن البرمجة لبابتيير ليست بهذه الصعوبة وأن متصفحات كروم وكروميوم تمثل الغالبية العظمى من أدوات تصفح الويب، نوصي باستخدام بابتيير في سياق أتمتة المتصفح. في مقالاتنا القادمة، سنظهر بعض دراسات الحالة العملية حول كيفية كتابة كود بسيط لجني البيانات باستخدام بابتيير.