بيئة جمع البيانات من الويب (Web Scraping) في بايثون بيئة مجزأة للغاية؛ تحتاج BeautifulSoup أو Parsel للتحليل، وhttpx أو requests للطلبات، وPlaywright أو Selenium للصفحات الديناميكية، ثم تقوم بربط كل هذه الأدوات بنفسك. أما تجاوز أنظمة مكافحة البوتات فيتطلب مكتبة إضافية، والتتبع التكيفي للعناصر عند تغيير المواقع تصميمها يتطلب كتابة الكود بنفسك، أما الزحف الكامل مع التزامن والإيقاف والاستئناف وتدوير البروكسي فتحتاج إلى Scrapy.
هنا يأتي Scrapling ليكون المكتبة الوحيدة التي تغطي خط أنابيب جمع البيانات بالكامل. أُنشئ بواسطة Karim Shoair (المعروف باسم D4Vinci)، ويجمع هذا الإطار بين محلل تكيفي، وخلفيات متعددة لجلب البيانات، وإطار عمل كامل للزحف، وأدوات سطر الأوامر، وخادم MCP لجمع البيانات بمساعدة الذكاء الاصطناعي — كل ذلك ضمن أمر pip install واحد. وبحصوله على 10.6 ألف نجمة و1,124 التزاماً عبر 38 إصداراً، أصبح Scrapling واحداً من أكثر المشاريع نضجاً في هذا المجال.
الطبقات الأربع لـ Scrapling
| الطبقة | الوظيفة |
|---|---|
| المحلل التكيفي (Adaptive Parser) | يدعم CSS وXPath ومحددات BeautifulSoup مع تتبع ذكي للعناصر يُعيد تموضعها بعد تغييرات التصميم باستخدام خوارزميات التشابه |
| أدوات الجلب المتعددة (Multiple Fetchers) | Fetcher للطلبات HTTP مع بصمة TLS، وDynamicFetcher القائم على Playwright، وStealthyFetcher لتجاوز مكافحة البوتات مع دعم Cloudflare Turnstile |
| إطار عمل الزحف (Spider Framework) | واجهة برمجة تشبه Scrapy مع الزحف المتزامن ودعم الجلسات المتعددة ونقاط الإيقاف والاستئناف ووضع البث المباشر والتصدير المدمج |
| خادم MCP (MCP Server) | خادم MCP مدمج لجمع البيانات بمساعدة الذكاء الاصطناعي مع Claude/Cursor، يستخلص المحتوى المطلوب قبل تمريره لتقليل استهلاك الرموز |
هندسة أدوات الجلب (Fetcher Architecture)
يُقدّم Scrapling ثلاث فئات من أدوات الجلب تشترك في نفس واجهة الاستجابة لكنها تستخدم خلفيات مختلفة، مما يمنح المطورين المرونة الكاملة في اختيار الأداة المناسبة لكل حالة:
| أداة الجلب | الخلفية | حالة الاستخدام |
|---|---|---|
| Fetcher | HTTP (قائم على httpx) | طلبات سريعة مع انتحال بصمة TLS ودعم HTTP/3 |
| DynamicFetcher | Playwright (Chromium/Chrome) | الصفحات المعتمدة على JavaScript وأتمتة المتصفح الكاملة |
| StealthyFetcher | متصفح تخفي | تجاوز أنظمة مكافحة البوتات وCloudflare Turnstile وتزوير البصمات |
تدعم الأدوات الثلاث جلسات مستمرة وإصدارات غير متزامنة وتدوير البروكسي عبر ProxyRotator المدمج وحظر النطاقات. كما يمكن لإطار الزحف دمج أنواع متعددة من الجلسات في عملية واحدة — توجيه الصفحات المحمية عبر جلسة التخفي وبقية الصفحات عبر HTTP بسرعة.
التتبع التكيفي للعناصر
تُعدّ ميزة التتبع التكيفي من أكثر مميزات Scrapling ابتكاراً. في الأساليب التقليدية يتوقف الكشّاف عند تغيير الموقع لأسماء الفئات أو إعادة هيكلة DOM. يعالج Scrapling هذا بناء بصمة للعناصر عند أول عملية كشط، ثم يستخدم مطابقة التشابه لتحديد موقعها بعد أي تغييرات دون الحاجة لتحديث المحددات يدوياً.
إطار عمل الزحف (Spider Framework)
تتبع واجهة الزحف نمط Scrapy المعروف مع إضافات لا يوفرها Scrapy مباشرة:
- دعم الجلسات المتعددة: خلط HTTP والمتصفح بدون واجهة في عنكبوت واحد.
- وضع البث المباشر: معالجة البيانات عبر
async for item in spider.stream()أثناء الجلب دون انتظار اكتمال الزحف. - الإيقاف والاستئناف بنقاط التحقق: تمرير مسار
crawldirيحفظ التقدم عند الضغط على Ctrl+C ويستأنف من حيث توقف عند إعادة التشغيل. - الاكتشاف التلقائي للطلبات المحظورة: مع منطق إعادة المحاولة لضمان استمرارية الزحف.
مقارنات الأداء
يُطابق محلل Scrapling سرعة Parsel/Scrapy ويتفوق بشكل كبير على BeautifulSoup وPyQuery وSelectolax في استخراج النص عبر 5,000 عنصر متداخل. وفيما يخص البحث التكيفي للعناصر، يحقق Scrapling 2.39 مللي ثانية مقارنة بـ 12.45 مللي ثانية لـ AutoScraper — أسرع بحوالي 5 مرات. جميع المقارنات تمثل متوسطات لأكثر من 100 تشغيل.
| المكتبة | الوقت (مللي ثانية) | مقارنة بـ Scrapling |
|---|---|---|
| Scrapling | 2.02 | 1.0x |
| Parsel / Scrapy | 2.04 | 1.01x |
| Raw lxml | 2.54 | 1.26x |
| PyQuery | 24.17 | ~12x أبطأ |
| Selectolax | 82.63 | ~41x أبطأ |
| BS4 مع lxml | 1,584 | ~784x أبطأ |
| BS4 مع html5lib | 3,392 | ~1,679x أبطأ |
أدوات المطورين وسطر الأوامر
يتجاوز Scrapling كونه مكتبة برمجية ليقدم واجهة سطر أوامر (CLI) لجمع البيانات دون كتابة كود؛ يجلب أمر scrapling extract عنوان URL ويُخرج المحتوى بصيغة Markdown أو نص عادي أو HTML. كما يتضمن غلافاً تفاعلياً قائماً على IPython عبر scrapling shell مع اختصارات مدمجة لتحويل أوامر curl إلى طلبات Scrapling ومعاينة النتائج في المتصفح.
نقاط يجب مراعاتها
النطاق والتبعيات: يحاول Scrapling أن يكون كل شيء — محللاً وجالباً وعنكبوتاً وCLI وخادم MCP. التثبيت المعياري (pip install scrapling[fetchers]، [ai]، [shell]) يُساعد، لكن التثبيت الكامل يجلب Playwright وثنائيات المتصفح وبنية تحتية ضخمة. كما يتطلب تشغيل scrapling install بعد pip install لتنزيل Chromium، وهو ما قد لا يكون ممكناً في البيئات المقيدة رغم توفر صورة Docker جاهزة.
قاعدة المساهمين: رغم 10.6 ألف نجمة و1,124 التزاماً، يضم المشروع 5 مساهمين فقط مع تركز غالبية التطوير على المنشئ الأصلي، مما يُثير تساؤلات حول استمرارية المشروع كاعتماد إنتاجي.
قانونية تجاوز البوتات: ميزة StealthyFetcher تعمل في منطقة رمادية قانونياً حسب الاختصاص القضائي وشروط خدمة الموقع المستهدف. المشروع يتضمن إخلاءات مسؤولية مناسبة حول هذا الأمر.
الخلاصة
يسعى Scrapling ليكون المكتبة الوحيدة لجمع البيانات في بايثون، ويتميز بنطاق واسع يغطي كل شيء من طلب HTTP بسيط إلى عنكبوت متزامن كامل مع التتبع التكيفي والاستخراج بمساعدة الذكاء الاصطناعي عبر MCP. أداء المحلل يُطابق أسرع خيارات بايثون، والتتبع التكيفي للعناصر ابتكار حقيقي يعالج إحدى أكبر نقاط الألم في جمع البيانات.
بـ 10.6 ألف نجمة و38 إصداراً وتطوير نشط (آخر إصدار فبراير 2026)، تجاوز Scrapling مرحلة التجريب. للمشاريع الجديدة التي تريد إطاراً واحداً يغطي خط أنابيب جمع البيانات بالكامل — من تجاوز مكافحة البوتات إلى الزحف المتزامن إلى التكامل مع الذكاء الاصطناعي — يُعد Scrapling خياراً قوياً يستحق التقييم.
