سيشرح هذا الدليل برامج زحف القائمة في AWS.
ما هي List-Crawlers في AWS؟
الزاحف هو أحد مكونات AWS Glue الذي يتم استخدامه للزحف فوق موقع البيانات واستخراج هذه المعلومات مرة أخرى إلى الكتالوج. يمكن أن تكون المعلومات التي يجمعها الزاحف أنواعًا من البيانات أو بنية المخطط ، أو بعبارة أخرى ، يقوم بجمع البيانات الوصفية. يمكن أيضًا استخدام الزاحف مع كتالوج البيانات الذي يتم استخدامه عند نقل البيانات داخل نظام Glue البيئي أثناء استخدام وظائف ETL ، إلخ.
ما هي خدمة Amazon Glue؟
AWS Glue هي خدمة تحويل وتحميل Amazon Extract تتيح للمستخدم تنظيم جميع البيانات وتحديد موقعها ونقلها وتحويلها. AWS Glue ليس خادمًا لأن المستخدم لا يطلب توفير الخوادم وتكوينها أو إدارة دورات الحياة. كتالوج البيانات وبرامج الزحف هي مكونات AWS Glue التي تعمل كمستودع بيانات وصفية دائم:
كيفية إنشاء برنامج تتبع الارتباطات على AWS؟
لإنشاء برنامج تتبع الارتباطات على AWS ، تفضل بزيارة خدمة AWS Glue من وحدة الإدارة في AWS:
توجه إلى ' الزواحف 'من خلال النقر على اسمها من اللوحة اليمنى:
اضغط على ' إنشاء الزاحف ' زر:
اكتب اسم الزاحف وانقر على ' التالي ' زر:
حدد خيار التعيين للجداول اللاصقة وانقر على زر ' أضف مصدرًا 'للحصول على البيانات من:
حدد خدمة S3 وانقر فوق ' Browse S3 'للحصول على موقع المصدر:
ما عليك سوى تحديد المجلد S3 والنقر فوق الزر ' يختار ' زر:
بمجرد إضافة الموقع إلى المصدر ، ما عليك سوى النقر فوق ' أضف مصدر بيانات S3 ' زر:
اضغط على ' التالي ' زر:
اضغط على ' إنشاء دور IAM جديد 'زر من' تكوين إعدادات الأمان ' قسم:
أدخل اسم الدور وانقر على ' يخلق ' زر:
بعد ذلك ، ما عليك سوى النقر فوق ' التالي ' زر:
حدد قاعدة البيانات الهدف واكتب الاسم الذي سيتم استخدامه للجدول:
جدولة الزاحف لـ ' على الطلب 'وانقر على' التالي ' زر:
راجع التكوين وانقر فوق ' إنشاء الزاحف ' زر:
تم إنشاء الزاحف بنجاح ويمكن استخدامه لجلب البيانات من المصدر بالنقر فوق الزر ' يجري ' زر:
هذا كل ما يتعلق بقائمة برامج الزحف في AWS.
خاتمة
ListCrawler هو أحد مكونات خدمة AWS Glue التي يمكن استخدامها لتتبع المعلومات من المصادر والعودة إلى الكتالوج. يمكن استخدام كتالوجات البيانات وبرامج الزحف لجمع البيانات للحصول على معلومات حول البيانات المعروفة باسم البيانات الوصفية. يمكن للمستخدم أيضًا إنشاء زاحف من AWS Glue للحصول على البيانات من خدمة S3 أو مصادر أخرى ووضع جداول الإنشاء في قاعدة البيانات. يشرح هذا الدليل ListCrawlers في AWS وكيفية إنشائها.