البيانات في كل مكان حولنا سواء في شكل ملفات سجل تم إنشاؤها بواسطة العملاء باستخدام تطبيقات الهاتف المحمول أو الويب ، والمشتريات التجارية ، ونشاط لاعب الألعاب ، والعديد من المصادر الأخرى. وبشكل أكثر تحديدًا ، تُستخدم خدمات AWS Kinesis و Kafka أيضًا لإدارة تدفقات البيانات والتحكم فيها والتحضير باستخدام SQL للتخزين في خدمات تخزين AWS.
سيشرح هذا الدليل Kinesis و Kafka بالتفصيل.
ما هو Kinesis؟
تعد إدارة كميات ضخمة من البيانات مهمة معقدة تتطلب تجميعها وتخزينها وتحليلها. تُستخدم خدمة AWS Kinesis للتحكم في هذه المعلومات عالية الإنتاجية ومساعدة المستخدم على البقاء على اطلاع دائم بأعماله ومؤسساته وعملائه:
خدمات Kinesis
يتألف Kinesis من الخدمات التالية:
تيار Kinesis : تدفق Kinesis يوفر تدفقًا منخفضًا للكمون على نطاق واسع.
تحليلات Kinesis : يتم استخدامه لالتقاط البيانات من مصادر مختلفة وتطبيق SQL لإجراء تحليلات في الوقت الحقيقي على التدفقات:
Kinesis Firehose : يتم استخدامه لإعداد التدفقات وتحميلها باستمرار في خدمات AWS مثل S3 و Redshift و ElasticSearch وما إلى ذلك:
ما هو كافكا؟
كافكا عبارة عن منصة دفق رسائل موزعة تستخدم آلية النشر والاشتراك لدفق البيانات. أمازون ' البث المدار لأباتشي كافكا '(MSK) هي خدمة مُدارة بالكامل تُستخدم لبناء خطوط أنابيب متدفقة في الوقت الفعلي. ومع ذلك ، بالنسبة لأعباء العمل غير المتوقعة وغير المعروفة ، يتم تقديم Amazon MSK serverless بواسطة النظام الأساسي:
المفاهيم الأساسية لكافكا
بعض المفاهيم الأساسية لكافكا مذكورة أدناه:
طابور : يوفر آلية لإرسال الرسائل غير المتزامنة واستلامها ، كما يوفر اتصال خدمة إلى خدمة:
PubSub : هي خدمة مراسلة غير متزامنة ، مما يعني أنها تساعد المستخدم على إرسال واستقبال وتصفية تدفقات البيانات:
هل Kinesis هو نفسه كافكا؟
Apache Kafka هو حل رسائل PubSub مفتوح المصدر و Kinesis هي خدمة AWS مُدارة تم تصميمها على غرار كافكا. يقوم MSK بتخزين القيم الأساسية للبيانات (المواضيع) في أقسام ويقوم Kinesis بتخزين سجلات البيانات في Shards. تم تصميم كل من Kinesis و Kafka لتقديم نفس الخدمات تقريبًا ولكن الاختلاف يأتي في مفهوم الانتشار.
خاتمة
باختصار ، تم تصميم خدمات AWS Kinesis و Kafka لأداء أنشطة مثل تقديم إنتاجية عالية وأعباء عمل منخفضة زمن الوصول. يستخدم Kinesis لإدارة البيانات الضخمة بمساعدة تدفق البيانات وتخزينها على خدمات تخزين AWS. Amazon MSK هي خدمة بث رسائل PubSub تستخدم آلية قائمة انتظار أيضًا.