تطبيع البيانات في بايثون

تعد تسوية البيانات تقنية تساعد في الحصول على النتيجة بشكل أسرع حيث يتعين على الجهاز معالجة نطاق أصغر من البيانات. التطبيع ليس بالمهمة السهلة لأن كل نتائجك تعتمد على اختيار طريقة التطبيع. لذلك ، إذا اخترت طريقة خاطئة لتطبيع بياناتك ، فقد تحصل على شيء مختلف عن توقعاتك.

يعتمد التسوية أيضًا على نوع البيانات مثل الصور والنصوص والأرقام وما إلى ذلك ، لذلك ، لكل نوع بيانات طريقة مختلفة للتطبيع. لذلك ، في هذه المقالة ، نركز على البيانات الرقمية.

الطريقة الأولى: استخدام sklearn

تعد طريقة sklearn طريقة مشهورة جدًا لتطبيع البيانات.

في رقم الخلية [83] : نقوم باستيراد جميع المكتبات المطلوبة ، NumPy و sklearn. يمكنك أن ترى أننا نستورد المعالجة المسبقة من sklearn نفسها. هذا هو السبب في أن هذا هو أسلوب sklearn التطبيع.

في رقم الخلية [84] : أنشأنا مصفوفة NumPy ذات قيمة عددية ليست متطابقة.

في رقم الخلية [85] : أطلقنا على طريقة التطبيع من المعالجة المسبقة وقمنا بتمرير numpy_array ، الذي أنشأناه للتو كمعامل.

في رقم الخلية [86] : يمكننا أن نرى من النتائج أن جميع بيانات الأعداد الصحيحة لدينا أصبحت الآن طبيعية بين 0 و 1.

الطريقة 2: تسوية عمود معين في مجموعة بيانات باستخدام sklearn

يمكننا أيضًا تسوية عمود مجموعة البيانات المعين. في هذا ، سنناقش ذلك.

في رقم الخلية [87] : نحن نستورد مكتبة الباندا و sklearn.

في رقم الخلية [88] : أنشأنا ملف CSV وهمي ، ونقوم الآن بتحميل ملف CSV هذا بمساعدة حزمة pandas (read_csv).

في رقم الخلية [89] : نقوم بطباعة ملف CSV الذي قمنا بتحميله مؤخرًا.

في رقم الخلية [90] : نقرأ العمود المحدد من ملف CSV باستخدام np. صفيف وقم بتخزين النتيجة في value_array.

في رقم الخلية [92] ، أطلقنا على طريقة التسوية من المعالجة المسبقة وقمنا بتمرير المعلمة value_array.

الطريقة الثالثة: التحويل إلى التسوية دون استخدام الأعمدة في المصفوفة (باستخدام sklearn)

في الطريقة الثانية السابقة ، ناقشنا كيفية تطبيع عمود ملف CSV معين. لكن في بعض الأحيان نحتاج إلى تطبيع مجموعة البيانات بأكملها ، ثم يمكننا استخدام الطريقة أدناه حيث نقوم بتطبيع مجموعة البيانات بأكملها ولكن على طول العمود (المحور = 0). إذا ذكرنا المحور = 1 ، فسيتم تطبيع الصفوف. المحور = 1 هو القيمة الافتراضية.

في رقم الخلية [93] : نحن نستورد مكتبة الباندا و sklearn.

في رقم الخلية [94] : أنشأنا ملف CSV وهمي (demo_numeric.csv) ، ونقوم الآن بتحميل ملف CSV هذا بمساعدة حزمة pandas (read_csv).

في رقم الخلية [95] : نقوم بطباعة ملف CSV الذي قمنا بتحميله مؤخرًا.

في رقم الخلية [96] : الآن ، نقوم بتمرير ملف CSV بالكامل مع محور معلمة إضافي واحد = 0 ، والذي قال للمكتبة أن المستخدم يريد تطبيع مجموعة البيانات بأكملها من حيث العمود.

في رقم الخلية [97] ، نقوم بطباعة النتيجة وتطبيع البيانات بقيمة بين 0 و 1.

الطريقة الرابعة: استخدام MinMaxScaler ()

يوفر sklearn أيضًا طريقة أخرى للتطبيع ، والتي أطلقنا عليها اسم MinMaxScalar. هذه أيضًا طريقة شائعة جدًا لأنها سهلة الاستخدام.

في رقم الخلية [98] : نقوم باستيراد جميع العبوات المطلوبة.

في رقم الخلية [99] : أنشأنا ملف CSV وهمي (demo_numeric.csv) ، ونقوم الآن بتحميل ملف CSV هذا بمساعدة حزمة pandas (read_csv).

في رقم الخلية [100] : نقوم بطباعة ملف CSV الذي قمنا بتحميله مؤخرًا.

في رقم الخلية [101] : أطلقنا على MinMaxScalar من طريقة المعالجة المسبقة وقمنا بإنشاء كائن (min_max_Scalar) لذلك. لم نمرر أي معلمات لأننا نحتاج إلى تسوية البيانات بين 0 و 1. ولكن إذا أردت ، يمكنك إضافة قيمك التي ستظهر في الطريقة التالية.

في رقم الخلية [102] : نقرأ أولاً جميع أسماء الأعمدة لمزيد من الاستخدام لعرض النتائج. ثم نسمي fit_tranform من الكائن الذي تم إنشاؤه min_max_Scalar ونمرر ملف CSV إلى ذلك.

في رقم الخلية [103] : نحصل على النتائج الطبيعية التي تتراوح بين 0 و 1.

الطريقة الخامسة: استخدام MinMaxScaler (feature_range = (x، y))

يوفر sklearn أيضًا خيار تغيير القيمة الطبيعية لما تريد. بشكل افتراضي ، يقومون بتطبيع القيمة بين 0 و 1. ولكن هناك معلمة نسميها feature_range ، والتي يمكنها تعيين القيمة الطبيعية وفقًا لمتطلباتنا.

في رقم الخلية [104] : نقوم باستيراد جميع العبوات المطلوبة.

في رقم الخلية [105] : أنشأنا ملف CSV وهمي (demo_numeric.csv) ، ونقوم الآن بتحميل ملف CSV هذا بمساعدة حزمة pandas (read_csv).

في رقم الخلية [106] : نقوم بطباعة ملف CSV الذي قمنا بتحميله مؤخرًا.

في رقم الخلية [107] : أطلقنا على MinMaxScalar من طريقة المعالجة المسبقة وقمنا بإنشاء كائن (min_max_Scalar) لذلك. لكننا نمرر أيضًا معلمة أخرى داخل MinMaxScaler (feature_range). قيمة المعلمة هذه قمنا بتعيينها من 0 إلى 2. لذا الآن ، سيقوم MinMaxScaler بتطبيع قيم البيانات بين 0 إلى 2.

في رقم الخلية [108] : نقرأ أولاً جميع أسماء الأعمدة لمزيد من الاستخدام لعرض النتائج. ثم نسمي fit_tranform من الكائن الذي تم إنشاؤه min_max_Scalar ونمرر ملف CSV إلى ذلك.

في رقم الخلية [109] : نحصل على النتائج الطبيعية التي تتراوح بين 0 و 2.

الطريقة 6: استخدام الحد الأقصى للقياس المطلق

يمكننا أيضًا تطبيع البيانات باستخدام الباندا. تحظى هذه الميزات أيضًا بشعبية كبيرة في تطبيع البيانات. الحد الأقصى للقياس المطلق يعمل على تسوية القيم بين 0 و 1. نحن نطبق هنا. max () و. abs () كما هو موضح أدناه:

في رقم الخلية [110] : نستورد مكتبة الباندا.

في رقم الخلية [111] : أنشأنا إطار بيانات وهمي وطبعنا إطار البيانات هذا.

في رقم الخلية [113] : نسمي كل عمود ثم نقسم قيم العمود باستخدام .max () و .abs ().

في رقم الخلية [114] : نطبع النتيجة ، ومن النتيجة نؤكد أن بياناتنا تطبيع بين 0 و 1.

الطريقة 7: استخدام طريقة z-Score

الطريقة التالية التي سنناقشها هي طريقة z-Score. هذه الطريقة تحول المعلومات إلى التوزيع. تحسب هذه الطريقة متوسط ​​كل عمود ثم تطرح من كل عمود ، وفي النهاية تقسمه مع الانحراف المعياري. يؤدي هذا إلى تسوية البيانات بين -1 و 1.

في رقم الخلية [115] : أنشأنا إطار بيانات وهمي وطبعنا إطار البيانات هذا.

في رقم الخلية [117] : نحسب متوسط ​​العمود ونطرحه من العمود. ثم نقسم قيمة العمود على الانحراف المعياري.

في رقم الخلية [118] : نقوم بطباعة البيانات الطبيعية بين -1 و 1.

الخلاصة: لقد رأينا أنواعًا مختلفة من الأساليب الطبيعية. ومن بينها ، فإن sklearn مشهورة جدًا بسبب دعمها للتعلم الآلي. لكن هذا يعتمد على متطلبات المستخدم. في بعض الأحيان تكون ميزة الباندا لتطبيع البيانات كافية. لا يمكننا أن نقول أن هناك طرقًا أعلى من التطبيع فقط. هناك العديد من الطرق للقيام بتسوية البيانات التي تعتمد أيضًا على نوع البيانات الخاصة بك مثل الصور والأرقام والنصوص وما إلى ذلك. نحن نركز على هذه البيانات الرقمية و Python.