كيفية إجراء تصنيف النص باستخدام المحولات

في هذا العصر، تعد المحولات أقوى النماذج التي قدمت أفضل النتائج في عمليات معالجة اللغات الطبيعية المتعددة. في البداية، تم استخدامه لمهام نمذجة اللغة بما في ذلك إنشاء النص بالإضافة إلى التصنيف والترجمة الآلية وغيرها الكثير. ولكن الآن، يتم استخدامه أيضًا للتعرف على الأشياء وتصنيف الصور ومهام متعددة أخرى لرؤية الكمبيوتر.

في هذا البرنامج التعليمي، سنقدم الإجراء الخاص بتنفيذ تصنيف النص باستخدام المحولات.

كيفية إجراء تصنيف النص باستخدام المحولات؟

لإجراء تصنيف النص باستخدام المحولات، أولاً وقبل كل شيء، قم بتثبيت ' محولات 'المكتبة عن طريق تنفيذ الأمر المقدم:

كما ترون، تم تثبيت المكتبة المحددة بنجاح:

ثم قم باستيراد ' خط انابيب ' من ' محولات ' مكتبة:

وهنا ' خط انابيب 'سيتضمن مهمة البرمجة اللغوية العصبية (NLP) التي نحتاج إلى تنفيذها ونموذج المحول المطلوب لهذه العملية جنبًا إلى جنب مع الرمز المميز.

ملحوظة: يتم استخدام الرمز المميز لإجراء معالجة على النص الذي سيتم توفير مدخلات النموذج له عن طريق فصل النص إلى رموز مميزة.

بعد ذلك استخدم ' خط انابيب() 'وظيفة وتمريرها' تصنيف صفر طلقة 'كحجة. بعد ذلك، قم بتمرير معلمة أخرى وهي نموذجنا. نحن نستخدم الفيسبوك ' بارت 'نموذج المحولات. هنا، لا نستخدم الرمز المميز لأنه يمكن استنتاجه تلقائيًا من خلال النموذج المحدد:

الآن أعلن ' تسلسل ' المتغير الذي يحتوي على نص الإدخال الخاص بنا والذي يحتاج إلى التصنيف. ثم نقوم بتوفير الفئات التي نريد تصنيف النص إليها وحفظها في ' مختبر ' والذي يعرف بالتسميات:

أخيرًا، قم بتشغيل خط الأنابيب مع الإدخال:

بعد تنفيذ خط الأنابيب، كما ترون، توقع النموذج أن يتم تصنيف التسلسل المقدم لدينا:

معلومات إضافية: إذا كنت ترغب في تسريع أداء النموذج، فأنت بحاجة إلى استخدام GPU. إذا كانت الإجابة بنعم، ولهذا الغرض، يمكنك تحديد وسيطة جهاز لخط الأنابيب وتعيينها على ' 0 'للاستفادة من وحدة معالجة الرسومات.

إذا كنت ترغب في تصنيف النص على أكثر من بيان نص تسلسل/إدخال، فيمكنك إضافتها إلى القائمة وتمريرها كمدخل إلى خطوط الأنابيب. ولهذا الغرض، تحقق من مقتطف الشفرة:

انتاج |

هذا كل شيء! لقد قمنا بتجميع أسهل طريقة لإجراء تصنيف النص باستخدام المحولات.

خاتمة

تُستخدم المحولات لأداء مهام نمذجة اللغة، مثل إنشاء النص، وتصنيف النص، والترجمة الآلية، بالإضافة إلى مهام رؤية الكمبيوتر بما في ذلك التعرف على الكائنات، وتصنيف الصور. في هذا البرنامج التعليمي، قمنا بتوضيح عملية تنفيذ تصنيف النص باستخدام المحولات.