توفر هذه المقالة دليلاً خطوة بخطوة حول استخدام Tokenizers في Hugging Face Transformers.
ما هو الرمز المميز؟
يعد Tokenizer مفهومًا مهمًا في البرمجة اللغوية العصبية، وهدفه الرئيسي هو ترجمة النص الخام إلى أرقام. هناك تقنيات ومنهجيات مختلفة موجودة لهذا الغرض. ومع ذلك، تجدر الإشارة إلى أن كل تقنية تخدم غرضًا محددًا.
كيفية استخدام الرموز المميزة في معانقة محولات الوجه؟
كيفية استخدام الرموز المميزة في معانقة محولات الوجه؟
يجب أولاً تثبيت مكتبة الرموز المميزة قبل استخدامها واستيراد الوظائف منها. بعد ذلك، قم بتدريب نموذج باستخدام AutoTokenizer، ثم قم بتوفير الإدخال لتنفيذ الترميز.
يقدم Hugging Face ثلاث فئات رئيسية من الترميز الموضحة أدناه:
- Tokenizer القائم على الكلمات
- الرمز المميز القائم على الشخصية
- Tokenizer القائم على الكلمات الفرعية
فيما يلي دليل خطوة بخطوة لاستخدام Tokenizers في Transformers:
الخطوة 1: تثبيت المحولات
لتثبيت المحولات، استخدم الأمر pip في الأمر التالي:
الخطوة 2: استيراد الفئات
من المحولات، الاستيراد خط انابيب ، و AutoModelForSequenceClassification مكتبة لأداء التصنيف:
الخطوة 3: استيراد النموذج
ال ' AutoModelForSequenceClassification 'هي طريقة تنتمي إلى الفئة التلقائية للترميز. ال from_pretrained() يتم استخدام الطريقة لإرجاع فئة النموذج الصحيحة بناءً على نوع النموذج.
لقد قدمنا هنا اسم النموذج في ' اسم النموذج ' عامل:
اسم النموذج = 'distilbert-base-uncased-finetuned-sst-2-english'pre_trainingmodel =AutoModelForSequenceClassification.from_pretrained ( اسم النموذج )
الخطوة 4: استيراد AutoTokenizer
قم بتوفير الأمر التالي لإنشاء الرموز المميزة عن طريق تمرير ' اسم النموذج 'كحجة:
الرمز المميز الذي تم إنشاؤه =AutoTokenizer.from_pretrained ( اسم النموذج )
الخطوة 5: إنشاء الرمز المميز
الآن، سوف نقوم بإنشاء الرموز المميزة على الجملة ”أنا أحب الطعام الجيد“ باستخدام ' الرمز المميز الذي تم إنشاؤه ' عامل:
مطبعة ( كلمات )
يتم إعطاء الإخراج على النحو التالي:
الرمز إلى ما سبق شركة جوجل يعطى هنا.
خاتمة
لاستخدام Tokenizers في Hugging Face، قم بتثبيت المكتبة باستخدام الأمر pip، وقم بتدريب نموذج باستخدام AutoTokenizer، ثم قم بتوفير الإدخال لتنفيذ الرمز المميز. باستخدام الترميز، قم بتعيين أوزان للكلمات التي تم تسلسلها بناءً عليها للاحتفاظ بمعنى الجملة. تحدد هذه النتيجة أيضًا قيمتها للتحليل. هذه المقالة عبارة عن دليل مفصل حول كيفية استخدام Tokenizers في Hugging Face Transformers.