هذا موقع رسمي تابع لـ ODERSA. إليكم كيف تتأكّدون

النطاق الرسمي

عنوان هذا الموقع ينتهي بـ odersa.org. كل خدمة من خدمات الجمعية توجد على نطاق فرعي من odersa.org، ولا في أي مكان آخر. وإذا كان العنوان الظاهر في شريط متصفّحكم لا ينتهي بـ odersa.org، فهذا الموقع ليس موقعنا.

مجاني، وبلا حساب

كل شيء متاح من اللحظة الأولى: لا تسجيل، ولا حساب، ولا كلمة مرور، ولا اشتراك، ولا إعلانات. ولا شيء محجوز لمن يدفع، لأن لا شيء هنا يُدفع.

لا جمع لأي بيانات

هذا الموقع لا يتعقّبكم: لا أدوات تتبّع، ولا ملفات تعريف ارتباط للتتبّع، ولا أي أداة قياس مدمجة في هذه الصفحات، ولا شيء يُقاس على جهازكم. مُضيفنا يَعُدّ الطلبات بشكل إجمالي، كما يفعل أي خادم يستجيب: مجموع، لا ملف شخصي. ولا حاجة أن تصدّقونا: افتحوا أدوات المطوّر في متصفّحكم، تبويب الشبكة، وأعيدوا تحميل الصفحة. سترون القائمة الكاملة لما يطلبه الموقع. كل شيء يأتي من odersa.org، ولا شيء يذهب إلى مكان آخر.

محتوى حر

المحتوى منشور برخصة CC BY 4.0. يمكنكم نسخه وترجمته وطبعه وإعادة توزيعه، في دروسكم كما بين من حولكم، بشرط واحد: ذكر ODERSA.

الكلمات مقطّعة

النموذج لا يتلقّى حرفًا أبدًا، ولا كلمة كاملة: إنه يتلقّى قطعًا، متعلَّمة بالإحصاء على متن. وهذا الفصل يجعل الخوارزمية تتعلّم أمام عينيك، ثم يطبّق النتيجة على جملة واحدة بعدة لغات.

معلومة

كل شيء يُحسَب في متصفّحك، من نصّ مدمج في الصفحة. فالمتن، وتعلّم الدمجات، وتقطيع جملة كلها تبقى على هذا الجهاز. افتح تبويب الشبكة في متصفّحك أثناء تجريبك للأداة: لا طلب واحدًا يخرج.

متن التعلّم

خوارزمية هذا الفصل تتعلّم على نصّ واحد، لا غير. وهذا هو، كاملًا: أول خمسة عشر مقطعًا من رواية Le Tour du monde en quatre-vingts jours («حول العالم في ثمانين يومًا») لجول فيرن، بالفرنسية. ولا جملة أخرى تخدم التعلّم أدناه: فما تقرؤه هنا هو بالضبط ما تعلّم عليه التقطيع.

هذا المتن يقع في خمسة عشر مقطعًا.

En l’année 1872, la maison portant le numéro 7 de Saville-row, Burlington Gardens maison dans laquelle Sheridan mourut en 1814, était habitée par Phileas Fogg, esq., l’un des membres les plus singuliers et les plus remarqués du Reform-Club de Londres, bien qu’il semblât prendre à tâche de ne rien faire qui pût attirer l’attention.

À l’un des plus grands orateurs qui honorent l’Angleterre, succédait donc ce Phileas Fogg, personnage énigmatique, dont on ne savait rien, sinon que c’était un fort galant homme et l’un des plus beaux gentlemen de la haute société anglaise.

On disait qu’il ressemblait à Byron par la tête, car il était irréprochable quant aux pieds, mais un Byron à moustaches et à favoris, un Byron impassible, qui aurait vécu mille ans sans vieillir.

Anglais, à coup sûr, Phileas Fogg n’était peut-être pas Londonner. On ne l’avait jamais vu ni à la Bourse, ni à la Banque, ni dans aucun des comptoirs de la Cité. Ni les bassins ni les docks de Londres n’avaient jamais reçu un navire ayant pour armateur Phileas Fogg. Ce gentleman ne figurait dans aucun comité d’administration. Son nom n’avait jamais retenti dans un collège d’avocats, ni au Temple, ni à Lincoln’s-inn, ni à Gray’s-inn. Jamais il ne plaida ni à la Cour du chancelier, ni au Banc de la Reine, ni à l’Échiquier, ni en Cour ecclésiastique. Il n’était ni industriel, ni négociant, ni marchand, ni agriculteur. Il ne faisait partie ni de l’Institution royale de la Grande-Bretagne, ni de l’Institution de Londres, ni de l’Institution des Artisans, ni de l’Institution Russell, ni de l’Institution littéraire de l’Ouest, ni de l’Institution du Droit, ni de cette Institution des Arts et des Sciences réunis, qui est placée sous le patronage direct de Sa Gracieuse Majesté. Il n’appartenait enfin à aucune des nombreuses sociétés qui pullulent dans la capitale de l’Angleterre, depuis la Société de l’Armonica jusqu’à la Société entomologique, fondée principalement dans le but de détruire les insectes nuisibles.

Phileas Fogg était membre du Reform-Club, et voilà tout.

À qui s’étonnerait de ce qu’un gentleman aussi mystérieux comptât parmi les membres de cette honorable association, on répondra qu’il passa sur la recommandation de MM. Baring frères, chez lesquels il avait un crédit ouvert. De là une certaine surface, due à ce que ses chèques étaient régulièrement payés à vue par le débit de son compte courant invariablement créditeur.

Ce Phileas Fogg était-il riche ? Incontestablement. Mais comment il avait fait fortune, c’est ce que les mieux informés ne pouvaient dire, et Mr. Fogg était le dernier auquel il convînt de s’adresser pour l’apprendre. En tout cas, il n’était prodigue de rien, mais non avare, car partout où il manquait un appoint pour une chose noble, utile ou généreuse, il l’apportait silencieusement et même anonymement.

En somme, rien de moins communicatif que ce gentleman. Il parlait aussi peu que possible, et semblait d’autant plus mystérieux qu’il était silencieux. Cependant sa vie était à jour, mais ce qu’il faisait était si mathématiquement toujours la même chose, que l’imagination, mécontente, cherchait au-delà.

Avait-il voyagé ? C’était probable, car personne ne possédait mieux que lui la carte du monde. Il n’était endroit si reculé dont il ne parût avoir une connaissance spéciale. Quelquefois, mais en peu de mots, brefs et clairs, il redressait les mille propos qui circulaient dans le club au sujet des voyageurs perdus ou égarés ; il indiquait les vraies probabilités, et ses paroles s’étaient trouvées souvent comme inspirées par une seconde vue, tant l’événement finissait toujours par les justifier. C’était un homme qui avait dû voyager partout, en esprit, tout au moins.

Ce qui était certain toutefois, c’est que, depuis de longues années, Phileas Fogg n’avait pas quitté Londres. Ceux qui avaient l’honneur de le connaître un peu plus que les autres attestaient que si ce n’est sur ce chemin direct qu’il parcourait chaque jour pour venir de sa maison au club personne ne pouvait prétendre l’avoir jamais vu ailleurs. Son seul passe-temps était de lire les journaux et de jouer au whist. À ce jeu du silence, si bien approprié à sa nature, il gagnait souvent, mais ses gains n’entraient jamais dans sa bourse et figuraient pour une somme importante à son budget de charité. D’ailleurs, il faut le remarquer, Mr. Fogg jouait évidemment pour jouer, non pour gagner. Le jeu était pour lui un combat, une lutte contre une difficulté, mais une lutte sans mouvement, sans déplacement, sans fatigue, et cela allait à son caractère.

On ne connaissait à Phileas Fogg ni femme ni enfants, ce qui peut arriver aux gens les plus honnêtes, ni parents ni amis, ce qui est plus rare en vérité. Phileas Fogg vivait seul dans sa maison de Saville-row, où personne ne pénétrait. De son intérieur, jamais il n’était question. Un seul domestique suffisait à le servir. Déjeunant, dînant au club à des heures chronométriquement déterminées, dans la même salle, à la même table, ne traitant point ses collègues, n’invitant aucun étranger, il ne rentrait chez lui que pour se coucher, à minuit précis, sans jamais user de ces chambres confortables que le Reform-Club tient à la disposition des membres du cercle. Sur vingt-quatre heures, il en passait dix à son domicile, soit qu’il dormît, soit qu’il s’occupât de sa toilette. S’il se promenait, c’était invariablement, d’un pas égal, dans la salle d’entrée parquetée en marqueterie, ou sur la galerie circulaire, au-dessus de laquelle s’arrondit un dôme à vitraux bleus, que supportent vingt colonnes ioniques en porphyre rouge. S’il dînait ou déjeunait, c’étaient les cuisines, le garde-manger, l’office, la poissonnerie, la laiterie du club, qui fournissaient à sa table leurs succulentes réserves ; c’étaient les domestiques du club, graves personnages en habit noir, chaussés de souliers à semelles de molleton, qui le servaient dans une porcelaine spéciale et sur un admirable linge en toile de Saxe ; c’étaient les cristaux à moule perdu du club qui contenaient son sherry, son porto ou son claret mélangé de cannelle, de capillaire et de cinnamome ; c’était enfin la glace du club glace venue à grands frais des lacs d’Amérique qui entretenait ses boissons dans un satisfaisant état de fraîcheur.

Si vivre dans ces conditions, c’est être un excentrique, il faut convenir que l’excentricité a du bon !

La maison de Saville-row, sans être somptueuse, se recommandait par un extrême confort. D’ailleurs, avec les habitudes invariables du locataire, le service s’y réduisait à peu. Toutefois, Phileas Fogg exigeait de son unique domestique une ponctualité, une régularité extraordinaires. Ce jour-là même, 2 octobre, Phileas Fogg avait donné son congé à James Forster ce garçon s’étant rendu coupable de lui avoir apporté pour sa barbe de l’eau à quatre-vingt-quatre degrés Fahrenheit au lieu de quatre-vingt-six, et il attendait son successeur, qui devait se présenter entre onze heures et onze heures et demie.

Phileas Fogg, carrément assis dans son fauteuil, les deux pieds rapprochés comme ceux d’un soldat à la parade, les mains appuyées sur les genoux, le corps droit, la tête haute, regardait marcher l’aiguille de la pendule, appareil compliqué qui indiquait les heures, les minutes, les secondes, les jours, les quantièmes et l’année. À onze heures et demie sonnant, Mr. Fogg devait, suivant sa quotidienne habitude, quitter la maison et se rendre au Reform-Club.

النصّ: Jules Verne، Le Tour du monde en quatre-vingts jours، 1873، ملك عام. وقد عُدّل النقل الحرفي لأجل القراءة: صارت الفواصل العليا مطبعية، وحُذفت شُرَط النقل وعلامات التنصيص فيه، وحُذفت علامات الخطّ المائل، واستُثنيت عناوين الفصول وجدول المحتويات، واستُثنيت المقاطع التي تقلّ عن أربعين محرفًا.

الدمجات، بالترتيب الذي تتعلّمه به الخوارزمية

كل دمجة اختيار: فأكثر زوج رموز تكرارًا في المتن أعلاه يصير رمزًا جديدًا. اختر كم دمجة يحقّ للخوارزمية أن تجري، وانظر الجدول يمتلئ، سطرًا لكل دمجة، بالترتيب الذي تعلّمته به.

60
عند الصفر، لا دمجة: فكل محرف يبقى وحده. والحدّ الأقصى لهذا المؤشّر مضبوط على ثلاث مئة؛ أما النموذج الحقيقي فيتعلّم عشرات الآلاف منها.

جدول الدمجات يظهر هنا، بالترتيب الذي تتعلّمه به الخوارزمية.

تقطيع جملة

وهذا ما تفعله هذه الدمجات بجملة جديدة: فهي تُطبَّق بالترتيب الذي تعلّمت به، الأقدم أولًا، إلى أن لا تُطبَّق واحدة منها.

التقطيع يُعاد حسابه بعدد الدمجات المختار أعلاه. والمثال الأولي بالفرنسية، لغة المتن؛ اكتب جملة عربية وسترى التقطيع نفسه يتفتّت.

تقطيع جملتك يظهر هنا، إلى وحدات.

الجملة نفسها، 7 لغات

وهذه هي النقطة التي يحتفظ بها هذا الفصل. فالمقطّع نفسه، مضبوطًا على عدد الدمجات المختار أعلاه ومتعلّمًا على الفرنسية وحدها، يقطّع الآن جملةً واحدة المعنى في 7 لغات. وعدد الوحدات الذي ينتجه يتغيّر تغيّرًا هائلًا من لغة إلى أخرى، ولهذا الفارق سبب واحد فقط: هذا المقطّع لم يقرأ يومًا غير الفرنسية.

المقارنة بين اللغات تظهر هنا، شريطًا لكل لغة.

الجملة المصدر: شريط الثقة لدى ODERSA، وهو النصّ القانوني للدار، منشور برخصة CC BY 4.0. وهذا المقطّع لعبةٌ تعلّمت على نصّ من سنة 1873: فأعداد وحداته ليست أعداد منتج، لكن الآلية التي تنتجها هي نفسها.

المنهج

تُسمّى الخوارزمية BPE، أي Byte Pair Encoding، ترميز أزواج البايتات. وقد صُمّمت في 1994 كطريقة عامة لضغط البيانات، بلا علاقة باللغة الطبيعية (Gage، 1994). وطُبّقت في 2016 على تقطيع النصّ إلى أجزاء من الكلمة، لتمكين نموذج ترجمة آلية من معالجة الكلمات النادرة أو المجهولة عبر تفكيكها إلى وحدات أصغر معروفة سلفًا (Sennrich وHaddow وBirch، 2016). وهذه النسخة الثانية، المطبَّقة على النصّ، هي التي شغّلها العرض أعلاه أمام عينيك.

  1. البدء من المحارف. فكل كلمة في المتن تصير سلسلة محارفها، رمزًا لكل محرف. وكلمة «enseignant» («معلّم» بالفرنسية) تبدأ بعشرة رموز: e وn وs وe وi وg وn وa وn وt.
  2. عدّ كل أزواج الرموز المتجاورة. فلكل كلمة في المتن، ولكل زوج رموز متلاصقين، يُجمَع عدد وروده، مضروبًا في عدد مرات ظهور هذه الكلمة في المتن.
  3. الاحتفاظ بالزوج الأكثر تكرارًا. وعند تساوي العدّ، تحتفظ القاعدة دائمًا بالزوج الذي يُصادَف أولًا في قراءة المتن من اليسار إلى اليمين، كلمةً بعد كلمة: فشخصان يعدّان باليد يصلان إلى الزوج نفسه.
  4. دمج هذا الزوج في رمز جديد، في كل مكان يظهر فيه في المتن. فالمعجم يكسب رمزًا.
  5. تكرار الخطوات من الثانية إلى الرابعة بعدد الدمجات المطلوبة. وكل دمجة تستند إلى الحالة التي تركتها التي قبلها: فلا رتبة يُعاد حسابها أبدًا دون المرور بالرتبة السابقة.
  6. التوقّف. إما عند عدد الدمجات المحدَّد سلفًا، وإما حين لا يتكرّر أي زوج: فتكون كل كلمة في المتن قد صارت رمزًا واحدًا.
  7. تقطيع نصّ جديد بالدمجات المتعلَّمة. نبدأ من محارفه، ونطبّق الدمجات بالترتيب الذي تعلّمت به، الأقدم أولًا، ما دام أحد أزواج القائمة موجودًا فيه. والكلمة التي لا تشترك في أي محرف مع متن التعلّم لا تصادف أي دمجة: فتبقى مفكَّكة إلى محارف، محرفًا محرفًا.

وهذا مثال كامل، باليد، على متن من كلمتين: «enseignant»، معدودة أربع مرات، و«grand» («كبير» بالفرنسية)، معدودة ثلاث مرات. فالزوج a متبوعًا بـn يرد سبع مرات في المجموع، أربع مرات في «enseignant» وثلاث مرات في «grand»: ولا زوج آخر يبلغ هذا العدّ، فيُدمَج أولًا. أما كل الدمجات التالية فتوجد عند تساوي أربع مرات ورود: وتحتفظ القاعدة بالأول المُصادَف في قراءة «enseignant» من اليسار إلى اليمين.

الدمجات الستّ الأولى في مثال «enseignant» و«grand»
الرتبةالزوج المدموجالرمز الناتجمرات الورود
1a + nan7
2e + nen4
3en + sens4
4ens + eense4
5ense + iensei4
6ensei + genseig4

وبعد هذه الدمجات الستّ، تُكتَب «enseignant» هكذا: enseig وn وan وt، وتُكتَب «grand» هكذا: g وr وan وd: أربعة رموز لكل واحدة، ورمز مشترك، an، تعلّمته الخوارزمية من الكلمتين معًا. وهذه بالضبط هي الآلية التي يطبّقها جدول القسم السابق على الرواية كاملة.

الوحدة ليست كلمة

الوحدة، أو الرمز، هي رمزٌ احتفظت به الدمجات: فهي أحيانًا كلمة كاملة، وأحيانًا شُذرة، وأحيانًا محرف واحد. ولا شيء في الخوارزمية يعرف المقطع الصوتي، ولا جذر الكلمة، ولا لاحقتها: فالمُعتَبَر الوحيد هو تكرار الأزواج في متن التعلّم.

والجدول أعلاه يُظهر ذلك عند رتبة متقدّمة: فاسم «Fogg» يصير رمزًا واحدًا، لمجرّد أنه يرد كثيرًا جدًا في هذه الخمسة عشر مقطعًا. ومتن آخر، بلا هذه الشخصية، لم يكن سيتعلّم هذا الرمز أبدًا. فمعجم النموذج ليس إذن قائمة كلمات مختارة لمعناها: إنه الأثر الإحصائي للنصّ الذي بُني عليه.

لماذا لا يرى النموذج حرفًا أبدًا

بعد إتمام التقطيع، لا يوجد النصّ عند النموذج إلا في صورة هذه الوحدات، محوَّلةً إلى أرقام. والنموذج يحسب على هذه الأرقام: وليست لديه أي عملية تقول «الحرف الثالث من هذه الوحدة»، لأن الوحدة لا تُحفَظ سلسلةَ حروف بعد أن تصير رمزًا.

وحين توافق الوحدة محرفًا واحدًا، يوجد الوصول إلى الحرف بالمصادفة. ومنذ أن تجمع الوحدة عدة محارف، كما يُظهر تقطيع كلمة «lettres» أعلاه، يزول هذا الوصول: فالنموذج يستدلّ على الرمز كاملًا، لا على حروفه واحدًا واحدًا.

ما تشرحه هذه الآلية شرحًا سيّئًا

ثلاث مهام عادية جدًا تطلب وصولًا مباشرًا إلى الحرف. والتقطيع إلى وحدات يجعلها، بحكم البناء، قليلة الموثوقية.

عدّ حروف كلمة
إن كانت الكلمة كلها تقع في وحدة واحدة، أو إن جمعت وحدةٌ عدة حروف متماثلة، صار العدّ عدًّا لوحدات لا توافق أي حرف بعينه. والجواب قد يصيب، بالمصادفة قدر ما بالحساب.
الحكم بأن كلمتين متقافيتان
القافية تُحكَم على الأصوات الأخيرة، أي على الحروف الأخيرة. فإن وقع حدّ الوحدة في غير نهاية الكلمة هذه، صار ما كان ينبغي أن يُقارَن حرفًا بحرف يُقارَن بين وحدات لا تتطابق.
كتابة كلمة بالمقلوب، حرفًا حرفًا
قلب كلمة يفترض توفّر كل حرف من حروفها، بالترتيب. والنموذج الذي يتلقّى الكلمة مجموعةً سلفًا في وحدتين أو ثلاث عليه أولًا أن يعيد تركيب حروف لم يتعامل معها منفصلة أبدًا.

الكلفة حسب اللغة

المقارنة أعلاه تُظهر ذلك مباشرة: فالمقطّع المتعلّم على متنٍ ما ينتج وحدات قليلة لنصّ قريب من هذا المتن، وأكثر بكثير لنصّ يبتعد عنه. وقياس منشور يُثبِت هذا الفارق نفسه على مقطّعات إنتاج حقيقية: فالمحتوى الواحد، مترجَمًا إلى لغات مختلفة، قد يحتاج إلى خمسة عشر ضعف الرموز حسب اللغة، وهذا يجعل بعض اللغات أكثر كلفة وأبطأ في المعالجة بحكم بنيتها (Petrov وLa Malfa وTorr وBibi، 2023).

ويقدّم The AI Manual هذه الدورة بـ7 لغات. فهذا الفارق ليس إذن طُرفة: فالصفحة التي تكلّف رموزًا قليلة بالفرنسية قد تكلّف أكثر بكثير في لغة بكتابة مختلفة، وهذا يثقل سرعة الجواب وحصّة السياق التي تبقى متاحة لبقية المحادثة.

للمضيّ أبعد

بعد أن يصير النصّ وحدات، يتوقّع النموذج الوحدة التالية: وهذه الآلية هي موضوع فصل الكلمة التالية. وآليات أخرى تُجرَّب بالطريقة نفسها في صفحة العروض التفاعلية. وفهرس الدورة الكامل في صفحة الفهم.

المصادر