من كتبه؟

في المستقبل، لن يتمكن الكتاب المجهولون الذين يعبرون عن أنفسهم عبر الإنترنت أو في الأدب المكتوب من الاختباء. قام الباحثون بتطوير برنامج كمبيوتر يقوم بتحليل النص وإعطاء وصف مفصل وموثوق لمؤلفه

أولغا كلينرمان جاليليو

لقد مر أكثر من مائة عام منذ أن فاز المحقق الأدبي الشهير شيرلوك هولمز بقلوب أهل لندن وتمكن من القبض على عدد غير قليل من المجرمين بفضل قدراته التحليلية ومنطقه وعقله السريع. على الرغم من الفجوات الزمنية، ما زلنا نتعجب من القدرة غير العادية للمخبر الأسطوري على استخلاص استنتاجات حول شخصيات الناس بالتفصيل.

تحليل الحديث والنصوص الأدبية

تخيل أن بين يديك برنامج حاسوبي بقدرات لا تقل جودة عن قدرات المحقق الشهير. بالنسبة لهذا البرنامج، يكفي تشغيل عمل مؤلف غير معروف والحصول، بمساعدة سلسلة من الإجراءات المناسبة، على وصف مفصل وموثوق لمؤلف النص (بلد المنشأ والجنس والعمر وسمات الشخصية والثقافة).

يمكن لمثل هذه البرامج أن تلبي احتياجات جمهور متنوع: من الشرطة، التي يمكنها استخدام البرنامج للكشف عن آثار المجرمين على الإنترنت، من خلال الكشف عن خصائص أعضاء الجماعات المتطرفة التي تدير مواقع الويب، إلى الباحثين الأدبيين الذين يناقشون هوية مؤلف النص. كما يمكن لهذه الطريقة أن تساعد في التحقق من المجلات القديمة، عندما لا يكون لدينا معلومات كافية؛ على سبيل المثال، إذا تم العثور على عدة مخطوطات في موقع أثري، فيمكن أن يوضح هذا التحليل ما إذا كانت جميعها مكتوبة بواسطة نفس المؤلف.

الكتابات الفيدرالية

الأوراق الفيدرالية - هذا هو اسم ملف مكون من 85 مادة حول دستور الولايات المتحدة. تمت كتابة المقالات بين الأعوام 1788 - 1787. وهي عبارة عن 85 منشورًا دعائيًا تمت كتابتها بهدف التوضيح لسكان نيويورك حول مزايا الدستور المقترح مقارنة بالنظام الأساسي للاتحاد.

كتب هذه المنشورات جيمس ماديسون (ماديسون)، وألكسندر هاملتون (هاميلتون) وجون جاي (جاي) وتم نشرها تحت اسم مستعار "بوبليوس". ولم يتضح فيما يتعلق ببعض المقالات من كتب: هاملتون أم ماديسون. حدد التحليل الإحصائي الذي أجراه وولز وموستلر أن المقالات المتنازع عليها كتبها ماديسون. ومن هنا يبدو أن دراسة التعرف على مؤلفي الكتابات الفيدرالية هي العمل الأكثر شهرة في مجال تحديد هوية المؤلف ولا تزال حجر الزاوية في أساليب البحث الحديثة.

وهنا وجد البروفيسور موشيه كوبل والدكتور يوناتان شيلر من جامعة بار إيلان، وزملائهما البروفيسور شلومو أرغامون من معهد شيكاغو للتكنولوجيا والبروفيسور جيمس بينبيكر من جامعة تكساس، صيغة قد تقدم إجابة في مجال التعرف على خصائص المؤلف بناء على تحليل النص المكتوب من قبله. ويقوم البرنامج الذي طوره كوبل وشيلر وزملاؤهما بتحديد الخصائص الأسلوبية للكاتب بناءً على تحليل النص، سواء كان نصًا أدبيًا أو تعليقًا على الإنترنت أو أي مستند مكتوب.

لا يهتم كوبل وشيلر فقط بالاختلافات بين الجنسين بين الكتاب: فقد أتقنا أساليب البحث التي ستسمح بتحديد "البصمة" الأدبية بمستوى من الدقة يسمح بتمييز كاتب عن الآخر. وباستخدام البرنامج الذي طوروه، من الممكن التعرف بدرجة عالية على جنس الكاتب وعمره ولغته الأم - وكل هذا من خلال تحليل النص الذي كتبه باللغة الإنجليزية. بالإضافة إلى ذلك، يتيح التحليل إمكانية تحديد ما إذا كانت النصوص المختلفة تنتمي إلى نفس المؤلف.

أحد مصادر النصوص التي يستخدمها كوبل وشيلر لأغراض البحث وتطوير البرمجيات هو عالم المدونات، والمذكرات الشخصية التي يتم نشرها على الإنترنت. تحظى المدونات بشعبية كبيرة وتشكل قاعدة بيانات تضم مئات الآلاف من النصوص التي يمكن تحليلها واستخلاص معلومات عن طبيعة المؤلفين منها. هذه الكمية من النصوص تجعل من الممكن توسيع وتحديث قاعدة بيانات برنامج الكمبيوتر.

تاريخ تعريف الملف الشخصي للمؤلف

بدأ كل شيء في أوائل الستينيات من القرن العشرين، عندما نشر فريدريك موستلر (موستيلر) من جامعة هارفارد وديفيد والاس (والاس) من جامعة شيكاغو عملاً أصبح طفرة في مجال التعرف التلقائي على ملف تعريف المؤلف، استنادًا إلى برامج الكمبيوتر.

وقد عمل الباحثان على 12 مقالاً من "الكتابات الفيدرالية" من أجل اكتشاف هوية المؤلفين (انظر الإطار). واستخدموا خوارزمية قامت بتحليل إحصائي للغة المقالات وحساب تكرار حدوث الكلمات في النص. الفرضية المركزية في الطريقة الموصوفة، وفي تلك التي تلتها، هي أن هناك قاعدة بيانات للنصوص لمؤلفين معروفين، والتي تمكن التحليل المقارن وتحديد مدى ملاءمة نص جديد لمؤلف محدد ومحدد.

النموذج التنبؤي

في مقابلة مع جاليليو، يقول البروفيسور كوبيل: "في كثير من الحالات نصادف نصًا مجهولًا دون وجود مجموعة محددة من المؤلفين المحتملين، والتي تشمل المؤلف المجهول. ما الذي يمكن عمله في مثل هذه الحالة؟ في مثل هذه الحالات، نود أن نفعل ما يفعله محققو التلفزيون: أن نستخرج من النص المجهول معظم المعلومات عن الكاتب. على سبيل المثال: الجنس، والعمر، واللغة الأم، والشخصية، وما إلى ذلك."

يشبه هذا النهج بشكل أساسي نهج موستلر وولز، باستثناء أنه بدلاً من وصف كتابة مؤلف معين، يحاول الباحثون وصف كتابة مجموعات من المؤلفين (كتابة الذكور مقابل كتابة الإناث، وكتابة الشباب مقابل كتابة كبار السن، وما إلى ذلك) .

كيف تعمل الآلية؟ من أجل فك رموز نص مجهول لا تعرف خصائص مؤلفه، من الضروري بناء نموذج تنبؤي، والذي سيكون بمثابة نوع من الصيغة التي تسمح بتصنيف نص معين في إحدى مجموعات العضوية التي تحدد عمر المؤلف وجنسه. والعمر واللغة الأم وما إلى ذلك.

يعتمد بناء النموذج التنبؤي بشكل أساسي على التحليل اللغوي الاجتماعي لمئات الآلاف من المدونات، ذات خصائص المؤلف المعروفة (تسمى وثائق التدريب). يتم إجراء تحليل مستندات التدريب تلقائيًا ويبدأ في تحويل النص المكتوب إلى ناقل رياضي. مكونات المتجه هي الكلمات التي تظهر في متن النص (خصائص النص). يتحقق برنامج التعرف من تكرار ظهور كلمات وعبارات ومجموعات لغوية معينة في وثائق التدريب، ويستخدم أساليب التعلم الآلي لبناء صيغة تصنف كل وثيقة من وثائق التدريب في مجموعة تنتمي إليها. وتستخدم نفس الصيغة كنموذج تنبؤي لتحليل النصوص الجديدة وتصنيفها.

من كتب الكتاب على الرف؟

ومن الألغاز التي تم حلها باستخدام برنامج الكمبيوتر تناول كتابات الحاخام يوسف حاييم، المعروف باسم "بن إيش هاي"، الذي شغل منصب الحاخام الرئيسي في بغداد قبل حوالي 100 عام. وبحسب ادعاء الحاخام فقد عثر على كتاب مخفي مؤلفه مجهول. ومن أجل إثبات أو دحض أصالة الاكتشاف، تم فحص الكتاب المدفون وأحد نصوص "بن إيش هاي" في نفس الوقت بمساعدة البرنامج. وأظهرت النتائج أن كلا الكتابين من أعمال المؤلف نفسه...

من أجل اختبار دقة نموذج التنبؤ، قام كوبل وشلر بتشغيل برنامج التعرف على النصوص ذات خصائص المؤلف المعروفة، والتي لم يتم استخدامها بالطبع لبناء النموذج (فيما يلي: وثائق الاختبار). الشرط الرئيسي في هذا الاختبار هو المطابقة قدر الإمكان بين تحديد ملف تعريف الموصل بواسطة البرنامج والإعدادات الحقيقية المعروفة مسبقًا في هذه الحالة. أسفرت نتائج تحليل وثائق الاختبار هذه عن دقة تزيد عن 80% - وهي النتيجة التي كانت كافية لتطبيق برنامج التعرف على النصوص المجهولة.

كل معيار وقاعدة البيانات الخاصة به

يتيح العمل مع كمية كبيرة من وثائق التدريب بناء قاعدة بيانات، تحتوي على عدد كبير من الخصائص داخل كل مجموعة تنتمي، مما يزيد من موثوقية الاختبار للنصوص الجديدة. الميزة البارزة لطريقة العمل هذه مقارنة بأسلافها هي إمكانية إضافة خصائص جديدة تلقائيًا إلى قاعدة البيانات، أي تحسين دقة التنبؤ. تذكر أن قاعدة البيانات في برنامج التعريف القديم كانت مقتصرة على كمية النصوص المتاحة، المكتوبة بواسطة مؤلف معين، والتي تمت مقارنة النص الذي تم اختباره به.

تم إنشاء قاعدة بيانات منفصلة لوثائق التدريب لكل معيار من معايير الملف الشخصي (الجنس، العمر، اللغة الأم، الشخصية، وما إلى ذلك، باستثناء فئات الجنس والعمر، التي تتم مشاركة قاعدة البيانات الخاصة بها). يحتوي كل معيار من معايير الملف الشخصي على مجموعات تصنف إليها النصوص التي تم فحصها. المجموعات التي تنتمي إلى معيار العمر المحدد هي: الشباب حتى سن 20 عامًا، والبالغون في العشرينات من العمر والبالغون الذين تزيد أعمارهم عن 20 عامًا.

المجموعات المنتمية لمعيار اللغة الأم المحدد هي: الإسبانية، الروسية، الفرنسية، التشيكية، البلغارية. المجموعات المنتمية لمعيار الجنس المحدد هي النساء والرجال، ومجموعات الانتماء لمعيار السمات الشخصية المحددة: العصابية وغير العصبية.

إذا كان الأمر كذلك، يتم تنفيذ نشاط برنامج التعريف في نفس الوقت على عدة مستويات: العثور على مجموعة انتماء لكل معيار من معايير الملف الشخصي بشكل منفصل والإحالة المرجعية للنتائج التي تم الحصول عليها من أجل تحديد الملف التعريفي العام لمؤلف النص الذي تم فحصه .

مدون أو مدون؟

ومن أجل تحقيق تمييز واضح للعلامات التعريفية داخل كل مجموعة عضوية، يتم تصنيف وثائق التدريب بشكل مستقل عن مجموعات العضوية الأخرى. على سبيل المثال، لبناء قالب يحدد جنس المؤلف، يتم فحص النصوص التي تتناول نفس الموضوع، والتي كتبها مجموعات من الأشخاص من نفس الحجم (رجال ونساء) من نفس الأصل اللغوي، والذين هم في نفس الفئة العمرية ولهم نفس الخلفية قدر الإمكان (المهنة، الحالة الاجتماعية، وما إلى ذلك).

لا يعتمد البرنامج على أي نظرية أو نموذج من مجال العلوم الاجتماعية، بل يعتمد على التحليلات والنماذج الرياضية، التي تقوم بالتحليل الإحصائي للنص المكتوب. ويرتكز التحليل اللغوي للنصوص ضمن المجموعات المنتمية إلى تمييز الاختلافات الجوهرية في أسلوب الكتابة ومضمونها من مجموعة إلى أخرى. تتأثر طريقة الكتابة بالفعل بجنس المؤلف وعمره وخصائصه الشخصية الأخرى.

وهكذا، على سبيل المثال، في المدونات التي تناقش الكوارث الطبيعية، يتبين أن الرجال سيركزون أكثر على استعراض الأضرار والبيانات الإحصائية وأنشطة المؤسسات الحكومية، بينما ستركز النساء على مصير الناس والشخصية. قصص. سوف تنعكس الاختلافات بين الجنسين في كل من أسلوب الكتابة (استخدام الكلمات) والمحتوى (اختيار الموضوع)، وسوف تخلق نقطة انطلاق لبناء قاعدة البيانات.

تحليل أسلوب الكتابة وليس المحتوى

ومن المهم التأكيد على أن البرنامج لا يعتمد على أي نظرية أو نموذج من مجال العلوم الاجتماعية، بل على التحليلات والنماذج الرياضية، التي تقوم بالتحليل الإحصائي للنص المكتوب.

يؤكد كوبل وشيلر على أن تحليل أسلوب الكتابة يوفر نتائج أكثر دقة وموثوقية من تحليل المحتوى. وذلك لأن عملية البحث عن علامات التعريف، التي تشير إلى الاختلافات في أسلوب الكتابة في مجموعات الانتماء المختلفة، تعتمد على تحليل المفردات والتركيب والمعجم والنحو وحتى ظهور الأخطاء الإملائية، واستخدام من تعبيرات اللغة الفريدة والكلمات الرئيسية المحددة. وتظهر كل هذه الأمور في جميع النصوص المكتوبة بتكرار مرتفع نسبيا، في حين تقتصر خصائص المحتوى في كثير من الأحيان على كلمات مفردة، وأحيانا كلمات نادرة وفريدة من نوعها لموضوع معين للمناقشة.

على عكس الدراسات اللغوية الاجتماعية، التي تم بناء نماذجها يدويًا من قبل الباحث، هنا يتم بناء النموذج تلقائيًا باستخدام خوارزمية مطبقة على نص ذي خصائص مؤلف معروفة.

هناك مجموعة متنوعة من الخوارزميات المستخدمة لتصنيف النصوص إلى مجموعات عضوية متعددة. استخدم كوبل وشيلر وزملاؤهما خوارزمية تسمى الانحدار البايزي. وقد وجد أن هذه الخوارزمية فعالة وتتمتع بمستوى عالٍ من الدقة في تحديد النتائج خلال وقت تشغيل قصير. وقبل عرض نتائج الدراسة سنناقش آلية عمل الخوارزمية.

الفارق كمي وليس نوعي

كما ذكرنا سابقًا، تحتوي النصوص التي تم فحصها على مئات إلى آلاف المعلمات. إن استخدام التعابير اللغوية المختلفة والضمائر الشخصية والكلمات الأخرى، التي تعتبر علامات تعريف لبرامج الكمبيوتر، يتم من قبل جميع المؤلفين بدرجة أو بأخرى.

لا توجد معرفات حصرية، يستخدمها الرجال فقط أو النساء فقط أو بدلاً من ذلك، فقط الأشخاص الذين تبلغ أعمارهم 18 عامًا، وما إلى ذلك. لذلك، لا يمكن استخدام البحث عن علامات التعريف بنفسها داخل النص الذي تم فحصه كأداة لتحديد ملف تعريف المؤلف. إن التحديد الذي يمكن من خلاله تصنيف النص ضمن مجموعة الانتماء هذه أو تلك يعتمد على خوارزمية رياضية، تقوم بحساب متوسط ​​الوزن لظهور كل علامة من العلامات التعريفية في متن النص المدروس. يساعد التقاطع بين القيم الحسابية التي تم الحصول عليها في كل مجموعة من الانتماءات في النهاية على التنبؤ الكامل بالملف الشخصي للمؤلف.

يستخدم المدونون من النساء والشباب المزيد من الاختصارات ومجموعات الحروف، بينما يقوم الرجال والمدونون الأكبر سنًا بإرفاق الارتباطات التشعبية في كثير من الأحيان

يتيح هيكل قاعدة البيانات إمكانية تصنيف النصوص الجديدة إلى المجموعة المنتمية أثناء البحث عن علامات التعريف في النص الجديد التي تطابق تلك الموجودة في قاعدة البيانات. أي أننا نقوم بتحليل معلمات الوثيقة السرية، وفحص الوزن الإجمالي لخصائص النص هذه على كل مجموعة من المجموعات المنتمية. المجموعة الحاصلة على الحد الأقصى من الدرجات هي المجموعة التي ينتمي إليها المستند ومؤلفه.

بعض الميزات الممثلة في المتجه عبارة عن كلمات مفردة يسهل تحديد ترددها. ولكن هناك ميزات أكثر تعقيدًا. على سبيل المثال، يتضمن أحد أنواع الميزات أجزاء فردية للغاية من الكلام. ولقياس مدى انتشار هذه الخصائص، تم بناء شجرة، جذورها هي اللبنات الأساسية للغة: كلمات تمثل الأسماء، والأفعال، وحروف العطف، وحروف الجر، والصفات، وما شابه ذلك. يشكل كل فرع في الشجرة مجموعة فرعية لغوية، وكل عقدة في الفرع تشير إلى مجموعة محددة من الكلمات تمثل مجموعة فرعية لغوية حسب سياق معنى الكلمة، وكل ورقة هي كلمة أساسية محددة.

لغة الذكور ولغة الأنثى

تظهر الاختلافات الأسلوبية التي اكتشفها كوبل وشيلر بين كتابة الذكور والإناث من خلال التحقيق في عشرات الآلاف من النصوص من المدونات والتي تحتوي على أكثر من 7000 كلمة لكل مؤلف، أن النساء يستخدمن كثيرًا الضمائر الشخصية والكلمات السلبية. كلمات مثل: أنا، أنت، هي، أنا، هو، لي، ليس، غير، ولا تميز الكتابة الأنثوية. وفي المقابل، غالبًا ما يستخدم الرجال المواصفات.

الكلمات التي تظهر أكثر عند الرجال هي: هؤلاء، هؤلاء، كما يختلف استخدام حروف الجر بين النساء والرجال. غالبًا ما تستخدم النساء كلمات مثل for أو with، بينما يستخدم الرجال كلمات أكثر مثل of وas وأرقام.

كما أصبح من الواضح أن النساء يستخدمن "لغة التدوين" أكثر (اختصارات ومجموعات من الحروف مثل lol وhaha وur وغيرها من الابتكارات اللغوية) وأن الرجال يرفقون الارتباطات التشعبية بشكل متكرر.

نفس النتائج اللغوية التي لوحظت لدى الرجال مقارنة بالنساء، لوحظت أيضًا لدى المدونين الأكبر سناً (أكثر من 30 عامًا) مقارنة بالمدونين الأصغر سنًا: يقوم كبار السن بإرفاق المزيد من الروابط، أي يستخدمون لغة "مذكرية"، بينما الأصغر سنا استخدم أكثر لغة التدوين، أي اللغة "الأنثوية".

ومن السمات المميزة الإضافية للمدونين الشباب الاستخدام المتعدد لربط الكلمات وحذف الواصلات: أنا، لذا، هذا، لا، لا أستطيع.. تجدر الإشارة إلى أنه لم تكن هناك اختلافات كثيرة في الأسلوب بين الأشخاص الذين تبلغ أعمارهم 20 عامًا مقارنة بمن هم في سن الثلاثين، أي استخدام كلمات تميز فئة عمرية معينة. وهكذا، استخدم الأطفال بعمر 30 عامًا كلمات مثل شقة، مكتب، أكل، تلفزيون، وظيفة، عمل، بار، ومجموعة البالغين بعمر عشر سنوات أو أكثر غالبًا ما يستخدمون كلمات مثل سنوات، زوجة، زوج، عائلة، أطفال، بنت.

التعرف على اللغة الأم للكاتب

للتعرف على اللغة الأم للكاتب، من الضروري بناء "قاموس الأخطاء الشائعة" في النصوص الإنجليزية التي كتبها أشخاص يتحدثون لغات أصلية مختلفة. من أجل بناء قاعدة بيانات، تم أخذ النصوص من ICLE (المجموعة الدولية لمتعلمي اللغة الإنجليزية).

ضمت مجموعة مؤلفي الوثائق المرجعية أكثر من 200 طالب من خمسة بلدان (إسبانيا وروسيا وفرنسا وجمهورية التشيك وبلغاريا)، الذين ليست لغتهم الإنجليزية هي لغتهم الأم، والذين كتبوا جميعًا مقالات حول نفس الموضوع. بعد بناء قاعدة البيانات الخاصة بالمجموعة المنتمية للأصل اللغوي، يتم فرز النصوص الجديدة داخل المجموعة بنفس طريقة تصنيف الوثائق للمجموعات المنتمية الأخرى.

تنبع الاختلافات في الكتابة باللغة الإنجليزية بين الأشخاص من مختلف الأصول من القواعد النحوية وشكل الكلام والتعابير المفيدة والمزيد. ويتم التعبير عن الخلفية اللغوية المختلفة من خلال علامات تعريف بارزة في الكتابة، وهي علامات تتيح تحديد أصل المؤلف بدرجة عالية من الدقة. الكلمات والتعابير التي تظهر في النص المكتوب ويصبح هذا الاختلاف سمة مميزة لكل مجموعة لغوية عند فحص النص.

تحديد الهوية يكمن في الكلمات الصغيرة

يظهر البحث أن المتحدثين باللغات الروسية والتشيكية والبلغارية يميلون إلى تخطي حرف "a" (the) وكذلك a، لأن هذه التسميات غير موجودة في مجموعة اللغات السلافية. كما أن المتحدثين باللغة الروسية غالبًا ما يستخدمون كلمات مثل ;over، every، can، can't. يميل الفرنسيون إلى ابتكار كلمات جديدة لاحقتها ly - وهم يحبون الكلمة بالفعل.

السمة اللافتة للنظر في اللغة الإسبانية هي الاستخدام المتكرر لكلمات مثل "لأن، على الرغم من" وإغفال النموذج "ل". بدلاً من الكتابة للذهاب، سوف يقبلون بالذهاب. المتحدثون باللغة الرومانية يرتكبون أخطاء صوتية. على سبيل المثال، في كثير من الحالات يتم استخدام الحرف "O" في أماكن خاطئة، مثل المؤلف بدلاً من المؤلف.


يبدو إذن أن نموذج التعرف يركز على الكلمات الصغيرة، وهي تحدث فرقًا كبيرًا. الضمائر الشخصية، وحروف الجر، وربط الكلمات (مثل "لكن"، "أيضا")، وتكرار الأشكال الصرفية مثل البادئات واللواحق للكلمات، وكل ذلك يستخدم تلقائيا، وهو ما لا يدركه المؤلف عندما يكتب، على الرغم من وعيه. استخدام الكلمات الفخمة عن قصد.

من الممكن في المستقبل أن يكون من الممكن استخدام هذه الطريقة في الدراسات النفسية المختلفة. وعلى أية حال، فإن كوبل وشيلر لا يبحثان عن أسباب الاختلافات في الكتابة، بل يستخدمان الاختلافات الموجودة بالفعل لغرض التعرف على خصائص المؤلف دون استخدام قاعدة بيانات للأسماء والاكتفاء بأبحاث تركز فقط على أجهزة الكمبيوتر والكمبيوتر. الرياضيات. هناك طلب كبير على نتائج البحث في جميع الصناعات، الذين هم متعطشون للمعلومات ذات الصلة بمجال أعمالهم.

أولغا كلاينرمان هي مهندسة مواد وكيميائية، خريجة التخنيون. يعمل حاليًا في قسم التطوير والأبحاث في إحدى الشركات الرائدة في إسرائيل لإنتاج المركبات البلاستيكية الهندسية