world

celebrate

Yalda

همترازی لغوی بین دو جمله فارسی و انگلیسی در شکل جدول همترازی
همترازی لغوی یک جزء حمایتی مهم در اکثر روش‌های ترجمه ماشینی آماری است. همه رویکردهای جاری در ترجمه ماشینی آماری از همترازی لغوی یا برای آموزش و یا در توابع ویژگی استفاده می‌کنند. پارامترهای مدل‌های ترجمه ماشینی آماری معمولا با بهره گرفتن از متون دوزبانه که در سطح کلمه همتراز شده‌اند تخمین زده می‌شوند، و برعکس در همترازی خودکار لغوی، آن همترازی انتخاب می‌شود که در مدل ترجمه ماشینی آماری بهترین نتیجه را بدهد. از اینرو یک دور در کاربرد این دو وجود دارد که منجر به نوعی الگوریتم حداکثر سازی امید ریاضی می‌شود. این روش یادگیری نوعی آموزش بدون نظارت است، که در آن نمونه‌هایی با خروجی‌های مطلوب به سیستم داده نشده است اما تلاش می‌کند که بهترین همترازی را برای داده‌هایی که دیده نشده‌اند بیابد. البته روش‌های با نظارت نیز برای همترازی لغوی بکارگرفته شده‌اند که در آنها به سیستم مقداری جمله دستی همتراز شده داده می‌شود.

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

همترازی لغوی با بهره گرفتن از مدل‌های آی‌بی‌ام
آی بی ام برای همترازی لغوی ۵ مدل ارائه کرده است که شناخته شده‌ترین مدل‌های همترازی لغوی محسوب می‌شوند. آی بی ام مدل ۱ ساده‌ترین آنهاست، همینطور که از مدل ۱ تا ۵ می‌رویم، مدل‌ها پیچیده‌تر اما واقعی‌تر می‌شوند. آی بی ام مدل ۱ تنها بر اساس ترجمه لغوی است، آی بی ام مدل ۲ موقیعیت کلمات در جمله را نیز در نظر می‌گیرد، آی بی ام مدل ۳ اتصال یک کلمه به چندین کلمه را نیز مورد توجه قرار می‌دهد، آی بی ام مدل ۴ مشکلی که برای جفت جملات طولانی به وجود می‌آید مورد هدف قرار می‌دهد و مدل آی بی ام ۵ نیز مشکلات مدل‌های ۳ و ۴ را برطرف می‌کند.
ابزار Giza++ [28] ابزاری است که از مدل‌های ای بی ام برای همترازی لغوی استفاده می‌کند. فرایند به دست آوردن همترازی لغوی بین دو جمله یک فرایند زمانبر است. ابزار MGiza++ نسخه توسعه یافته Giza++ است که قابلیت مهم اجرای موازی به آن اضافه شده است.
ارزیابی ترجمه ماشینی
یکی از مهترین قسمت‌ها در طراحی یک ماشین ترجمه، ارزیابی خروجی تولید شده توسط آن است. همچنین برای مقایسه دو ماشین ترجمه طراحی شده، می‌بایست خروجی تولید شده توسط آنها را ارزیابی کرد. روش‌های ارزیابی ترجمه ماشینی، در دو دسته کلی ارزیابی انسانی و ارزیابی خودکار قرار می‌گیرند. روش ارزیابی توسط انسان گرچه به واقیت نزدیک‌تر است، اما روشی پرهزینه و زمانبر است. از اینرو در سالهای اخیر متریک‌های متنوعی برای ارزیابی خودکار ترجمه ماشینی طراحی شده‌اند. در ادامه چند متریک مختلف از ارزیابی خودکار شرح داده می‌شوند.
بلو^[۱۸]
بلو از اولین متریک‌های ارائه شده است که به کیفیت قضاوت انسانی نزدیک است. در حال حاضر بلو یکی از محبوب‌ترین متریک‌ها در زمینه ارزیابی ترجمه ماشینی است. ایده اصلی بلو این است که «هر ترجمه ماشینی که به ترجمه انسان نزدیک‌تر باشد بهتر است». بلو ابتدا برای هر بخش که معمولا جمله در نظر گرفته می‌شود، امتیاز را محاسبه می‌کند و سپس بین امتیاز تمام جملات پیکره میانگین می‌گیرد. بلو برای تقریب زدن قضاوت انسانی در سطح پیکره طراحی شده است، از اینرو اگر برای ارزیابی کیفیت جملات به صورت جداگانه استفاده شود خوب عمل نخواهد کرد.
نمره بلو عددی بین صفر و یک است که گاهی بصورت درصد نیز نمایش داده می‌شود. هر چقدر این عدد به یک نزدیک‌تر باشد نشان دهنده این است که ترجمه به ترجمه مرجع نزدیک‌تر است؛ اگرچه ترجمه‌های انسانی نیز کمتر نمره یک را به دست می‌آورند. برای یک جمله، چندین ترجمه مطلوب می‌تواند وجود داشته باشد که یا از کلماتی متفاوت استفاده کرده‌اند و یا ترتیب استفاده از کلمات در آنها کمی متفاوت بوده است. به همین دلیل به دست آوردن نمره یک، ضروری و مهم نیست.
بلو هر جمله را با مجموعه‌ای از چندین جمله ترجمه با کیفیت مناسب به عنوان مرجع مقایسه می‌کند. بلو، شکلی از معیار دقت را برای مقایسه ترجمه با جملات مرجع مورد استفاده قرار می‌دهد. به عبارتی تعداد n-gram‌های موجود در جمله ترجمه را که در جمله مرجع نیز هستند به دست می‌آورد و نسبت این تعداد را به کل تعداد کلمات جمله محاسبه می‌کند. به دلیل وجود ترجمه‌های مختلف مطلوب برای یک جمله، هر چه تعداد ترجمه‌های مرجع بیشتر باشد نمره بلوی به دست آمده بیشتر خواهد بود.
متریک NIST
متریک NIST بر مبنای متریک بلو است. تفاوت این معیار با معیار بلو در این است که بلو هنگام به دست آوردن دقت n-gram‌ها وزن یکسانی به آنها می‌دهد، اما NIST محاسبه می‌کند که هر n-gram چقدر با معنی است یا به عبارتی حاوی اطلاعات مفید است. یعنی وقتی یک n-gram صحیح در ترجمه یافت شد، هر چه این n-gram کمیاب‌تر باشد (به تعداد کمتری رخ داده باشد) وزن بیشتری به آن اختصاص داده می‌شود. به طور مثال NIST به عبارت «interesting calculations» نسبت به عبارت «on the» وزن بیشتری می‌دهد زیرا به میزان کمتری رخ می‌دهد.
نرخ خطای کلمه ^[۱۹]
نرخ خطای کلمه (WER) متریکی مبتنی بر فاصله لون اشتاین یا فاصله ویرایش است؛ با این تفاوت که فاصله لون اشتاین در سطح کاراکتر است اما WER در سطح کلمه. WER تعداد عملیات مورد نیاز برای تبدیل یک جمله (مرجع) به جمله دیگر (ترجمه) را اندازه می‌گیرد که این عملیات عبارتند از درج، حذف، جایگزینی. اگر تعداد جایگزینی‌های مورد نیاز را S، تعداد حذف مورد نیاز را D، تعداد درج‌ها را I و تعداد کلمات جمله مرجع را N در نظر بگیریم، معیار WER به صورت زیر به دست می‌آید: