۱-۵- اهداف پایان نامه
روش­های محتوا محور و فیلترینگ اشتراکی از راهکارهای موفق در سیستم­های پیشنهادگر می­باشند. روش محتوا محور بر اساس ویژگی­های اقلام تعریف می­ شود. این روش بررسی می­ کند که اقلام مورد علاقه کاربر دارای چه ویژگی­هایی بوده ­اند، سپس اقلام دارای ویژگی­های مشابه را به او پیشنهاد می­ کند. روش فیلترینگ اشتراکی بر اساس تعیین اقلام مشابه یا کاربران مشابه کار می­ کند که به ترتیب فیلترینگ اشتراکی مبتنی بر اقلام و مبتنی بر کاربران نامیده می­ شود.
روش پایه فیلترینگ اشتراکی مبتنی بر کاربر، به منظور پیش ­بینی امتیاز قلم هدف، هیچ تمایزی بین اقلام قائل نمی­ شود. به عبارت دیگر امتیازهای تمامی اقلام به طور یکسان در انتخاب همسایگی (کاربران مشابه) و پیش ­بینی تاثیر می­گذارند. در این پایان نامه یک سیستم پیشنهادگر فیلترینگ اشتراکی مبتنی بر کاربر، مجهز به مکانیزم تخصیص پویای وزن به اقلام، ارائه شده است. مبنای این مکانیزم، تخصیص وزن به اقلام بر اساس میزان شباهت آنها با قلم هدف می­باشد. میزان شباهت اقلام توسط یک روش محتوا محور سنجیده می­ شود. از آنجا که پایگاه داده مورد استفاده در این پایان نامه مربوط به فیلم است، برای بالا بردن کارایی این روش علاوه بر استفاده از ویژگی ژانرها، از ویژگی­های دیگری از جمله کارگردانان و بازیگران به عنوان داده ­های مکمل استفاده شده است.

۱-۶- ساختار پایان نامه
از آنجا که اساس روش پیشنهادی در این پایان نامه فیلترینگ اشتراکی می­باشد در فصل دوم به تفصیل به شرح این روش و تاریخچه­ای از کارهای انجام شده در این زمینه پرداخته می­ شود.
پس از آن به دلیل استفاده از روش محتوا محور به جهت ارتقا روش فیلترینگ اشتراکی، مبانی این روش در فصل سوم توضیح داده می­ شود.
در فصل چهارم روش پیشنهادی که تلفیقی از روش­های فیلترینگ اشتراکی و محتوا محور می­باشد و کارهای انجام شده در این زمینه ارائه می­ شود.
در فصل پنجم آزمایش­های انجام شده بر روش پیشنهادی و نتایج حاصل از این آزمایش­ها ارائه می­گردد.
در فصل ششم به جمع­بندی مطالب، نتیجه ­گیری و ارائه پیشنهادهایی برای آینده پرداخته می­ شود.
فصل دوم
روش فیلترینگ اشتراکی
۲- روش فیلترینگ اشتراکی
۲-۱- پیشگفتار
این پایان ­نامه بر فیلترینگ اشتراکی که نوعی از سیستم­های پیشنهادگر می­با­شد متمرکز شده است. این نوع از سیستم های پیشنهادگر نقش قابل توجهی را در پیدا کردن سلیقه­ و علائق کاربر ایفا می­ کند. انگیزه­ پیدایش فیلترینگ اشتراکی از اینجا به وجود آمد که مردم معمولا بهترین پیشنهادات را از کسانی می­گیرند که سلیقه­شان مشابه با خودشان است. این متد، کاربران با سلیقه­ شبیه به هم را پیدا می­ کند و بر این اساس پیشنهادات را ارائه می­دهد.
۲-۲- مروری بر کارهای انجام شده در این راستا
در [۶] اولین سیستم پیشنهادگر رسمی که tapestry نامیده می­ شود ارا­ئه شد. این یک سیستم برای مدیریت ایمیل بود و تصدیق کرد که یک لیست ایمیل ساده نمی­تواند به تمام کاربرانی که علاقه­مند به محتوای یک ایمیل هستند اطمینان دریافت آن را بدهد. بنا­براین به کاربران اجازه­ شرح پیام ایمیل­ها را داد تا دیگران با ساختن پرسش بتوانند آنها را فیلتر کنند. اندکی بعد محققان دریافتند که این لیست ایمیل و فیلترینگ بر اساس محتوا در رابطه با نیازهای اطلاعاتی پیچیده­ کاربر کافی نیست.­ بنابراین، این عقیده مطرح شدکه سیستم با به کاربردن عامل انسان ارتقاء خواهد یافت. عبارت فیلترینگ اشتراکی به منظور توصیف اینکه چطور کاربران می­توانند با تولید کردن بازخورد به فیلترینگ پیام ها کمک کنند­ به ­کار برده شد. این بازخورد شامل ارسال، دریافت پیام و … می­باشد.
در [۷]تحقیق در مورد فیلترینگ اشتراکی با بهره گرفتن از الگوریتم مبتنی بر همسایگی برای اخبارUsenet انجام شده است. قابل ذکر است که ­Usenet نوعی شبکه اینترنتی می­باشد. این کار توسط سیستمی که GroupLensنامیده می­ شود انجام پذیرفت[۸] . GroupLens که سیستمی پیشنهادگر بر اساس کاربر است به منظور ارزیابی و پیشنهاد دادن اقلام به کاربر از امتیازهای ۱ تا ۵ که دیگر کاربر­ان به این اقلام نسبت داده­اند استفاده می­ کند. اکنون MovieLens که یک سیستم پیشنهادگر فیلم است راه ­اندازی شده است. سیستم Grouplens از معیار همبستگی پیرسون^[۲۷] برای نشان دادن میزان شباهت کاربران به یکدیگر استفاده می­ کند (­فرمول شماره­ ۱).
(۱)
نشانگر امتیاز پیش ­بینی شده برای قلم i ام می­باشد. n تعدا­د همسایه­ها را نشان می­دهد، امتیاز کاربر uبه قلم i­ام و میانگین امتیازهای کاربر فعال می­باشد. میزان شباهت بین کاربر فعال و همسایه­ u را نشان می­دهد که به صورت همبستگی پیرسون در فرمول­ شماره­ ۲ تعریف شده است.
(۲)
در سال ۱۹۹۶ تکنولوژی GroupLens تحت NetPerceptionبه ­صورت تجاری در­آورده شد. یکی از اولین کاربران تجاری GroupLens سرویس الکترونیکی خرده فروشی آمازون بود که به عنوان فروشگاه کتاب برخط راه ­اندازی شد.
در [۹]سیستم پیشنهادگر موزیک ^[۲۸]Ringoبر­اساس الگوریتم اصلی Grouplens توسعه یافت. Ringo اقلام را بر اساس امتیازهایی که کاربران مشابه به آنها داده ­بودند فیلتر می­کرد. زمانی که کاربر در سیستم ثبت ­نام می­نمود یک لیست از ۱۲۵ موسیقیدان محبوب که به طور تصادفی انتخاب شده بودند را در اختیار او قرار می­داد و از کاربر می­خواست که به اعضای این لیست امتیازهای بین ۱ تا ۷ بدهد. سپس ازکاربر یک نمایه می­ساخت. Ringo میزان شباهت­ها را با بهره گرفتن از همبستگی پیرسون محدود شده محاسبه کرد و برای تولید پیشنهاد میا­نگین تمامی کاربران موجود در همسایگی را به ­کار برد و مدعی کارایی بهتر شد. همان­طور که در فرمول­ شماره­ ۳ نشان داده شده است عدد ۴ به این دلیل انتخاب شده که حد وسط بازه­ امتیازهای ۱ تا ۷ است. Ringo عضویت در همسایگی را فقط با انتخاب همسایگانی که همبستگی آنها بیشتر از یک حد آستانه ثابت است محدود کرد. با بزرگ­تر شدن حد آستانه دقت بیشتر می­ شود ولی تعداد اقلامی که سیستم پیشنهادگر قادر به پیش ­بینی­شان است کاهش می­یابد.
(۳)
به تدریج این سیستم به صورت تجاری در آورده شد و در سال ۱۹۹۵ نام آن به Firefly تغییر یافت. این سیستم حاوی یک رابط به صورت صفحه­ وب و فروشگاه دیسک فشرده^[۲۹] روی­خط بود و همچنین قادر بود برای انواع فیلم پیشتهاد تولید کند. این سیستم گسترش وسیعی کرد تا جایی که درسال ۱۹۹۸ توسطMicrosoft پذیرفته شد و به
Microsoft Passport تغییر یافت.
در [۱۰]سیستم پیشنهادگر ویدیو ^[۳۰]Bellcoreنیز بر اساس الگوریتم اصلی Grouplens توسعه یافت. سیستم پیشنهادگر ویدیو Bellcore از همبستگی پیرسون برای وزن­دهی تعدادی از همسایه­ها که به­ طور تصادفی انتخاب شده بودند استفاده نمود. سپس بهترین همسایگان را انتخاب و برای پیش ­بینی یک رگرسیون^[۳۱] کامل چند­گانه روی آنها اعمال کرد.
مهم­ترین اتفاق اخیر در رابطه با سیستم­های پیشنهادگر اعلام جایزه­ی Netflix در اواخر سال ۲۰۰۶ بوده است.Netflix انجمن کرایه­ DVDاز آمریکا، پایگاه داده­ای از امتیازهایی که کاربران به فیلم­­ها اختصاص داده­اند منتشر کرد که به­ روز بود­ و همچنان به عنوان بزرگترین مجموعه­ امتیازدهی کاربران باقی مانده است. آنها اجتماع وسیعی را برای بهترکردن پیش ­بینی سیستم­­شان به میزان حداقل ۱۰% به رقابت طلبیدند و جایزه­ یک میلیون دلاری برای آن درنظر گرفتند. بیشتر از ۲۰۰۰۰ تیم درطی ۳ سال به این موضوع پرداختند و طی این رقابت مسائلی ازقبیل فاکتورگیری ماتریس^[۳۲]، متدهای جمعی^[۳۳] و دینامیک­های موقتی^[۳۴] یاد گرفته شد[۱۱] .
در [۱۲] یک تحلیل تجربی روی الگوریتم­های فیلترینگ اشتراکی مبتنی بر همسایگی انجام شد. برای تعیین میزان شباهت معیارهای همبستگی پیرسون و کسینوس^[۳۵] با هم مقایسه شدند و دریافته شد که همبستگی پیرسون بهتر کار می­ کند. اگرچه پس از آن در [۱۲] اظهار شد که این دو معیار ممکن است یکسان عمل کنند.
در [۱۳] راهکار امید بخش تشخیص هویت^[۳۶] برای سیستم­های فیلترینگ اشتراکی ارائه شده که مدل Bayesian و روش­های مبتنی بر همسایگی را ترکیب می­ کند. خصوصیت خوبی که این راهکار دارد این است که یک توزیع احتمالی از امتیاز به جای مقدار واقعی امتیاز تولید می­ کند. این توزیع می ­تواند برای مشخص کردن میزان اعتماد به پیش ­بینی استفاده شود. همچنین ادعا شده است که این راهکار برای داده ­های فیلم که شبیه به داده­هایی است که ما در پژوهش­ها استفاده می­کنیم در انتخاب نزدیک­ترین همسایه­ها دقیق­تر از همبستگی عمل می­ کند.
در [۱۴] روشی ارائه شده که با بهره گرفتن از آن می­توان پارامتر­های مربوط به فیلترینگ اشتراکی را برای هر کاربر شخصی­سازی کرد. از جمله این پارامتر­ها تعداد افرادی می­باشد که در گروه همسایگی هر کاربر شرکت می­ کنند. این کار توسط شبیه­سازی تکراری مجموعه داده ­های آموزشی و درستی ­سنجی برای هر کاربر به­ طور جداگانه صورت می­گیرد.
در [۱۵] روشی برای حل مشکل پراکندگی امتیازها در ماتریس کاربران- اقلام ارائه شده است. این مشکل زمانی به وجود می ­آید که تعداد اقلام بدون امتیاز بسیار بیشتر از تعداد اقلام امتیاز­دهی شده باشد. در این روش ابتدا مدل­هایی از فیلترینگ اشتراکی به ­کار برده می­شوند تا امتیازهای اقلام بدون امتیاز پیش ­بینی شوند. سپس با بهره گرفتن از نتایج حاصل شده امتیاز قلم مورد نظر با اطمینان بیشتر تعیین می­گردد.
در [۱۶]راه­ حلی برای مشکل شروع سرد^[۳۷] در سیستم­های فیلترینگ اشتراکی ارائه شده است. مشکل شروع سرد زمانی به وجود می ­آید که سیستم بخواهد برای کاربری جدید که تا کنون امتیازی به اقلام نداده و یا قلمی جدید که تا کنون امتیازی از کاربران دریافت نکرده پیش ­بینی نماید. این روش به جای استفاده از بردار امتیاز­دهی به تنهایی، از ترکیب خطی یا آبشاری بردارهای شخصیت و بردارهای امتیاز­دهی برای تعیین میزان شباهت کاربران به یکدیگر استفاده می­ کند. بردار شخصیت، برداری دو قطبی است که هر مولفه­ آن تعیین کننده­ یک خصوصیت از شخصیت کاربر مورد نظر می­باشد.
در [۱۷] راهکاری ارائه شده که توسط آن می­توان به گروهی از کاربران گروهی از اقلام را پیشنهاد کرد. در سیستم­های فیلترینگ اشتراکی معمولی اقلامی که برای پیشنهاد به هر کاربر می­توانند مناسب باشند به طور جداگانه مشخص و سپس از نتایج حاصل شده اشتراک گرفته می­ شود. در روش پیشنهاد شده از نزدیک­ترین همسایگان تمامی کاربران موجود در گروه موردنظر اشتراک گرفته می­ شود. حاصل یک مجموعه­ مشترک از همسایگان برای تمام کاربران موجود در گروه می­باشد. سپس با بهره گرفتن از این همسایگان مشترک قلم یا اقلامی به گروه مذکور پیشنهاد می­گردد.
در [۱۸] یک معیار جدید برای اندازه ­گیری میزان شباهت کاربران در سیستم­های فیلترینگ اشتراکی ارائه شده است. در این روش مشکل اختلاف ابعاد بین بردارهای امتیازدهی کاربران حل شده است. به بیان دیگر میزان شباهت دو کاربر با توجه به تعداد اقلامی که هر دو به آنها رای داده­اند تعیین می­گردد. در صورتی که واحدهای اندازه ­گیری مانند همبستگی پیرسون این اختلاف ابعاد را در نظر نمی­گیرند.
در [۱۹]راهکاری جدید برای فیلترینگ اشتراکی مبتنی بر حافظه ارائه شده است. در این روش پیشنهاد اقلام مستقل از بازه­ امتیازات کاربر و بر اساس احتمال^[۳۸] پیش ­بینی است و بررسی شده است که چطور این احتمالات می­توانند برای جمع آوری انواع مختلف وابستگی­ها-­ی بین امتیازها در راستای انتخاب نزدیک­ترین همسایه­ها مورد استفاده قرار گیرند. در این روش معیار انتخاب همسایگی به­ توانایی­ کاربر در پیش ­بینی امتیازهای­ گذشته ­بستگی ­دارد. فرضیه این بوده است که اگر کاربری در پیش ­بینی امتیازهای گذشته­ کاربر مورد نظرخوب بوده است در آینده هم برای پیش ­بینی امتیازها­ی او خوب خواهد بود.
در [۲۰] یک راهکار مبتنی بر هسته ارائه شده است. ایده اصلی این راهکار یافتن یک نگاشت چند خطی بین دو فضای برداری است. این راهکار بر اساس کاربران و بر اساس اقلام و همچنین تلفیق این دو مورد ارائه شده است. همچنین نشان داده شده است که چگونه می­توان اطلاعات تکمیلی نظیر ژانر فیلم­ها را در این راهکار استفاده و چگونه پیشنهاداتی قابل اعتماد با وجود مشکلاتی مانند پراکندگی و شروع سرد به کاربران ارائه نمود.
۲-۳- مبانی فیلترینگ اشتراکی
فیلترینگ اشتراکی یکی از بهترین راهکارها در سیستم­های پیشنهادگر می­باشد. این روش به خاطر استفاده­اش در سایت­های تجارت الکترونیک مانند AMAZOONو NETFLIX به خوبی شناخته شده است. این متد کاربرانی که علائق­شان شبیه به کاربر فعال می­باشند را پیدا کرده و از این طریق پیشنهادات را به او ارائه می­دهد. یعنی فرض بر این است که کاربرانی که در گذشته تمایلاتی شبیه به هم داشته اند احتمالا در آینده هم تمایلات مشابه دارند و چون قبلا به اقلام به طور مشابه ابراز علاقه کرده ­اند به اقلامی که تا کنون ندیده­اند نیز به طور مشابه علاقه نشان خواهند داد. فیلترینگ اشتراکی معمولا به مشارکت داشتن کاربران فعال، راهی برای نشان دادن سلیقه­ کاربران به سیستم و الگوریتمی که کاربران با سلیقه­ مشابه را شناسایی کند نیازمند می­باشد.
به طور کلی فضای اطلاعاتی در فیلترینگ اشتراکی مبتنی بر یک ماتریس M * N است که ماتریس کاربران - اقلام نام دارد. M نشان دهنده­ تعداد کاربران و N نشان دهنده­ تعداد اقلام می­باشد. همانطور که در (شکل شماره­ ۵) مشاهده می­کنید r_m,n نشان دهنده­ نمره­ای می­باشد که کاربر m ام به قلم n ام اختصاص داده است.
شکل شماره­ ۵ : ماتریس امتیازدهی کاربران- اقلام
۲-۴- وظایف فیلترینگ اشتراکی
وظایف فیلترینگ اشتراکی به دو دسته­ ارائه­ پیشنهاد به کاربران و پیش ­بینی امتیاز اقلام دیده نشده تقسیم می­شوند که در ادامه هر کدام را به تفکیک توضیح خواهیم داد.
۲-۴-۱- پیشنهاد
در این حالت لیستی از اقلام به کاربران ارائه می­ شود که بر حسب میزان مفید بودنشان برای کاربر مرتب شده ­اند. یعنیN مورد از بهترین پیشنهادات را به او ارائه می­دهد. برای تولید پیشنهاد، اطلاعات مربوط به تمام اقلام نیاز نمی ­باشد.
۲-۴-۲- پیش ­بینی
در این حالت پیش ­بینی می­ شود که کاربر به قلمی که تا کنون ندیده است چه امتیازی خواهد داد. برای پیش ­بینی اطلاعات مربوط به تمام اقلام حتی آنهایی که به ندرت امتیازدهی شده ­اند مورد نیاز است. همچنین الگوریتم­هایی که سیستم برای پیش ­بینی به کار می­برد به حافظه و زمان محاسباتی بیشتری نسبت به الگوریتم­های تولید پیشنهاد نیاز دارد.
۲-۵- دسته بندی متدهای فیلترینگ اشتراکی
متدهای فیلترینگ اشتراکی به دو گروه کلی فیلترینگ اشتراکی مبتنی بر همسایگی^[۳۹] یا مبتنی بر حافظه^[۴۰] و فیلترینگ اشتراکی مبتنی بر مدل^[۴۱] تقسیم می­شوند.[۱۲]