. 66
3-5 متدولوژی CRISP-DM… 66
3-6 شروع داده کاوی.. 67
3-6-1 درک کسب و کار 67
3-6-2 درک دادهها 67
3-6-3 آماده سازی دادهها 68
3-6-3-1 تولید دادههای آموزشی. 69
3-6-3-2 تولید دادههای تست و ارزیابی. 69
3-6-4 ساخت مدل. 70
3-6-4-1 افزودن انبارهای داده به نرم افزار 70
3-6-4-2 درخت تصمیم. 71
3-6-4-3 اعمال مدل درخت تصمیم و تست و ارزیابی کار 75
3-6-4-4 شبکه عصبی. 79
3-6-4-5 روشهای ترکیبی. 81
3-6-5 نتیجه گیری. 82
فصل چهارم: نتیجهگیری و راهکار آینده
4-1 نتیجه گیری.. 84
4-2 راهکار آینده. 84
واژهنامه فارسی به انگلیسی.. 85
فهرست شکلها
شکل 1- مدل فرآیند CRISP-DM برای کاربردهای داده کاوی]9[ 21
شکل (2-1): معماری سیستم مبتنی بر داده كاوی [42]. 59
شکل (2-2): تغییر میزان آنتروپی را برای مجموعهای با دو کلاس… 63
شکل (2-3): توابع نرمال سازی [40] 67
نمودار(2-1): تقریب خطی.. 73
شکل(3-1): صفحه نخست نرم افزار Rapid Miner 5. 62
شکل 3-2: خروجی شیها 63
شکل 3-3: خروجی قسمت مدل (شبکه عصبی) 63
شکل 3-4: خروجی قسمت اطلاعات.. 64
شکل (4-1): متدولوژی CRISP-DM… 67
شکل (4-2): نحوه افزودن فایل دادهای به برنامه. 70
شکل (4-3): نحوه انتخاب نوع سطر. 71
شکل(4-4): آدرس عملگر درخت تصمیم. 71
شکل(4-5): آدرس عملگر Set Role. 72
شکل(4-6): آدرس عملگر Select Attribute. 72
شکل(4-7): آدرس عملگر Discretize by Frequency. 72
شکل(4-8): نحوه اتصال عملگرها 73
شکل(4-9): درخت حاصل از دادههای آموزشی با تابع هدف نسبت بهره اطلاعاتی.. 74
شکل(4-10): درخت حاصل از دادههای آموزشی با تابع هدف آنتروپی.. 75
شکل (4-11): درخت حاصل از دادههای آموزشی با تابع هدف پراکندگی جمعیت(جینی) 75
شکل(4-12): آدرس عملگر Apply model. 76
شکل(4-13): اتصالات تب پردازش در مرحله اعمال مدل. 76
نمودار (4-1): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف نسبت بهره اطلاعاتی.. 77
نمودار(4-2): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف آنتروپی.. 77
نمودار(4-3): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف پراکندگی جمعیت(جینی) 78
شکل (4-15): اتصالات عملگرها جهت تشکیل مدل شبکه عصبی.. 79
شکل(4-16): ساختار شبکه عصبی.. 80
نمودار (4-4): نتیجه تشخیص شبکه عصبی.. 80
نمودار(4-6): نتایج حاصل از اجرای شبکه عصبی بر دادههای خرابی پیشبینی شده توسط درخت تصمیم 82
فهرست جداول
جدول (2-1): مقایسه آنالیز آماری و داده کاوی ………………………………………………………………….. 53
جدول (2-2) کلاس های پیش بینی . ………………………………………………………………………………69
جدول (2-3): ماتریس تداخل…………………………………………………………………………………………… 70
جدول(2-4): مجموعه اعتبار سنجی…………………………………………………………………………………… 74
جدول) 3-1(: دادههای مورد استفاده در تشخیص کنتورخراب……………………………………………….. 68
جدول (4-3): نتایج حاصل از ارزیابی نتایج درختهای تصمیم ایجاد شده………………………………… 78
جدول (4-3): مقادیر پارامترهای عملگر شبکه عصبی………………………………………………………….. 79
فصل اول
کلیات تحقیق
این فصل به تعریف مسأله و راهکار کلی میپردازد. در ابتدا سعی میشود که مسأله تعریف شود. سپس اهمیت و ضرورت مسأله، اهداف و فرضیهها شرح داده میشود و در نهایت ساختار این پژوهش، توضیح داده میشود.
1-1 بیان مسأله
ظرفیت ذخیره سازی داده های دیجیتال در سراسر جهان هر نه ماه برای حداقل یک دهه دو برابر شده است، در صورتی که در دو برابر مدت مشابه طبق پیش بینی قانون مور[1] قدرت محاسباتی و سرعت رشد میکند]1[. داده کاوی نشان دهنده یک گام در فرایند کشف دانش در پایگاه دادهها[2] میباشد]2[ که میتوان آن را یک نیاز اساسی در دنیای امروز دانست. بنا بر اعلام دانشگاه MIT امروزه مرز و محدودیتی برای دانش داده کاوی در نظر گرفته نشده و دامنه کاربرد آن را از اعماق اقبانوسها تا بی کران فضا میدانند]3[. تلاش برای الگوهای موجود در دادهها مدت زمان طولانی در بسیاری از زمینه ها، از جمله آمار، الگوشناسی[3] ، و تجزیه و تحلیل دادههای اکتشافی مورد مطالعه قرار گرفته شده است]4[.
داده کاوی به عنوان یک ابزار مهم برای کسب دانش از پایگاه داده های پدید آمده است]5[ از این رو میتوان به اهمیت الگوریتمهای داده کاوی پی برد که شبکههای عصبی و درخت تصمیم از جملهی این الگوریتمها میباشد. درخت تصمیم یک راه طبیعی برای ارائه یک فرآیند تصمیم گیری میباشد، چرا که درک آنها برای هر کسی ساده و آسان است]6[ همچنین محبوبیت شبکههای عصبی با دست اندرکاران داده کاوی در حال افزایش چشم گیر است زیرا آنها خود را، از طریق مقایسهی قدرت پیش بینی خود با تکنیکهای آماری با استفاده از مجموعه دادههای واقعی اثبات کردهاند]7[. تحقیقات جدید نمایانگر این است که الگوریتمهای ترکیبی دقت بیشتر و عملکرد بهتری را به نسبت به استفادهی مجزا و مستقل آنها در دادهکاوی از خود نشان میدهند]8[.
با توجه به آنکه تشخیص کنتورهای خراب توسط خود شرکت گاز با استفاده از دادههای موجود مقدور نمیباشد، این شرکت برای تعویض و شناسایی کنتورهای خراب میبایست مأمورینی داشته باشد که در محل حضور داشته و بصورت فیزیکی اقدام به تست کنتور نماید تا اگر احتمالا خراب بود اقدامات لازم را انجام دهند که با توجه به وجود تعداد زیاد مشترکین این عمل یک فرایند زمان بر، پرهزینه و سخت خواهد بود. نوع تحقیق حاضر براساس هدف طراحی و کاربردی می باشد. هدف از طراحی، طراحی یک روش ترکیبی از شبکه عصبی و درخت تصمیم برای کاوش دادههای شرکت شرکت ملی گاز در راستای کاهش هزینه پروژهی تعویض کنتورهای خراب میباشد که شرکت مذکور هر 7 سال یکبار باید اقدام به انجام آن در حوزه مربوطه مینماید. پروژه حاضر سعی دارد تا با طراحی روش ترکیبی از شبکه عصبی و درخت تصمیم فرآیند دادهکاوی را جهت تحلیل دادههای حوزه کرمانشاه استفاده کرده و کنتورهایی با احتمال بالای خرابی را شناسایی و به شرکت نام برده ارائه دهد تا در حد توان جهت کمینه کردن هزینه تشخیص و تعویض کنتورها کمک نماید.
[1] Moore’s Law
[2] knowledge discovery in databases (KDD)
[3] Pattern recognition