IDS: Intrusion Detection System

intrusion detection system concepts and techniques

IDS: Intrusion Detection System

intrusion detection system concepts and techniques

اعتبار سنجی ضربدری k-fold (K-Fold Cross Validation )

اعتبار سنجی ضربدری (Cross Validation) یکی از مهمترین تکنیک هایی است که به طور گسترده توسط دانشمندان علم داده مورد استفاده قرار می گیرد.مسائله ای که در هنگام کار  با مدل های یادگیری ماشین (machine learning model ) وجود دارد این است که شما می نمی توانید کارایی مدل خود را تا زمانی که کارایی آن را بر روی یک مجموعه داده مستقل تست نکرده اید بدست آورید ( مجموعه داده ای که برای آموزش training مدل یادگیری ماشین مورد استفاده قرار نگرفته باشد).
اعتبار سنجی ضربدری برای کمک به تخمین کارایی مدل یادگیری ماشین می باشد و یکی از معروف ترین انواع اعتبار سنجی ضربدری اعتبار سنجی k-fold می باشد.
اعتبار سنجی ضربدری چیست ؟
اعتبار سنجی ضربدری یک تکنیک بسیار مفید برای ارزیابی کارایی مدل های یادگیری ماشین است.این روش کمک می کند متوجه شویم  به چه صورت  مدل یادگیری ماشین که ایجاد کرده ایم  به یک مجموعه داده مستقل تعمیم داده می شود.ممکن است شما از این تکنیک برای پیش بینی و تخمین زدن دقت و کارایی مدل خود در دنیای واقعی  استفاده کنید.زمانی که یک  مسائله یادگیری ماشین به ما داده می شود ، معمولا با دو مجموعه داده سر کار داریم که داده های شناخته شده (training data set  ) و داده های ناشناخته (test data set ) می باشند.با استفاده از ارزیابی ضربدری Cross Validation می توانیم مدل یادگیری ماشین خود  را در فاز آموزش (training ) برای چک نمودن کارایی و بدست آوردن یک ایده و نظر از چگونگی تعمیم مدل یادگیری ماشین خود به داده های مستقل تست نماییم ( testing ).در واقع ارزیابی و صحت مدل یادگیری ماشین خود را در همان مرحله آموزشی انجام می دهیم.
در اعتبار سنجی ضربدری ابتدا مجبور هستیم تا مجموعه داده آزمایشی اصلی را به دو بخش تقسیم کنیم :
  •     مجموعه آموزشی اعتبار سنجی ضربدری Cross validation training set
  •     مجموعه آزمایشی اعتبار سنجی ضربدری یا مجموعه اعتبار سنجی Cross validation testing set
در این روش مدل یادگیری ماشین ما در مجموعه آموزشی اعتبار سنجی ضربدری آموزشی می بیند و پیشبینی ها و کارایی مدل در  برابر مجموعه اعتبار سنجی validation set مورد ارزیابی قرار می گیرد. شما نسبت به اینکه دقت و کارایی پیش بینی های مدل یادگیری ماشینتان چقدر دقیق است آگاه می شوید. در واقع پیش بینی های مدل شما در مجموعه ارزیابی و برچسب های واقعی داده در مجموعه اعتبارسنجی validation set. مورد ارزیابی قرار می گیرد. برای کاهش واریانس ، چندین مرحله اعتبار سنجی ضربدری با استفاده  از مجموعه های آموزشی (training ) اعتبار سنجی ضربدری و مجموعه های آزمایشی ( testing ) اعتبار سنجی ضربدری انجام می گیرد.در نهایت نتیجه همه مراحل میانگینی برای تخمین صحت و کارایی مدل یادگیری ماشین ما خواهد بود

اعتبار سنجی ضربدری k-fold
اعتبار سنجی ضربدری k-fold یکی از عمومی ترین انواع اعتبار سنجی ضربدری می باشد که به طور گسترده ای در یادگیری ماشین مورد استفاده می باشد. اعتبار سنجی ضربدری k-fold با استفاده از گام های زیر انجام می شود.

۱- مجموعه داده اصلی را به k زیر مجموعه مساوی تقسیم می کنیم.هر زیر مجموعه یک fold نامیده می شود.اجازه بدهید که فولدها را به صورت f1,f2,….,fk نام گذاری نماییم.

    ۱-    For i=1 to i=k

    فولد fi  را به عنوان مجموعه اعتبارسنجی نگاه می داریم و همه k-1 فولد باقی مانده را  در مجموعه آموزشی اعتبار سنجی ضربدری Cross validating training set نگاه داری می کنیم.
    ۲- مدل یادگیری ماشین خود با استفاده از مجموعه آموزشی اعتبارسنجی ضربدری آموزش می دهیم و سپس دقت و کارایی مدل خود را با استفاده از  اعتبار سنجی نتایج پیشبینی در مقابل مجموعه اعتبار سنجی Validation sert محاسبه می نماییم
۲-حالا دفت و کارایی مدل یادگیری ماشین خود را با استفاده از بدست آوردن میانگین همه دقت هاو صحت های بدست آمده از همه موارد k از اعتبار سنجی ضربدری تخمین می زنیم
در متد اعتبار سنجی ضربدری k-fold ، همه ورودی ها در محموعه داده آموزشی برای هم آموزش و همچنین اعتبار سنجی validating به کار می رود ، هر ورودی تنها یک بار برای اعتبار سنجی مورد استفاده قرار می گیرد.
نکته اینکه معمولا برای k عدد ۱۰ در نظر گرفته می شود ، اما این یک قانون نیست و k می تواند هر عددی در نظر گرفته شود

منبع :

نظرات 0 + ارسال نظر
برای نمایش آواتار خود در این وبلاگ در سایت Gravatar.com ثبت نام کنید. (راهنما)
ایمیل شما بعد از ثبت نمایش داده نخواهد شد