ارزیابی سیستمهای تشیخص نفوذچندین ارزیابی مستقل در خصوص سیستمهای تشخیص نفوذ انجام شده است که معروف ترین آنها ارزیابی های آزمایشگاه Mit Lincoln میباشد [MIT Lincoln Laboratory, 2000]. این ارزیابی ها مورد پشتیبانی و حمایت مؤسسه
DARPA(Defense Advanced Research Projects Agency) بود و هدف نهایی آنها ارزیابی تحقیقات موجود در خصوص تشخیص نفوذ میباشد.در مجموع سه ارزیابی در سالهای 1998 ، 1999 و 2000 انجام شده است.
اگر چه موضوعات مورد توجه این ارزیابی ها برای هر سال قدری متفاوت است اما از نظر متدولوژی های آزمایش و تست تفریبا یکسان هستند. در سال 1998 برای ارزیابی آزمایشگاه Lincoln یک بستر آزمایشی برای تقلید از یک دنیای واقعی شبکه کامپیوتری بوجود آمد.تعاملات انسانی با هاست های مختلف با استفاده از اسکریپت های مختلف شبیه سازی شد. هاست های مختلف قوانین مختلف و مربوط به خود را داشتند .برای نمونه کامپیوتر متعلق به یک منشی برنامههای اداری معمول را اجرا مینمود و هاست های مربوط به توسعه دهندگان سیستم ابزارهای توسعه نرمافزار را اجرا می نمودند.بعضی از این هاست ماشینهای واقعی بودند و برخی دیگر شبینه سازی شده بودند. حداکثر تلاش انجام شده بود تا اطمینان حاصل شود که بستر آزمایشی شبکه تا حد زیادی برای مشاهده کنندگاه خارجی واقعی به نظر برسد.
در طول عملیات در بستر آزمایشگاهی ، دادههای مختلف بازرسی جمع آوری میشوند .همه ترافیک شبکه وسیله
tcpdump جمع آوری میشود [tcpdump, 2002].همچنین فایلهای لاگ سیستمی مربوط به هاست ها نیز ذخیره ضبط میشوند.علاوه بر اینها بعضی از هاست ها که سیستم عامل سولاریس را اجرا می نمودند شامل یک ماژول پایه امنیتی بودند (Basic Security Module). این ماژول پایه امنیتی در میان چیز های دیگر هر درخواست توسط سیستم را مورد نظارت قرار میداد. در نهایت هم هر حمله به صراحت ثبت می گردید تا یک فایل حقیقت ایجاد و تهیه شود (truth file) که بعداً برای امتیازدهی به سیستمهای تشخیص نفوذ مورد استفاده قرار گیرد.
برای ارزیابی دو مجموعه داده مختلف تولید میشوند. امتیاز دهی واقعی به سیستمهای تشخیص نفوذ به صورت آفلاین انجام میشود. اولین مجموعه داده برای شرکت کنندگان همراه با فایل حقیقت متناظرشان قبل از آزمایش واقعی فراهم آورده میشود.ایده این بود که به شرکت کنندگان یک شانس برای تنظیمات سیستمهای خود داده شود.این مجموعه داده همچنین برای آموزش دادن سیستمهای تشخیص ناهنهجاری (anomaly detection systems) مورد استفاده قرار میگیرد. فایل حقیقت این مجموعه در امتیاز دهی سنسور ها مورد استفاده قرار میگیرد و تا زمانی که ارزیابی پایان نیافته است محتوای آن برای شرکت کنندگان فاش نمیشود.نتیجه ارزیابی Lincoln Lab 1998 یک معیار برای اندازهگیری نرخ شناسایی صحیح و ناصحیح سنسورها میباشد.
آزمایشگاه lincoln ارزیابی مشابهی را در سال 1999 انجام داد.تنظیمات و راه اندازی آزمون تقریباً مشابه سال قبل بود .و تفاوتی که وجود داشت این بود که حملات انجام شده هوشمندانه تر بودند.
این دو مجموعه داده معروف به KDD98 و KDD99 هستند که هر دو توسط Mit Lincoln Lap ثبت شدهاند.
در سال 1999 برنامه ارزیابی تشخیص نفوذ DARPA توسط آزمایشگاههای MIT Lincoln آماده و مدیریت شد.هدف هم این بود :بررسی و ارزیابی تحقیقات در زیمه تشخیص نفوذ.یک مجموعه استاندارد از دادهها مورد بازرسی قرار گرفتند که شامل طیف وسیعی از نفوذ هایی بود که در یک محیط شبکه نظامی شبیه سازی شده بودند. KDD1999 از یک نسخه از این مجموعه داده استفاده میکند.
و درواقع این مجموعه های داده شامل بررسی هفتهها ترافیک شبکه و حملات مختلف در یک محیط شبکه نظامی شبینه سازی شده میباشند.برای دریافت اطلاعات بیشتر میتوانید به آدرس
http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html مراجعه نمایید.البته در پایان ذکر این نکته را ضروری میدانم که KDD98 و KDD99 تنها دیتا ست های موجود برای تست محیط های تشخیص نفوذ نیستند و بستگی به نوع سیستم تشخیص نفوذ و محیط و نیازمندی های که وجود دارد دیتاست های دیگری نیز وجود دارند.