كيف يمكن تفسير الفرق بين التحقق من صحة ودقة الاختبار؟


الاجابه 1:

بالنسبة للدقة أ ، أعتقد أن النموذج الخاص بك يعمل بشكل جيد. أفترض أنك استخدمت بيانات التحقق من الصحة لتدريب النموذج A واختبار البيانات لتقييمه. نظرًا لأن دقة التحقق من الصحة ودقة الاختبار عالية ، يمكن القول أن النموذج تم تدريبه بالطريقة الصحيحة. ومع ذلك ، لدي اثنين من المخاوف.

  1. إذا كنت بحاجة إلى نموذج بدقة أعلى ، فيجب عليك ضبط المقاييس الفوقية للحصول على أفضل. لا يعني التعليم الخاضع للإشراف الدقة. إذا كان التصنيف ثنائيًا ، فيجب أن تضع منطقة ROC تحت المنحنى لمعرفة ما إذا كانت تواجه مشكلة في تصنيف النتائج الإيجابية الخاطئة. إذا كان لديك إيجابية عالية كاذبة ، فإن النموذج لا طائل منه.

ل B ، أعتقد أنه من المناسب. يعني Overfitting أن النموذج الخاص بك يعمل بشكل جيد فقط على بيانات التدريب والتحقق ، وليس لبيانات الاختبار أو البيانات الجديدة غير المعروفة. تريد بالتأكيد نموذج أكثر عمومية. عليك أن تعرف لماذا هو overfitted. تحتاج أيضًا إلى تقييم منطقة ROC تحت المنحنى أيضًا.

http: //gim.unmc.edu/dxtests/roc3 ...

تجهيز وتسلق خوارزميات التعلم الآلي - إتقان تعلم الآلة