Sigmasimon bez ReLU dan yaxshiroqmi?
Sigmasimon bez ReLU dan yaxshiroqmi?

Video: Sigmasimon bez ReLU dan yaxshiroqmi?

Video: Sigmasimon bez ReLU dan yaxshiroqmi?
Video: 16 ошибок штукатурки стен. 2024, Noyabr
Anonim

Relu : Hisoblash uchun yanada samarali hisoblash Sigmoidga qaraganda kabi funksiyalar beri Relu faqat topick max(0, x) kerak va Sigmoidlar kabi qimmat eksponensial operatsiyalarni bajarmaydi. Relu : Amalda, bilan tarmoqlar Relu ko'rsatishga moyil yaxshiroq konvergentsiya samaradorligi sigmasimon.

Xuddi shunday, kimdir so'rashi mumkin, nima uchun ReLU eng yaxshi faollashtirish funktsiyasi?

Asosiy g'oya gradientning nolga teng bo'lmasligi va oxir-oqibat mashg'ulot paytida tiklanishiga imkon berishdir. ReLu tanh va ga qaraganda kamroq hisoblash qimmat sigmasimon chunki u oddiyroq matematik amallarni o'z ichiga oladi. Bu a yaxshi Biz chuqur neyronnetlarni loyihalashda e'tiborga olishimiz kerak bo'lgan nuqta.

Bundan tashqari, sigmasimon bezni faollashtirish funktsiyasi nima deb so'rashi mumkin? The sigmasimon funktsiya a faollashtirish funktsiyasi Neyron tarmoqlarida neyronlarning otilishi bilan bog'liq holda tuzilgan asosiy darvoza nuqtai nazaridan. Hosil, shuningdek, a vazifasini bajaradi faollashtirish funktsiyasi Neyron bilan ishlash nuqtai nazaridan faollashtirish NN jihatidan. Ularning orasidagi farq faollashtirish daraja va o'zaro ta'sir.

Xuddi shunday, nima uchun biz CNN da ReLU dan foydalanamiz?

Konvolyutsion neyron tarmoqlari ( CNN ): 1(b)-bosqich - ReLU Qatlam. Rektifikatsiya qilingan chiziqli birlik yoki ReLU , hisoblanadi konvolyutsion neyron tarmoqlari jarayonining alohida komponenti emas. Rektifikator funksiyasini qo'llashdan maqsad hisoblanadi tasvirlarimizda chiziqli bo'lmaganlikni oshirish.

ReLU dan qanday foydalanish kerak?

ReLU (Rektifikatsiyalangan chiziqli birlik) ActivationFunction The ReLU eng ko'pdir ishlatilgan Hozirda dunyoda faollashtirish funksiyasi ishlatilgan deyarli barcha konvolyutsion neyron tarmoqlarda yoki chuqur o'rganishda.

Tavsiya: