Lstm parametrlar sonini qanday hisoblaydi?
Lstm parametrlar sonini qanday hisoblaydi?

Video: Lstm parametrlar sonini qanday hisoblaydi?

Video: Lstm parametrlar sonini qanday hisoblaydi?
Video: Long Short-Term Memory (LSTM), Clearly Explained 2024, May
Anonim

Shunday qilib, sizning qadriyatlaringiz bo'yicha. Uni formulaga keltirsak:->(n=256, m=4096), jami parametrlar soni 4*((256*256) + (256*4096) + (256)) = 4*(1114368) = 4457472. raqam og'irliklar hisoblanadi Takroriy ulanishlar uchun 28 = 16 (num_units * num_units) + 12 (input_dim * num_units) kiritish uchun.

Bundan tashqari, parametrlar sonini qanday topish mumkin?

Kimga hisoblash o'rganiladigan parametrlari Bu erda biz qilishimiz kerak bo'lgan yagona narsa - kenglik m, balandlik n shakliga ko'paytirish va barcha bunday filtrlarni hisobga olish k. Filtrning har biri uchun noto'g'ri atamalarni unutmang. Parametrlar soni CONV qatlamida quyidagicha bo'ladi: ((m * n)+1)*k), har bir filtr uchun noto'g'ri atama tufayli 1 qo'shildi.

Xuddi shunday, Lstm nechta yashirin birlikka ega? An LSTM tarmoq. Tarmoq beshta kirishga ega birliklar , a yashirin qatlam ikkitadan iborat LSTM xotira bloklari va uchta chiqish birliklar . Har bir xotira blokida to'rtta kirish mavjud, lekin faqat bitta chiqish.

Keyinchalik, RNN parametrlari sonini qanday topish mumkinligi haqida savol tug'ilishi mumkin.

1 Javob. W, U va V ob'ektlari barcha bosqichlar tomonidan taqsimlanadi RNN va bular yagona parametrlari rasmda tasvirlangan modelda. Shuning uchun parametrlar soni Trening paytida o'rganilishi kerak = dim (V) + xira (V) + xira (U). Savoldagi ma'lumotlarga asoslanib, bu = n2+kn+nm.

Lstm nechta qatlamdan iborat?

Umuman olganda, 2 qatlamlar yanada murakkab xususiyatlarni aniqlash uchun etarli ekanligini ko'rsatdi. Ko'proq qatlamlar yaxshiroq bo'lishi mumkin, lekin mashq qilish qiyinroq bo'lishi mumkin. Umumiy qoida sifatida - 1 ta yashirin qatlam shunga o'xshash oddiy muammolar bilan ishlash va ikkitasi etarli darajada murakkab xususiyatlarni topish uchun etarli.

Tavsiya: