Abstract

 In this paper, we present new methods for parameterizing the connections of neural networks using sums of direct products. We show that low rank parameterizations of weight matrices are a subset of this set, and explore the theoretical and practical benefits of representing weight matrices using sums of Kronecker products. ASR results on a 50 hr subset of the English Broadcast News corpus indicate that the approach is promising. In particular, we show that a factorial network with more than 150 times less parameters in its bottom layer than its standard unconstrained counterpart suffers minimal WER degradation, and that by using sums of Kronecker products, we can close the gap in WER performance while maintaining very significant parameter savings. In addition, direct product DBNs consistently outperform standard DBNs with the same number of parameters. These results have important implications for research on deep belief networks (DBNs). They imply that we should be able to train neural networks with thousands of neurons and minimal restrictions much more rapidly than is currently possible, and that by using sums of direct products, it will be possible to train neural networks with literally millions of neurons tractably-an exciting prospect

چکیده

در این مقاله ، روشهای جدیدی برای پارامتریک کردن اتصالات شبکه های عصبی با استفاده از مجموع حاصلضرب مستقیم ارائه داده ایم.ما نشان می دهیم که پارامتریک کردن مرتبه پائین ماتریسهای وزن، زیرمجموعه ای از این مجموعه است و مزایای تئوری و عملی نمایش ماتریسهای وزن با استفاده از مجموع حاصلضرب کرونکر را بررسی می کنیم.نتایج ASR روی یک زیرمجموعه 50 ساعتی از مجموعه اخبار پخش شده انگلیسی نشان داد که این رویکرد نوید بخش است . بطور خاص نشان می دهیم که یک شبکه فاکتوریل در لایه پائینی با بیش از 150 برابر پارامترهای کمتر نسبت به همتاهای استاندارد بدون محدودیت آن از تخریب مینیمال WER رنج می برد . ما نشان می دهیم که با مجموع حاصاضرب کرونکر می توان همراه با حداقل کردن پارامترها ،گپ کارآیی WER را کم کرد. علاوه براین ،DBN مبتنی بر ضرب مستقیم برDBNاستاندارد با تعداد پارامتر یکسان ، برتری دارد . این نتایج تاثیرات مهمی بر تحقیقات شبکه های باور عمیق دارد . نتایج نشان می دهند که می توانیم شبکه های عصبی با هزاران نرون و حداقل محدودیت را خیلی سریعتر از روشهای فعلی آموزش دهیم . همچنین با استفاده از مجموع حاصلضرب مستقیم ،آموزش شبکه های عصبی با میلیونها نرون ممکن خواهد بود ( یک انتظار شگفت انگیز)

1-مقدمه