we describe An unsupervised learning algorithm for a multilayer network of stochastic neurons. Bottom-up "recognition" connections convert the input into representations in successive hidden layers, and top-down "generative" connections reconstruct the representation in one layer from the representation in the layer above. In the "wake" phase, neurons are driven by recognition connections, and generative connections are adapted to increase the probability that they would reconstruct the correct activity vector in the layer below. In the "sleep" phase, neurons are driven by generative connections, and recognition connections are adapted to increase the probability that they would produce the correct activity vector in the layer above

چکیده

ما یک الگوریتم یادگیری بدون نظارت برای یک شبکه چند لایه ای نورون های اتفاقی را شرح میدهیم. اتصالات "شناخت" پایین به بالا، ورودی را به بازنمایی ها یی در لایه های مخفی متوالی تبدیل می کنند و اتصالات "مولد" از بالا به پایین بازنمایی را در یک لایه از لایه های بازنمایی بالا نوسازی می کند. در فاز "بیداری"، نورون ها توسط اتصالات شناخت، رانده می شوند و اتصالات مولد سازگار شده اند برای  افزایش احتمال اینکه آنها بردار فعالیت صحیح را در لایه زیرین بازسازی کنند. در فاز "خواب" نورون ها توسط اتصالات مولد رانده می شوند و  اتصالات شناخت سازگار شده اند برای افزایش احتمال اینکه آنها بردار فعالیت صحیحی را در لایه بالایی تولید کنند.

1-مقدمه

الگوریتم های یادگیری بدون نظارت برای شبکه های نورونی یا عصبی چند لایه ای با دو مشکل روبرو هستند : آنها به یک معلم برای مشخص کردن خروجی مورد نظر شبکه نیاز دارند و  آنها به برخی اطلاعات خطای ارتباطی برای کلیه اتصالات نیاز دارند. الگوریتم بیدار خواب هر دو مشکل را حل می کند. زمانیکه هیچ سیگنال تعلیمی  که منطبق شده باشد وجود ندارد ، برخی اهداف دیگر برای مجبور کردن واحدهای پنهان به استخراج کردن ساختار اصولی ، مورد نیاز است. در الگوریتم بیدار خواب ، هدف یادگیری بازنمایی های است که توصیف کردنشان مقرون به صرف نیست اما اجازه می دهند تا ورودی ها به درستی بازسازی شوند. هر بردار ورودی می تواند توسط اولین ارسال بازنمایی پنهان خودش به یک گیرنده، ارتباط داده شده باشد و سپس ارسال این اختلاف مابین بردار ورودی و بازنمایی از بالا به پایین خودش از بازنمایی مخفی. هدف از یادگیری ، به حداقل رساندن "طول توضیحات" است که برابر تعداد کل بیت هایی که برای برقراری ارتباط بردار های ورودی از این طریق مورد نیاز است می باشد...