Abstract
Standard system tools employed by users on a daily basis do not take full advantage of parallel file system I/O bandwidth and do not understand associated idiosyncrasies such as Lustre striping. This can lead ton on-optimal utilization of both the user's time and system resources. This paper describes a set of modifications made to existing tools that increase parallelism and automatically handle striping. These modifications result insignificant performance gains in a transparent manner with maximum speedups of 27×, 15×, and 31× for parallelized cp, tar creation, and tar extraction, respectively
چکیده
ابزار استاندارد سیستمی به صورت روزانه توسط کاربرانی به کار گرفته می شوند که توانایی بهره بردن کامل از پهنای باند سیستم فایل موازی I/O را نداشته و از مشخصه های ذاتی آن نظیر لوستر استریپینگ (هاشورزنی Lustre) اطلاعی ندارند. این مسئله منجر به استفاده غیر بهینه از زمان کاربر و منابع سیستم می گردد. این مقاله به شرح مجموعه ای از تغییرات در ابزار موجود می پردازد به نحوی که موازی سازی و هم خط سازی خودکار افزایش یابد. این اصلاحات منجر به بهبود قابل توجه سرعت انتقال تا 27x، 15x، 31x به ترتیب برای cp موازی، ایجاد tar، و استخراج tar می گردند.
1-مقدمه
در جریان کار معمول HPC، کاربر با استناد به ابزارهای سیستمی استاندارد گوناگون، داده ها را به سیستم انتقال می دهد و آنها را برای پردازش پیش از آنالیز در CPUهای متعدد آماده ساخته و نتایج را بازیابی می نماید. داده های کاربر به طور معمول در یک سیستم فایل موازی ذخیره می شود که با یک پهنای باند بالا قابلیت خدمت رسانی به تعداد بالایی از مشتری ها را دارند...