بررسی کاربردپذیری ۴ اپلیکیشن حوزه گردشگری آنلاین؛ تست‌های کاربردپذیری تستادی چقدر قابل استناد است؟
مهدی رسولی، مدیرعامل تستادی نتایج تست کاربردپذیری توسط این شرکت را ۱۰۰ درصد قابل استناد دانسته و در مورد علت قابل اطمینان بودن این تست‌ها به زومیت گفت:
ما برای کارمان از روش علمی کاربردپذیری که در دنیا رایج است استفاده می‌کنیم و همچنین، کاربران واقعی در تست‌های ما حضور دارند که مشخصات و پروفایلشان موجود است. همچنین، ویدیوهایی از روند کار و نظر کاربران واقعی موجود داریم.
به گفته مهدی رسولی، مدیرعامل تستادی، احتمال بروز خطای انسانی در این تست‌ها خیلی کم است، چون گزارش‌های فصلی و عمومی این مجموعه در چند مرحله بازبینی می‌شود. او احتمال وجود خطا در این تست‌ها را کمتر از یک درصد خواند و در این خصوص چنین توضیح داد: «در این تست‌ها میزان خطا به اندازه‌ای نیست که نتیجه گزارش را تحت تأثیر قرار دهد یا دچار مشکل کند.»
مجموعه تستادی در تازه‌ترین گزارش خود به بررسی اپلیکیشن‌های انتخاب و رزرو اقامتگاه پرداخته است. ۴ اپلیکیشن جاباما، اتاقک، شب و جاجیگا در این تست توسط ۵ کاربر مورد استفاده و بررسی قرار گرفته و از وجوه گوناگونی مثل بررسی، رزرو و ذخیره‌سازی اقامتگاه، نحوه کار در اپلیکیشن و بخش پشتیبانی، اپلیکیشن‌ها را ارزیابی کرده‌اند.
رسولی در پاسخ به این که چرا فقط ۴ مورد برای بررسی در تست‌های کاربردپذیری این مجموعه انتخاب می‌شوند، گفت:
انتخاب ۴ مورد دلیل علمی مشخصی ندارد. در تمام ۵ گزارش دیگری که به این شیوه منتشر کرده‌ایم نیز ۴ اپلیکیشن لیدر در حوزه مورد نظر را برای بررسی انتخاب کرده‌ایم. کمتر از این تعداد از جذابیت مقایسه کم می‌کند و بیشتر از آن هم هزینه ساخت و تولید گزارش را افزایش می‌دهد.
او همچنین درباره انتخاب اپلیکیشن‌های شب، اتاقک، جاباما و جاجیگا به بررسی‌هایی استناد کرد که توسط این مجموعه انجام شده و این نتیجه حاصل شده که این ۴ اپلیکیشن سهم بیشتری از بازار را دراختیار دارند و شاخص دیگری برای انتخاب آن‌ها وجود نداشته است.
طبق آنچه در گزارش اخیر تستادی آمده، تست‌های کاربردپذیری توسط کاربران واقعی انجام می‌شود، آن‌ها می‌توانند مشکلاتی را آشکار کنند که برای برنامه‌نویس‌ها، طراحان، صاحبان کسب‌وکار و کسانی که با وب‌سایت و اپلیکیشن آشنا هستند چندان ملموس و قابل تصور نیستند.
رسولی به ویژگی دیگر این تست‌ها اشاره کرده که به موجب آن مجموعه‌های انجام‌دهنده این تست موظف هستند دائم تست‌های خود را به‌روز کنند. او علت این اتفاق را چنین توضیح داد:
تست کاربردپذیری به گونه‌ای است که با هر آپدیت جدید از اپلیکیشن نتیجه تست متفاوت می‌شود چون اپلیکیشن‌ها زنده هستند و هرچه جلوتر می‌روند، تغییراتی می‌کنند و بنابراین، در مقاطع مختلف به این تست کاربردپذیری نیاز دارند.
با توجه به این که در تست‌های کاربردپذیری تستادی تنها ۵ کاربر به بررسی اپلیکیشن‌ها می‌پردازند، این سؤال همواره وجود دارد که چرا تعداد ۵ نفر توسط این مجموعه انتخاب می‌شود و آیا با افزایش تعداد میزان اطمینان‌بخش بودن آن افزایش نمی‌یابد؟ مدیرعامل تستادی در پاسخ به این پرسش زومیت گفت:
تعداد افراد در سایر تست‌های ما بین ۵ تا ۱۰ نفر است. علت این تعداد هم این است که در دنیا درباره تست کاربردپذیری تحقیقاتی انجام شده که نشان می‌دهد با حضور ۵ نفر بیشتر از ۸۵ درصد اطمینان در گزارش حاصل می‌شود و اگر این تعداد به ۱۰ نفر برسد این اطمینان به ۹۴ درصد می‌رسد و با تعداد بیشتر هم این اطمینان بالاتر می‌رود.
بااین‌حال، به گفته رسولی، افزایش تعداد باعث بالا رفتن هزینه انجام تست می‌شود و انجام آن صرفه اقتصادی ندارد. او معتقد است همین اطمینان ۸۵ درصدی برای شرکت‌ها عدد قابل‌قبولی است تا بتوانند با استفاده از ۵ نفر فیدبک کافی دریافت کنند. او در ادامه افزود: «ما برای تمامی گزارش‌های کاربردپذیری ۵ نفر را توصیه می‌کنیم و اکثر شرکت‌ها و مشتریان ما همین تعداد را می‌پذیرند و برخی دیگر این تعداد را تا ۱۰ نفر افزایش می‌دهند.»
مدیرعامل تستادی از تلاش این مجموعه برای بهبود عملکرد خود نیز بر داده و توضیح داد هرچه مجموعه تستادی پیش می‌رود عملکرد آن بهبود پیدا می‌کند. او در این رابطه به بهبود یافتن گزارش اخیر تستادی نسبت به نمونه‌های پیشین اشاره کرد و گفت: «فرمت گزارش آخر ما با فرمت گزارش‌های پیشین تفاوت‌هایی دارد. هرچند این تفاوت‌ها چشمگیر نیست اما سعی کرده‌ایم بخش‌های مختلف گزارش را بهتر، دقیق‌تر و جذاب‌تر کنیم. بدین‌ترتیب می‌خواهیم هم گزارش قابل قبول‌تر و قابل دفاع‌تر شود و هم خواندن آن برای خواننده جذاب‌تر باشد.»
باوجوداین، پیش از این انتقاداتی به نتایج و گزارش‌های تستادی مبنی بر جهت‌دار بودن آن مطرح شده است. مهدی رسولی این انتقادات را کاملاً رد کرده و در توضیح بی‌اساس بودن آن‌ها تصریح کرد:
من جهت‌دار بودن گزارش‌ها را رد می‌کنم. با وجود این که برخی شرکت‌ها به ما پیشنهاد اسپانسر شدن برای گزارش‌ها را داده‌اند؛ اما برای این که شائبه جهت‌دار بودن پیش نیاید و بتوانیم از گزارشمان دفاع کنیم، این پیشنهاد‌ها را نپذیرفتیم.
او بر عدم وجود سوگیری در گزارش اخیر هم تأکید کرد و درباره این گزارش چنین توضیح داد:
در گزارش اخیر بررسی‌هایی را انجام دادیم و ۴ اپلیکیشنی را که انتخاب کردیم که لیدر بازار گردشگری‌اند. با هیچ یک از این اپلیکیشن‌ها نیز مراوده‌ای نداشته‌ایم. بنابراین، هیچ سمت‌وسویی در نتایج گزارش وجود ندارد و فرایند انجام آن هم به صورت ویدئو و مکتوب موجود است.
او همچنین گزارش‌های تستادی را علمی و حرفه‌ای خواند و تصریح کرد که در تهیه این گزارش‌ها قصد تخریب یا بالا بردن اپلیکیشینی وجود ندارد. او در ادامه گفت: «اگر شما کل یک گزارش ما را ببینید، در انتها نمی‌توان نتیجه گرفت یک سایت یا اپلیکیشن بهتر است یا بدتر. نکات مثبت و منفی همه آن‌ها ذکر شده است.»
به گفته مدیرعامل تستادی شرکت‌ها بیش از این که از گزارش‌های این مجموعه انتقاد کرده باشند، استقبال کرده‌اند؛ چراکه اگر در حالت عادی چنین گزارشی را از تستادی بخواهند باید ۱۵ تا ۲۰ میلیون هزینه کنند.
بررسی کاربردپذیری ۴ اپلیکیشن حوزه گردشگری
تیم تستادی در آخرین گزارش خود با انجام یک سناریوی یکسان توسط کاربران عادی به‌صورت آنلاین و از راه دور، میزان کاربردپذیری نسخه اندروید اپلیکیشن‌های جاباما، شب، اتاقک و جاجیگا را سنجیده و مورد ارزیابی قرار داده است. مجموع ویژگی‌های این تست در ۱۲ مورد آمده و در خصوص هر ۴ اپلیکیشن مورد ارزیابی قرار گرفته است.
در میان این اپلیکیشن‌ها از لحاظ برخورداری از ویژگی‌های مختلف، جاباما با عدم برخورداری از تنها ۲ مورد عملکرد بهتری داشته است. پس از آن اپلیکیشن شب با عدم بهره‌مندی از ۳ مورد در رتبه دوم ایستاده است. اتاقک ۴ مورد از ویژگی‌ها را نداشته و جاجیگا نیز با عدم برخورداری از ۶ ویژگی در نظر گرفته‌شده کاربردپذیری کمتری نسبت به سایر رقبای خود دارد.
اپلیکیشن جاباما
تست کاربردپذیری در خصوص اپلیکیشن جاباما با حضور ۵ کاربر انجام شده که ۴ نفر از آن‌ها مرد و یکی از آن‌ها زن بوده است. این افراد در بازه سنی ۲۸ تا ۳۲ سال بوده، ۳ نفرشان کاربر حرفه‌ای و ۲ نفر از آن‌ها کاربر معمول اینترنت بوده‌اند. ۳ نفر از کاربران توانسته‌اند وظایفشان را به صورت کامل انجام دهند و به جز یک نفر سایر کاربران اپلیکیشن جاباما را به دیگران پیشنهاد می‌کنند.
نتایج تست کاربردپذیری تستادی درباره اپلیکیشن جاباما نشان می‌دهد که ۱۰۰ درصد کاربران متوجه نحوه کار با این اپلیکیشن شده‌اند. همچنین، ۸۰ درصد از کاربران از تجربه کلی استفاده از این اپلیکیشن راضی بوده و آن را به دیگران پیشنهاد می‌کنند. ۶۰ درصد از کاربران توانستند تمام وظایف خواسته‌شده برای انجام این تست را انجام دهند و ۲۰ درصد از کل این کاربران در کار با اپلیکیشن دچار مشکلات غیرمنتظره شدند.
حین استفاده از اپلیکیشن جاباما یکی از کاربران در بخش پشتیبانی و یک کاربر در بخش فیلتر هزینه و اتاق با خطای بازدارنده مواجه شده است. همچنین، یکی از کاربران در اشتراک‌گذاری اقامتگاه، ۲ کاربر در بررسی اقامتگاه، ۳ کاربر در بررسی پشتیبانی، ۳ کاربر در ذخیره اقامتگاه، ۴ کاربر در فیلتر هزینه و اتاق با چالش مواجه شدند. نکته مهم در خصوص چالش‌ها این است که تمام ۵ کاربر در این تست چالش در بخش بررسی رزرو اقامتگاه را گزارش کرده‌اند.
در این گزارش امکان دسترسی به جست‌وجوهای قبلی که فرایند جست‌وجو را برای کاربران آسان می‌کند، به‌عنوان نقطه قوت اپلیکیشن جاباما ذکر شده است. امکانات موجود در فیلتر و عملکرد فیلترها نیز نکته مثبت دیگر در این اپلیکیشن محسوب می‌شود که رضایت کاربران را افزایش می‌دهد. بخش اطلاعات محیط اطراف اقامتگاه و ارتباط با پشتیبانی نیز به‌راحتی توسط کاربران پیدا شده و دردسترس آن‌ها قرار می‌گیرد.
پیچیدگی مشخص کردن قیمت با اسلایدر قیمت، ثبت نام اجباری در اپلیکیشن برای رزرو اقامت، پیچیدگی روند اشتراک‌گذاری یک اقامتگاه از میان اقامتگاه‌های ذخیره‌شده از جمله نکات منفی این اپلیکیشن است. همچنین، در این گزارش آمده است که اگر کاربر پس از تایپ مقصد، از بین دسته‌های پیشنهادی انتخاب نکند و روی گزینه جست‌وجو کلیک کند، فیلترها برایش نمایش داده نمی‌شود و این مورد نیز نقطه منفی این اپلیکیشن است.
اپلیکیشن اتاقک
از مجموع ۵ کاربری که از اپلیکیشن اتاقک استفاده کرده‌اند، همگی آن را به دیگران پیشنهاد می‌کنند. ۴ نفر از این کاربران زن و یک نفر مرد بوده است. همچنین، ۳ نفر از کاربران کاربر حرفه‌ای اینترنت و ۲ نفر دیگر کاربر معمول اینترنت هستند. این کاربران در بازه سنی ۱۹ تا ۳۴ سال قرار دارند.
نتایج تستادی در بررسی اپلیکیشن اتاقک نشان می‌دهد که تنها ۲۰ درصد از کاربران توانستند تمام وظایف خواسته‌شده را انجام دهند. هرچند همه کاربران متوجه کار با اپلیکیشن شدند و همچنین، نسبت به تجربه استفاده از آن را راضی‌کننده دانستهاند؛ اما ۸۰ درصد از آن‌ها هنگام کار با آن دچار مشکلات غیرمنتظره شدند.
از منظر مواجه شدن با خطاهای بازدارنده اپلیکیشن اتاقک عملکرد مطلوبی نداشته است؛ چراکه در ۴ بخش بررسی اقامتگاه، اشتراک‌گذاری اقامتگاه و ذخیره اقامتگاه یک یا ۲ کاربر با خطا مواجه شده‌اند. البته بیشترین میزان خطا در بخش بررسی پشتیبانی بوده که ۳ کاربر با آن مواجه شده‌اند. اکثر کاربران گزارش داده‌اند که در ذخیره اقامتگاه با چالش مواجه شده‌اند، در هر یک از بخش‌های بررسی اقامتگاه و بررسی فیلتر هزینه و اتاق نیز ۳ کاربر با چالش روبه‌رو شده‌اند. ۲ کاربر نیز چالش در بررسی رزرو اقامتگاه و اشتراک‌گذاری اقامتگاه را اعلام کرده‌اند.
سهولت فرایند اشتراک‌گذاری اقامتگاه و بررسی محیط و امکانات اطراف اقامتگاه برای کاربران رضایت‌بخش است. همچنین، کاربران امکان مشاهده مبلغ کل هزینه و گفت‌وگوی آنلاین با میزبان حین فرایند رزرو و بدون نیاز به ثبت‌نام را اطمینان‌بخش دانستهاند.
با وجود این، برخی نقاط ضعف نیز درباره اپلیکیشن اتاقک گزارش شده است. یکی از این ضعف‌ها در الگوریتم جست‌وجو مشاهده شده که اگر در کلمه مورد جست‌وجو از «فاصله» استفاده شده باشد نتایج مرتبط نشان داده نمی‌شود. دشوار بودن تعیین قیمت ازطریق اسلایدر و زمان‌بر بودن یافتن آیکون مربوط به ذخیره نیز دیگر نکات منفی اپلیکیشن اتاقک است. در کنار این نکات، دسترسی به صفحه پشتیبانی دشوار بوده و سرعت نمایش اطلاعات نیز در این اپلیکیشن کند ارزیابی شده است.
اپلیکیشن شب
نتایج تست کاربردپذیری اپلیکیشن شب نشان می‌دهد تمام ۵ کاربر آن را به دیگران پیشنهاد می‌دهند. ۳ نفر از این ۵ کاربر (۶۰ درصد) توانسته‌اند تمام وظایف خواسته‌شده از ایشان را به صورت کامل انجام دهند. یک نفر از کاربران زن و بقیه مرد بوده‌اند و از نظر میزان حرفه‌ای بودن در استفاده از اینترنت، ۲ نفر کاربر معمول و ۳ نفر دیگر حرفه‌ای بوده‌اند.
هرچند تمام کاربران حاضر در این تست متوجه نحوه کار با اپلیکیشن شب شده‌اند؛ اما همه آن‌ها هم هنگام کار با آن دچار مشکلات غیرمنتظره شده‌اند. بااین‌حال، ۸۰ درصد از کاربران از استفاده از این اپلیکیشن اعلام رضایت کرده‌اند.
در خصوص خطای بازدارنده و چالش، اپلیکیشن شب کمترین میزان را در بین ۴ اپلیکیشن تست‌شده داشته است. یک کاربر از خطا در ذخیره اقامتگاه و ۲ کاربر از خطا در بررسی رزرو و اشتراک‌گذاری اقامتگاه خبر داده‌اند و سایر موارد بدون خطای بازدارنده بوده است. رزرو و ذخیره اقامتگاه برای یک کاربر با چالش همراه بوده و در هر یک از بخش‌های بررسی و اشتراک‌گذاری اقامتگاه ۲ کاربر چالش داشته‌اند. بیشترین میزان چالش نیز در خصوص بررسی فیلتر هزینه و اتاق بوده که توسط ۳ کاربر گزارش شده است. در بخش بررسی پشتیبانی نیز هیچ خطای بازدارنده یا چالشی گزارش نشده است.
بخش مربوط به نقاط مثبت اپلیکیشن شب نشان می‌دهد این اپلیکیشن در ارائه اطلاعات به مخاطب عملکرد مطلوبی داشته که در شناخت و تصمیم‌گیری به کاربر کمک می‌کند. عکس‌های موجود از اقامتگاه، نمایش آن روی نقشه، نمایش مکان‌های اطراف و تنوع و میزان اطلاعات از جمله مواردی است که نقطه قوت این اپلیکیشن محسوب می‌شود. همچنین، نمایش قیمت براساس تعداد شب‌های قیمت و نفرات انتخاب را برای کاربر آسان‌تر می‌کند.
البته نتایج این تست حاکی از نقاط منفی درباره این اپلیکیشن نیز هست. یکی از ضعف‌های اپلیکیشن شب سرعت پایین نمایش اطلاعات و اعمال تغییرات است. همچنین، پس از ذخیره‌سازی پیغامی به کاربر ارائه نمی‌شود و او تصور می‌کند ذخیره‌سازی انجام نشده است. جست‌وجوها و فیلترهای اعمال‌شده توسط کاربر ذخیره نمی‌شود و کاربر مجبور است چند بار آن‌ها را اعمال کند. کار با اسلایدر قیمت نیز آسان نبوده و کار با فیلتر وارد کردن مبلغ، تایپ و اصلاح اعداد نیز دشوار است.
اپلیکیشن جاجیگا
کاربرانی که در تست کاربردپذیری اپلیکیشن جاجیگا شرکت داشته‌اند بین ۲۰ تا ۴۱ سال سن دارند، ۳ نفر از آن‌ها کاربر حرفه‌ای و ۲ نفرشان کاربر معمول اینترنت هستند و هرچند فقط ۳ نفرشان توانسته‌اند وظایف خواسته‌شده را به صورت کامل انجام دهند اما همگی جاجیگا را به دیگران پیشنهاد می‌کنند.
۶۰ درصد از کاربران در این اپلیکیشن با مشکلات غیرمنتظره مواجه شده‌اند، ۸۰ درصدشان از استفاده از اپلیکیشن جاجیگا راضی هستند و همگی متوجه نحوه کار با آن شده‌اند.
از منظر مواجهه کاربر با خطای بازدارنده جاجیگا عملکرد مناسبی داشته و در هر یک از بخش‌های بررسی فیلتر هزینه و اتاق و ذخیره اقامتگاه فقط یک کاربر با خطا روبه‌رو شده است. تعداد چالش‌ها در کار با این اپلیکیشن زیاده بوده و در بخش‌های بررسی رزرو و بررسی اقامتگاه ۴ کاربر چالش داشته‌اند. ۳ کاربر هم در بخش‌های اشتراک‌گذاری و ذخیره اقامتگاه با چالش مواجه شده‌اند. ۲ کاربر هم چالش در بررسی فیلتر هزینه و اتاق را گزارش داده‌اند. در بررسی پشتیبانی نیز خطا یا چالشی توسط کاربران مشاهده نشده است.
دردسترس بودن بخش علاقه‌مندی‌ها، دسترسی آسان به بخش پشتیبانی و سادگی امکان انتخاب اقامتگاه از روی نقشه از جمله ویژگی‌های مثبت اپلیکیشن جاجیگا است. علاوه‌براین، اطلاعات درباره اقامتگاه و اطراف آن کافی بوده و قوانین و اطلاعات مربوط به اقامتگاه نیز شفاف و ساده نمایش داده شده که باعث جلب اعتماد کاربران می‌شود.
یکی از نکات منفی جاجیگا سرعت پایین بارگذاری اپلیکیشن و اعمال درخواست‌های کاربران است. یافتن محل قرارگیری فیلترها زمان‌بر، انتخاب زمان ورود و خروج گیج‌کننده و انتخاب محدوده قیمت با اسلایدر سخت است. با اسکرول در صفحه گزینه پشتیبانی مخفی شده و کاربر تصور می‌کند آن را گم کرده است. یک نکته منفی و ابهام‌زا برای کاربران این است که در این اپلیکیشن گزینه ذخیره‌سازی در لیست علاقه‌مندی‌ها با آیکون قلب نمایش داده می‌شود اما کاربر با تصور این که قلب معنای تأیید دارد، روی آن کلیک نمی‌کند.
* نسخه کامل گزارش تستادی را از اینجا ببینید.
