Top 21 free usability testing tools for app and website testing

Задание №3. Сопутствующие товары

«Вы слышали, чтобы положить напольное покрытие, кроме самого ламината нужны еще какие-то дополнительные товары». Так начиналась инструкция к последнему заданию. Мы попросили пользователей узнать, какие товары им могут пригодиться вместе с ламинатом.


Результативность третьего задания такая же, как и второго – 66%, 16 из 24 пользователей нашли вкладку «Сопутствующие товары» на странице-карточке и смогли ответить на контрольный вопрос. А 34% (1/3 аудитории) не нашли данные о дополнительных товарах, хотя потенциально могли бы заказать на сайте больше и принести компании больше прибыли.

Вкладка «Сопутствующие товары»

Пользователи старательно искали дополнительные товары (плинтус, подложка) на странице-карточке, рассчитывая увидеть отдельную витрину-слайдер или раскрывающуюся вкладку.

На странице-карточке digacompany.ru имеются различные вкладки с данными о товаре «Описание», «Характеристики», «Бренд», «Сопутствующие товары». Но они не видны на странице по умолчанию все сразу, а скрыты в одном раскрывающемся списке. То есть на странице в один момент времени отображается только одна вкладка – «Описание». Чтобы увидеть остальные вкладки, требуется кликнуть на заголовок первой вкладки.

Для пользователей была неочевидна эта возможность, и они решали, что на странице-карточке сопутствующие товары просто не предусмотрены.

На видеозаписи можно увидеть, что пользователь пытался найти дополнительную продукцию на всех страницах от нижнего уровня к верхнему: начиная от карточки товара, через подраздел «Ламинат» к родительскому разделу «Напольные покрытия». И только затем в меню нашел ссылку «Аксессуары».

Рекомендуем отображать раскрывающиеся вкладки на странице последовательно, чтобы посетители сразу видели все доступные для изучения блоки.

Слева – фрагмент карточки товара : вкладки скрыты в раскрывающемся списке. Справа – фрагмент карточки товара : вкладки видны сразу.

  

Опытные покупатели также заметили:

«В сопутствующих товарах не все представлено и начал искать еще клей для ламината (для лучшего крепления), набор для укладки ламината и заглушки для плинтусов (про плинтуса не написано, из какого материала они сделаны)».

Часть пользователей сразу может быть заинтересована только в сопутствующих товарах и искать их в разделе основного товара (например, искать плинтуса для ламината в разделе «Ламинат» или «Напольные покрытия»). Поэтому целесообразно размещать витрину-слайдер «Сопутствующие товары» также на страницах основных продуктовых категорий.

Трое пользователей также пожелали видеть блок сопутствующих товаров на странице «Корзина», так как это «последняя возможность» заказать что-то еще:

  • «Добавить их к товару в корзине. «также с этим покупают….» Например, я купила ламинат и смотрю на него в корзине. Возвращаться к этому товару в каталоге уже нет смысла, и я не увижу сопутствующие товары больше»
  • «Показывать при выборе заказа – предложить, как во всех магазинах, с этим товаром часто покупают другие товары»

User Testing

UserTesting is a UX research&usability testing tools for developers and designers. You’ll receive accurate customer behavior insights through this platform.

You can get fast feedback from real people in their natural environment in the form of flash videos or written summaries, which will let you know what they like and dislike and why they leave your website.

Additionally, it allows you to test your designs on any device (desktop, iPhone, iPad, Android phone, and Android tablet). With real-time feedback, you are able to build an easy-to-use product with good user experience.

Features:heatmap tracking, eye tracking, video recordings, moderated sessions, written feedback

Price: Personal Edition (15 videos), Enterprise Edition — Contact

Usability test score: ★★★★

The Disadvantages of Usability Testing


Usability tests are disadvantageous in certain scenarios.

  1. Complex topics may require a stronger explanation than typical usability tests
  2. Participants can be difficult target and recruit
  3. Synthesis is time consuming

PlaybookUX helps address all three disadvantageous of automated usability testing. Specifically, PlaybookUX allows you to recruit your exact target demographics. Therefore, complex topics may be easier to run a usability test on. Our demographic and employment filters make it easy for B2B and B2C companies alike. Finally, we use artificial intelligence to aid in synthesizing the video sessions and transcripts.

Какие вопросы задавать

Требования к вопросам:

  • вопросов не должно быть много (не больше 10), они должны быть адаптированы под сайт;
  • моделируем с помощью вопросов сценарий (максимально приближенный к реальному) взаимодействия пользователей с сайтом;
  • стараемся с помощью задач и формулировок вопросов поставить респондентов на место покупателей.

Вопрос №1: Если вам предстоит выбрать ТОВАР для СЕБЯ, какими 5 критериями вы будете руководствоваться при выборе? Каждый из критериев оцените по 10-балльной шкале, в зависимости от степени важности/актуальности для вас. Вместо ТОВАР в вопросе необходимо указать на группу товаров (например «телевизоры»), вместо СЕБЯ сформулировать для кого/чего (например, для гостиной)

Попросив респондентов сформулировать и отранжировать критерии, мы заставим их думать, как покупатели, и исключим возможность схалтурить в последующих вопросах, кинув в корзину первый попавшийся товар

Вместо ТОВАР в вопросе необходимо указать на группу товаров (например «телевизоры»), вместо СЕБЯ сформулировать для кого/чего (например, для гостиной). Попросив респондентов сформулировать и отранжировать критерии, мы заставим их думать, как покупатели, и исключим возможность схалтурить в последующих вопросах, кинув в корзину первый попавшийся товар.

Вопрос №2: Руководствуясь своими критериями, подберите для СЕБЯ на сайте SITE.RU подходящий ТОВАР. Какой информации для вас, как покупателя, не хватает о товаре? Какая раскрыта не полностью? А какая излишняя?

SITE.RU — ваш сайт. Заставив респондентов думать, как реальные покупатели, с помощью вопроса №1 мы можем рассчитывать на то, что при выборе товара для себя, они протестируют не только имеющиеся функции (фильтры, сортировки, поиск), но и по своим критериям найдут больше слабых мест в интерфейсах сайта и особенностях представления торгового предложения.

Вопрос №3: Закажите выбранный вами товар онлайн. Все ли получилось? Понятны ли вам условия оплаты и доставки? Какие сложности возникли? За счет чего можно сделать оформление и заказ удобнее? Укажите несколько причин, почему вы выбрали именно этот ТОВАР.

Пройдя по возможным вариантам оформления заказа на сайте, респонденты смогут протестировать текущие возможности и найти неудобные «узкие» места сайта. Чтобы не создавать лишнюю нагрузку на сотрудников вашей компании, обрабатывающих заказы, попросите респондентов при оформлении заказа в поле телефон указать +8 888 8888888.

Вопрос №4: Найдите в поиске сайт конкурента, на котором подбирать и заказывать похожий товар удобнее. Почему? Укажите несколько основных причин. Оцените оба сайта по шкале до 10 баллов.

В жизни пользователи редко покупают на первом попавшемся сайте, поэтому для объективности оценки респондента надо попросить его поискать варианты лучше вашего. Этот вопрос позволит расширить кругозор пользователя, как потенциального покупателя и найти новые триггеры, которые могут подтолкнуть к покупке. Для понимания, как пользователи формируют свои потребности, попросите их указать поисковые запросы, с помощью которых они нашли конкурентов и количество просмотренных ими сайтов.

Вопрос №5: SITE.RU вызывает у вас доверие? Стали бы вы приобретать товар в этой компании или обратились в другую? Почему? Назовите 5 основных причин, почему вы закажете или не закажете товар на SITE.RU.

Проведя респондентов по подобному сценарию, вы можете попросить их сделать главный вывод – готовы ли они стать покупателями вашего сайта. И почему, получив от них информацию по удобству интефейсов, о доверии к компании и условиям торгового предложения, как от реальных покупателей.

Moderated Usability Testing

Running a moderated usability study allows you to dig deeper into your customers thought process.

Prior to the session, recruit your target demographic. There are many softwares that can do this for you – like PlaybookUX. Next, create a discussion guide with tasks that you would like to observe participants completing. These tasks can range from things like

  • How would you go about contacting us?
  • Imagine you’d like to enroll in our newsletter. What action would you take next?
  • Please sign up for our product
  • Did you complete the previous task successfully?

The benefit of moderated interviews is that you can ask follow up to ensure that customers find it usable. Perform moderated usability tests remotely or live in-person. However, the downside of moderated usability testing is that you may cause participants claim the product is easier to use than it actually is. This is called the observer bias and it’s something to keep in mind as you moderated studies.

WhatUsersDo

WhatUsersDo is a remote user testing tool. The test team consists of 3,000 real users coming from different backgrounds. You are able to set all sorts of tasks for them according to your needs. Via video and audio recordings of tests, you can observe their behavior and discover how they interact with your website.

It is the perfect place to analyze your site and improve the usability of your digital product. If you want to watch a user journey with commentary, this is a good choice.

Features: website usability tests, website benchmarking, SEO research

Price: £650 for 10 user test videos, £10K/year

Usability test score: ★★★

Почему нужны специализированные инструменты usability-тестирования?


Проведение usability-тестирования не выглядит очень сложным, тем более что для эффективного тестирования достаточно всего 5-10 респондентов [], [].

Основную техническую трудность процедуры usability-тестирования представляет большой объем данных, которые нужно зафиксировать в процессе тестирования для целей последующего анализа:

  1. Речь модератора и респондента;
  2. Выражение лица респондента (снимается на видеокамеру);
  3. Изображение экрана компьютера, с которым работает респондент;
  4. Различные события, происходящие на компьютере, связанные с действиями пользователя:
    1. Перемещение мышки и нажатия на её клавиши;
    2. Использование клавиатуры:
    3. Переходы между экранами (браузера или другой программы).

Все эти потоки данных должны быть синхронизированы, чтобы при анализе их можно было бы соотносить между собой.

Наблюдатели, которые участвуют в тестировании наряду с модератором, ведут заметки по мере обнаружения проблем, которые тоже нужно синхронизировать с другими данными так, чтобы потом можно было легко найти фрагмент записи, прокомментированный в заметке наблюдателя.

Отсутствие специальных инструментов делает последующий анализ настолько трудоемким, что время необходимое для него превышает две трети общего времени, затраченного на тестирования — от его планирования до сдачи отчета.

3.1. Morae 1.3

Компания TechSmith поставляет доступное и вместе с тем высокоэффективное решение — Morae. Этот программный комплекс разворачивается за 15 минут на компьютерах респондента, модератора и наблюдателей, что особенно удобно, если тестирование проходит вне компании, например, в офисе заказчика.

На компьютере респондента устанавливается Morae Recorder — модуль, осуществляющий запись голоса респондента, изображения лица респондента (например, с web-камеры), экран компьютера респондента, различные события на компьютере и т.д.

На компьютере модератора и наблюдателей используется Morae Remote Viewer, модуль, позволяющий не только видеть то, что происходит на экране респондента, но и устанавливать маркеры — записи с комментариями к возникшим проблемам, которые очень помогают при анализе тогда, когда яркие впечатления от проведенного тестирования начинают угасать.

По окончании сессии тестирования, записанные данные импортируется в Morae Manager, где они анализируются, и в котором подготавливается наглядный видеоотчет по каждой из обнаруженных проблем, или по каждому испытуемому.

Figure 3. Morae Manager (аналитический модуль)

Следует упомянуть то, что компания TechSmith, предлагает также инструмент проведения удаленного usability-тестирования — UserVue, который оказывается незаменимым в тех случаях, когда необходимо обеспечить широкий географический охват респондентов. Это особенно актуально при тестировании web-сайтов.

UserVue представляет собой облегченную версию Morae Recorder’а, которая устанавливается на компьютер респондента посредством двух-трех щелчков мышки.

По окончании тестирования полученные данные могут быть импортированы в Morae Manager, где будут обработаны и скомпилированы в видео-отчет.

Пока UserVue доступен только для северо-американских стран (США и Канада), но, очевидно, что при достаточной востребованности этого инструмента в других странах, география распространения этого продукта может расшириться и захватить в том числе Россию.

Удобство Morae ярче всего выражается в том, что если сессия юзабилити тестирования проведена утром, то к вечеру может быть получен отчёт о проведенном тестировании. Самым трудоемким в этих условиях становится процесс выработки рекомендаций по преодолению выявленных проблем, но этот процесс невозможно автоматизировать, так как он требует нахождения творческих решений, которые пока доступны только человеку.

Usability testing: Get the user’s view

Sometimes, you know there’s a problem with your website. You may see evidence of it from your Google Analytics data, or your conversion rates, or slumping sales. Those metrics, however, don’t tell you why there’s a problem.

To really understand the issue and start planning a solution, the only way is to get the user’s view.

For example, an environmental non-profit that tested their website with TryMyUI got this feedback about their interactive map feature:

“We can see a very specific location here in Bulgaria about forestry, and then when I click it, I get a general page about forestry, not specifically about the one in Bulgaria. Again, the problem is the connection. This is not specific to what I selected in the map.”

Without hearing this viewpoint from a user’s mouth, the website designers may have never realized that this was an obstacle for visitors trying out the feature. But by seeking out constructive criticism from real people, their eyes were opened to the problem and they were able to resolve it for every future user.

With remote unmoderated usability testing platforms like TryMyUI, getting that kind of feedback is quick and easy:

  • Write your tasks: Create a list of 5-10 tasks you want users to perform on your website. Guide them towards the problem areas so you can see what confuses them.
  • Choose your target user: Select from different demographic filters like age, gender, income, and more to get relevant users for your site.
  • Send out your test: Just click “Order” – you don’t need to worry about recruiting users or moderating the test sessions.
  • Review your results: Watch the videos, read users’ written responses, and use the quantitative metrics to zero in on the key insights.

Factors Affecting Cost


Your testing costs depend on 

  • Type of testing performed
  • Size of the team assembled for testing
  • Number of participants for testing
  • Number of days you will be testing

Remember to budget for more than one usability test. Building usability into a Web site (or any product) is an iterative process.   Consider these elements when budgeting for usability testing:

  • Time:  You will need time to plan the usability test. It will take the usability specialist and the team time to become familiar with the site and pilot test the test scenarios. Be sure to budget in time for this test prep as well as running tests, analyzing the data, writing the report, and presenting the findings.
  • Recruiting Costs:  Consider how or where you will recruit your participants.  You will either need to allow for staff time to recruit or engage a recruiting firm to schedule participants for you based on the requirements.
  • Participant Compensation: If you will be compensating participants for their time or travel, factor that into your testing budget. 
  • Rental Costs:  If you do not have monitoring or recording equipment, you will need to budget for rental costs for the lab or other equipment. You may also need to secure a location for testing, a conference room for example, so consider this as well.

It’s important to keep in mind that usability testing is not just a milestone to be checked off on the project schedule. The team should have a goal for why they are testing and then implement the results.

Participant

The participant should be a realistic user of the product or service being studied. That might mean that the user is already using the product or service in real life. Alternatively, in some cases, the participant might just have a similar background to the target user group, or might have the same needs, even if he isn’t already a user of the product.

Participants are often asked to think out loud during usability testing (called the “think-aloud method”). The facilitator might ask the participants to narrate their actions and thoughts as they perform tasks. The goal of this approach is to understand participants’ behaviors, goals, thoughts, and motivations.

Итоговый опрос

В завершение тестирования респонденты отвечали на вопросы об их впечатлениях от работы с сайтом в целом. Для получения итоговых метрик использовался опросник SUPR-Q (The Standardized User Experience Percentile Rank Score) и шкала NPS (Net Promoter Score).

Метрики

  • Удобство – легкость использования сайта и ориентации в его структуре.
  • Доверие – готовность пользователя рассчитывать на информацию, полученную на сайте.
  • Визуальная привлекательность – простота и понятность оформления сайта, привлекательность дизайна.
  • Лояльность – приверженность пользователей продукту или компании, готовность к повторным заказам.

Значения метрик:

0-3,4 – неудовлетворительный показатель;

3,5-3,9 – средний показатель;

4-5 – высокий показатель.

Судя по результатам, у сайта есть потенциал для улучшения пользовательского опыта. Индекс пользовательской лояльности по шкале NPS (Net Promoter Score) также недостаточно высок, и для ресурса равен -58%. По данным , для ecommerce-сайтов индекс лояльности считается высоким от 28%. А средний балл для веб-сайтов равен -14%.

В своих комментариях респонденты делают акцент на том, что компания сама по себе вызывает доверие, но недостаточно высокие оценки обусловлены проблемами в работе с сайтом и тем, что пользователи работали с ним впервые:

  • «Сайт понятен в целом, но детали удобства не проработаны. Дизайн и стиль приятен, оформление вызывает доверие»
  • «Очень сложная навигация по сайту, непросто найти обычные разделы, непросто сравнить и даже подобрать товар по заданным параметрам, нужно сначала зайти в определенный бренд — это все трата времени»
  • «Не раскрыта информация о товаре (производитель, класс, материал и т.д.), хочется описания… Если это было бы исправлено и кол-во товаров добавится (не нашел клей для ламината и набор для укладки), вот тогда мнение о магазине изменится и я его точно порекомендую!»

В заключение хотим пожелать вам довольных клиентов и множество онлайн-покупок на вашем сайте, а для этого не забывайте время от времени обращаться к пользователям за обратной связью 🙂

Удачи Вам!

Отдельное спасибо Максиму Козлову и Алексею Панкову из «Фабрики юзабилити» () за помощь в организации теста.

Заключение

Следует выразить уверенность в том, что в ближайшее время мы станем свидетелями бурного всплеска интереса к usability, как к деятельности, способной в несколько раз повысить успех проекта и разрабатываемого продукта.

Накопленный на сегодняшний день опыт позволяет проводить качественное тестирование пользовательских качеств продуктов в различных условиях.

С 1997 года в российских компаниях стали возникать отделы, деятельность которых была направлена на повышение пользовательских качестве разрабатываемых продуктов. Сейчас, в 2006 году, как естественное продолжение этого процесса, в России стали появляться usability лаборатории, оснащенные современным оборудованием и специальным программным обеспечением.

Эти явления позволяют считать, что нынешний век будет веком usability.


С этим читают