17 сервисов для a/b-тестирования лендинга

Содержание

Тавтологические тесты

Перевод


Привет! Меня зовут Артём, и большую часть своего рабочего времени я пишу сложные автотесты на Selenium и Cucumber/Calabash. Честно говоря, довольно часто я оказываюсь перед непростым выбором: написать тест, который проверяет конкретную реализацию функциональности (потому что это проще) или тест, который проверяет функциональность (потому что это правильнее, но намного сложнее)? Недавно мне попалась неплохая статья о том, что тесты реализации – это «тавтологические» тесты. И, прочитав её, я уже почти неделю переписываю некоторые тесты в другом ключе. Надеюсь, вас она тоже подтолкнёт к размышлениям.

Обзор лучших европейских и не только QA-конференций этого года

Привет, Хабр! Меня зовут Влад Романенко. Я работаю инженером по тестированию в Badoo, в команде iOS. Любите заводить новые знакомства, обмениваться знаниями и опытом и быть в тренде? Тогда предлагаю вам внести в свой календарь пару—тройку предстоящих мероприятий. Я начал посещать разные конференции и встречи несколько лет назад, ещё во время учёбы в университете. Конечно, они сильно отличались от тех, на которые я хожу сейчас. Но уже тогда я понимал, что сложно быть в курсе современных тенденций, не участвуя в профильных мероприятиях. В моём списке уже около 20 конференций. Среди них Международный день ГИС в Белорусском государственном университете, Конференция для пользователей и разработчиков ГИС с открытым исходным кодом в Москве и множество конференций по тестированию (например, эта и эта). Я заметил, что многие тестировщики и QA-инженеры почему-то избегают конференций. И напрасно. С одной стороны, есть вы со своими вопросами к сообществу, с другой — есть сообщество, которому интересен ваш опыт. И почему бы эти две стороны не объединить? Именно поэтому я решил поделиться своим мнением относительно предстоящих мероприятий и вдохновить вас на их посещение.

Багодельня — марафон по убийству престарелых багов

Сколько открытых багов у вас в бэклоге? 100? 1000? А сколько времени они там лежат? Неделю? Месяц? Годы? А почему так происходит? Нет времени? Надо делать более приоритетные задачи? «Вот сейчас все срочные фичи реализуем, а потом точно будет время на разгребание багов»?

… Некоторые используют Zero Bug Policy, у кого-то хорошо развита культура работы с багами (своевременно актуализируют бэклог, пересматривают ошибки при изменении функциональности и т.д.), а кто-то выращивает волшебников, которые пишут вообще без багов (маловероятно, но, может, и такое бывает).

Сегодня я расскажу вам про наше решение по чистке бэклога багов — проект «Багодельня».

«Угнать за 60 секунд» на примере одного каршеринга

Из песочницы

«Без разочарований не ощутишь вкус победы» Мемфис Реймс История началась банально. В каком то ролике на YouTube рассказывали про каршеринг. С демонстрацией функции «приветствия», когда вам не удается найти автомобиль на большой парковке. У меня тут же возникла мысль проверить — а не смогу ли я активировать функцию приветствия на абсолютно все автомобили этой компании?! Ну весело же. Крупный российский город. И в какой то момент тысячи автомобилей по команде начинают сигналить и моргать фарами. Почти как в фильме «Крепкий Орешек 4». В результате все получилось куда интереснее. Ведь фактически я нашел возможность угона любого автомобиля.

[в закладки] Инструменты для тестирования JavaScript-проектов

Перевод

Автор материала, перевод которого мы публикуем сегодня, сотрудник Welldone Software, говорит, что если в двух словах рассказать об инструментах для тестирования JavaScript-проектов, то для модульного и интеграционного тестирования рекомендуется использовать Jest, а для тестов пользовательского интерфейса — TestCafe. Однако каждый конкретный проект может нуждаться в чём-то особенном. Лучший способ найти именно то, что нужно — взять несколько инструментов, которые, как кажется, подойдут, и испытать их в действии

Эксперименты подскажут — на чём именно стоит остановиться. Представляем вашему вниманию обзор наиболее широко используемых инструментов тестирования для JS-проектов, на которые стоит обратить внимание в 2018-м году.

Обработка результатов

Когда все инструменты выбраны, показатели рассчитаны, а тестирование запущено, закономерно возникает вопрос обработки полученных данных. Главное не делать поспешных выводов, воодушевившись первым успехом. Необходимо помнить, что показатели могу меняться постоянно, причем они могут делать это неравномерно и в течение продолжительного времени. Для достижения более объективного результат следует оценивать средние значения, а для этого придется сначала накопить более продолжительную историю.

Успешность внедрение изменений определяется за счет разности между средними показателями обоих сегментов. Но одной этой разности также недостаточно. Необходима уверенность в ее достоверности, в том, что результат может быть достигнут вновь и останется неизменным.

В качестве дополнительно аналитического инструмента скрипт АБ тестирования может использовать площадь пересечения распределений. Чем это пересечение меньше, тем более значимым считается результат. Для принятия окончательного положительного решения уровень значимости обычно должен превышать девяносто процентов, при пересечении, соответственно, ниже десяти процентов. В другом случае высока опасность сделать ошибочные выводы и получить обратную отдачу.

Необходимо обратить внимание еще и на то, что с возрастанием объема трафика в сегментах снижается разброс значений за сутки. Небольшой трафик дает обратный результат, так что требует больше времени для объективности эксперимента

Чтобы сравнить полученные величины, применяется проверка статистических гипотез или другие методики. Например, принимаются две гипотезы: нулевая и альтернативная. Первая предполагает, что разница средних значений будет минимальна, когда вторая предполагает обратный результат. Чтобы проверить обе гипотезы используются статистические тесты, выбор которых зависит от обрабатываемого показателя. При подсчете среднесуточных значений можно воспользоваться известным тестом Стьюдента, который хорошо подходит для оценки значимости при небольших объемах данных. Это универсальная методика, которая подходит как для общих, так и для частных измерений.

Кроме того, севрис АБ тестирования может предлагать другие утилиты, всевозможные калькуляторы и прочие программы или приложения, отличающиеся возможностями и дополнительными особенностями.

Итоги

АБ тестирование – важнейшая часть любой маркетинговой кампании. Можно выделить несколько основных рекомендаций по использованию этого инструмента.

Важно прислушиваться к результатам тестирования, даже если собственные ощущения и предпочтения утверждают обратное. В отличие от частного мнения, статистика – источник объективной информации

К тому же, при наличии сомнений всегда можно провести повторную проверку. Желательно проводить тестирование регулярно и заранее. Не стоит пренебрегать таким полезным инструментом, как объявления в ротации Яндекс Директ тест, внедряя любые изменения, будь то незначительная модернизация сайта или глобальная смена рекламной кампании. Отсутствие своевременной и достоверной информации нередко становится причиной потери аудитории и появлению нежелательных убытков. При разделении сегментов лучше оценивать обновления по реакции новых пользователей, ведь существующие клиенты обычно предвзяты за счет сложившихся предпочтений и привычек. Оба сегмента обязательно должны оцениваться в одно время, чтобы избежать риска искажения результата в зависимости от сроков. Тестирование должно занимать достаточное количество времени, ведь его преждевременное прекращение нередко приводит к ошибкам в результатах. Однако, аналогичная угроза существует и при слишком затянутой проверке. Таким образом, хотя срок может ощутимо варьироваться, он должен быть грамотно рассчитан, чтобы соответствовать конкретной задаче. Вернувшиеся пользователи должны видеть вариант, с которым они уже сталкивались. Нежелательно показывать посетителям, видевшим один вариант сайта, принципиально другую версию, ведь это может отталкивать аудиторию. Лучше заранее обеспечить возможность показывать каждому одну и ту же страницу до конца теста. В некоторых случаях нужно проводить тестирование на всем сайте. Например, при смене заголовка или призыва к действию, которые применяются на нескольких страницах. На каждой из них они должны тестироваться отдельно.


Залогом успеха при проведении АБ тестирования является тщательный контроль и последовательность действий. Все полученные данные должны быть максимально точными, чтобы на их основе можно были принять грамотное, взвешенное решение.

Инструменты тестирования

Для организации работы любой сервисы для тестирования АБ предлагают целый ряд инструментов, при помощи которых можно разделить и структурировать аудиторию, рассчитать ключевые показатели, проанализировать результаты по каждому отдельному сегменту.

Способов реализации поставленной задачи несколько. При наличии необходимых ресурсов, можно выполнить все самостоятельно, проанализировав логи пользователей. При отсутствии необходимых средств и навыков стоит обратиться за помощью к сторонним ресурсам, как например Яндекс Директ, Дзен или Google ads marketing platform, упомянутый выше. Можно найти и другие сервисы, исходя из актуальных требований и задач.

Проверяем веб камеру на ноутбуке

В комплекте с гаджетом всегда идет CD диск с драйверами для подключения камеры. Вначале можете попробовать протестировать аксессуар без установки драйверов – современные операционные системы с технологией Plug-and-Play способны самостоятельно распознавать девайс.

Если камера не заработала сразу, воспользуйтесь инструкцией, которую я сам опробовал для гаджета подруги.

  • Чтобы проверить веб камеру на ноутбуке откройте меню «Пуск».
  • Появится поисковая строка – вбиваете туда «веб-камера» и жмете «Enter».
  • После этих действий вы увидите список устройств – вам нужно выбрать свой девайс. При возникновении трудностей в поиске web камеры, начните заново с меню «Пуск».
  • Выберите пункт «Панель управления» и нажмите на него – всплывет окно. Вам нужен раздел «Категория», из которого зайдете в «Оборудование и звук».
  • В следующем списке выбираете «Устройства и принтеры», из которого переходите в «Диспетчер устройств» где вы сможете найти вебкамеру.

В зависимости от вида устройства – встроенное или подключенное, — оно может располагаться в разных разделах ноутбука. В первом случае это, скорее всего, будут «Устройства обработки изображений»; во втором — «Звуковые, видео и игровые устройства».

Иногда проверить камеру быстрее, чем найти ее. Не только из-за разных мест расположения, но и названий. Мне встречались «веб-камера» или «USB-видеоустройство», также иногда вместо общего обозначения стоит наименование бренда или модели.

После того, как вы нашли аксессуар в системе, включите его и попробуйте кому-нибудь позвонить посредством мессенджера, например, в Skype.

Описанная инструкция проверки подходит для операционки windows 7. Она, как и версия 8/8.1 не оснащена утилитами для тестирования веб камеры – встроенной или внешней. Поэтому можно прибегнуть к какой-либо сторонней программе, например, «Live Webcam». Скачайте ее бесплатно с авторского сайта перед началом тестирования.

Какие тесты можно создавать

Вы создаете тестирования в программе Indigo. Через нее же вы назначаете их пользователям. Вопросы в программе можно как создавать вручную, так и импортировать. В программе есть 6 видов заданий:

  1. Выбор одного варианта ответа.
  2. Выбор нескольких вариантов ответа.
  3. Ввод ответа с клавиатуры.
  4. Установка соответствия между элементами или утверждениями.
  5. Расстановка вариантов в нужном порядке.
  6. Информационное сообщение (без выбора вариантов ответа).

В случае импорта, вам нужно создать текстовый файл, заполнить его по шаблону и загрузить в программу. Вот так выглядит пример текста и меню импорта:

В тестах есть функция перемешивания. Она позволяет перемешать варианты внутри вопроса или сами вопросы в тесте, чтобы они подавались в произвольном порядке..

При сохранении вы публикуете новый тест на платформе обучения, и его сразу увидят все пользователи. Это значит, что назначать тесты пользователям вручную не нужно. Однако, если вы хотите сделать тест приватным, вы можете скрыть его или установить на него пароль.

TOП-10. Разбор лучших докладов в свободном доступе. Heisenbug 2017 Moscow

Действуем по старой схеме: я для вас отсматриваю подряд 10 докладов, делаю краткое описание содержимого, чтобы неинтересное можно было выбросить. Кроме того, с сайтов собираю ссылки на слайды и описания. Полученное сортирую и выдаю в порядке увеличения рейтинга — то есть в самом низу будет самый крутой доклад. Оценки — это не лайки на YouTube, а собственная оценочная система, она круче лайков.


Предыдущие части: JBreak 2017, JPoint 2017 (обе конференции были про Java).

На этот раз объектом изысканий будет Heisenbug 2017 Moscow — известная конференция для тестировщиков (а также программистов и менеджеров команд, как написано на главной странице сайта).

В посте присутствует зашкаливающее количество картинок и ссылок на YouTube

Осторожно, трафик!

Элементы тестирования

Существует огромный перечень вещей, по отношению к которым можно провести тестирование в Яндекс. 0Это способствует увеличению эффективности сайта и, соответственно, размеру его аудитории. Это могут быть элементы дизайна, заголовки, специальные предложения и многое другое

Например, стоит обратить внимание на:

Заголовок (Headline) Именно эта часть страницы привлекает внимание и побуждает к знакомству с ее содержимым. Проверка различных вариаций и формулировок позволит отыскать не только универсальное звучание, но и подобрать идеальный шрифт, размер и цвет, которые также имеют значение. Длина и стиль текста Размер и форматирование изложенного материала напрямую влияет на количество людей, которые захотят с ним ознакомиться Стоит проверить разные форматы, а также стиль изложения информации, отыскав лучшее решение. Изображения Изображения на странице призваны привлекать внимание, так что могут существенно сказываться на конверсии, особенно, если речь идет о продажах. Необходимо не только подобрать наиболее привлекательную картинку, но и рассчитать количество, расположение, размеры кадров. Текст призыва к действию Формулировка призыва к действию обязательно должна справляться со своей непосредственной задачей. Этому элементу стоит уделить особое внимание, ведь его правильное использование может в разы увеличить количество гостей, производящих необходимые манипуляции. Оформление призыва к действию Внешний вид этого блока – еще одна немаловажная деталь. Это может быть ссылка, кнопка либо любой другой формат

Важно подобрать оптимальное расположение, размер и оформление. Все их лучше тестировать заранее. Размещение призыва к действию Размещение призыва к действию можно выделить отдельным пунктом, ведь оно может оказать значительное влияние на показатели всей страницы

Стоит проверить сразу несколько вариантов, отталкиваясь от дизайна сайта и конкретной страницы. Различные предложения Все торговые предложения, бонусы, акции и дополнительные функции должны быть предварительно проверены. При сравнении лучше выбирать похожие по назначению и эффективности предложения, чтобы избежать сопоставления несопоставимого.

В любом случае, перед началом тестирования лучше предварительно составить список всех интересующих элементов. Это позволит оптимизировать процесс и повысить его эффективность. После того, как стратегия окончательно намечена, можно перейти непосредственно к самому тестированию, учитывая все необходимые параметры и инструменты.

Уязвимости Киевстара: 1) разбор предыдущего поста про пароли + 2) инфо о покупках, проходящих через сервисы Киевстара

Привет. Я тот, кто полгода назад получил логины и пароли Киевстара от таких важных сервисов, как: JIRA, Amazon Web Services, Apple Developer, Google Developer, Bitbucket и многих других, зарепортил их по Bug Bounty и получил 50 долларов различные комментарии к репостам моей публикации. Например:

  • Собственно, Хабр, 33 тысячи просмотров, 188 комментариев: Bug Bounty Киевстара: награда за админский доступ к сервисам Jira, AWS, Apple, Google Developer, Bitbucket — 50 долларов
  • AIN.UA, 12 тысяч просмотров: Тестировщик получил доступ к корпоративным сервисам Киевстар. Ему предложили всего $50
  • ITC.ua, 350 комментариев: «Киевстар» предложил пользователю $50 за найденные пароли к корпоративным системам, тот остался недоволен
  • Ebanoe.IT, 26 тысяч просмотров, 169 комментариев: Хакеру всунули подачку 50$ за найденную уязвимость в системе Киевстар

Спасибо вам за поддержку и комментарии! Итоги голосования:

Примеры A/B-тестов

Медиа и издательское дело

Издания стремятся увеличивать количество читателей, подписчиков, проведённое время на сайте, количество просмотров на самом сайте и в соцсетях.

Протестируйте разные варианты форм регистрации и подписки, блоков рекомендуемого контента, кнопок социальных сетей и других каналов продвижения.

Зрители Netflix с удовольствием пользуются сервисом. Во многом благодаря тому, что Netflix последовательно и систематически тестирует любое изменение на сайте.

Например, Netflix персонализирует главную страницу так, чтобы пользователю было удобно ориентироваться на ней. Поэтому в зависимости от того, что он смотрел и что ему нравится, зритель на своей главной странице видит те или иные шоу и фильмы в том или ином порядке. Случайные решения не принимаются.

iSpring — платформа для онлайн-обучения и тестирования и сотрудников


iSpring помогает поставить аттестацию в компании на автопилот. Вы создаёте тест на платформе и назначаете его сотрудникам. Они решают задания в свободное время с компьютера или мобильного телефона. iSpring проверяет ответы и показывает в отчётах, кто набрал проходной балл и какие ошибки в тесте допустил. Оценивайте уровень подготовки каждого сотрудника в реальном времени и, если нужно, принимайте меры.

Обзор возможностей iSpring

iSpring — интернет-сервис. Не нужно устанавливать его на свой сервер и привлекать IT-специалистов для настройки. Создаёте аккаунт и тестируете сотрудников.

Платформа также помогает обучать онлайн все филиалы и служит единой базой знаний компании, куда можно загрузить неограниченное количество учебных материалов.

Описание iSpring

  1. Пробная версия. У iSpring есть бесплатная пробная версия на 14 дней. Чтобы её получить, заполните форму на сайте: имя, почта и номер телефона.
  2. Возможности. В iSpring встроен мощный конструктор для создания опросов, психологических тестов и тестов на проверку знаний.
  3. Виды тестов. В iSpring можно собирать опросы, психологические тесты и тесты на проверку знаний. В вашем распоряжении 14 типов заданий: на соответствие, выбор одного или нескольких вариантов ответа, выбор области, drag-and-drop, последовательность.
  4. Особые опции. Вы можете изменить дизайн каждого вопроса и задать правила тесту: установить баллы и штрафы, автоматически перемешивать задания перед тестированием, указать количество попыток и ограничить время ответа на каждый вопрос, чтобы сотрудники не списывали.
  5. Формат платформы. iSpring работает через интернет. Тестируйте и обучайте сотрудников онлайн сразу после регистрации.
  6. Уровень сложности интерфейса: 1 из 5.
  7. Брендирование. Вы можете оформить платформу под корпоративный стиль: добавить логотип, изменить цвета и URL-адрес.
  8. Статистика. В iSpring доступно 15 типов отчетов. Платформа самостоятельно проверяет, какие варианты ответа выбирают ваши сотрудники по каждому заданию, в каких вопросах они допускают ошибки, какие результаты получают и сколько времени в целом тратят на тест. Всю информацию система собирает в отчёты, которые можно скачать в excel-формате.
  9. Цена. Вы платите за количество пользователей. Цена за одного пользователя — 82 рубля в месяц. Минимальный пакет — 12 человек.

Кому подходит iSpring

iSpring подходит компаниям, которые регулярно проводят аттестацию. Платформа поможет быстро протестировать сотрудников, найти их слабые места и тут же закрыть пробелы в знаниях, назначив для изучения тесты, видеоуроки и курсы.

Управлять платформой может один человек, к примеру, менеджер по обучению или HR-специалист.

Подходит больше всего Не подходит
Планируете обучать и тестировать сотрудников дистанционно. Ищите коробочную систему тестирования.
Не хотите устанавливать систему на сервер компании. Хотите хранить результаты тестов в базах данных компании.
Хотите автоматизировать аттестацию .  
У вас много филиалов — обучать сотрудников очно сложно.  

Клиенты iSpring

Платформу используют как крупные корпорации, так и средний бизнес. Среди клиентов Johnson & Johnson, Redmond, «Яндекс», «Додо Пицца», «Альфа Капитал» и мясоперерабатывающий завод «Богородский»

Неприятные ошибки при написании юнит тестов

На днях я буду делать внутренний доклад, на котором расскажу нашим разработчикам про неприятные ошибки, которые могут возникнуть при написании юнит тестов. Самые неприятные с моей точки зрения ошибки — когда тесты проходят, но при этом делают это настолько некорректно, что лучше бы не проходили. И я решил поделиться примерами таких ошибок со всеми. Наверняка ещё что-нибудь подскажете из этой области. Примеры написаны для Node.JS и Mocha, но в целом эти ошибки справедливы и для любой другой экосистемы. Чтобы было интереснее, часть из них оформлена в виде проблемного кода и спойлера, открыв который, вы увидите, в чём была проблема. Так что рекомендую сначала смотреть на код, находить в нём ошибку, а затем открывать спойлер. Решения проблем указано не будет — предлагаю самим подумать над ним. Просто потому, что я ленивый. Порядок списка не имеет глубокого смысла — просто это очерёдность, в которой я вспоминал про всякие реальные проблемы, которые доводили нас до кровавых слёз. Наверняка многие вещи покажется вам очевидными — но даже опытные разработчики могут случайно написать такой код.

От пул-реквеста до релиза. Доклад Яндекс.Такси

В релизном цикле сервиса есть критически важный период — с момента, когда новая версия подготовлена, до момента, когда она становится доступна пользователям. Действия команды между этими двумя контрольными точками должны быть единообразны от релиза к релизу и, по возможности, автоматизированы. В своём докладе Сергей Помазанов alberist описал процессы, которые следуют за каждым пул-реквестом в Яндекс.Такси.

— Добрый вечер! Меня зовут Сергей, я руководитель группы автоматизации в Яндекс.Такси. Если вкратце, основная задача нашей группы — минимизация времени, которое разработчики тратят на решение своих задач. Сюда входит все: от CI до процессов разработки и тестирования. Что наша разработка делает, когда код написан?

Нулевой итог работы

А/В тест или сплит-тестирование не принесет успеха, если:

  1. В наличии нет постоянного трафика.  Для грамотной работы инструмента следует наладить стабильный рост клиентской аудитории и постоянство совершения целевых действий на сайте.
  2. Проводить незначительное изменение элементов. Увеличение конверсии на 1-2 процента не принесет крупной прибыли. Лучше тщательно вникнуть в проблему и поработать над ее решением. Изучите клиентуру, конкурентные предложения и собственный продукт.

На что стоит обратить внимание

Если вы окончательно решили провести тестирование своего проекта, то поставьте четкие цели и определитесь со стратегией и планом. Во время основного процесса стоит придерживаться следующих рекомендаций:

  • 1 изменение = 1 тест. Не нужно метаться от одной детали к другой. Работайте последовательно, исправляя и проверяя в отдельности каждый элемент;
  • размытые ожидания не принесут успеха. Поставьте перед собой определенные результаты, которые должен принести сплит-тест. Четко осознайте различия между письмами или макетами сайтов;
  • маленький срок = низкий результат. Да, придется потратить достаточно сил и времени, чтобы проект мощно заработал и принес небывалую прибыль. Если вы потратите на проработку деталей меньше 3-х недель, то не получите ожидаемого прироста продаж;
  • не проводите эксперимент во время праздников, массовых отпусков и периодов повышения заболеваемости населения. В эти моменты люди не желают предпринимать серьезных шагов.

Сервисы для АБ тестирования

Google Analytics предлагает популярный инструмент Content Experiments, позволяющий проанализировать до пяти вариантов ваших страниц или писем.

Производительная система равномерно распределит трафик по страницам, а удобный интерфейс и необходимый справочный материал помогут более глубоко вникнуть в работу сервиса.

Для проведения тестирования можно применить другие ресурсы:

  • Optimizely — известный англоязычный инструмент. Характеризуется понятным интерфейсом и оплатой от 19 до 399$. При работе с этим сервисом не требуется знаний по работе с HTML;
  • RealRoi.ru — русскоязычная система с простым, бесплатным и удобным пользованием.

Мы рассказали все самое важное про AB тестирование. Теперь вы можете смело проводить сплит-тест для увеличения продаж

Было полезно? Тогда оставляйте свои комментарии и делитесь с друзьями информацией.


С этим читают