Первая часть статьи: Жми на кнопки, получишь результат

Миф № 3. Тестирование приложений на мобильных устройствах — это легко

Андрей (тестировщик, специализация — мобильные приложения):

«Со стороны тестирование на планшетах, смартфонах и прочих «мобилках» выглядит простецким занятием: сидит человек да и тыкает пальцем в экран, иногда что-то записывая. Но на самом деле, в это время кипят страсти сродни приключениям Индианы Джонса. Ведь что такое мобильное устройство? Это компьютер, который не стоит дома на столе, а бегает вместе с вами. К тому же он маленький, с батарейкой, без мышки, иногда работает как телефон, при этом связь с интернетом зависит от положения Марса в третьем доме и политической ситуации в стране. А ведь еще «джи-пи-эс», и надо найти все спутники, а гироскопом определить положение в пространстве…

Вот и тестируется приложение в условиях, приближенных к полевым:

— в офисе отыскиваются места с плохим приемом сигнала Wi-Fi, 3G, GPRS и т.п. (приложение не должно пугаться и ломаться при отсутствии Интернета);

— телефон поворачивается в пространстве (экран приложения должен, так сказать, повернуться к пользователю лицом);

— на телефон делаются входящие звонки и присылаются SMS (ничто не должно сбить с толку приложение);

— если в приложении есть карта, проверяется работа с GPS (странно было бы узнать, что находишься в Тихом океане);

— проверяются жесты («одно лишнее движение и все удалено» — такого не должно быть);

— проверяется встроенная клавиатура (набор текста в 700 символов для проверки полей ввода превращается в не самое легкое занятие на экране смартфона);

— аккумулятор доводится до истощения, а иногда просто вытаскивается;

— имитируется ситуация «телефон-в-кармане-а-блокировки-нет»;

— и другое экстремальное тестирование.

Единственное, не охваченными остались тесты приложений при нахождении под водой, в пустыне, при ускорении свободного падения, но это уже другая история».

Миф № 4. Юзабилити тестирование — пустышка

Алексей (тестировщик, специализация — юзабилити и автоматизированное тестирование):

«Очень часто от заказчика слышишь, что тестирование юзабилити того не стоит. Любой заказчик может сам сесть, пройтись по сайту, покликать на формы и точно сказать, что удобно, а что — нет. Смысл кому-то платить ради этого, когда всё понятно и очевидно? Эх, если бы всё действительно было так просто, то не существовало бы огромного множества книг, статей, мнений, методик, средств, программ, таблиц, публикаций и форумов. Да и не было бы нужды в специалистах. К счастью, всё это есть, а специалисты востребованы. Результаты исследований NNGroup сообщают, при улучшении юзабилити каждый сайт мог бы увеличить свои продажи в среднем на 79%.

Опыт нашей работы показывает, что тестирование юзабилити при должном подходе можно формализовать и добиться большей объективности оценок. В свою очередь улучшение результатов тестирования повышает комфортность от взаимодействия человек-компьютер. Так, например, популярные и часто используемые на многих сайтах выпадающие меню и списки после проверки оказываются менее удобными, а часто даже вредными! И это несмотря на просьбы заказчика «поставить выпадающий список тут, там и в этом углу».

Заказчик интерфейса — это потребитель. А потребитель, как известно, далеко не всегда понимает, как ему на самом деле будет удобнее. Указать на ошибки в интерфейсах взаимодействия, подсказать способы улучшения может только специалист. Но даже на основе своего богатого опыта специалист не может полностью оценить все без проведения дополнительного тестирования на реальных пользователях.

Не все так просто, если хочется результата».

Миф № 5. Автоматизированное тестирование? Нужно быть очень крутым программистом!

Алексей:

«Часто приходится слышать, что разработка автоматических тестов — это слишком сложно, нужно много кодировать, да и вообще проще вручную всё сделать… Да, разработка автотестов сложна и требует времени, не всегда целесообразна. Но вовсе необязательно знать десяток языков программирования и различных паттернов. Современные средства тестирования во многом сами помогают писать код для автотестов. Например, Selenium IDE в своей среде имеет экспериментальную возможность экспортировать записанный код в C#, Java и Python проекты. К тому же существуют конструкторы тестов и специальные нотации для них. Если совсем туго с программированием, то автотест можно написать в конструкторе JMeter (если забыть, что он для нагрузки, и использовать одного пользователя) или использовать автокликеры. Более совершенные методы — это использование MSC диаграмм.

Даже если тест невозможно формально автоматизировать полностью, можно попытаться автоматизировать хотя бы часть процесса, которая облегчит сбор данных для их последующего анализа. Так, например, идеальным решением было автоматизировать сбор записей с базы данных, которые требовали последующего эвристического анализа. Из-за особенностей сервиса обращаться к базе можно было только в определенные ночные часы. И автоматизация нас сильно выручила.

Не нужно забывать, что для написания автоматических тестов нужно быть, прежде всего, хорошим тестировщиком. А понимание алгоритмов и техническое образование помогут конструировать качественные автотесты, даже без отличного знания языков программирования».

Метки: интервью, тестирование