"Query" и другие помощники тестирования с помощью Calabash.

Фреймворк Calabash ( о нем я вкратце рассказывала ранее), как и ожидалось оказался очень удобным инструментом для тестирования мобильных приложений. Работая в связке с Cucumber он помогает писать понятные и полезные тесты. Единственной сложностью, с которой я столкнулась при тестировании IOS приложения, был поиск элементов, необходимых для выполнения шагов.

 Большим помощником в этой ситуации стал метод Calabash iOS Ruby API “query”. Этот метод позволяет при помощи консоли отобразить все элементы UI находящиеся на экране вашего приложения.

JMeter: распределенное нагрузочное тестирование

     Часто в процессе нагрузочного тестирования тестировщик упирается в то, что ресурсы его компьютера и/или сетевого соединения не позволяют создать требуемую нагрузку на тестируемое приложение. Можно пойти по пути увеличения производительности нагрузочного клиента и сети, а можно использовать возможности по распределенному нагрузочному тестированию, которые JMeter предоставляет из коробки.

JMeter: мониторим нагрузку тестируемого сервера

     При выполнении нагрузочного тестирования необходимо помнить, что кроме снятия внешних показателей - количество запросов в секунду, скорости отдачи данных, объема данных etc - очень важно собирать показатели загрузки тестируемого сервера. Это может быть что угодно - начиная от загрузки процессора и заканчивая количеством файлов, которые открыты конкретным процессом.

Selenium Grid with Jenkins - хороший тандем для параллели тестов

Все кто занимается автоматическим тестированием, в частности написанием тестов, рано или поздно сталкиваются с одной и той же проблемой известной всем - ВРЕМЯ. Время, затраченное на прохождение всех тестов. Оно растет прямопропорционально с количеством написанных сценариев и никаким образом не хочет уменьшатся. Количество тестов растет - хорошо. Покрываем все больше и больше написаных фич. Время растет - плохо. Разработчики перестают прогонять тесты после изменения кода, ссылаясь на нехватку времени (и их можно понять). Оттого и получаем: и тесты есть и багов полно, которые могли быть выявлены этими самыми тестами. Данная участь коснулась и нашу команду.

Jenkins, как инструмент для запуска тестов

Настало время нам познакомится с Jenkins’ом. Использовать его будем в качестве автоматического прогона тестов на удаленном сервере. Так как надоело использовать свою рабочую машину и ждать, когда же они наконец-то пройдут… Или упадут.

Введение в Calabash

В процессе углубления в изучении тестирования мобильных приложений у меня возникло желание изучить автоматизацию тестирования данного типа приложений.

Мобильные приложения имеют ряд особенностей, которые не позволяют использовать для тестирования обычные инструменты. Для изучения был выбран фреймворк Calabash.

JMeter: читаем CSV с помощью BeanShell

Когда заходит речь о чтении данных из CSV-файла для использования их в нагрузочных тестах на JMeter, то первая рекомендация - CSV Data Set Config. Для большинства сценариев его хватает и он работает ожидаемо и без ошибок. Однако, в некоторых специфических случаях его поведение оказалось для меня непредсказуемым и стоило мне нескольких часов отладки.  В отладке сценариев JMeter незаменимый инструмент это Debug Sampler. Он помог мне выявить проблему - при последовательном чтении нескольких файлов с именами вида <filename>_N.csv, где N меняется от 1 до 5 (для примера) CSV Data Set Config вёл себя непредсказуемо. Если быть конкретным, то при работе CSV Data Set Config во вложенных Loop/While Controller некорректно формировалось имя следуюшего файла и были проблемы с определением момента окончания чтения файла текущего. Поиски в Google не дали результатов - все примеры были с более простыми сценариями. В результате пришлось написать свою реализацию чтения данных из CSV на BeanShell.