Виды тестирования программного обеспечения

Прежде чем выпускать приложение, программу или сайт на широкую аудиторию, их нужно проверить на работоспособность, производительность, отсутствие ошибок. Этим занимаются тестировщики. Они проводят разные виды проверок, которые выбирают в зависимости от задач проекта. В этой статье рассказываем о тестировании ПО, его фазах, типах и обязанностях QC- и QA-инженеров.

Тестирование программного обеспечения — это вид проверки, которую проводят перед официальным выпуском продукта. Она нужна, чтобы понять, насколько готовый продукт соответствует требованиям заказчика, удостовериться в качестве ПО, и найти технические ошибки.

Тестирование — это также метод получить обратную связь от людей, не связанных с разработкой программного обеспечения. Будущие пользователи могут объективно оценить удобство и функциональность программы, приложения или сайта и рассказать, что их не устраивает. Бизнесу необходимо тестирование, чтобы его продукт удовлетворял пользователей.

Важно понимать, что ошибки возникают во время разработки любого ПО. При этом конечные пользователи не должны с ними сталкиваться: они хотят получить сайт или приложение, которые будут быстро грузиться и с которыми будет удобно работать. Если с этим возникают проблемы, пользователи выбирают другой сайт или приложение. Чтобы это не происходило, перед релизом любого продукта проводят тестирование.

С разными типами тестирования работают QC- или QA-инженеры.

• QC-инженер (quality control) — специалист, который занимается контролем качества разрабатываемого продукта. Он работает с готовой программой или приложением. Может сам составить чек-лист для тестирования программного обеспечения по техническому заданию от аналитика или проанализировать причину ошибок.
• QA-инженер (quality assurance) — специалист, который помогает выпускать качественный продукт. Сфера его деятельности схожа со сферой деятельности QC, но охватывает больше обязанностей. QA работает на всех этапах разработки продукта и выполняет большую часть тестов. В другой статье мы рассказали, как QA-инженеры тестируют системы в OrbitSoft.

QA-инженер занимается не только тестированием. Он может присоединяться к проекту еще на этапе планирования и подготовки требований к программистам и помогать после выпуска программного обеспечения — например, искать причины ошибок, с которыми пользователи обращаются в службу поддержки. QA работает со сложной архитектурой, где важно проводить много типов тестов на бэкенде. Он также может руководить отделом качества.

Бизнесу не всегда нужны именно QA-инженеры. Некоторым продуктам хватает компетенций QC-инженера — например, если функций мало и они несложные или сервису нужны частые обновления. QC тоже может работать и с небольшими блогами, и с крупными интернет-магазинами в зависимости от профессионального уровня: junior или middle.

Подробнее о различиях в навыках и ключевых функциях специалистов по качеству мы рассказали в статье «Тестировщики, QC и QA — в чем разница».

Алгоритм тестирования зависит от проекта. Тестировщик обычно проходит пять этапов оценки системы:

1. Анализирует требования и составляет документацию. Тестировщик присоединяется к проекту, когда процесс разработки закончен. Он изучает требования к продукту, анализирует их, определяет возможные сложности и риски.

Он также составляет три документа, которые описывают весь процесс тестирования:

1. Тестовый план — пишется по техническому заданию от аналитика и описывает стратегии и сроки тестирования, а также функции, которые должен проверить тестировщик;
2. Чек-листы — списки проверок, которые проведут во время тестирования;
3. Тест-кейсы — содержат подробное описание шагов, которые тестировщик выполняет во время проверки системы по чек-листу.

Пример чек-листов для проверки функций сервиса

2. Настраивает тестовое окружение. Тестировщик создает прототип или копию программы на своем компьютере. В тестовую среду уже добавлены изменения, которых нет в рабочей версии кода и которые нужно протестировать.

3. Тестирует функции. Тестировщик сверяется с техническим заданием и проверяет, что все необходимые функции ему соответствуют и работают правильно — выполняют свои задачи в разных условиях и при разных наборах данных. На этом же шаге проверяет, насколько ПО удобно использовать и хорошо ли работает пользовательский интерфейс.

Список всех возникающих во время тестирования ошибок тестировщик передает разработчикам на исправление.

4. Проводит повторную проверку. Основная суть повторного тестирования — убедиться, что выявленные на предыдущем этапе баги устранены.

5. Осуществляет приемочное тестирование. Это финальный вид тестирования, и его проводят перед официальным релизом продукта. При помощи этого метода тестирования проверяют, что работа ПО соответствует требованиям заказчика. Например, что приложение можно установить на разные гаджеты. Также на этом этапе тестирования можно провести проверку системы на оборудовании клиента.

Когда проверяют ПО, используют различные виды тестирования. Конкретный тип зависит от этапа работы, требований к ПО и исходных целей проекта. Например, на начальных этапах разработки часто применяется метод модульного тестирования для проверки отдельных компонентов программы, а на более поздних этапах интеграционного тестирования — для проверки взаимодействия между компонентами и интеграции с другим ПО.

Выбор типа тестирования по доступу к коду зависит от того, насколько хорошо тестировщик знает внутреннюю структуру ПО.

Методом черного ящика называют вид тестирования, когда тестировщик не знаком с кодом и работает только с интерфейсом, тестируемого ПО. Такая проверка помогает узнать, как система взаимодействует с пользователями программного обеспечения.

Пример тестирования черного ящика — проверка процесса оформления заказа в интернет-магазине. Тестировщик не смотрит код, он проверяет взаимодействие с интерфейсом: что товар добавляется в корзину, а она отображает правильное количество продуктов, система корректно обрабатывает оплату и отправляет подтверждение с верной информацией о заказе.

Тестирование белого ящика — метод, который применяется, когда специалист имеет полный доступ к коду. В этом случае он изучает внутреннее устройство ПО и определяет, правильно ли оно функционирует. Например, изучает код, который отвечает за поля ввода на странице, и вводит все предусмотренные и непредусмотренные запросы пользователей. После — смотрит, насколько фактический результат соответствует ожиданиям.

Такой метод помогает детально рассмотреть работу системы, а также определить и исправить возможные ошибки.

Метод «серого ящика». Эта техника тестирования применяется, когда существует частичный доступ к коду. Она комбинирует методы белого и черного ящиков. Такой подход позволяет полнее проверить ПО — протестировать и его интерфейс, и эффективность работы программы со стороны кода.

При ручном виде тестирования специалист по качеству проверяет программное обеспечение вручную. Он выполняет действия, которые мог бы совершить обычный пользователь, например вводит данные в форму обратной связи.

Ручной метод тестирования эффективен, когда нужно проверить нестандартные сценарии или оценить удобство использования системы. Автоматизированный тип тестирования под такие задачи не заточен.

Автоматизированный тип — метод тестирования, при котором используются специальные инструменты, выполняющие проверку без участия человека. Для этого тестировщик пишет специальный тест-сценарий, например код на JavaScript. В сценарии отражаются возможные действия пользователя.

Автоматизированный вид тестирования подходит для проверки производительности или функциональности программного обеспечения. Он позволяет провести много одинаковых тестов и полезен, когда нужно работать с большими объемами данных.

Преимущества автоматизированного метода тестирования:

• ускоряет процесс проверки системы;
• экономит время и освобождает человеческие ресурсы;
• избавляет работников от рутинных тестов;
• дает возможность тестировать большие объемы данных.

По методу позитивных сценариев тестируют, как программное обеспечение работает в нормальных условиях. Например, пользователь хочет зайти в личный кабинет на сайте. Он вводит свои данные, и страница пускает его дальше. Это означает, что сайт правильно обработал запрос.

Тестирование по негативному сценарии. В этом случае проверяют, как программа или приложение работает в необычных или негативных ситуациях. Например, пользователь должен ввести свою дату рождения в формате «дд.мм.гг». Если тестируемая система выдает ошибку, когда в поле ввода появляется буква или специальный символ, значит, программное обеспечение правильно обрабатывает некорректные или необычные данные.

Данный тип делит проверки в зависимости от того, в каком режиме проверяют программу: в работающем или неработающем.

Статический тип тестирования проводят, когда программа не запущена. Тестировщик проверяет не саму работу программного обеспечения, а, например, синтаксис кода.Динамический вид тестирования выполняется после запуска программы. Специалист проверяет код и то, как работает программное обеспечение.

Функциональное тестирование — тип тестирования, при котором проверяется поведение программы — выполняет ли ПО функции, описанные в требованиях от заказчика. Например, может ли программа делать скриншоты. Тестировщик пробует варианты работы с ПО и проверяет, выдает ли программа ожидаемый результат или нет.

Нефункциональное — вид тестирования, при котором проверяются объекты, не относящиеся к функциям программного обеспечения, например:

• удобство внешнего интерфейса;
• надежность системы;
• уязвимость системы при попытках взлома;
• производительность программы;
• обновляется ли она самостоятельно;
• уровень нагрузки, при котором системы работает корректно.

Дымовой метод используют, когда программное обеспечение прошло этап программирования и собрано. Его цель — подтвердить, что программу можно успешно запустить и она выполняет базовые функции.

Методом критического пути проверяют основные функции, которые используют пользователи.

Расширенный метод представляет собой тип тестирования, при котором проверяются все функции, перечисленные в функциональных требованиях. По уровню детализации приложения

Модульный тип тестирования проводят разработчики программного обеспечения, потому что для него требуется полный доступ к коду. Они проверяют каждый модуль, то есть отдельную часть приложения. Например, работает ли функция «добавить в корзину» в интернет-магазине.

Интеграционный метод направлен на проверку того, корректно ли взаимодействуют несколько связанных между собой модулей. Например, можно ли добавить товар в корзину, а потом изменить его количество.

Системный вид тестов предназначен для проверки всей системы целиком. Например, может ли пользователь выбрать товар в интернет-магазине, указать нужный размер, добавить товар в корзину и оплатить его, получает ли он подтверждение, что заказ оформлен.

При приемочном типе тестирования проверяется соответствие ПО потребностям и требованиям пользователя. При использовании этого метода тесты проводят именно те люди, для которых разработана программа или приложение. Например, графические дизайнеры проверяют приложения для графических дизайнеров, а слабослышащие люди — для слабослышащих.

Альфа-тестирование проводят разработчики или тестировщики после завершения программирования и перед официальным выпуском программного обеспечения. Это нужно, чтобы выявить ошибки до того, как конечный пользователь столкнется с ними.

Бета-тестирование проводят пользователи. Программное обеспечение дают попробовать ограниченному кругу людей, чтобы они могли дать обратную связь или обратить внимание разработчиков на ошибки и проблемы в работе программы. Выводы

Различные методы тестирования позволяют проверить, как работает ПО, перед его официальным релизом. Это необходимо, чтобы убедиться в качестве продукта, от которого зависит лояльность клиентов.

Тестирование состоит из нескольких этапов:

• анализа требований;
• составления документации;
• тестирования дымового типа;
• тестирования функционального типа;
• исправления ошибок;
• тестирования приемочного типа.

Тестированием занимаются специалисты по качеству — QC- и QA-инженеры. QC работает с уже собранным ПО, а QA сопровождает продукт от начала работы над ним до помощи техподдержке при обращениях пользователей.

Тесты, которые выполняют тестировщики, можно разделить на множество видов: по доступу к коду, автоматизации процесса, уровню детализации, по объектам и другим критериям.