Если вы хотите использовать векторные фигуры для создания выделения, необходимо перейти в режим Быстрой маски Q и создать нужную фигуру.

Не забудьте в панели параметров инструмента Произвольная фигура, выбрать настройку Пикселы. Выйдя из режима быстрой маски фигуры будут преобразованы в выделение.