Откройте изображение в редакторе Gimp, Создайте Новый слой и залейте его черным цветом назовите его с1
Выделите прямоугольную область на слое с1

Переходим в меню Выделение -> Исказить и ставим настройки как на скрине выше. Это опция отвечает за искажение выделения. Ваша задача проследить, чтоб выделение не соприкасалось с рамкой фотографии. Если не получиться сразу и воспользуйтесь отменой и повторите Искажение.

Залейте выделенную область белым цветом и снимите (удалите) выделение (перейдите в Выделение/Снять выделение.)

Теперь заходим в Фильтры -> Размытие -> Гауссово размывание.

Создайте копию слоя С1 и переименуйте ее в С2
И перейдите в фильтр Выделение края -> Край

Теперь перейдите в Фильтр -> Улучшить -> Повысить резкость

Скройте слой С2 (нажав иконку глаза рядом с ним) и активируйте слой С1 

Работа со слоем С1. Переходим в Фильтр -> Карта -> Рельеф. Выберите в качестве карты слой С2

Теперь переходим в Цвет -> Цвет в альфа-канал и выбираем цвет белый. Вуаля пол дела готовоа.Рамка у вас должна быть еще черная.