Это не в последнюю очередь зависит от используемого вами SDR. Например для LimeSDR есть библиотека pyLMS7002M https://myriadrf.org/news/limesdr-made-simple-part-9-vna/
Большинство SDR могут быть использованы из GNU Radio, где обычно программа визуально собирается из блоков, но каждый отдельный блок может быть написан на Python.
Проект SoapySDR является слоем абстракции над существующими SDR, предоставляет для них общий интерфейс (и это не всегда так хорошо как может показаться). Существуют байндинги к Python https://github.com/pothosware/SoapySDR/wiki/PythonSupport
Matlab никогда не пользовался, по нему ничего не смогу подсказать к сожалению. Существует открытая альтернатива, Octave - попробуйте поискать в google что-нибудь вроде "octave sdr" или "octave (ваше устройство)". В целом по моим наблюдениям в мире SDR предпочитают открытые решения.
