Как и чем самому вырезать круглое стекло диаметром 5 см. и толщиной в 3 мм. в домашних условиях?

Очень просто. Такая задача давно решена в любительском телескопостоении, там вырезают любые диски из стекла любой толщины с помощью трубчатого сверла нужного диаметра. Лучше конечно это делать на станке с хорошим шпинделем, который совсем не "бьёт" на маленьких оборотах, но если такой возможности нет, то делается в ручную. По периметру режущей кромки будущего трубчатого сверла делается два десятка не глубоких (1-1,5мм) пропилов, стекло кладётся на плоское деревянное основание, на котором прочно фиксируется. затем сверху стекла крепятся 4 деревянных рейки, которые создают в плане при пересечении квадрат, который и будет фиксировать трубчатое сверло. Сверху на "сверло" кладут груз в 1-3 килограмма, делают ручку, чтобы удобнее было его сверлить, а под само сверло подмазывают кашицу из смеси абразивного порошка и воды. Абразив можно купить или получить размачивая наждачную бумагу.

Более подробно процесс описан на сайтах телескопосторителей.

ЗЫ6 так же можно купить в строительном магазине алмазную коронку по керамике, ей тоже можно резать стекло.

Вначале Вам нужно определиться какие элементы Вам нужны, если и сам "круг" и стекло с отверстием, то лучше не использовать круговое сверло типа, "балеринка" так как оно оставит неглубокую вмятину по центру "круга".

В Вашем случае подойдет стеклорез-циркуль, вот так

Если остановитесь на стеклорезе-циркуле, то учитывайте какой минимальный диаметр оно режет.

Есть циркули с минимальным диаметром 60-70 и даже 100 мм., но есть и от 50 мм, это Ваш случай.

У стеклореза-циркуля есть мерная шкала (как на линейки, если проще).

Сам стеклорез масло-заполняемый (масляный, если так понятней), я обычно покупаю специальное масло для стеклорезов, оно не оставляет следов на стекле, лего убирается и оно не стекает со стекла.

Если такого масла нет, то можно "обычное" масло (моторное) разбавить керосином.

Дальше определяемся где именно будет отверстие, делаем разметку (можно маркером).

Если есть возможность, то лучше стекло уложить на горизонтальную ровную и жесткую поверхность, хотя и вертикально стеклорез-циркуль режет.

Стекло лучше помыть, просушить, если нужно то и обезжирить.

Далее устанавливаем присоску стеклореза-циркуля на центр сделанной разметки, на шкале установите Ваш размер (50 мм).

Далее проводим круговую линию, на стеклорез жмем, но без фанатизма, линий проводится один раз.

Все, убираем стеклорез-циркуль, и обстукиваем по линии реза снизу стекла, убираем круговой элемент, он также сохранится без изъянов как и само стекло.

Такие стеклорезы (но не все) так же имеют ограничения по толщине стекла есть стеклорезы-циркули способные работать со стеклом и в 3 мм толщиной (Ваш случай).

Есть остановитесь на алмазной коронке, то начальная подготовка такая же, стекло должно быть сухим, чистыми и обезжиренным.

Кольцевая пила (коронка) вставляется в дрель, обороты на дрели выставите минимально возможные.

Дрель держим под прямым углом и сильно не неё не давите, при сверлении коронку нужно охлаждать, можно и простой чистой водой.