class ModalFrame extends JFrame {
...
setLayeredPane(JLayeredPane.MODAL_LAYER);
}

...
[Example]
JFrame frame = new JFrame();
ModalFrame mFrame = new ModalFrame();

frame.setSize(640, 480);
frame.setLocation(100, 100);
mFrame.setSize(320, 200);
mFrame.setLocation(110, 100);

mFrame.setVisible(true);
frame.setVisible(true);

~~~

z-oreintetion selected from list property by JLayeredPane.* component.

Experimentating!!!

~~~

С Уважением Виктор Туляков.