Du kannst keine Grafik Engine ohne OpenGL oder DirectX schreiben. Es gibt aktuell 3 Apis, um die Grafikkarte anzusprechen:
- OpenGL (mit der OpenGL Shader Language --> GLSL)
- DirectX
- Vulkan (relativ neu)
Bzw. mit CUDA kann man außerdem noch Nvidia Grafikkarten ansprechen um komplexe Berechnungen z.B. für Simulationen zu berechnen.
Ohne diese Apis müsstest du, wie
@Flown bereits sagte, einen eigenen Treiber für die Grafikkarte schreiben. Und das wäre wohl mit Java eher nicht möglich.