eine Differentialgleichung...

[Hamilton]

Nicht jede DGL muss eine analytische Lösung haben.
Außerdem gewinnt man über die Lösung nicht immer interessante Informationen.

In diesem Fall würde ich mal ganz einfach die Fixpunkte ausrechnen:
y' = tan(xy) = 0
aha, also Stillstand für xy= n Pi
Ok, jetzt muss noch mal gecheckt werden, welche FPs stabil sind und welche nicht. Also gucken, wo y' > 0 und wo <0 in der Nähe des FPs. Die Dinger, wo das System drauf zu läuft sind stabil, die anderen nicht.
Bei tan(z) sind die jeweils abwechselnd stabil.

Bei dieser Art DGL in erster Ordnung in der Zeit (wenn ich mal x als Zeit interpretiere) muss das System auf einen Fixpunkt laufen.

Nur frage ich mich was das soll?
Was ist das für ein Modell y'=tan(xy) ?
Hast Du dir das ausgedacht?

Achja, man könnte, um eine "richtige" Lösung zu finden das Ding fouriertransformieren, dann wird y' zu "ik F(k)" oder "iω F(ω)" und die rechte Seite überlass ich Zg.
Dann kann man versuchen das Teil algebraisch zu lösen und wieder zurück zu transformieren.