Bardzo przedziwna tego przyczyna,
gdy ci pryk stary wiek wypomina.

Zaimek zwrotny "się" dotyczy wielu bezokoliczników, ale na pewno nie "swawolić". Przykłady? Proszę:

gapić się (jak cielę)
mylić się (gruntownie)
oddawać się (w uniesieniu)
wygłupić się (jak ta pensjonarka)

się zawieść (na kimś)
się zadurzyć (po uszy)
się przejechać (jak Zabłocki na mydle)
się rozstać (na zawsze)

Nigdy "się swawolić"/"swawolić się"

Głuchemu chleb na myśli

Bardzo dziękuję za komentarz, chociaż nie do końca zgadzam się z zarzutem. SJPPWN przewiduje 6 rodzajów użycia zaimka "się". Drugi z nich to właśnie "zaimek tworzący stronę zwrotną czasowników, wskazujący, że sprawca czynności jej jednocześnie jej odbiorcą lub nadający im odcień znaczeniowy wzajemności, wyrażając, że czynność jednego z jej sprawców skierowana jest na drugiego.
W tym konkretnym przypadku bezokolicznik "swawolić się" oznacza to samo, co "kochać się". Tylko ze względów estetycznych nie użyłem wulgarnego odpowiednika tej formy. Nie ma tutaj żadnego znaczenia, że zapis brzmi "się z nią swawolić", a nie "z nią się swawolić".
A ponadto nie jest prawdą, że zaimek "się" odnosi się wyłącznie do bezokoliczników. SJPPWN wyraźnie mówi o czasownikach.