U 287/99
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Streitig und zu prüfen ist einzig, ob das kantonale
Gericht die Helsana, die sich - was ihr die Vorinstanz auch nicht vorwirft - weder leichtsinnig noch mutwillig verhalten hatte, zur Bezahlung einer Gerichtsgebühr verpflichten durfte, weil es sich um einen Streit zwischen
Versicherern handle.
2.- a) Nach Art. 108 Abs. 1 lit. a UVG muss das Verfahren vor dem kantonalen Versicherungsgericht "für die
Parteien kostenlos sein; einer Partei, die sich leichtsinnig oder mutwillig verhält, können jedoch eine Spruchgebühr und die Verfahrenskosten auferlegt werden".
b) Der Wortlaut des Art. 108 Abs. 1 lit. a UVG spricht dafür, dass in einem kantonalen Gerichtsverfahren zwischen zwei Versicherern dem unterliegenden Versicherer ausser im
Falle leichtsinnigen oder mutwilligen Verhaltens keine Verfahrenskosten auferlegt werden dürfen; denn abgesehen von der Ausnahme des leichtsinnigen oder mutwilligen Verhaltens schreibt diese Bestimmung vorbehaltlos ein für "die Parteien"
kostenloses Verfahren vor.
c) Wie das Eidgenössische Versicherungsgericht in einem noch nicht in der Amtlichen Sammlung veröffentlichten
Urteil W. vom 4. Mai 2001, U 60/00, Erw. 2, ausführlich begründete, wird diese grammatikalische Auslegung durch die historische Auslegung bestätigt: Sowohl in der Botschaft des Bundesrates zum Bundesgesetz über die Unfallversicherung vom 18. August 1976 (BBl 1976 III 179) als auch in der parlamentarischen Debatte zu Art. 85 Abs. 2 AHVG (Amtl.
Bull. 1946 N 687 und 1946 S 439), an welchen das Unfallversicherungsrecht angeglichen werden sollte (BBl 1976 III
179), wurde als Ausnahme von der Kostenlosigkeit des kantonalen
Gerichtsverfahrens ausschliesslich das leichtsinnige oder mutwillige Verhalten einer Partei erwähnt. Auch wenn die Kostenfreiheit mit dem sozialen Motiv des Rechtsschutzbedürfnisses der Versicherten begründet wurde (vgl. [zum
AHVG] BBl 1946 II 517 und Amtl. Bull. 1946 N 687), ergibt sich aus den Materialien insbesondere nicht, dass der Gesetzgeber die Versicherer nicht von Kosten befreien wollte.
Es bestehen demnach keine triftigen Gründe dafür, dass der
Wortlaut des Art. 108 Abs. 1 lit. a UVG nicht den wahren
Sinn der Bestimmung wiedergeben könnte, sodass kein Anlass besteht, vom Gesetzeswortlaut abzuweichen (vgl. BGE 126 II 80 Erw. 6d, 126 III 104 Erw. 2c, 126 V 58 Erw. 3, 105
Erw. 3, je mit Hinweisen). Eine Auslegung von Art. 108
Abs. 1 lit. a UVG im Sinne der Vorinstanz verbietet sich schliesslich umso mehr, als aus den Materialien zum hinsichtlich der Kostenlosigkeit inhaltlich mit Art. 108
Abs. 1 lit. a UVG übereinstimmenden Art. 61 lit. a des noch nicht in Kraft getretenen Bundesgesetzes über den Allgemeinen
Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober
2000 (BBl 2000 5041 ff.) hervorgeht, dass der Gesetzgeber im kantonalen Beschwerdeverfahren weiterhin auch die
Versicherer bzw. Durchführungsstellen ausser bei Leichtsinnigkeit oder Mutwilligkeit in den Genuss der Kostenfreiheit kommen lassen wollte. Denn auch in der parlamentarischen
Debatte zum ATSG wurden lediglich diese Ausnahmen angeführt (Amtl. Bull. 1999 N 1248 f., 2000 S 184 f.; abgesehen von einem wieder zurückgezogenen Antrag im Nationalrat, mit dem die Abschaffung der Kostenlosigkeit des kantonalen
Beschwerdeverfahrens vorgeschlagen wurde [Amtl. Bull.
1999 N 1247 f. und 1249]), und in der ständerätlichen Kommission wurde unter Bezugnahme auf eine Stellungnahme des
Bundesamts für Sozialversicherung sogar ausdrücklich auf die Bedeutung des kostenlosen Verfahrens auch für die Versicherer hingewiesen (S. 21 des Protokolls über die Sitzung vom 6. September 1999).
d) Demnach ist es, wie das Eidgenössische Versicherungsgericht im erwähnten Urteil U 60/00, Erw. 2d/dd, festgestellt hat, nach Art. 108 Abs. 1 lit. a UVG unzulässig, in einem kantonalen Beschwerdeverfahren, in dem sich wie vorliegend zwei Versicherer gegenüberstehen, dem unterliegenden
Versicherer Verfahrenskosten bzw. eine Spruchgebühr aufzuerlegen, wenn sich dieser nicht leichtsinnig oder mutwillig verhalten hat. Folglich ist, da der im kantonalen
Prozess unterlegenen Helsana kein solches Verhalten vorzuwerfen ist, der vorinstanzliche Kostenentscheid aufzuheben.
3.- a) Das Verfahren vor dem Eidgenössischen Versicherungsgericht ist schon deshalb kostenpflichtig, weil es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen, sondern um die rein prozessuale Frage der
Auferlegung von Verfahrenskosten geht (Art. 134 OG e contrario).
b) Nach Art. 156 Abs. 1 OG (in Verbindung mit Art. 135
OG) werden die letztinstanzlichen Gerichtskosten in der
Regel der unterliegenden Partei auferlegt. Dabei sind die
Gerichtskosten grundsätzlich aufgrund der Anträge der
Beschwerde führenden Partei, gemessen am Ergebnis der
Anfechtung des vorinstanzlichen Entscheides - und somit ohne Rücksicht auf die Anträge der Gegenpartei - zu verlegen, auch wenn Letztere den vorinstanzlichen Entscheid nicht zu vertreten hat. So verliert die Gegenpartei dadurch, dass sie auf eine Vernehmlassung verzichtet, ihre
Parteistellung nicht und trägt grundsätzlich bis zum
Abschluss des Verfahrens das Prozess- und Kostenrisiko.
Auch ein Antrag auf Gutheissung der Verwaltungsgerichtsbeschwerde befreit die beschwerdegegnerische Partei grundsätzlich nicht vom Kostenrisiko (BGE 123 V 156, 159
Erw. 4b; vgl. AHI 1998 S. 191 Erw. 4).
c) Vorliegend hat die letztinstanzlich formell unterliegende
SWICA selbst die Gutheissung der Verwaltungsgerichtsbeschwerde beantragt. Auch wenn sie den vorinstanzlichen
Kostenentscheid nicht zu vertreten hat, sind ihr die
Gerichtskosten aufzuerlegen.
Demnach erkennt das Eidg. Versicherungsgericht:
I. In Gutheissung der Verwaltungsgerichtsbeschwerde wird
Dispositiv-Ziffer 2 des Entscheids des Versicherungsgerichts des Kantons St. Gallen vom 28. Mai 1999 aufgehoben.
II. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
III. Der geleistete Kostenvorschuss von Fr. 500.- wird der
Beschwerdeführerin zurückerstattet.
IV. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 16. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: