Une fonction ne présenterait guère d'intérêt car elle ne se recalculerait pas quand on change le style de référence.
Il est plus simple d'exécuter quand on veut la macro :
VB:
Sub StyleReference()
Dim Num%, Txt$
Num = Application.ReferenceStyle
Txt = IIf(Num = 1, "A1", "R1C1")
MsgBox "Style " & Num & " - " & Txt 'pour tester
End Sub