Ο Τζο Τέιλορ γεννήθηκε στο Σίδνεϊ το 1908 από τον Έντμουντ Μπάρτον Τέιλορ, ο οποίος κέρδισε τη θητεία του ως κελάρχης ξενοδοχείου, και τη Νόρα Κάθριν Κιλαλέα.
Ο Τέιλορ άρχισε να ασχολείται με την πυγμαχία ως νεαρός άνδρας, έπαιξε πρωτάθλημα ράγκμπι και συμπλήρωσε ως αφίσα λογαριασμού πριν προχωρήσει στη διοίκηση των μπόξερ και των ομάδων του Ράγκμπι Λιγκ.
Το 1932, παντρεύτηκε την Edith Anne May Johnson στην καθολική εκκλησία του St. Pius στο Enmore. Αυτή η ένωση διήρκεσε για 8 χρόνια, δημιουργώντας έναν γιο πριν από το διαζύγιο το 1944. Εάν του ζητηθεί σε αυτό το στάδιο, θα διεκδικούσε τα επαγγέλματα του στοιχηματιστή και του ναυπηγού.
Λιγότερο από ένα μήνα μετά, παντρεύτηκε ξανά την Elizabeth Watson. Αυτή η κυρία έκανε δύο κόρες πριν πεθάνει και άφησε τον Τέιλορ χήρα.
Το πάθος του Τέιλορ στη ζωή ήταν ο τζόγος και εκείνα τα πρώτα χρόνια τον έβλεπαν συχνά να αφήνει τους μισθούς του για την εβδομάδα στην πίστα.
Η περίοδος του Β’ Παγκοσμίου Πολέμου είχε τον Τέιλορ να εμπλακεί με το σχολείο του Thommo’s two-up, ουσιαστικά μια σειρά παράνομων παιχνιδιών με χαρτιά που ξεκίνησε από τον George Guest το 1910 και λειτούργησε για πολλά χρόνια στο Σίδνεϊ. Ο Taylor το συμπλήρωσε με μερικές σχολές μπακαρά.
Ο Taylor επανέφερε στη ζωή το Rose’s Restaurant το 1949, βαφτίζοντάς το Celebrity Restaurant Club. Ήταν εξαιρετικά δημοφιλές με το σετ αγώνων, ειδικά κατά τη διάρκεια των δεκαετιών του ’50 και του ’60, και παρουσίαζε ψυχαγωγία στο επάνω ράφι που εισήχθη, μεταξύ άλλων, από την Αμερική.
Το 1954, επεκτάθηκε ανοίγοντας το Carlisle Club στο Kings Cross, το οποίο επίσης αποδείχθηκε επιτυχία. Η ιστορία αναφέρει ότι υπήρχαν παράνομες εγκαταστάσεις τυχερών παιχνιδιών στις εγκαταστάσεις των κλαμπ του, αλλά μια αισιόδοξη προοπτική θα έδειχνε ότι αυτή ήταν απλώς μια περίπτωση μιας επιχείρησης που προσπαθεί να ευχαριστήσει την πελατεία της. Την ίδια χρονιά, ανέλαβε τον έλεγχο του Thommo μετά τον θάνατο του George Guest.
Ως παίκτης, ο Τέιλορ στοιχηματίζει με το αγαπημένο εμπόρευμα όλων: Μετρητά. Χρησιμοποίησε τους υπαλλήλους του ως πράκτορες για να τοποθετήσει τα στοιχήματά του και γνώρισε σημαντική επιτυχία στα δικά του άλογα σε βαθμό που άλλοι μπουκ άνοιξαν τα άλογά του πιο χαμηλά. Αυτό δεν εμπόδισε τον Taylor από το να πραγματοποιήσει κέρδη, ωστόσο, και ο Taylor ήταν δικός του άνθρωπος όταν προέκυψε το θέμα της αγοράς αλόγων.
Αξιοσημείωτοι εκπαιδευτές που του ετοίμασαν τα άλογα του Τέιλορ ήταν ο Ρεγκ Φάρις, ανώτερος και νεώτερος, καθώς και ο Άλμπερτ Γουντς και ο Κέβιν Χέις.
Ο Τέιλορ έπαιζε χαρτιά και πόνταρε και στους λιγούρες των πιάτων. Θεωρούνταν ένας «θαυμάσιος, αν και απίθανος», τζογαδόρος και είχε τη μοναδική στάση ότι «τα χρήματα δεν είναι παρά πυρομαχικά στοιχήματος» και ήταν περισσότερο πηγή ευχαρίστησης παρά αυτοσκοπός. Ο Big Bill Waterhouse φέρεται να είπε ότι ο Taylor ήταν «ένας από τους λίγους άντρες στον κόσμο που δεν δίνει δεκάρα για τα χρήματα».
Πουθενά αυτή η στάση δεν ήταν πιο εμφανής από την ημέρα που ο Taylor γνώρισε τον μεγαλύτερο αγωνιστικό του θρίαμβο, μια νίκη του STC Golden Slipper Stakes το 1962 για την κάρτα γενεθλίων του αλόγου. Λέγεται ότι έδωσε τα περισσότερα από τα κέρδη του, χιλιάδες στην πραγματικότητα, στους συντρόφους του, και έχασε τα υπόλοιπα όταν ένα άλλο από τα άλογά του τερμάτισε νεκρό τελευταίο στην τελευταία κούρσα της ημέρας.
Ένας σύγχρονος Ρομπέν των Δασών όπως ο Τέιλορ είναι συχνά γνωστός από την εταιρεία που διατηρεί και ο Τέιλορ απολάμβανε κάποια φήμη λόγω της σχέσης του με προσωπικότητες όπως ο Τζακ Ντέιβι και ο πρωθυπουργός της πολιτείας Σερ Ρόμπερτ Άσκιν. Συνδέθηκε επίσης με τον Ezra Norton, εκδότη της Sydney Daily Mirror και ιδιοκτήτη του νικητή του Κυπέλλου Μελβούρνης το 1957 Straight Draw.
Λιγότερο αλμυρές, ίσως, γνωριμίες περιελάμβαναν συναδέλφους από την κοινότητα του παράνομου τζόγου, δηλαδή τους Len McPherson, Fred Anderson και Perce Galea.
Ο Τέιλορ φαινόταν επίσης να έχει διασυνδέσεις με το κατεστημένο της επιβολής του νόμου, επειδή οι αστυνομικές επιδρομές που είχαν σχεδιαστεί για να ανατρέψουν τις παράνομες επιχειρήσεις τζόγου δεν φάνηκαν ποτέ αρκετά αποτελεσματικές για το κλείσιμο του καταστήματος.
Το 1971, σε ηλικία 63 ετών, ο Taylor παντρεύτηκε για τρίτη φορά, παντρεύτηκε μια 46χρονη γραμματέα, την Patricia Moffit, αναφέροντας το επάγγελμά του ως εστιάτορα. Πέντε χρόνια αργότερα, πέθανε από καρδιακή προσβολή. Του έμεινε ο γιος από τον πρώτο του γάμο και οι κόρες από τον δεύτερο.
Η κληρονομιά του Taylor στο άθλημα του punting θα είναι για πάντα ότι ήξερε τα άλογά του, τίμησε τα χρέη του, έκανε μετρητά και το πιο σημαντικό, το έκανε με μεγάλο στυλ και λίγους εχθρούς.