Όταν τα διεθνή πολιτικά γεγονότα οδήγησαν την Τουρκία σε συμμαχία με τη Μεγάλη Βρετανία εναντίον της Γαλλίας, ο Έλγιν άδραξε την ευκαιρία για να ωφεληθεί προσωπικά και ν’ αποκτήσει μία τεράστια συλλογή από αρχαιότητες.

Το 1801 κατόρθωσε να αποσπάσει επιστολή από τον καϊμακάμη Σεγούτ Αβδουλάχ, που εκείνη την περίοδο αντικαθιστούσε τον Μεγάλο Βεζύρη στην Κωνσταντινούπολη, με την οποία προέτρεπε τις οθωμανικές αρχές στην Αθήνα να επιτρέψουν στους ανθρώπους του να ενεργήσουν ανασκαφές γύρω από την Ακρόπολη, υπό τον όρο να μην προξενήσει ζημιές στα μνημεία.

Από το 1801 έως το 1804 τα συνεργεία του Έλγιν δρούσαν στην Ακρόπολη, προκαλώντας σημαντικές ζημίες στα γλυπτά και το ίδιο το μνημείο, αποσπώντας και διαμελίζοντας ένα σημαντικό μέρος (περίπου το ήμισυ) από το σωζόμενο γλυπτό διάκοσμο του Παρθενώνα, μαζί με ορισμένα αρχιτεκτονικά μέλη, όπως ένα κιονόκρανο κι ένα σπόνδυλο από κίονα. Οι αφαιρούμενες αρχαιότητες συσκευάζονταν σε κιβώτια και μεταφέρονταν δια θαλάσσης στην Αγγλία.

Το 1802 φορτώθηκαν τα πρώτα 12 κιβώτια στο ιδιόκτητο ιστιοφόρο του Έλγιν «Μέντωρ», το πλοίο, όμως, βυθίστηκε στον Αβλέμονα των Κυθήρων και χρειάστηκαν δύο χρόνια για την ανέλκυσή τους.

Το 1803 επιστρέφοντας στην Αγγλία κρατήθηκε αιχμάλωτος στη Γαλλία, όταν παραβιάστηκε η συνθήκη της Αμιένης, και μόλις το 1806 επέστρεψε στην πατρίδα του, όπου ήδη είχε γίνει αντικείμενο κριτικής από διακεκριμένους συμπατριώτες του (Ντότγουελ, Ντάγκλας, Κλαρκ, Σμιθ, Χόμπχαουζ) για τη μεταφορά των ελληνικών γλυπτών στην Αγγλία.

Τον κατηγόρησαν ως κοινό κλέφτη και βάνδαλο, που με αθέμιτα μέσα (δωροδοκίες κλπ) λήστεψε σεβαστά μνημεία του πολιτισμού για ίδιον όφελος.

Όμως, είχε χάσει την περιουσία του, εξαιτίας των τεράστιων ποσών που δαπάνησε για τα συνεργεία του, τη μεταφορά των γλυπτών και τις δωροδοκίες των Τούρκων αξιωματούχων, κι έτσι το 1816 αναγκάστηκε να πουλήσει μισοτιμής τη συλλογή του με τα «Μάρμαρα του Παρθενώνα» στο Βρετανικό Μουσείο, όπου βρίσκονται μέχρι σήμερα.