Han hade, till och med skickat en check på tio pund till en framtida vinnare av spelen i Aten, men grekerna var inte särskilt intresserade.
"Doktor Brookes, stor vän av Grekland, vill gärna se en olympisk festival i Aten", skrev den grekiska tidningen Cli i en artikl 1881.
Inget hände.
Inget hände förrän OS-fadern själv, Pierre de Coubertain, kom till spelen i Wenlock, som höll till hans ära i oktober 1890.
Han bodde hemma hos doktorn och lät sig svepas in i den olympiska känslan och rörelsen. De fem dagarna, som avslutades med just den här middagen, var början på något, som absolut ingen kunde tro och så inspirerad av besöket ville han ta med sig idén ut i världen.
"Om de olympiska spelen, som det moderna Grekland inte lyckats få liv i igen, överlever är det inte tack vare en grek utan tack vare doktor WP Brookes", skrev de Coubertain, när han kom hem från mötet i England.
Det regnar engelskt över Linden Field, dit man når halvvägs på det olympiska spåret genom den lilla byn. Där spelar några fotboll, andra tränar landhockey på den nya planen och lite längre bort - i skuggan av ruinerna av en kvarn, som träffades av blixten just det magiska året 1850, rastar ett ädre par en hund. Det skulle egentligen kunna vara vilket fält som helst, men en silverfärgad statyett med en jordglob och en olympisk fackla i en hörn ger en annan bild.
Texten ger svaret.
"Dr William Penny Brookes 1809-1895.
His imagniation a worldwide inspiration (hans vision hela världens inspiration)."
Det var alltså här de moderna olympiska spelen föddes.
Det här är den olympiska vaggan.
De första spelen arrangerades redan 1850 med doktor Penny Brooks tydliga önskan och vilja.
"Spelen är för att stödja den moraliska, fysiska och intellektuella utvecklingen hos invånarna - särskilt hos arbetarklassen", förklarade han vid ett möte på The Gaskell Arms, som är ett gammalt värdshus från 1700-talet.
The Gaskell Arms är en av stadens två pubar, som också är hotell. Två av sviterna bär, förstås, Penny Brookes och de Coubertins namn och ger en vink om historien i Much Wenlock, som är så fjärran OS-bubblan, stressen och jakten på framgång och medaljer i London 2012 man kan komma.
Hela byn är ett avsnitt av Hem till gården eller Morden i Midsomer, där man bara väntar på att kommissarie Barnaby med sergeant Troy strax bakom ska komma ut från den lokala polisstationen rakt över gatan från värdshuset. Vackra korsvirkeshus, små gränder, ett bibliotek, en grönsaksmarknad med hundraåriga traditioner, en kyrka från 1100-talet och rådhus från tidigt 1500-tal kantar vägen ner till torget i slutet av High Street och början på Sheinton Street.
Där ligger muséet.
- Det har varit en alldeles galen vår. Vi har säkert haft över 10 000 besökare bara de senaste månaderna. Det är mycket, väldigt mycket, för oss, säger värdinnan Sue Tipper med ett lite trött leende.
- De här lokalerna invigdes först i april. Vi hade bara ett lite bord och en skylt i biblioteket tidigare. Det hade aldrig fungerat.
Much Wenlock har aldrig tidigare gjort någon större sak av sin historia.
Både drottning Elizbeth II och gamle SOK-presidenten Juan Antonio Samaranch har varit här och hedrat William Penny-Brookes minne, där han ligger begravd tillsammans med sin hustru på Holy Trinity Churchs kyrkogård, men invånarna har valt en låg profil.
Så kom det verkliga lyftet, när trestegslegendaren Jonathan Edwards, som också är president för det olympiska sällskapet i Wenlock avslöjade att en av OS-maskotarna skulle heta Wenlock. I muséet hänger också ett tackbrev från Londons OS-general Sir Sebastian Coe.
Där startar också Olympic Trail - ett 2 100 meter långt promenadspår som är utmärkt i gatan genom medaljer - stora som gatlock - med stopp vid alla historiska platser. En enkel karta är en utmärkt guide längs vägen, som också går förbi det gamla stationshuset och den nedlagda järnvägen. Du stannar också vid just hotellet, där mötet ägde rum.
Om väggar kunde tala hade de, över en lokalt bryggd bitter, kunnat berätta om hur de Coubertin inte bara inspirerat av idén utan hur han också tog med sig inmarschen av deltagarna innan tävlingarna, medaljceremonin och OS-medaljen, tillverkad av drottning Victorias juvelerare, med en bild av segergudinnan Nike på ena sidan som den har än i dag.
Wenlocks 126:e spel avslutades bara veckan före invigningen av London 2012. De är, tack och lov, fortfarande en lokal företeelse på gräsrotsnivå för traktens invånare - med ett och annat internationellt inslag tack vare studenter från när och fjärran.
I år vann fyra elever från Lillehammar silver i volleyboll. Intresset var riktigt, riktigt stort.
- Vi hade säkert dubbelt så många besökare än vi brukar ha under spelen. Det måste vara tack vare 2012, säger Theresa Dawley på The Gaskell Arms.
I denna olympiska sannsaga överträffar verkligheten i bland dikten.
...som den när då 10-åriga bågskytten Alison Williamson tog silver i Wenlocks för att 2004 ta ett brons i det "riktiga" OS. Hon är även med i London i år.
...som den när Harry Langley 1923 vann den tuffa femkampen på Linden Field, som självklart är ett av stoppen på Olympic Trail och året därpå var med i tresteg vid OS i Paris
Den 6 april 1896 invigdes de första moderna olympiska spelen i Aten av kung George I av Grekland. 246 män, inga kvinnor, från 14 nationer var med. Doktor William Penny-Brookes fick dock aldrig själv uppleva denna dag. Han avled fyra månader tidigare, den 11 december 1895, 87 år gammal.
Hans arv lever vidare genom de årliga spelen på Linden Field, London 2012 och OS-maskoten Wenlock.
- William Penny Brooke skapade inte de moderna olympiska spelen, men han var en inspiratör, säger arkivarien Chris Cannon i det lokala olympiska sällskapet.