Si tratta di un’espressione derivata da “prendere in marrone”, considerata sinonimica, dato che castagna e marrone indicano entrambi il frutto del castagno.

Ma marrone ha anche altri significati, tra cui quello di “errore, sbaglio” e “azione sconsiderata, dannosa, inopportuna” o più semplicmeente “marachella, birbonata, scappatella”.

“Prendere in marrone”, oggi non più in uso, voleva dire cogliere qualcuno in errore e, per estensione, anche scoprire qualcuno in un luogo o in una situazione inappropriata.

È possibile inoltre un legame tra questi modi di dire e l’analogo “cogliere in fallo”, in quanto sia fallo sia marrone indicano gli organi genitali maschili ed è nota l’associazione popolare tra questi e la stupidità. – source –  focus.it

Che è confermata anche dal Dizionario Etimologico della Lingua Italiana di Cortellazzo-Zolli:

“La loc. recente cogliere in castagna è un caso di processo di irradiazione sinonimica della loc. cogliere in marrone, da marrone usato già nel sec. XVI nel sign. di ‘errore’; che poi marrone ‘errore’ e marrone ‘frutto’ siano due forme omofone, ma in realtà di orig. diversa, poco importa, giacché il parlante non poteva rendersene conto.”