Koestler askenázi zsidó családból származott. Amikor elérte tizennegyedik évét, nagyiparos apja a családot Budapestről Bécsbe költöztette. Később Koestler beiratkozott a bécsi egyetem pszichológiai és elektromérnöki szakára, de tanulmányait nem fejezte be. Egyetemi évei alatt kapcsolatba került a cionista mozgalommal, és ennek hatására 1926-ban Palesztinába települt. Itt – egy évnyi sodródás után – újságírói állást kapott a németországi Ullstein-lapkiadó közel-keleti tudósítójaként. Jeruzsálem után Párizsba, majd Berlinbe helyezték át.

1931 decemberében belépett a németországi kommunista pártba, majd a következő évben tapasztalatszerzés céljából a Szovjetunióba emigrált. 1932 és 1933 között utazásokat tett a Kaukázusban és Közép-Ázsiában. Utazásai eredményeképpen, a Szovjetunió valós állapota és a szovjet propaganda közötti ellentmondás miatt hite a kommunista mozgalomban megdőlt, majd az 1936-ban kezdődő tisztogatások miatt a kommunizmus tanaitól is eltávolodott. Végül 1938-ban kilépett a pártból.

1936-ban, amikor a spanyol polgárháborúról tudósított, a spanyol nacionalisták elfogták és halálra ítélték, de a kiszabadítására szervezett nemzetközi kampány megmentette a haláltól. 1939 októberében – vélhetően kommunista múltja miatt – a francia hatóságok letartóztatták, és a Pireneusok lábánál fekvő Le Vernet-i internálótáborba szállították. Innen 1940 januárjában szabadult; ugyan Franciaországból kiutasították, a határozatot a háborús körülmények között nem tudták végrehajtani. Amikor a németek bevonultak Párizsba, bujkálni kényszerült, majd beállt a Francia Idegenlégióba. Miután a légióból megszökött, előbb Észak-Afrikába, aztán a semleges Portugáliába menekült. Végül Angliában bukkant fel vízum nélkül; ezért újra börtönbe került, ahonnan 1940 decemberében szabadult. Ezután belépett az angol hadsereg Pioneer Corps nevű alakulatába. Ez volt az egyetlen hely ahova ellenséges ország polgárait is besorozhatták: Koestler ebben az időben még magyar állampolgár volt.

Regények

A háború után Londonban végre otthonra talált, és megkezdte írói munkáját. Magyar és német anyanyelve mellett tudott angolul, franciául, oroszul és héberül is. Életrajzírója, David Cesarani szerint nagyapjától Koestler valamennyi jiddist is tanult talán.

Az 1935-ben írt The Good Soldier Schweik Goes to War Again befejezetlen maradt. Első regénynek felfogható műve, A gladiátorok (The Gladiators) 1939-ben került kiadásra. A könyv a Spartacus vezetése alatt kirobbant római rabszolgalázadásról szól. Ezt a regényét magyarul, a Sötétség délben címűt németül, míg későbbi munkái nagy részét angolul írta, tömör és világos újságírói stílusban.

A Sötétség délben (Darkness at Noon) 1940-ben, Angliában jelent meg először, de igazi sikerét a háború utáni Franciaországban érte el. A regény a sztálinizmus elleni megrendítő vádirat, mondanivalója Koestler a kommunista párttól való elszakadását és ideológiájának újjászületését tükrözi. Főhőse egy Rubasov nevű idealista bolsevik, aki a sztálini rémuralom áldozatává lesz. A történetet Koestler részben a saját börtönélményeire, részben a sztálini korszak kirakatpereire alapozta. A politikai regénnyel nemzetközi hírnevet ért el. Jean-Paul Sartre, aki akkor még hitt a kommunizmusban, ellenezte Koestler nézeteit. Ezért aztán – bár Koestler otthonosan mozgott a francia liberálisok körében – barátság közte és Sartre között nem tudott kialakulni.

Egyéb regényei:

·                                             Érkezés és indulás (Arrival and Departure, 1943)

·                     Mint éjjeli tolvaj: egy kísérlet krónikája (Thieves in the Night, 1946)

·                      A vágyakozás kora (The Age of Longing, 1951)

·                      A szajhák (The Call Girls, 1972)

Prózai munkái:

Újság- és prózaírói tevékenysége szerteágazó tudásról vallott. Otthonosan mozgott a filozófiában,pszichológiában, az irodalmi, társadalmi, és történelmi témákban. Érdekelte a politika, a japán és hindu mitológia, a telepatikus jelenség kérdése, a különböző hallucinogén anyagok hatása az agyműködésre. Több alkalommal maga is részt vett az Edinburgh-i egyetem laboratóriumi kísérleteiben, és 1960 körül az amerikai Harvard és a Michigan-i egyetem hasonló programjaiban.

Számos német, angol, amerikai és francia újságnak dolgozott mint riporter, tudományos szerkesztő és tárcaíró. Ilyenek voltak Die Zukunft, a Vossische Zeitung, a berlini Ullstein kiadó, The Sunday Telegraph, és az Encounter, csak néhányat említve a sok közül.

Prózai írásai szoros összefüggésben álltak politikai nézeteivel. Tanulmányozta a cionizmust, harcolt a kommunizmus, a nukleáris fegyverkezés, és a halálbüntetés ellen, és a második világháború alatt írásain keresztül erőteljesen szembeszállt a náci rezsimmel. Koestler (egy maroknyi más európai íróval együtt) hitt abban, ha az újságok, a rádió, és a többi hírközlési fórum következetesen közölte volna a nácik atrocitásait, a nyugati világ bizonyára határozottabb lépett volna fel ellenük.

Támogatta Izrael létrejöttét, és javasolta, hogy a zsidóság vagy teljes egészében költözzön új hazájába, vagy olvadjon be születési helyének kultúrájába (ld.: "Judah at the Crossroads" című tanulmányát a The Trail of the Dinosaur esszégyűjteményéből.) Megítélése szerint a héber abc-t is ésszerű lett volna rómaira átültetni.

David Cesarani szerint Koestler szándékosan igyekezett magát eltávolítani zsidó származásától, úgyis mint meggyőződéses ateista. The Thirteenth Tribe (1976) című könyvében Koestler kidolgozott egy sokat vitatott elméletet: azt állította, hogy az Askenázi zsidóság nem az ókori izraelitáktól, hanem a kaukázusi kazároktól származik. Szerinte a kazárnép, miután a 8. században áttért a zsidó vallásra, a mai Oroszország, Ukrajna, és Lengyelország felé kényszerült vándorolni. Saját kijelentése szerint Koestler a könyv megírásával megkülönböztető vonalat akart húzni az európai és a bibliai zsidóság között azzal a céllal, hogy némileg enyhítse az Európában uralkodó zsidóellenes érzelmeket.

Tudományos, illetve filozófiai munkáihoz tartozik az Alvajárók (The Sleepwalkers, 1959), mely a korai csillagászat története (Newtonig), és az 1955-ös The Trail of the Dinosaur.

Életének utolsó harminc évében Koestler sokat foglalkozott tudományos szinten a parapszichológia jelenségeivel is. Legismertebb tudományos értekezése az 1970-es "Roots of Coincidence", mely az érzékelésen kívül eső jelenségekkel foglalkozik. Végrendeletében kutatási célokra az Edinburgh-i egyetemre hagyta vagyona jelentős részét. (Ironikus módon, miután David Cesarini életrajza [Arthur Koestler: The Homeless Mind] 1998-ban megjelent, az író szobrát az egyetem területéről eltávolították.

1968-ban Sonning-díjat kapott a Koppenhágai Egyetemtől. A dán díjat kétévenként adják mindazoknak, akik jelentősen hozzájárulnak az európai kultúra fejlesztéséhez. Ugyanebben az évben Koestlert a kanadai Queen's University, (Ontario állam), tiszteletbeli doktorrá avatta.

Főbb prózai írások:

·                     Párbeszéd a halállal /Spanyol testamentum/ (Spanish Testament/Dialogue with Death,1942)

·                     A Föld söpredéke (The Scum of the Earth, 1941) Önéletrajzi munka

·                     A jógi és a komisszár (The Yogi and the Commissar, 1945)

·                     Nyílvessző a végtelenbe (Arrow in the Blue, 1952)

·                     A láthatatlan írás (The Invisible Writing, 1954) Második kötete egy önéletrajzi munkának az 1932-40-es évekről.

·                     The Sleepwalkers: A History of Man's Changing Vision of the Universe.  An account of changing scientific paradigms., Hutchinson 1959

·                     Alvajárók. Európa Könyvkiadó. Budapest. 2007 (fordította Makovecz Benjamin, 

·                      The Act of Creation, 1964. magyarul Teremtés, Európa Könyvkiadó. Budapest. 1998

·                     Szellem a gépben (The Ghost in the Machine, 1967)

·                     A tizenharmadik törzs /A kazár birodalom és öröksége/ (The Thirteenth Tribe, 1976)

·                     A lótusz és a robot I. /India/ (1999)

·                     A lótusz és a robot II. /Japán/ (1999)

·                     Achilles sarka (The Heel of Achilles, 1968-73) esszék

·                     Atkins, J., 1956. Arthur Koestler

·                     Buckard, Christian G., 2004. Arthur Koestler: Ein extremes Leben 1905-1983. 

·                      David Cesarani, 1998. Arthur Koestler: The Homeless Mind

·                     Hamilton, Iain, 1982. Koestler: A Biography.

·                     Koestler, Mamaine, 1985. Living with Koestler

·                     A bukott Isten (The God that Failed, 1949) In: Bojtár Endre (szerk.): Folytatásos önéletrajz;

·                     Levene, M., 1984. Arthur Koestler.

·                     Mikes, George, 1983. Arthur Koestler: The Story of a Friendship

·                     Pearson, S. A., 1978. Arthur Koestler 

Idősebb korában Koestler Parkinson-kórban és fehérvérűségben szenvedett. Hitéhez hűen, mely szerint az egyénnek jogában áll dönteni saját sorsa felett, Koestler harmadik feleségével együtt öngyilkosságot követett el 1983 márciusában. Bár egészséges – és nála jóval fiatalabb – felesége kijelentette, hogy nem tud férje nélkül élni, Koestlert sokan vádolták azért, mert beleegyezett élettársa döntésébe.