Google alkoi Stanfordin yliopiston tohtoriopiskelijoiden Larry Pagen ja Sergei Brinin tutkimusprojektina tammikuussa 1996. Heidän ideansa oli parantaa Internetin hakua analysoimalla verkkosivustojen välisiä suhteita ja näin parantaa hakutuloksia. Internet-osoite google.com rekisteröitiin syyskuussa 1997 ja samanniminen yhtiö perustettiin syyskuussa 1998. Yrityksen alkuperäinen osoite oli eräs autotalli Menlo Parkissa Kaliforniassa. Googlen nimi on peräisin lukusanasta googol,[15] joka äännetään englannin kielessä samalla tavalla.[16][17]
Google muutti maaliskuussa 1999 toimistotiloihin Palo Altoon.[18] Google alkoi myydä mainoksia palveluunsa vuonna 2000.[19] Yhtiön sittemmin kasvettua se muutti vuonna 2004 SGI:ltä vuokraamaansa toimistorakennukseen Mountain Viewiin Santa Claraan. Nykyisin päämajalle on annettu nimi Googleplex.[20]
Yhtiö listautui pörssiin 19. elokuuta 2004. Osakkeen listautumishinta oli 85 dollaria.[21] Yhtiön pörssiarvoksi muodostui tuolloin 23 miljardia dollaria.[22] Sittemmin yhtiö on listattu NASDAQissa ja Lontoon pörssissä.
Google on laajentanut valikoimaansa sekä kehittämällä uutta että ostamalla pääomallaan pienempiä Internet-palveluiden tarjoajia. Yksi varhaisimmista hankinnoista oli Pyra Labs, Blogger-blogipalvelun kehittäjä.[23] Oston myötä Blogger-palvelusta tuli ilmainen. Vuonna 2004 Google hankki Earth Viewer -palvelua kehittäneen Keyhole Inc:n. Earth Vieweristä tuli kaupan myötä Google Earth -palvelu. Alkuvuonna 2006 Google osti osan Writelystä ja verkossa toimivaa tekstinkäsittelyohjelmaa kehittävän Upstartlen, jonka tekniikalla luotiin Google Docs & Spreadsheets. Google ilmoitti 9. lokakuuta 2006 ostavansa videonjakopalvelu YouTuben noin 1,3 miljardilla eurolla. Googlella oli jo aiemmin oma Google Video -palvelu, joka ei saavuttanut yhtä suurta suosiota kuin YouTube. Huhtikuussa 2007 Google osti Internet-mainostaja DoubleClickin 3,1 miljardilla. 12. joulukuuta 2007 Google julkisti suunnittelevansa verkkotietosanakirjaprojektia nimeltään Knol.
Vuoden 2007 aikana huhuttiin, että Google kehittäisi omaa "gPhoneksi" jo nimettyä matkapuhelintaan kilpailijaksi Applen iPhonelle. Yhtiö rekisteröi muutamia aiheeseen liittyviä patentteja. Marraskuussa 2007 julkistettu tuote oli kuitenkin Linux-pohjainen, suureksi osaksi avoimen lähdekoodin puhelimen ohjelmistoalusta Android, jonka puhelinvalmistaja voi ottaa käyttöönsä ilmaiseksi. Samalla perustettiin Open Handset Alliance -organisaatio kehittämään matkapuhelinstandardeja.
Myöhemmin Google on tuonut markkinoille omalle nimelleen brändättyjä Nexus-älypuhelimia ja tablettitietokoneita, joiden suunnittelusta ja valmistuksesta ovat vastanneet muut matkapuhelinyhtiöt Asus, LG, Samsung, HTC ja Motorola Mobility. Kun Google osti elokuussa 2011 yhdysvaltalaisen matkapuhelinvalmistaja Motorolan Mobility-yksikön, siitä tuli ohjelmiston toimittajan lisäksi myös laitevalmistaja. Google maksoi kaupasta yhdeksän miljardia dollaria ja sai sen myötä haltuunsa myös mittavan patenttisalkun.[24]
Googlen logoa muokataan erikoistapahtumien kunniaksi, esimerkiksi olympialaisten ja joulun alla. Näitä muutoksia kutsutaan Google Doodleksi. Doodle tarkoittaa tässä tapauksessa luonnosta. 2. syyskuuta 2008 Google-yhtiön 10-vuotisjuhlan tienoilla Google toi markkinoille Google Chrome -internetselaimen.
Googlesta on tullut myös merkittävä Internetin ylläpitäjä. Toukokuussa 2007 Netcraft alkoi seurata Googlen oman Apacheen perustuvan HTTP-palvelimen GFE (Google Front End) käyttöä. Tuolloin Blogger-sivuston blogeja pyörittävä GFE palveli 2,7 miljoonaa verkkosivua tai 2,3 % niistä.[25] Tammikuussa 2009 Googlen ohjelmistoilla pyöri yli 5 % sivustoista, nämä kaikki sen itse ylläpitämiä.[26]
Tammikuussa 2009 Google karsi useita palvelujaan ja sulki toimistonsa Austinissa, Trondheimissa ja Luulajassa. Karsittavien palvelujen listalla olivat Dodgeball, Google Catalog Search, Google Mashup Editor, Google Notebook ja Jaiku.[27] Jaikun kehitys lopetettiin ja palvelimen lähdekoodi julkaistiin vapaana ohjelmistona. Google Videosta poistettiin mahdollisuus lisätä uusia videoita. Elokuussa 2009 Google osti sadalla miljoonalla dollarilla On2 Technologies -yhtiön, joka tunnetaan videokoodekeistaan.
Laatuaan ensimmäisessä, työpaikkojen houkuttelevuutta 12 000 opiskelijan keskuudessa ympäri maailmaa selvittäneessä tutkimuksessa sekä tulevat ekonomit että insinöörit valitsivat vuonna 2009 Googlen suosikkityönantajakseen.[28]
Lokakuussa 2009 kerrottiin, että Google vastaa kuudesta prosentista kaikesta (ei pelkästään WWW-pohjaisesta) Internetin tietoliikenteestä.[29] Se on suurin yksittäinen tekijä noin 30 suuryrityksen joukossa, joiden osuus kaikesta Internetin tietoliikenteestä oli heinäkuussa 2009 jopa 30 prosenttia.[29][30] Tiedot ovat peräisin suurimmasta koskaan toteutetusta internet-tietoliikennetutkimuksesta, joka kesti kaksi vuotta ja toteuttajana oli Arbor Networks.[29]