C’est en Europe qu’on découvrit la plus vieille pipe au monde datée de 500 ans avant J.-C. Elle était fabriquée avec des fragments d’os. Suivirent d’autres découvertes de pipes réalisées en bois ou en roseaux. Ces pipes n’étaient pas faites pour fumer du tabac mais bien des herbes dont certaines possédaient des vertus thérapeutiques. Les Grecs, les Romains, les tribus germaniques et celtiques fumèrent ainsi des herbes de diverses variétés. Par contre, le tabac, avec l’habitude de le fumer comme nous le faisons aujourd’hui, trouve son origine en Amérique latine où il était cultivé. Les Indiens soignaient certaines maladies en roulant des feuilles de tabac dans des calumets souvent accompagnées de certaines herbes. Le tabac fut rapidement ramené en Europe par les explorateurs (XVe siècle), Christophe Colomb notamment, qui découvrit l’Amérique en 1492, et se propagea à une vitesse extraordinaire sur tout le continent. La pipe se popularise dès le XVIIe siècle avec les premières productions en série. Progressivement, elle pénètre les classes privilégiées devenant même au début du XXe siècle, un symbole dans l’armée. Ce qui fera naître certaines expressions notamment « aller au casse-pipe » une image très répandue lors de la Première Guerre mondiale de 1914-1918 où les poilus et autres fantassins allaient au feu, la pipe enfouie dans leur poche, avec le risque énorme de la casser lorsqu’ils étaient fauchés par les balles ou les obus ennemis.
 
L’expression « se casser la pipe » trouve également une origine militaire mais plus ancienne. Elle remonte aux guerres napoléoniennes. Sur les champs de bataille lorsqu'un soldat était blessé et devait se faire opérer, le médecin lui mettait une pipe en terre cuite en bouche pour qu'il ne crie pas. Si la pipe tombait au sol et se cassait, la plupart du temps le soldat mourrait pendant l'opération. Et la pipe se cassait…
 
De nos jours, la pipe est l’apanage d’une certaine élite qui persiste malgré les campagnes antitabac.
 
De nombreux personnages célèbres ont été associés à la pipe qui quittait rarement leurs lèvres. On pense notamment à Jacques Tati, Georges Simenon, Georges Brassens, Rimbaud, Paul Cézanne, Vincent van Gogh….