Пилос играл важную роль в истории Греции с очень давнего времени, ведь первые поселенцы появились здесь еще в третьем тысячелетии до нашей эры. Однако своего расцвета город достиг в Микенский период. Он был настолько значимым, что нередко упоминался, наравне с другими очень важными греческими городами, еще в поэмах Гомера, а также произведениях многих других древнегреческих литераторов. Согласно традиции, город был основан Пилосом, сыном Клисонаса. Поначалу город именовался Корифасион, по названию близлежащего мыса. Приблизительно в 495 году до нашей эры Пилос был завоеван афинянами под предводительством генерала Демосфена, а попытка отвоевать его, предпринятая спартанцами, провалилась, благодаря прекрасно организованной обороне афинян.

После заключения мирового соглашения, Пилос перешел под управление Спарты, и в 369 году до нашей эры был почти полностью реконструирован. На протяжении всей эллинистической эпохи Пилос процветал, хотя споры о властвовании в нем между спартанцами и ахейцами не прекращались. Свою значимость город сохранял на протяжении всего времени господства Римской, а затем Византийской империи, пока в шестом веке не попал в руки завоевавших его аваров, потеряв не только свое влияние, но и имя, поскольку с того момента он назывался Аварино. В период с 1287 по 1308 году Пилос находился под фиванской деспотией, и именно в этот период в городе были построены крепостные укрепления, а также замок. Приблизительно в 1385 году Пилос был захвачен наваррскими племенами, а в 1500 году город попал во власть Османской империи, которая правила им почти полтора столетия, однако затем потеряла Пилос во время одного из сражений. Туркам удалось вернуть свою власть в этом городе только в 1715 году.

Во время войны за независимость греческое население Пилоса восстало против Османской империи, и седьмого августа 1821 года ему удалось изгнать турок с территории города. В 1825 году Пилос вновь был занят вплоть до битвы при Наварино, когда объединенный флот сумел разгромить египетско-турецкую армаду, не понеся при этом существенных потерь. После этого сражения город, наконец, обрел независимость от завоевателей и вошел в состав Греции.