C'est la plus connue de toutes les rues d'Amiens, et son nom intrigue : "Trois Cailloux". Il y eut d'abord une maison des trois Cailloux, contiguë à la prison de la Barge, entre le Logis du Roy et la rue du Cloître-de-la-Barge... Il y eut ensuite un hôtel des Trois Cailloux, connu dès le XVe siècle.
Selon Charles PINSART, cet hôtel était situé entre le passage du Logis du Roy et la rue Sire-Firmin-Leroux, côté Cloître-de-la-Barge, et sa façade se situait à quelque cent dix mètres de la rue des Trois Cailloux.

La rue elle-même fut créee au XVe siècle, quand furent abattues les fortifications qui allaient être remplacées par d'autres, à l'emplacement de nos actuels boulevards intérieurs. La rue des Trois Cailloux faisait alors communiquer, le long du fossé, la place au Blé avec la rue de Noyon.

Au XVIe siècle, plusieurs habitants de la rue en demandent le pavage. Il est réalisé après les années 1506 et 1547. Une commision est nommée pour "visiter le pavé de la rue Neuve-Saint-Denis".

Les auberges ont fait la réputation de cette rue. Parmis les noms évocateurs : "l'Escu de Vendôme", le "Goiant" (ou Guéant), le "Pied de Boeuf" et le "Roy des Vignerons". C'était où les diligences chargeaient leurs passagers pour Arras ou Paris devant l'"Hôtel de l'Amiénoise".
Dans cette rue se trouvait le Théâtre, inauguré en 1780 sur les plans de l'architecte ROUSSEAU, avec les sculptures de CARPENTIER. Détruit pendant la dernière guerre il ne restait que la façade.

Pendant les terribles journées du 13 et 14 juin 1918, le café reçut un obus. À la fin de l'entre-deux guerres, en 1939, il fut restauré.

Le 22 décembre 1950, il a fallu changer l'angle de l'alignement à l'aide de vérins, puis faire reculer la masse de pierres de 4,70 mètres. Cet exploit technique fut le dernier spectacle vivant de l'ancien Théâtre actuellement occupé par le "Crédit-Lyonnais".
Après la libération, la rue est retracée sur un plan sensiblement identique à celui d'avant-guerre mais avec des proportions beaucoup plus larges.