Der natürliche Lebensraum des Shibas war die bergige Gegend am japanischen Meer. Dort wurde er zur Jagd auf Kleinwild und Vögel eingesetzt. Skelettfunde bewiesen, dass diese Hunde 8.000-10.000 Jahre vor Christi Geburt gelebt haben und bis heute noch genauso aussehen.
Der Shiba gehört neben Hokkaido, Kishu, Shikoku und Akita Inu zu den typischen japanischen Rassen, wobei er der kleinste und älteste der fünf Rassen ist. Anfang des 20. Jahrhunderts war der reine Shiba vom Aussterben bedroht. 1928 begann man mit Hunden, die dem alten Shiba sehr glichen, die Zucht wieder aufzubauen.
1934 wurde der Standard des Shiba erstellt. In Japan wurde der Shiba 1937 zum Naturdenkmal erklärt.