Verosimilmente arrivato dalla Cina con i primi occupanti umani, il cane giapponese, ha una storia molto antica, come appare dai ritrovamenti archeologici risalenti addirittura al 500 a.C. . Per la sua piccola taglia, e per la forma particolare del cranio,è identificabile come cane di tipo "Spitz". Le immigrazioni durante il periodo Yayoi (tre secoli a.C.) hanno contribuito ad introdurre altre particolarità: i cani arrivati durante questa era hanno fissato un tipo preciso ,dalle orecchie appuntite e dalla coda arrotolata. I cani di questa epoca sono utilizzati per la caccia: il daino, l'orso, la piccola selvaggina e gli uccelli sono le prede. La caccia e la selvaggina variano secondo le regioni, la taglia dei cani ugualmente, tuttavia le particolarità restano le medesime.
L'isolamento geografico che caratterizzò il Giappone per molti secoli di fatto impedì che lo Shiba subisse contaminazioni con sangue di altre razze,ma più per caso che per altro,dal momento che non c'era alcun programma di tutela e di selezione della razza.
Le ore più cupe cominciano con la fine dell'isolamento nipponico; le importazioni delle razze straniere, nel XIX secolo, si fanno frequenti è le razze locali rischiano pericolosamente di scomparire,anche perchè subirono incroci con i nuovi arrivati. Per fortuna nel 1925, nacque un movimento destinato a salvaguardare il patrimonio culturale del paese dall'"invasione" straniera;nel mondo cinofilo questa ondata di nazionalismo si concretizzò con la nascita della Nippon Inu Hozonkai (la società di preservazione dei cani giapponesi).
Finalmente nel 1934 viene redatto lo standard di razza. Nel 1936 venne riconosciuto ufficialmente come animale protetto. Nel 1937 lo Shiba è dichiarato monumento nazionale, cosa che era già avvenuto per l'Akita è l'Hokkaido. Grazie ha questo riconoscimento anche per essi sembrò essere finito il pericolo ma la Seconda Guerra mondiale rischiò di farli estinguere. Nel 1948 alcuni allevatori giapponesi raccolgono le superstiti linee di sangue per recuperare la razza, dopo di che continua ad essere allevata e migliorata per diventare la superba razza conosciuta oggi.
Il suo nome contrariamente ad altri cani giapponesi non è collegato ad una regione o prefettura, ma significa "piccolo" "cane (inu)".
