Le Shiba est une race japonaise autochtone depuis les temps les plus anciens. A l’origine, le mot « Shiba » indique quelque chose de petit, un « petit chien ». Son habitat naturel était la région montagneuse face à la mer du Japon, où il était utilisé à la chasse au petit gibier et aux oiseaux. Selon les endroits d’où ils provenaient, il y avait de petites différences entre les sujets de cette race. Du fait que pendant la période allant de 1868 à 1912 des chiens comme les Setters anglais et les Pointers furent importés au Japon, on se mit à chasser pour le plaisir dans le pays et les Shiba et ces chiens anglais furent fréquemment croisés ; de ce fait le Shiba de pure race devint rare, si bien qu’entre 1912 et 1926, même dans son habitat, la race se réduisit à l’extrême.

​Vers 1928, des chasseurs et des lettrés, préoccupés par le maintien du Shiba de pure race, commencèrent sérieusement à sauvegarder les quelques lignées pures et, en 1934, un standard unifié de la race fut établi. En 1937, le Shiba fut déclaré « monument naturel », à la suite de quoi la race fut élevée et améliorée pour devenir la race que nous connaissons aujourd’hui.