古人在说话时，只是采用这几个固定的音节，并不想到去把一个音节分成元音和辅音。日本发明五十音图的始祖，现在认为是明觉和尚。他是平安末期的僧侣，大约是11世纪后期的人物。

明觉写了一本书，叫《反音作法》。这个反音，其实就是学习了中国的“反切”技术。中国在很早的时代，就发现为了注明读音，必须发展一套元音和辅音的系统，于是反切应运而生。反切就是用两个汉字来表示一个汉字的读音，前一个汉字取声母，后一个汉字取韵母。如，坛为徒干切，徒的声母为T，干的韵母为An，拼起来就是坛的读音为Tan。

明觉在《反音作法》中详细参照了中国的反切方式，把日语的所有发音也进行了归类，分出了5个元音和10个辅音，于是就组成了五十音图。

顺便说一下，中国反切的兴起大约是在东汉后期，大约公元2世纪到3世纪吧，正是佛教刚传入中国的时候，现代学者认为，中国反切兴起应该和中国人希望读懂佛经中的梵文有关。而日本发明五十音图，同样也是为了解决给佛经中的梵文注音的问题。这一点从发明者是个和尚也可以看出来。

五十音图发明当时，其实也并不叫做五十音图，而是叫做五音图。什么是五音？这也是中国传入的概念。中国古代音韵学中有五音的说法，指的是所有辅音可以分成五类，所谓唇音、舌音、齿音、牙音、喉音。（注：宫商角徵羽也叫五音，不过这不是同一个概念）

明觉创造五十音图之前，五音概念就已经传入日本。明觉的五十音图，对应到五音的话，アワヤ行为喉音，サタラナ行为舌音，ハマワ为唇音。所以日本人见到五十音图，就觉得这是把五音概念图解化了，因此就称之为五音图。

直到江户时代，也就是17世纪，五十音图的叫法才开始出现，这之前，都一直是叫做五音图的。