在第二次世界大战中，日本陆军的机械化水平较低，特别是在中国战场，大多数部队缺乏足够的坦克和装甲车辆，汽车和摩托车的数量也有限，这样一来日军骑兵成为了一支重要的机动支援力量。
日军骑兵不仅装备这种枪支和马刀，还配备轻重机枪、装甲车和轻型火炮，这些武器虽然与欧美国家比较差一些，但与装备很差的中国军队作战，还是能够在战场上发挥重要作用的。
侵华战争中，日军骑兵最大的编制是骑兵集团，但这种编制极少，一般最大的编制是旅团。一个骑兵旅团下辖2个骑兵联队，1个骑炮兵联队，1个辎重队，共有兵力4600名，骡马约4700匹。骑兵旅团的装备包括步骑枪3700多支，重机枪16~24挺，野战炮36门。
上述是三十年代末侵华战争初期日军骑兵部队的编制，随着战事的深入和日军损失的扩大，到抗日战争中后期，日军骑兵远远达不到前文提到的这种编制规模。
日军骑兵编制分两种，即师团所辖的骑兵联队和骑兵旅团所属的骑兵部队。属于师团下辖的骑兵，一个联队仅编2个中队，每个中队配备各种枪械123支，重机枪2挺，人员160多名。属于骑兵旅团的，每个联队编制4个中队，各中队配备枪120余支，轻机枪2挺，人员将近150名。
旅团属骑兵联队下面没有大队这一级编制，除了4个中队外，还有1个重机枪中队，下辖2个小队，配备4挺重机枪。
自1937年至1942年，属于师团的骑兵联队改成了搜索联队，以后陆续裁撤。由于自动武器的发展，对骑兵的威胁越来越大，因此骑兵已经不适应战争环境。到1943年，每个搜索联队还剩下一个中队，其余部队被改编成了步兵。
1945年8月日本投降时，日军骑兵还剩下第一至四共4个旅团，每个旅团配备十几挺机枪，编制1675人。
