据史料记载：“郑州警察的出现先是从巡警开始的。距今已有一百多年历史。”

　　郑州最早出现巡警是因铁路的兴建而设置的。史料载有：郑州为铁路交会点，地位显要，码头颇旺，车站客商云集，人类不齐，盗窃伙出，时有所闻……为此，清光绪三十年（公元１９０４年）经提请陈知州奏报核准，１０月１５日，郑州开办警务所。设警长一人，招巡士６０人。主要维持车站附近和繁华街衢的社会治安，上街巡视追捕盗贼，干涉打架斗殴等。谭中理为第一任郑州警务长。这是郑州警务工作的开始。

　　清光绪三十三年（公元１９０７年），郑州警务所改为巡警局，楚德升任巡警局长。中华民国成立后，郑州设巡警教练所，后改称警务所。由知州叶济和警长任鸿钧，巡官李志齐商同，开始在车站派巡警守望，兼收妓捐，清理马路，管理车马（黄包车和马拉车）。并在火车站、马路大街（现大同路）德化街、十字街心（现二七广场）等五处交通要道口开始设置交通岗楼，以利维持治安和游动岗哨警备瞭望。

　　１９２２年７月，郑州成立郑县警察局。首任局长惠洞庭。后改称郑州商埠警察厅，首任厅长孙瑛。对城市人群聚集的场所和贸易市场加强巡逻，特在市区划定南、北两个菜市，集中商贩、菜贩和进城农民进市卖蔬菜、肉食、蛋品、水产品等，并增派警力巡查维持。

　　１９２８年，冯玉祥二次主豫时，改郑州商埠警察厅为国民政府公安局，辖３个分局，警员８００多人。此间，整理社会治安，戒烟戒酒，禁嫖禁赌，取缔娼妓，剪发放足，办理户口，以杜绝盗源维持治安等，都由警厅来管。

　　从２０世纪３０年代开始，郑州的警察机构波动很大，几易其名；郑州市公安局改叫郑县公安局，全局６５３人。市区的市政建设也划归县公安局管理。１９３７年，郑县公安局改叫郑州警察局。１９４４年，郑州沦陷时，郑州警察局随县政府迁往密县，改为警察第一大队。抗战胜利后，郑州警察局恢复，设在汉川街２号。开始整理户口，填发“国民身份证”。１９４８年９月，郑州旧警察局解体。

　　１９４８年１０月２２日，郑州解放。１０月２８日，郑州市人民民主政府成立，首先成立了公安局，使郑州市公安真正回到人民手中。