Początki tej osady sięgają drugiej połowy XVIII wieku. Założono tu młyn a wokół powstała niewielka osada młyńska licząca w 1787 roku zaledwie 19 mieszkańców. Młyn należał do dóbr Wola Zadybska a zapewne założyli go ówcześni właściciele tych dóbr, Łascy.

Osada nie rozwijała się zbyt dobrze w 1827 roku liczyła tylko 1 dom i 5 mieszkańców.

Był to folwark, mieszkańcy wsi nie użytkowali ziemi na własne potrzeby. Wokół osady był las.

Po 1864 roku folwark Rybaki włączono do gminy Kłoczew, według danych na rok 1889 w Rybakach było 5 domów i 7 mieszkańców. Obszar osady wynosił 233 morgi.

W drugiej połowie XIX wieku część ziemi rozprzedano chłopom-kolonistom. W ten sposób powstała miejscowość Rybaki wieś oraz Rybaki kolonia.

W 1921 roku Rybaki wieś oraz kolonia  liczyły razem 6 domów i 51 mieszkańców.

Tradycje młyńskie w tej wsi kontynuował  A. Pudło, bedący właścicielem młyna w tej wsi przed II wojną światową.