Początki tej osady sięgają drugiej połowy XVIII wieku. Założono tu młyn a wokół powstała niewielka osada młyńska licząca w 1787 roku zaledwie 19 mieszkańców. Młyn należał do dóbr Wola Zadybska a zapewne założyli go ówcześni właściciele tych dóbr, Łascy.
Osada nie rozwijała się zbyt dobrze w 1827 roku liczyła tylko 1 dom i 5 mieszkańców.
Był to folwark, mieszkańcy wsi nie użytkowali ziemi na własne potrzeby. Wokół osady był las.
Po 1864 roku folwark Rybaki włączono do gminy Kłoczew, według danych na rok 1889 w Rybakach było 5 domów i 7 mieszkańców. Obszar osady wynosił 233 morgi.
W drugiej połowie XIX wieku część ziemi rozprzedano chłopom-kolonistom. W ten sposób powstała miejscowość Rybaki wieś oraz Rybaki kolonia.
W 1921 roku Rybaki wieś oraz kolonia liczyły razem 6 domów i 51 mieszkańców.
Tradycje młyńskie w tej wsi kontynuował A. Pudło, bedący właścicielem młyna w tej wsi przed II wojną światową.
