Яков Ануфриевич Рыльский родился 25 октября 1928 года в деревне Александровка Семипалатинского округа Казахской АССР (в то время Казахстан еще не был союзной республикой). В фехтование его привела… армия, до которой он работал рудокопом. В 18 лет, будучи солдатом срочной службы, он увлекся фехтованием на штыках (а тогда штыковой бой был обязательным атрибутом армейской физподготовки), и однажды, в 1950 году, во время солдатских занятий в динамовском зале физически развитого юношу заметил Иван Ильич Манаенко. Он и привел Рыльского в фехтование, где тот, ознакомившись со всеми видами оружия, остановился на сабле.

Прогресс Рыльского поражал. Всего через три года после знакомства с оружием он вошел в список финалистов чемпионата СССР, где разделил 6-7 места с таким мастером, как Давид Тышлер. Такой результат повлек приглашение в сборную СССР.

В 1954 году Рыльский выиграл чемпионат СССР и никому не уступал звания вплоть до 1959 года, когда он получил «серебро». И со сборной СССР он прошел путь на самую вершину.

В 1955 году, впервые выступая на чемпионате мира, наши саблисты, среди которых был и Яков Рыльский, завоевали бронзовые медали. Повторили этот результат и на Олимпиаде 1956 года. Правда, в личном первенстве Рыльский еще не был готов к большим международным победам, выбыв из борьбы во втором круге.

В 1957 году прогресс советских саблистов подтвердило командное «серебро», выигранное ими на чемпионате мира в Париже. И вот настал судьбоносный для отечественного фехтования 1958 год. На мировом чемпионате в Филадельфии сборная СССР впервые стала лучшей командой мира. А Яков Рыльский стал первым из наших мужчин чемпионом мира в личном первенстве. Этот результат он повторил еще дважды – в 1961 и 1963 годах.

На Олимпиаду 1960 года в Рим Рыльский приехал одним из фаворитов. Но в финале выступил неудачно. Обыграл ставшего чемпионом венгра Рудольфа Карпати – 5:3, и завоевавшего «бронзу» итальянца Владимиро Каларезе – 5:4, но проиграл оставшиеся пять боев и занял последнее, восьмое место. А в командном турнире сборная СССР в четвертьфинале неожиданно проиграла команде США – 65:68 по ударам при равном числе побед – 8:8, и осталась без наград.

А вот в 1964 году стать победителем Олимпиады в Токио Рыльскому помешала… кровь. Он уверенно вышел в финал, где на этот раз фехтовали только четыре спортсмена, но в первом же бою получил сильный удар, который, несмотря на маску, рассек ему кожу на голове. Сняв маску и увидев кровь Яков потерял сознание. Полностью прийти в себя за короткое время он не смог, замкнув в итоге четверку участников финала.

Но в командном турнире сборная СССР наконец-то выиграла золотые олимпийские медали. Из девяти побед, что наши саблисты добыли в финальной встрече с итальянцами – 9:6, три пришлись на долю Якова Рыльского.

Несмотря на солидный возраст (а вскоре после Игр в Токио Рыльскому исполнилось 36 лет), он продолжил выступления и в следующем олимпийском цикле. На чемпионатах мира в 1965 и 1966 годах занял 6-е и 5-е места, в командном первенстве завоевав «золото» и «серебро». Но в 1967 году в состав сборной не попал. Кто-то говорит, что тренеры сознательно «выдавливали» 39-летнего ветерана из команды, взяв курс на омоложение, другие – что возрастной Рыльский уже не выдерживал конкуренции с вошедшими в силу Виктором Сидяком, Владимиром Назлымовым и Эдуардом Винокуровым. Карьера Рыльского закончилась в один момент. На тренировочном сборе в Стайках обидевшись на предвзятое, по его мнению, судейство в контрольном бою, Яков Рыльский снял маску, и, попросив арбитров подойти, сказал им: «Вы между собой разберитесь, кто из вас крайний, а из меня крайнего делать не надо…». После чего ушел из зала, а вечером уехал в Москву.

Жизнь после спорта у Якова Ануфриевича не сложилась. Тренером он стать не смог, стал трудиться рабочим по спортсооружениям в ЦСКА. Начал крепко выпивать. Умер 9 декабря 1999 года, через четыре месяца после своего лучшего друга Умяра Мавлиханова…