в общем-то в рот ноги ЮТ,не о них речь.
так как получить попарную матрицу корреляций между ВСЕМИ тикерами на рынке не возможно - в бесплатных версиях чего угодно точно! и так как у меня нет 5к,чтобы открыть счет в ЮТ,чтобы посмотреть корреляцию и в ТОС весьма убого корреляцию можно смотреть,то поставил перед собой глобальную задачу сделать такой анализ корреляции акций и etf. выбрал биржи amex,nyse,nasdaq. "всего" получилось порядка 8.5к тикеров. вообще с яху можно вытянуть ВСЕГО-ТО около 100к тикеров)) но настолько мои амбиции не распространялись.
итого - потратив порядка полудня,т.к. я рукож*п и R видел вообще впервые,да и вообще не программист,сделал 2 скрипта - один проверяет валидность ссылок на яху (из 8.5к осталось после проверки порядка 7к. тоже более чем достаточно). второй - считает попарную корреляцию ВСЕХ тикеров. с условием,что объем в бумажке больше 100к и корреляция больше 0.9.
запустил для начала 100*100 расчет. по моим расчетам время обработки порядка 10ч.
для 7к тикеров,это порядка 50млн вариантов - время становится просто неимоверно огромным.премерно равно времени жизни вселенной. шутка! )) всего около 5лет займет))
основые проблемы вижу в следующем:
- формат данных - csv тянутся с сайта яху. будь другой формат данных и способ получения,возможно,процесс ускорился бы.
- обработка в лоб (причины смотри выше)
можно конечно разбить глобальную задачу на более мелкие и собрать тикеры с одной сегмента.
но опыта не было,потому было интересно посмотреть глобально)) опыт интересный.
