Backtesten: historische data

[scar77]

Ik wil wat strategieën die ik uit de boekjes (Turtles net uit) haal gaan backtesten. Ik heb hiervoor Ninjatrader gedownload en een paar simpele strategieën gebouwd. Nu wil ik deze strategieën niet testen tegen een live datastream, maar tegen data van de laatste 10 jaar (tot minutenbasis, ticks mag ook natuurlijk) en dan bij voorkeur ook nog meerdere valutaparen (Eur/Usd, Eur/ Jpy, Eur/GBP).

Probleem is dat ik nergens (alle download kanalen en google) historische data kan vinden. Misschien niet zo heel gek omdat die data natuurlijk geldjes waard is. Betalen wil ik op zich wel, maar weet iemand dan een goede toko voor data? Of is er iemand geïnteresseerd in gezamenlijke aanschaf? Zijn er uberhaupt mensen hier die historische data hebben gekocht?

Voor Ninjatrader is volgens de importinstructie het volgende nodig:
Open/High/Low/Close/Volume (bestandsnaar moet je naar het paar hernoemen)

Hier snel een aanbieder gevonden:
http://disktrading.is99.com/disktrading/

$135 voor 10 jaar data voor 35 valutaparen

Edit: volgens een blog (link) is de hier aangeboden data indicatief, wat wil zeggen dat het samengesteld is op basis van meerdere datastreams. Niet the-real-deal dus en daarom minder betrouwbaar.

[Dajo]

Vreemd is dat eigenlijk heh? Historische data is knetterduur over het algemeen.

[Admin]

Ik ben ook al een tijdje opzoek geweest naar tick data zonder gaps, wil er eigenlijk ook wel voor betalen, maar het is compleet onvindbaar.

Liefst ook nog met de vermelding wanneer relevante cijfers uitgekomen zijn (of er ander relevant nieuws is). Zo kun je met de strategie om fundamentele cijfers heen traden, of er juist op traden.

Ik zal vandaag nog even verder gaan zoeken. Als iemand wat gaat vinden, GRAAG even posten.

(Als het duur is, is aanschaf samen wellicht een goed idee)

Groet,

Johan

[scar77]

Ik heb wat meer research gedaan. Ik ben de volgende bronnen voor historische data tegengekomen:

* Gain Captial (gratis)
* OANDA (volgens artikel gratis data als je een account met $1000 opent)
* MLDownloader (betaald)

Ik heb ervoor gekozen om met de Gain databestanden aan de slag te gaan. De website bevat vele currency-pairs die soms tot 2000 terug gaan. Ik heb een start gemaakt met EUR/USD om eens te kijken of het veel werk is met de hand alles aan elkaar te plakken. Uiteraard wel zo slim/simpel mogelijk.

Ik heb op basis van de EUR-USD zipbestanden van 2009 (per week) bij Gain een Access frutsel in elkaar gedraaid. Ik moet nog wel met de hand alle .csv bestanden importeren en een paar queries bouwen, maar nu heb ik wel een .txt bestand met koers info voor de EUR/USD.

Formaat Gain:
id,currency,datum+tijd (hh:m:ss), koers1?, koers2?

Voorbeelddata:

674345388,EUR/USD,2008-12-28 17:17:41.000,1.405800,1.407100,D
674345511,EUR/USD,2008-12-28 17:18:58.000,1.405800,1.407000,D
674345560,EUR/USD,2008-12-28 17:19:41.000,1.405800,1.406900,D
674345619,EUR/USD,2008-12-28 17:19:59.000,1.406300,1.407300,D
674345638,EUR/USD,2008-12-28 17:20:02.000,1.406100,1.407200,D
674345646,EUR/USD,2008-12-28 17:20:03.000,1.405800,1.407200,D
674345691,EUR/USD,2008-12-28 17:20:14.000,1.405900,1.407200,D
674345910,EUR/USD,2008-12-28 17:21:47.000,1.406000,1.407200,D
674345941,EUR/USD,2008-12-28 17:21:59.000,1.406100,1.407200,D
674345957,EUR/USD,2008-12-28 17:22:02.000,1.406200,1.407200,D
674345961,EUR/USD,2008-12-28 17:22:04.000,1.406200,1.407100,D
674345971,EUR/USD,2008-12-28 17:22:05.000,1.406100,1.407100,D
674346007,EUR/USD,2008-12-28 17:22:17.000,1.406200,1.407100,D

Ik weet niet goed wat ik met de 2 koersen aan moet. Voor Ninjatrader wordt niet op seconde niveau een open/close of iets dergelijks aangegeven. Wat betekent het verschil in koers?

Formaat (Ninjatrader ticks):
jjjjmmdd hhmmss;koers;volume
20090612 165948;1.401600;0

Ik heb besloten de koers1 kolom te gebruiken voor de Ninjatrader import. Na import, Acces bewerking, export houd ik een mooi EURUSD.txt bestand over welke ik in Ninjatrader kan importeren. Ninjatrader geeft aan tickinfo te herkennen en bouwt op basis hiervan de 1 min/etc candles op.

Ik heb dit bestand voor de geïnteresseerden op een url van mij geplaatst:
EURUSD_2000_tm_2002.zip
EURUSD_2009.zip

Edit: url's aangepast en nu ook 2000 tm 2002 toegevoegd

Ik zou zeggen probeer er eens mee te werken en laat weten of het wat is.

Volledig geautomatiseerd zou natuurlijk beter zijn, maar dat is lastig omdat ik heb geconstateerd dat de bestanden van Gain vaak verschillen van format.

Mocht je trouwens zelf met alle databestanden van Gain aan de slag willen en opzien tegen het handmatig downloaden: Gebruik Httrack !
Voor deze url in van Gain: GAIN Capital Rate Data Archive
Geef een folder voor opslag op en vervolgens komt alles netjes binnen in dezelfde structuur als op de site (jaar/maand). Gaat niet heel snel (25kB/s), maar beter dan handwerk.


Edit: ik zie nu dat in Ninjatrader alleen de minutenschaal werkt. Als je naar dag-schaal gaat dan blijft de grafiek leeg. Ninjatrader kan ik wel op de 480 (8 uur) minutenschaal zetten, maar weet niet of dat nou handig is.

Edit: De Gain website geeft niet op uit welke tijdzone de data is. Volgens mij zit er 7 uur tijdsverschil in (beurs gaat toch 00:00 londen tijd weer open?) met londen:
20090605 16:59:34;1.397000;0 (vrijdag)
20090607 17:00:52;1.396900;0 (zondag)

Wel iets om rekening mee te houden als je met 'automated trading' aan de slag gaat op basis van de Gain data. Verder bevat de data 24 uur per dag koersinfo.

[Admin]

Geweldig, aangezien ik de dicipline van een zenuwachtige hongerige aap in artis die door een kind een banaan voorgehouden krijgt heb, maar ik wel redelijk kan programmeren heb ik besloten maar eens een systeem te gaan ontwikkelen. Het liefst een die een positieve verwachting heeft natuurlijk, maar dat is de volgende stap.

Bedankt voor je UITGEBREIDE post hierboven. Goede historische data is enorm van belang.

Groet, ik zal af en toe posten als er ontwikkelingen zijn.

Johan

[Admin]

Ik wil, deze data bekijkende toch eigenlijk wel graag op zoek naar een perfecte datastroom, liefst per tick of maximaal per 5 seconden (en er dan dus dik voor betalen wss). Als ik mijn eerste systeem in place heb zal ik hier eens even moeite voor doen.

Als iemand iets tegenkomt laat het dan even weten.

J

[Admin]

Ah....

Historical market data providers

[Admin]

Dit lijkt er het meeste op (de sample hier dan) ik vraag me wel af wat de bron is hier. Niet heel duur igg. Ik denk dat ik me hier maar aan waag.

link (klik op hystoric FX data)


J

EDIT: Oh nee toch niet, ik had de minuten als seconden gelezen....

[scar77]

Ik wou je er net op wijzen dat het geen tickdata is.
Vreselijk format ook overigens. Moet je alsnog gaan bewerken. Ik zit ondertussen even de andere aanbieders uit je linkje te bekijken.

Edit:
Behoorlijke (hoge) prijzen per maand als je 1 minuut candles wilt hoor:

Forextickdata.com
1 Minute Data: $12.00 / Month / Symbol

Ervan uitgaande dat je data van 2003 tm 2008 wilt hebben -> 72 maanden * 12 = $864 per Symbol :s

[scar77]

Er is nog een optie:
Downloaden van data via Metatrader. Maak een account/connectie aan bij Alpari. Vervolgens ga je naar Gereedschappen > Historiecenter. Vanuit daar kan je per currency pair en per tijdsperiode de gegevens downloaden.

Als eerste test de 15min data download van de EUR/USD en een export levert een .csv bestand met 65.000 regels met 15 min data tot 26-okt-2006.

Format:
Datum+tijd, open, hoog, laag, sluit, volume
2006.10.26,04:00,1.26270,1.26370,1.26250,1.26350,1 23

Een paar van de strategien waar ik mee bezig ben, kijken naar de 15min tot 60 min chart dus hier zou ik wel mee uit de voeten kunnen. Andere pluspunten:
* Naast Eur/USD nog 28 andere pairs die te downloaden zijn.
* Opmaak van exportbestand ziet er goed uit, dus makkelijk naar Ninjatrader om te bouwen

Ik ga hiermee eens aan de slag. Als ik wat omgezet heb naar Ninjatrader format, dan zal ik het weer posten.

Edit2:
Een mooie aanvulling hierop: voordat je start met downloaden van data, ga eerst naar Opties > Grafieken. Stel daar bij "Max staven" en "Max staven in grafiek" de waarde 2147483647 in (dit is de maximale waarde die je in kan vullen). Deze stonden eerst op 65000. Als je dat aangepast hebt en data gaat downloaden, dan krijg krijg je bij b.v. de 1min schaal van EUR/USD 3,5 miljoen regels aan data die teruggaat tot 1-sept-1999 (172MB groot).

Edit3:
Het is gelukt om zowel de M1 als D1 data van EUR/USD naar Ninjatrader formaat te krijgen via MS Access. Voor de geinteresseerden hier te downloaden:
* Alpari_EURUSDM1.zip
* Alpari_EURUSDM1440.zip (M1440 = D1)

In beide bestanden zit een EURUSD.txt bestand. Deze stuk voor stuk importeren. Niet hernoemen want Ninjatrader haalt het type cur-pair uit de bestandsnaam. M1 of D1 wordt vanzelf herkent.

Happy backtesting!