shopify site analytics

Backtesten: historische data

Home Forums Forex Strategie, forex Analyse Forex Strategie Backtesten: historische data

15 berichten aan het bekijken - 1 tot 15 (van in totaal 25)
  • Auteur
    Berichten
  • #79236
    Anoniem
    Gast

    Ik wil wat strategieën die ik uit de boekjes (Turtles net uit) haal gaan backtesten. Ik heb hiervoor Ninjatrader gedownload en een paar simpele strategieën gebouwd. Nu wil ik deze strategieën niet testen tegen een live datastream, maar tegen data van de laatste 10 jaar (tot minutenbasis, ticks mag ook natuurlijk) en dan bij voorkeur ook nog meerdere valutaparen (Eur/Usd, Eur/ Jpy, Eur/GBP).

    Probleem is dat ik nergens (alle download kanalen en google) historische data kan vinden. Misschien niet zo heel gek omdat die data natuurlijk geldjes waard is. Betalen wil ik op zich wel, maar weet iemand dan een goede toko voor data? Of is er iemand geÁ¯nteresseerd in gezamenlijke aanschaf? Zijn er uberhaupt mensen hier die historische data hebben gekocht?

    Voor Ninjatrader is volgens de importinstructie het volgende nodig:
    Open/High/Low/Close/Volume (bestandsnaar moet je naar het paar hernoemen)

    Hier snel een aanbieder gevonden:
    //disktrading.is99.com/disktrading/

    $135 voor 10 jaar data voor 35 valutaparen

    Edit: volgens een blog (link) is de hier aangeboden data indicatief, wat wil zeggen dat het samengesteld is op basis van meerdere datastreams. Niet the-real-deal dus en daarom minder betrouwbaar.

    +500

    #89849
    Admin-D
    Lid

    Vreemd is dat eigenlijk heh? Historische data is knetterduur over het algemeen.

    #89856
    Admin
    Lid

    Ik ben ook al een tijdje opzoek geweest naar tick data zonder gaps, wil er eigenlijk ook wel voor betalen, maar het is compleet onvindbaar.

    Liefst ook nog met de vermelding wanneer relevante cijfers uitgekomen zijn (of er ander relevant nieuws is). Zo kun je met de strategie om fundamentele cijfers heen traden, of er juist op traden.

    Ik zal vandaag nog even verder gaan zoeken. Als iemand wat gaat vinden, GRAAG even posten.

    (Als het duur is, is aanschaf samen wellicht een goed idee)

    Groet,

    Johan

    #89866
    Anoniem
    Gast

    Ik heb wat meer research gedaan. Ik ben de volgende bronnen voor historische data tegengekomen:

    * Gain Captial (gratis)
    * OANDA (volgens artikel gratis data als je een account met $1000 opent)
    * MLDownloader (betaald)

    Ik heb ervoor gekozen om met de Gain databestanden aan de slag te gaan. De website bevat vele currency-pairs die soms tot 2000 terug gaan. Ik heb een start gemaakt met EUR/USD om eens te kijken of het veel werk is met de hand alles aan elkaar te plakken. Uiteraard wel zo slim/simpel mogelijk.

    Ik heb op basis van de EUR-USD zipbestanden van 2009 (per week) bij Gain een Access frutsel in elkaar gedraaid. Ik moet nog wel met de hand alle .csv bestanden importeren en een paar queries bouwen, maar nu heb ik wel een .txt bestand met koers info voor de EUR/USD.

    Formaat Gain:
    id,currency,datum+tijd (hh:m:ss), koers1?, koers2?

    Voorbeelddata:
    674345388,EUR/USD,2008-12-28 17:17:41.000,1.405800,1.407100,D
    674345511,EUR/USD,2008-12-28 17:18:58.000,1.405800,1.407000,D
    674345560,EUR/USD,2008-12-28 17:19:41.000,1.405800,1.406900,D
    674345619,EUR/USD,2008-12-28 17:19:59.000,1.406300,1.407300,D
    674345638,EUR/USD,2008-12-28 17:20:02.000,1.406100,1.407200,D
    674345646,EUR/USD,2008-12-28 17:20:03.000,1.405800,1.407200,D
    674345691,EUR/USD,2008-12-28 17:20:14.000,1.405900,1.407200,D
    674345910,EUR/USD,2008-12-28 17:21:47.000,1.406000,1.407200,D
    674345941,EUR/USD,2008-12-28 17:21:59.000,1.406100,1.407200,D
    674345957,EUR/USD,2008-12-28 17:22:02.000,1.406200,1.407200,D
    674345961,EUR/USD,2008-12-28 17:22:04.000,1.406200,1.407100,D
    674345971,EUR/USD,2008-12-28 17:22:05.000,1.406100,1.407100,D
    674346007,EUR/USD,2008-12-28 17:22:17.000,1.406200,1.407100,D[/CODE]

    Ik weet niet goed wat ik met de 2 koersen aan moet. Voor Ninjatrader wordt niet op seconde niveau een open/close of iets dergelijks aangegeven. Wat betekent het verschil in koers? :confused:

    Formaat (Ninjatrader ticks):
    jjjjmmdd hhmmss;koers;volume
    20090612 165948;1.401600;0

    Ik heb besloten de koers1 kolom te gebruiken voor de Ninjatrader import. Na import, Acces bewerking, export houd ik een mooi EURUSD.txt bestand over welke ik in Ninjatrader kan importeren. Ninjatrader geeft aan tickinfo te herkennen en bouwt op basis hiervan de 1 min/etc candles op.

    Ik heb dit bestand voor de geÁ¯nteresseerden op een url van mij geplaatst:
    [URL=”//windows7-portal.nl/forex/EURUSD_2000_tm_2002.zip”]EURUSD_2000_tm_2002.zip[/URL]
    [URL=”//windows7-portal.nl/forex/EURUSD_2009.zip”]EURUSD_2009.zip[/URL]

    Edit: url’s aangepast en nu ook 2000 tm 2002 toegevoegd

    Ik zou zeggen probeer er eens mee te werken en laat weten of het wat is.

    Volledig geautomatiseerd zou natuurlijk beter zijn, maar dat is lastig omdat ik heb geconstateerd dat de bestanden van Gain vaak verschillen van format.

    Mocht je trouwens zelf met alle databestanden van Gain aan de slag willen en opzien tegen het handmatig downloaden: Gebruik [URL=”//www.httrack.com”]Httrack [/URL]!
    Voor deze url in van Gain: [url=//ratedata.gaincapital.com/]GAIN Capital Rate Data Archive[/url]
    Geef een folder voor opslag op en vervolgens komt alles netjes binnen in dezelfde structuur als op de site (jaar/maand). Gaat niet heel snel (25kB/s), maar beter dan handwerk.

    Edit: ik zie nu dat in Ninjatrader alleen de minutenschaal werkt. Als je naar dag-schaal gaat dan blijft de grafiek leeg. Ninjatrader kan ik wel op de 480 (8 uur) minutenschaal zetten, maar weet niet of dat nou handig is.

    Edit: De Gain website geeft niet op uit welke tijdzone de data is. Volgens mij zit er 7 uur tijdsverschil in (beurs gaat toch 00:00 londen tijd weer open?) met londen:
    20090605 16:59:34;1.397000;0 (vrijdag)
    20090607 17:00:52;1.396900;0 (zondag)

    Wel iets om rekening mee te houden als je met ‘automated trading’ aan de slag gaat op basis van de Gain data. Verder bevat de data 24 uur per dag koersinfo.[CODE]674345388,EUR/USD,2008-12-28 17:17:41.000,1.405800,1.407100,D
    674345511,EUR/USD,2008-12-28 17:18:58.000,1.405800,1.407000,D
    674345560,EUR/USD,2008-12-28 17:19:41.000,1.405800,1.406900,D
    674345619,EUR/USD,2008-12-28 17:19:59.000,1.406300,1.407300,D
    674345638,EUR/USD,2008-12-28 17:20:02.000,1.406100,1.407200,D
    674345646,EUR/USD,2008-12-28 17:20:03.000,1.405800,1.407200,D
    674345691,EUR/USD,2008-12-28 17:20:14.000,1.405900,1.407200,D
    674345910,EUR/USD,2008-12-28 17:21:47.000,1.406000,1.407200,D
    674345941,EUR/USD,2008-12-28 17:21:59.000,1.406100,1.407200,D
    674345957,EUR/USD,2008-12-28 17:22:02.000,1.406200,1.407200,D
    674345961,EUR/USD,2008-12-28 17:22:04.000,1.406200,1.407100,D
    674345971,EUR/USD,2008-12-28 17:22:05.000,1.406100,1.407100,D
    674346007,EUR/USD,2008-12-28 17:22:17.000,1.406200,1.407100,D[/CODE]

    Ik weet niet goed wat ik met de 2 koersen aan moet. Voor Ninjatrader wordt niet op seconde niveau een open/close of iets dergelijks aangegeven. Wat betekent het verschil in koers? :confused:

    Formaat (Ninjatrader ticks):
    jjjjmmdd hhmmss;koers;volume
    20090612 165948;1.401600;0

    Ik heb besloten de koers1 kolom te gebruiken voor de Ninjatrader import. Na import, Acces bewerking, export houd ik een mooi EURUSD.txt bestand over welke ik in Ninjatrader kan importeren. Ninjatrader geeft aan tickinfo te herkennen en bouwt op basis hiervan de 1 min/etc candles op.

    Ik heb dit bestand voor de geÁ¯nteresseerden op een url van mij geplaatst:
    EURUSD_2000_tm_2002.zip
    EURUSD_2009.zip

    Edit: url’s aangepast en nu ook 2000 tm 2002 toegevoegd

    Ik zou zeggen probeer er eens mee te werken en laat weten of het wat is.

    Volledig geautomatiseerd zou natuurlijk beter zijn, maar dat is lastig omdat ik heb geconstateerd dat de bestanden van Gain vaak verschillen van format.

    Mocht je trouwens zelf met alle databestanden van Gain aan de slag willen en opzien tegen het handmatig downloaden: Gebruik Httrack !
    Voor deze url in van Gain: GAIN Capital Rate Data Archive
    Geef een folder voor opslag op en vervolgens komt alles netjes binnen in dezelfde structuur als op de site (jaar/maand). Gaat niet heel snel (25kB/s), maar beter dan handwerk.

    Edit: ik zie nu dat in Ninjatrader alleen de minutenschaal werkt. Als je naar dag-schaal gaat dan blijft de grafiek leeg. Ninjatrader kan ik wel op de 480 (8 uur) minutenschaal zetten, maar weet niet of dat nou handig is.

    Edit: De Gain website geeft niet op uit welke tijdzone de data is. Volgens mij zit er 7 uur tijdsverschil in (beurs gaat toch 00:00 londen tijd weer open?) met londen:
    20090605 16:59:34;1.397000;0 (vrijdag)
    20090607 17:00:52;1.396900;0 (zondag)

    Wel iets om rekening mee te houden als je met ‘automated trading’ aan de slag gaat op basis van de Gain data. Verder bevat de data 24 uur per dag koersinfo.

    #89922
    Admin
    Lid

    Geweldig, aangezien ik de dicipline van een zenuwachtige hongerige aap in artis die door een kind een banaan voorgehouden krijgt heb, maar ik wel redelijk kan programmeren heb ik besloten maar eens een systeem te gaan ontwikkelen. Het liefst een die een positieve verwachting heeft natuurlijk, maar dat is de volgende stap.

    Bedankt voor je UITGEBREIDE post hierboven. Goede historische data is enorm van belang.

    Groet, ik zal af en toe posten als er ontwikkelingen zijn.

    Johan

    #89924
    Admin
    Lid

    Ik wil, deze data bekijkende toch eigenlijk wel graag op zoek naar een perfecte datastroom, liefst per tick of maximaal per 5 seconden (en er dan dus dik voor betalen wss). Als ik mijn eerste systeem in place heb zal ik hier eens even moeite voor doen.

    Als iemand iets tegenkomt laat het dan even weten.

    J

    #89926
    Admin
    Lid
    #89927
    Admin
    Lid

    Dit lijkt er het meeste op (de sample hier dan) ik vraag me wel af wat de bron is hier. Niet heel duur igg. Ik denk dat ik me hier maar aan waag.

    link (klik op hystoric FX data)

    J

    EDIT: Oh nee toch niet, ik had de minuten als seconden gelezen….

    #89928
    Anoniem
    Gast

    Ik wou je er net op wijzen dat het geen tickdata is. 🙂
    Vreselijk format ook overigens. Moet je alsnog gaan bewerken. Ik zit ondertussen even de andere aanbieders uit je linkje te bekijken.

    Edit:
    Behoorlijke (hoge) prijzen per maand als je 1 minuut candles wilt hoor:

    Forextickdata.com
    1 Minute Data: $12.00 / Month / Symbol

    Ervan uitgaande dat je data van 2003 tm 2008 wilt hebben -> 72 maanden * 12 = $864 per Symbol :s

    #89929
    Anoniem
    Gast

    Er is nog een optie:
    Downloaden van data via Metatrader. Maak een account/connectie aan bij Alpari. Vervolgens ga je naar Gereedschappen > Historiecenter. Vanuit daar kan je per currency pair en per tijdsperiode de gegevens downloaden.

    Als eerste test de 15min data download van de EUR/USD en een export levert een .csv bestand met 65.000 regels met 15 min data tot 26-okt-2006.

    Format:
    Datum+tijd, open, hoog, laag, sluit, volume
    2006.10.26,04:00,1.26270,1.26370,1.26250,1.26350,123

    Een paar van de strategien waar ik mee bezig ben, kijken naar de 15min tot 60 min chart dus hier zou ik wel mee uit de voeten kunnen. Andere pluspunten:
    * Naast Eur/USD nog 28 andere pairs die te downloaden zijn.
    * Opmaak van exportbestand ziet er goed uit, dus makkelijk naar Ninjatrader om te bouwen

    Ik ga hiermee eens aan de slag. Als ik wat omgezet heb naar Ninjatrader format, dan zal ik het weer posten.

    Edit2:
    Een mooie aanvulling hierop: voordat je start met downloaden van data, ga eerst naar Opties > Grafieken. Stel daar bij “Max staven” en “Max staven in grafiek” de waarde 2147483647 in (dit is de maximale waarde die je in kan vullen). Deze stonden eerst op 65000. Als je dat aangepast hebt en data gaat downloaden, dan krijg krijg je bij b.v. de 1min schaal van EUR/USD 3,5 miljoen regels aan data die teruggaat tot 1-sept-1999 (172MB groot). 🙂

    Edit3:
    Het is gelukt om zowel de M1 als D1 data van EUR/USD naar Ninjatrader formaat te krijgen via MS Access. Voor de geinteresseerden hier te downloaden:
    * Alpari_EURUSDM1.zip
    * Alpari_EURUSDM1440.zip (M1440 = D1)

    In beide bestanden zit een EURUSD.txt bestand. Deze stuk voor stuk importeren. Niet hernoemen want Ninjatrader haalt het type cur-pair uit de bestandsnaam. M1 of D1 wordt vanzelf herkent.

    Happy backtesting! 😉

    #89931
    Admin
    Lid

    Ik ben op dit moment zeker van:

    10 sec data tot 1-1-07

    En aan het praten over:

    1 sec data in die tijdspanne (maar het ziet ernaar uit dat dat niet gaat lukken, bovendien 4k$)

    J

    #89932
    Anoniem
    Gast

    @Admin 3168 wrote:

    Ik ben op dit moment zeker van: 10 sec data tot 1-1-07
    J

    Sjiek! Hoeveel/welke pairs?

    #89933
    Admin
    Lid

    @scar77 3169 wrote:

    Sjiek! Hoeveel/welke pairs?

    In principe de 8 grote, maar ik concentreer me wel ff op EURUSD voorlopig. Meer nieuws zodra er meer duidelijk is.

    J

    #89936
    janvks
    Lid

    tick data lijkt me heel duur.. hoeveel ticks heb je wel niet in ëën minuut misschien wel 100+? dat betekent dat 1 minuten bars maal 100 aan gigabyte ruimte moet hebben.

    #89959
    Anoniem
    Gast

    Duur, maar met tick data krijg je je backtest wel nauwkeuriger en da’s geld waard (hoewel ik er geen $2.000 voor over heb). Met alleen 1min bars kan je alleen testen op open/close daarvan en niet de beweging binnen een bar. Je entries en exits van een backtest sluiten met tickdata meer aan op live traden. Door verschil met 1min kan het weer wat pips schelen (bij b.v. een breakout bar) en bovendien is het een must als je een strategie hebt gemaakt gebaseerd op piphunting (kleine pips pakken).

    Ik heb inmiddels wat strategien gemaakt en getest en het is nog behoorlijk moeilijk iets te maken wat presteert. Hoogste wat ik tot nu toe heb gehaald is obv bolinger bands (55% over 10 jaar). Ik weet niet of dit goed/slecht veel/weinig is overigens. Ik zal hiervoor eens een Ninjatrader topic openen. Lijkt me leuk wat ervaringen uit te wisselen.

15 berichten aan het bekijken - 1 tot 15 (van in totaal 25)
  • Je moet ingelogd zijn om een reactie op dit onderwerp te kunnen geven.

Lost Password

Register