که به افتخار آندری مارکف ریاضی دان اهل روسیه این گونه نام گذاری شده یک سیستم ریاضی است که در آن انتقال از یک حالت به حالت دیگر صورت می‌گیرد که البته تعداد این حالات قابل شمارش است. زنجیره مارکف یک فرایند تصادفی بدون حافظه‌است بدین معنی کهتوزیع احتمال شرطی حالت بعد تنها به حالت فعلی بستگی دارد و به وقایع قبل از آن وابسته نیست. این نوع بدون حافظه بودن خاصیت مارکف نام دارد. زنجیره مارکف درمدل سازی دنیای واقعی کاربردهای زیادی دارد.

بازی مار و پله و یا هر بازی دیگری که حرکات بوسیله ی تاس تعیین می شود یک زنجیره ی مارکوف هستند. این نوع بازی ها در نقطه مقابل بازی های کارتی مانند blackjack هستند که کارت ها مانند حافظه ی حرکت قبلی عمل می کنند. برای درک این تفاوتهااحتمال یک حرکت مشخص را در بازی در نظر بگیرید. در بالا به بازی هایی که با تاس بازی می شوند اشاره کردیم، تنها چیزی که اهمیت دارد حالت کنونی روی تخته است. حالت بعدی روی تخته به حالت کنونی و چرخش بعدی تاس بستگی دارد و وابسته به اینکه که مهره ها چگونه در حالت کنونی قرار گرفته اند، نیست. در بازی مانند blackjack ، بازیکن می تواند با به خاطر سپردن اینکه کدام کارتها تا کنون نشان داده شده اند، برتری کسب کنند. بنابراین حالت بعدی بازی مستقل از حالت کنونی نیست.