C#, шахматное поле с конями, ускорить выполнение кода

[POrro]

Мой код проходит первые тесты, но потом на вход идет 10000+ чисел и время превышает максимальное в 4 сек, как можно его ускорить?

Дано шахматное поле n × n . На поле расположено m коней. Определить, какое количество клеток не заняты и не находятся под боем.

Формат ввода Первая строка входного файла содержит два числа n и m ( 1 ≤ n ≤ 1 0 0 0 , 1 ≤ m ≤ 5 0 0 0 0 ) – размеры поля и количество коней соответственно. Следующие m строк содержат пары координат x i , y i ( 1 ≤ x i , y i ≤ n ) – координаты очередного коня.

Формат вывода Выведите одно число – ответ на задачу.
Пример
Ввод:
5 5
2 4
5 1
4 4
3 3
1 3
Вывод:
8

using System;
using System.IO;
using System.Linq;
using System.Collections.Generic;

class Task2
{
    public struct Point
    {
        public int x, y;
        public Point(int p1, int p2)
        {
            x = p1;
            y = p2;
        }
    }
    static void Main()
    {
        using (var reader = new StreamReader("input.txt"))
        {
            string s = reader.ReadLine();
            int n = Convert.ToInt32(s.Split(" ")[0]);
            int m = Convert.ToInt32(s.Split(" ")[1]);

            List<Point> f = new List<Point>();

            for (int i = 0; i < m; i++)
            {
                int[] l = reader.ReadLine().Split(" ").Select(int.Parse).ToArray();
                f.Add(new Point(l[0], l[1]));

                if (l[0] - 1 >= 1)
                {
                    if (l[1] + 2 <= n)
                    {
                        f.Add(new Point(l[0] - 1, l[1] + 2));
                    }
                    if (l[1] - 2 >= 1)
                    {
                        f.Add(new Point(l[0] - 1, l[1] - 2));
                    }
                }
                if (l[0] + 1 <= n)
                {
                    if (l[1] + 2 <= n)
                    {
                        f.Add(new Point(l[0] + 1, l[1] + 2));
                    }
                    if (l[1] - 2 >= 1)
                    {
                        f.Add(new Point(l[0] + 1, l[1] - 2));
                    }
                }
                if (l[0] - 2 >= 1)
                {
                    if (l[1] + 1 <= n)
                    {
                        f.Add(new Point(l[0] - 2, l[1] + 1));
                    }
                    if (l[1] - 1 >= 1)
                    {
                        f.Add(new Point(l[0] - 2, l[1] - 1));
                    }
                }
                if (l[0] + 2 <= n)
                {
                    if (l[1] + 1 <= n)
                    {
                        f.Add(new Point(l[0] + 2, l[1] + 1));
                    }
                    if (l[1] - 1 >= 1)
                    {
                        f.Add(new Point(l[0] + 2, l[1] - 1));
                    }
                }
            }
            f = f.Distinct().ToList();
            File.WriteAllText("output.txt", (n * n - f.Count).ToString());
        }
    }
}

[BDA]

Попробуйте вместо List использовать HashSet для точек.

[FPaul]

Можно попробовать так:
1. объявить матрицу n*n - M[n][n]
2. переменная - количество свободных полей Count=n*n
3. в цикле получать очередную координату (x, y)
4. если M[x][y]==2, то пропустить
5. иначе M[x][y]=2 (тут ещё проверить на ==1 и при равенстве 0 Count--) и проверить все точки, которые бьёт конь и если очередная точка ==0, то сделать её равной 1 и Count--

Т.е. матрица отслеживает два состояния - на этом месте стоит конь (чтобы повторно не рассматривать) и место "свободно" или "под боем". А учёт свободных полей вести отдельно, чтобы не пересматривать матрицу в конце.

Может что-то пропустил - при реализации уточните.
Можно обойтись и без контроля повторного использования поля - тогда можно использовать битовый массив, т.е. и размер памяти многократно уменьшится.

[POrro]

BDA, не помогло