удаление повторов из файла

[Eshansky]

Здравтвуйте.
Требуется из файла(внутри числа из excel, сохранено в txt) удалить повторяющиеся строки и удалить некоторые столбцы.
Руководитель говорил, что там нужно взять 2 цикла, первый берет строку, второй ищет повторы и удаляет их.
Так как знаний кода пока маловато помогите, пожалуйста, с кодом.

[Nuklon]

Подключаешь заголовочный файл afxtempl.h в MFC. Вот пример ниже отсеивает дубликаты строк.

CMapStringToString fmap;

CStdioFile fp;
fp.Open(_T("data.txt"), CFile::modeRead);
	
CString str;
while(fp.ReadString(str)) 
        fmap[str] = _T("...");
fp.Close();

CString  key;
CString  val;
POSITION pos = fmap.GetStartPosition();
while(pos != NULL) {
        fmap.GetNextAssoc(pos, key, val);
        cout << key.LockBuffer() << endl;
}

// здесь сохраняешь в другой файл или переписываешь этот же
//...

fmap.RemoveAll();

На счёт столбцов подсчитывать разделители и вырезать часть подстроки...

[Eshansky]

Спасибо большое за помощь
буду разбираться дальше