Сокеты - загрузка содержимого сайта

[olgnet]

Здравствуйте, использую linux(т.е. winAPI не предлогать) и компилятор g++... Хочу с помощью сокетов получить ответ от сервера(nginx), но любой сервер отдаёт ошибку 400 bad request, помогите найти ошибку. Заранее очень благодарен за помощь! Код:

#include <stdlib.h>
#include <iostream>
#include <sys/socket.h>
#include <sys/types.h>
#include <netdb.h>
#include <netinet/in.h>
#include <assert.h>
#include <stdio.h>
#include <sstream>
using namespace std;
int main()
{
    char site[] = "nixmail.ru";
    char message[] = "GET / HTTP/1.1\r\nHost: nixmail.ru\r\n
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9b5) Gecko/2008050509 Firefox/3.0b5\r\n
Accept: text/html\r\nConnection: close\r\n";
    int sock;
    char buf[1024];
    struct sockaddr_in addr;
    struct hostent* host = gethostbyname(site);
    sock = socket(AF_INET, SOCK_STREAM, 0);
    if(sock < 0)
    {
        perror("socket");
        exit(1);
    }
    addr.sin_family = AF_INET;
    addr.sin_port = htons(80);
    addr.sin_addr.s_addr = ((in_addr*)host->h_addr_list[0])->s_addr;
    if(connect(sock, (struct sockaddr*)&addr, sizeof(addr)) < 0)
    {
        perror("connect");
        exit(2);
    }
 
    send(sock, message, sizeof(message), 0);
    recv(sock, buf, sizeof(buf), 0);
    cout << buf << endl;
    close(sock);
    return 0;
}

[veniside]

как минимум не хватает еще одной пары \r\n в конце запроса.

[olgnet]

Огромное спасибо! Помогло... Только ответ приходит не полностью, только часть, пробовал увеличивать размер buf до 524288, но всё равно та же часть от ответа... В чём может быть проблема?

[olgnet]

Насколько я понял проблема в том что recv не успевает получить все данные... Как реализовать проверку получен ли весь ответ или нет? Насколько я понял нужно смотреть на последний символ и сравнивать его с \0 ? Или есть другой способ? Заранее очень благодарен за помощь!!

[veniside]

курите описание протокола HTTP


в двух словах:

раз указано "Connection: close", то по-простому можно принимать данные, пока сервер не закроет сокет.

а по-хорошему, получаем заголовки ответа, заголовки оканчиваются \r\n\r\n
сразу после заголовков идут данные
размер данных указывается в заголовке Content-Lenght:
если такого заголовка нет, то получаем данные, пока сокет не закроется.

[olgnet]

Ну мне надо хотя бы разобраться с тем как принять ответ полностью, нужно делать бесконечный цикл в котором recv принимает ответ и если в ответе пустота то останавливать цикл? Потом разделять ответ на подстроки по \r\n\r\n, второй элемент и будет содержимое сайта... Так? А нет ли примера такое реализации, наверняка кто-то уже сталкивался)))

[Somebody]

Некоторые серверы любят выдавать Transfer-Encoding: chunked - здесь уже по \r\n\r\n необязательно конец. Так что RTFM.