Почему file_get_contents работает через раз?

@mininvit · Регистрация: 16.07.2016

Author24 — интернет-сервис помощи студентам

Подскажите, почему функция file_get_contents работает через раз? Причем в 60% работает нормально, в 40% выдает ошибку:
Warning: Connection timed out in /home/u10582/public_html/res.php on line 2
Было бы понятно, если бы оно вообще неработало, но ведь периодически всё нормально. Посылаю запрос на 10 страниц, из них 4-5 отказываются. Посылаю запросы на сервера ВК, наверное SERVER перегружается. Это как то лечится?

@pav1uxa · 25.07.2016, 15:15

Сообщение от mininvit

Посылаю запрос на 10 страниц

Как часто? На какие сайты запросы - одни и те же или разные?

@koders · 25.07.2016, 15:34

Через апи работаете? Там для приложений, у которого менее 10к установок, лимит на 5 запросов в секунду.
Для открытых запросов, типа _api.vk.com/method/users.get?user_ids=1 лимит ещё меньше, до 3 запросов.
В общем случае, нужны таймауты.
Если же дело не в этом, используйте curl. А то у пыха периодические траблы случаются при использовании fgc и ей подобных функций.

@mininvit · 25.07.2016, 16:06 **[ТС]**

pav1uxa, отправляю запросы одни и те же на vk.com/foaf.php?id=здесь подставляю id пользователя.

Добавлено через 47 секунд
koders, Я не через api, я через foaf. А можно пример через curl, а то я новичок не много в этом понимаю? У меня есть код, который через раз срабатывает:

PHP

<?
$r = simplexml_load_file("http://vk.com/foaf.php?id=1"); //куда обращаемся
$t = (string) $r->xpath('//ya:created/@dc:date')[0]; //берем дату регистрации пользователя
echo $t;
?>

@insideone · 25.07.2016, 20:41

Сообщение от mininvit

Я не через api, я через foaf

Это тоже форма API

Сообщение от mininvit

Warning: Connection timed out in

Собственно означает то что написано, не удалось установить коннект, либо ответ не был получен за определённое время таймаута
Остается лишь повторить запрос

Чтобы подробнее понимать что происходит, лучше запросы делать через cURL

@mininvit · 25.07.2016, 20:59 **[ТС]**

incideone, не подскажете как через curl?

@insideone · 26.07.2016, 23:06

Как-то так:

PHP

$ch = curl_init('http://vk.com/foaf.php?id=1');
curl_setopt_array($ch, array(
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_FAILONERROR => true,
));
 
$response = curl_exec($ch);
 
if ( $error = curl_error($ch) ) {
    echo 'Ошибка: '.$error;
} else {
    $r = simplexml_load_string($response);
    $t = (string) $r->xpath('//ya:created/@dc:date')[0]; //берем дату регистрации пользователя
    echo $t;
}

@mininvit · 27.07.2016, 10:16 **[ТС]**

insideone, вывелось только "Internal Server Error" Ошибка 500.)

@insideone · 27.07.2016, 19:41

Видать и vk иногда падает...

@mininvit · 27.07.2016, 20:33 **[ТС]**

insideone, Может существуют ещё другие способы. Другие сайты как то же обходят эту защиту. Пробовал добавлять еще CURLOPT_USERAGENT, который выставляет браузер и т.п, все равно такая же ошибка. А соединение с curl не надо закрывать curl_close?

@php10 · 27.07.2016, 22:59

mininvit, надо закрывать. Во-вторых используйте VPS или потестите на своем основном компьютере. В-третьих, не думайте, что в вк дураки сидят, вы случайно разом запросы не отправляете? ВК блочить может их.

@mininvit · 28.07.2016, 10:08 **[ТС]**

php10, Всмысле разом? У меня есть форма, куда я вставляю id пользователя:

PHP

<?
if(isset($_POST['submit'])) {
$text = $_POST['text'];
$ch = curl_init("http://vk.com/foaf.php?id=$text");
curl_setopt_array($ch, array(
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_FAILONERROR => true,
));
 
$response = curl_exec($ch);
 
if ( $error = curl_error($ch) ) {
    echo 'Ошибка: '.$error;
} else {
    $r = simplexml_load_string($response);
    $t = (string) $r->xpath('//ya:created/@dc:date')[0]; //берем дату регистрации пользователя
echo $t;
}
curl_close($ch);
}
?>
<form method="post" action="res.php">
    <input type="text" name="text" />
    <input type="submit" name="submit" />
</form>

На денвере пробовал, тоже самое.

@php10 · 28.07.2016, 16:54

mininvit, Я пока не могу попробовать, буду дома - проверю. Вы попробуйте маскироваться браузером, вы этого не делаете.

@mininvit · 28.07.2016, 17:57 **[ТС]**

php10, Хорошо. Я вот думаю, может в коде какая ошибка? На глаз не вижу, но другие сайты тоже не открывает.

PHP

<?
if(isset($_POST['submit'])) {
$text = $_POST['text'];
$ch = curl_init("http://vk.com/foaf.php?id=$text");
curl_setopt_array($ch, array(
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0',
    CURLOPT_CONNECTTIMEOUT => 10,
    CURLOPT_HEADER => 0,
    CURLOPT_POST => 0,
));
 
$response = curl_exec($ch);
 
if ( $error = curl_error($ch) ) {
    echo 'Ошибка: '.$error;
} else {
    $r = simplexml_load_string($response);
    $t = (string) $r->xpath('//ya:created/@dc:date')[0]; //берем дату регистрации пользователя
echo $t;
}
curl_close($ch);
}
?>
<form method="post" action="res.php">
    <input type="text" name="text" />
    <input type="submit" name="submit" />
</form>

@php10 · 28.07.2016, 18:10

mininvit, у меня все работает

@mininvit · 28.07.2016, 20:42 **[ТС]**

php10, По ходу я что-то делаю не так. А вы где запускали на хостинге?

@php10 · 28.07.2016, 22:01

mininvit, неа, просто скопировал ваш код и запустил на Windows 8.1 в OpenServer.

@mininvit · 28.07.2016, 22:23 **[ТС]**

php10, А на OpenServer какая версия php стоит? У меня пишет timeout. А Вы можете несколько раз по refresh'ить страницу, интересно будет какая либо ошибка.

@php10 · 28.07.2016, 22:38

Apache 2.2
PHP 5.4
Рефрешил - все окей. )) Проблема не в этом.

@mininvit · 29.07.2016, 13:34 **[ТС]**

)) Незнаю даже, а в чем тогда? Вроде не на hostinger'е не работает, не на локальном. Ладно, завтра попробую php версию сменить, может поможет)

Добавлено через 14 часов 12 минут
php10, Да на самом деле все работает. Оказалось, что к вечеру на этот сервер идет слишком много запросов, поэтому у меня была 500 ошибка. Но опять же, там действительно лимит по браузерам(20 запросов может быть), как то можно загрузить больше браузеров, чтобы curl случайным образом выбирал нужный?

Добавлено через 35 минут
Или может он не по браузеру читает, а по IP? IP в curl можно менять?

@php10 146 / 105 / 44 Регистрация: 30.04.2016 Сообщений: 550
	27.07.2016, 22:59	11
	mininvit, надо закрывать. Во-вторых используйте VPS или потестите на своем основном компьютере. В-третьих, не думайте, что в вк дураки сидят, вы случайно разом запросы не отправляете? ВК блочить может их. 0

@mininvit 1 / 1 / 0 Регистрация: 16.07.2016 Сообщений: 186
		1
	Почему file_get_contents работает через раз? 25.07.2016, 14:24. Показов 3449. Ответов 21 Метки нет (Все метки) Подскажите, почему функция file_get_contents работает через раз? Причем в 60% работает нормально, в 40% выдает ошибку: Warning: Connection timed out in /home/u10582/public_html/res.php on line 2 Было бы понятно, если бы оно вообще неработало, но ведь периодически всё нормально. Посылаю запрос на 10 страниц, из них 4-5 отказываются. Посылаю запросы на сервера ВК, наверное SERVER перегружается. Это как то лечится? 0

@pav1uxa 1943 / 1768 / 825 Регистрация: 23.01.2014 Сообщений: 6,230
	25.07.2016, 15:15	2
	Сообщение от mininvit Посылаю запрос на 10 страниц Как часто? На какие сайты запросы - одни и те же или разные? 0

@koders 259 / 193 / 50 Регистрация: 15.07.2016 Сообщений: 649
	25.07.2016, 15:34	3
	Через апи работаете? Там для приложений, у которого менее 10к установок, лимит на 5 запросов в секунду. Для открытых запросов, типа _api.vk.com/method/users.get?user_ids=1 лимит ещё меньше, до 3 запросов. В общем случае, нужны таймауты. Если же дело не в этом, используйте curl. А то у пыха периодические траблы случаются при использовании fgc и ей подобных функций. 0

@insideone 3687 / 964 / 114 Регистрация: 10.01.2010 Сообщений: 2,550
	25.07.2016, 20:41	5
	Сообщение от mininvit Я не через api, я через foaf Это тоже форма API Сообщение от mininvit Warning: Connection timed out in Собственно означает то что написано, не удалось установить коннект, либо ответ не был получен за определённое время таймаута Остается лишь повторить запрос Чтобы подробнее понимать что происходит, лучше запросы делать через cURL 0

@mininvit 1 / 1 / 0 Регистрация: 16.07.2016 Сообщений: 186
	25.07.2016, 20:59 [ТС]	6
	incideone, не подскажете как через curl? 0

@mininvit 1 / 1 / 0 Регистрация: 16.07.2016 Сообщений: 186
	27.07.2016, 10:16 [ТС]	8
	insideone, вывелось только "Internal Server Error" Ошибка 500.) 0

@insideone 3687 / 964 / 114 Регистрация: 10.01.2010 Сообщений: 2,550
	27.07.2016, 19:41	9
	Видать и vk иногда падает... 0

@mininvit 1 / 1 / 0 Регистрация: 16.07.2016 Сообщений: 186
	27.07.2016, 20:33 [ТС]	10
	insideone, Может существуют ещё другие способы. Другие сайты как то же обходят эту защиту. Пробовал добавлять еще CURLOPT_USERAGENT, который выставляет браузер и т.п, все равно такая же ошибка. А соединение с curl не надо закрывать curl_close? 0

@php10 146 / 105 / 44 Регистрация: 30.04.2016 Сообщений: 550
	28.07.2016, 16:54	13
	mininvit, Я пока не могу попробовать, буду дома - проверю. Вы попробуйте маскироваться браузером, вы этого не делаете. 0

@php10 146 / 105 / 44 Регистрация: 30.04.2016 Сообщений: 550
	28.07.2016, 18:10	15
	mininvit, у меня все работает 0

@mininvit 1 / 1 / 0 Регистрация: 16.07.2016 Сообщений: 186
	28.07.2016, 20:42 [ТС]	16
	php10, По ходу я что-то делаю не так. А вы где запускали на хостинге? 0

@php10 146 / 105 / 44 Регистрация: 30.04.2016 Сообщений: 550
	28.07.2016, 22:01	17
	mininvit, неа, просто скопировал ваш код и запустил на Windows 8.1 в OpenServer. 0

@mininvit 1 / 1 / 0 Регистрация: 16.07.2016 Сообщений: 186
	28.07.2016, 22:23 [ТС]	18
	php10, А на OpenServer какая версия php стоит? У меня пишет timeout. А Вы можете несколько раз по refresh'ить страницу, интересно будет какая либо ошибка. 0

@php10 146 / 105 / 44 Регистрация: 30.04.2016 Сообщений: 550
	28.07.2016, 22:38	19
	Apache 2.2 PHP 5.4 Рефрешил - все окей. )) Проблема не в этом. 0

@mininvit 1 / 1 / 0 Регистрация: 16.07.2016 Сообщений: 186
	29.07.2016, 13:34 [ТС]	20
	)) Незнаю даже, а в чем тогда? Вроде не на hostinger'е не работает, не на локальном. Ладно, завтра попробую php версию сменить, может поможет) Добавлено через 14 часов 12 минут php10, Да на самом деле все работает. Оказалось, что к вечеру на этот сервер идет слишком много запросов, поэтому у меня была 500 ошибка. Но опять же, там действительно лимит по браузерам(20 запросов может быть), как то можно загрузить больше браузеров, чтобы curl случайным образом выбирал нужный? Добавлено через 35 минут Или может он не по браузеру читает, а по IP? IP в curl можно менять? 0