Руководство РАК настояло на том, чтобы Томари не возвращать акт о «высочайшем покровительстве», но, а самого короля наградили золотой медалью с надписью «Владетелю Сандвичевых островов Томари в знак дружбы к россиянам» на аннинской ленте. Кроме того были преподнесены подарки, традиционные в таких случаях.
Этим все и ограничилось, поскольку «проект Шеффера» не получил никакой реальной поддержки. И далее все начало развиваться по известной формуле: Если не забиваешь ты, то забивают тебе». Американцам удалось перехватить инициативу, чтобы воспрепятствовать русским, закрепиться на Гавайях. После этого, русская фактория, сформированная в рекордные сроки, оказалась даже РАК, брошенной на произвол судьбы, чем непременно воспользовались иностранцы.
Они постарались сделать все, чтобы истребить русские фактории, благодаря которым Россия имела неоспоримые права на занятые территории: поднятие флага, уступка территории под строительство согласно договору с местным владельцем, взятие местного вождя под «высочайшее покровительство, создание поселений, следует напомнить, что Томари не был возвращен акт о покровительстве.
Постепенное изживание несостоявшихся подданных российской империи.
Затем в 1816 году американцам удалось перекупить у Томари все то, что он должен был поставлять РАК по соглашению с Шеффером, а потом начали напрямую интригами и подкупом «изживать» русских. Вначале им удалось истребить факторию на Оаху и выгнать ее с острова Шеффера, затем им удалось такое же совершить на Кауаи.
Американцы, как, между прочим, и другие европейцы, воюющие за колонии, действовали, как и всегда, цинично, бесцеремонно, напористо, об этом неоднократно сообщали исследователи РАК. После неудачной попытки истребить русскую факторию на Кауаи американцы распустили слух, что они пришлют суда и уничтожат всех жителей острова, если на нем не будет спущен русский флаг. В дальнейшем они этим же жителям «помогали» захватывать русское имущество.
Тихменев пишет, что ситуация стала еще сложнее, после того, как американский капитан бесцеремонно бросил компанейское судно «Ильмень». Шефферу со своими спутниками из-за угрозы расправы пришлось перебраться на другое судно, поскольку на Гавайях, кроме «Ильменя» было еще судно «Кадьяк». Его попытка высадиться на берег и отбить имущество не увенчалась успехом, из-за того, что русских обстреляли из пушек. Шеффер после длительного пребывания в осаде вынужден был на одном из судов уйти в порт Гонолулу, он в извещении к Баранову сообщил о произошедшем в Ново-Архангельске.
Шеффер в июле 1817 года, не получив помощи из Ситки, был вынужден оставить служащих РАК на острове Оаху под руководством промышленного Тараканова, и отправиться в Кантон на иностранном судне, а уже через него он смог возвратиться в Петербург. Таким образом, был положен конец первому этапу борьбы за присутствие русских на Гавайях. Шеффер, возвратившись в столицу, подал записку Козодавлеву — министру внутренних дел, в ней он снова поставил вопрос о том, чтобы РАК заняла один и гавайских островов и учредила там русскую факторию.